Inhaltsverzeichnis:
Definition - Was bedeutet Apache Avro?
Apache Avro ist ein Framework für Datenserialisierung und Remoteprozeduraufrufe, das im Rahmen des Apache Hadoop-Projekts entwickelt wurde. Es bietet sowohl ein Serialisierungsformat zum Abrufen persistenter Daten als auch ein Wire-Format für die Kommunikation zwischen Hadoop-Knoten sowie die Verbindung von Client-Programmen mit Hadoop Dienstleistungen.
Avro verwendet das JSON-Format zum Definieren von Protokollen und Datentypen sowie zum Serialisieren von Daten in ein kompaktes Binärformat.
Techopedia erklärt Apache Avro
Apache Avro ist ein Big-Data-Serialisierungsframework, das Daten in einem kompakten Binärformat erzeugt, für das keine Codegenerierung oder Proxy-Objekte erforderlich sind.
Es wird als Datenserialisierungskomponente für Apache Hadoop verwendet. Avro arbeitet am Konzept der Schemata. Beim Lesen von Avro-Daten ist immer das Schema vorhanden, das beim Schreiben dieser spezifischen Daten verwendet wurde.
Dies ermöglicht jeden Datensatz ohne Overhead pro Wert, was die Serialisierung sowohl schnell als auch relativ klein macht. Da sich Daten und ihr Schema vollständig selbst beschreiben, ist die Verwendung mit dynamischen Skriptsprachen einfach.
Wenn die Avro-Daten in einer bestimmten Datei gespeichert werden, wird das Schema auch mit diesen Daten gespeichert, um später von einem anderen Programm verarbeitet zu werden. Wenn also ein Programm, das die Daten liest, ein anderes Schema erwartet, kann dies leicht behoben werden, da beide Schemata vorhanden sind.
Avro bietet:
Ein kompaktes und schnelles binäres Datenformat
Reichhaltige Datenstrukturen
Eine Containerdatei zum Speichern persistenter Daten
Remote Procedure Call (RPC)
Integration in dynamische Sprachen
Die Generierung von Code ist keine Voraussetzung zum Lesen oder Schreiben von Datendateien oder zur Verwendung oder Implementierung von RPC-Protokollen.
