Inhaltsverzeichnis:
Definition - Was bedeutet Apache Kafka?
Apache Kafka ist ein Open-Source-System zum Veröffentlichen und Abonnieren von Nachrichten, das eine schnelle, skalierbare und fehlertolerante Verarbeitung von Echtzeit-Datenfeeds ermöglicht. Im Gegensatz zu herkömmlicher Messaging-Software für Unternehmen kann Kafka alle durch ein Unternehmen fließenden Daten nahezu in Echtzeit verarbeiten.
Kafka ist in Scala geschrieben und wurde ursprünglich von LinkedIn entwickelt. Seitdem haben eine Reihe von Unternehmen damit Echtzeitplattformen aufgebaut.
Techopedia erklärt Apache Kafka
Kafka hat viele Ähnlichkeiten mit Transaktionsprotokollen und verwaltet Nachrichten-Feeds in Themen. Produzenten schreiben Daten in Themen und Konsumenten lesen aus diesen Themen, die in einem verteilten Systemformat auf mehrere Knoten verteilt und repliziert werden. Kafka ist insofern einzigartig, als es jede Themenpartition als Protokoll behandelt und jeder Nachricht in einer Partition ein eindeutiger Offset zugewiesen wird. Alle Nachrichten werden für einen bestimmten Zeitraum gespeichert, und die Verbraucher sind dafür verantwortlich, ihren Standort in jedem Protokoll zu verfolgen. Dies unterscheidet sich von früheren Systemen, in denen Makler für diese Nachverfolgung verantwortlich waren, was die Skalierbarkeit des Systems mit zunehmender Anzahl von Verbrauchern erheblich einschränkte. Diese Struktur ermöglicht es Kafka, viele Verbraucher zu unterstützen und große Datenmengen mit sehr geringem Overhead zu speichern.
Kafka kann verwendet werden:
- Als traditioneller Nachrichtenbroker
- Zur Verfolgung von Website-Aktivitäten
- Für die Protokollaggregation
- Für die Verarbeitung großer Datenströme
Kafka kann zusammen mit Apache Storm, Apache HBase und Apache Spark zur Echtzeitanalyse und zum Rendern von Streaming-Daten verwendet werden.
