Inhaltsverzeichnis:
Definition - Was bedeutet Job Chaining?
Job-Verkettung ist ein Begriff in MapReduce, der das Starten mehrerer Schritte in derselben MapReduce-Aufgabe bezeichnet. Bei der Jobverkettung sendet der erste Job die Ausgabe an einen Job, der die Ausgabe an den nächsten Job in der Kette sendet, usw., bis der Job abgeschlossen ist. Dies ist eine Form der Pipeline-Erstellung von MapReduce-Aufträgen, um die Verwaltung zu vereinfachen.
Techopedia erklärt Job Chaining
Jobverkettung in MapReduce bezieht sich auf das Ausführen mehrerer Aufgaben in einem einzelnen MapReduce-Job.
Eine Jobkette könnte beispielsweise bestehen aus:
Map1> Verkleinern1> Map2> Verkleinern2
Der Vorteil der Job-Verkettung besteht darin, dass keine zwischenzeitlichen Daten zwischen allen Schritten in einer Pipeline erforderlich sind. In diesem Sinne ähnelt die Job-Verkettung der Eingabe- / Ausgabe-Umleitung in der Unix-Shell. Die Ausgabe von einem Glied in der Kette fließt zum Eingang des nächsten Jobs in der Kette. Mit MapReduce können Entwickler Abhängigkeiten angeben oder festlegen, welche Jobs abgeschlossen werden müssen, bevor die nächsten Jobs in der Kette mithilfe des Methodenaufrufs addDependingJob () verarbeitet werden.
Dies erleichtert Entwicklern das Schreiben eines MapReduce-Programms, das große Datenmengen verarbeiten kann.
