Was ist Hadoop genau? die Theorie eines Zynikers

Alles, was zu gut aussieht, um wahr zu sein, ist es normalerweise. Dies könnte bei Apache Hadoop der Fall sein, dem vielbeschworenen Open-Source-Projekt, über das alle reden. Also, was genau ist das? Gute Frage!

Experten zweifelhaft

Analyst Mark Madsen von Third Nature hat es vor einiger Zeit in einem markigen Artikel auf InsideAnalysis.com an die Wand genagelt: "What Hadoop Is. What Hadoop Isn't." Als jemand, der weiß, wie man reale Lösungen entwirft und diese dann tatsächlich bereitstellt, sollte sein Rat nicht ignoriert werden.

Aber hier fließt eine tiefere Strömung, und die Zeit ist nahe, die Wurzeln dieser faszinierenden Flora freizulegen, um zu sehen, ob wir keine Perspektive auf das bekommen, was auf einer eher makroökonomischen Ebene geschieht. Schließlich sagen die Anbieter immer wieder, es sei eine große Sache, und es gibt so viele Teilnehmer.

Beschäftige die Committer! (?)

Drei Unternehmen besitzen derzeit die Mehrheit des aufstrebenden Marktes von Hadoop: Cloudera, Hortonworks und MapR. Jim Walker von Hortonworks äußerte sich kürzlich zu einem ziemlich umstrittenen Briefing über den Boulder BI Brain Trust (#BBBT) wie folgt:

"Sie können die Technologie nicht voranbringen, wenn Sie die Committer nicht beschäftigen!"

Komm wieder?

Hört sich das nicht so an, als würde Senator Palpatine in einem Star Wars-Film etwas sagen?

Sen. Palpatine: "Beschäftige die Kommissare!"

In der Nähe Minion: "Aber, aber, Sir! Denken Sie an die Kinder!"

Für den Laien da draußen, der nur versucht, Dinge zu erledigen, sind Committer Menschen, die sich einem bestimmten Open-Source-Projekt verschrieben haben. Die Apache Foundation verfügt über strenge Protokolle, mit denen ihre Projekte vorangebracht werden. Dies ist häufig eine gute Sache.

Allerdings rechtfertigt Walkers Kommentar die Prüfung. Eine wichtige Frage (auf die Gefahr der Beschwörung von Spielplatztagen) wäre: Ist das ein Versprechen oder eine Bedrohung? Sagt er, dass Hortonworks einfach ihren Ball nehmen und nach Hause gehen könnten?

Kooperation oder Wettbewerb?

Der interessante, wenn auch paradoxe Aspekt ist, dass Berichten zufolge die meisten der Committer im Hadoop-Team (insgesamt etwa 30) von Hortonworks und Cloudera stammen, die Konkurrenten sind. Dies ist ein sehr merkwürdiger Wettbewerbsfall.

Also, was ist der Deal? Hier eine fundierte Vermutung: Hadoop verdankt seinen Ruhm größtenteils einem cleveren Plan, den eine Gruppe von Risikokapitalgebern und Ingenieuren aus dem Silicon Valley entwickelt hat, die im Wesentlichen versuchen, ihre Einsätze gegen Oracle abzusichern.

Die allgemeine Idee ist es, den Markt mit einer Codegrundlage zu besetzen, die durch eine Fülle von Entwicklern erweitert und gestärkt werden kann, die im Laufe der Zeit im Idealfall alle Arten von Datenmanagement-Tools erstellen, einschließlich Datenbankprodukten. Die VCs können eines Tages investieren und Geld ausbezahlen. Aber es gibt einige ernsthafte Herausforderungen im Spiel.

Wie alle monolithischen Unternehmen befindet sich Oracle häufig im Fadenkreuz vieler kleinerer Unternehmen. Und wer möchte nicht nur einen Teil seiner umwerfenden Einnahmen? Allein im letzten Quartal verbuchte Oracle 9 Milliarden US-Dollar. Aber Big Red herauszufordern und sie zu schlagen, sind zwei sehr unterschiedliche Realitäten.

Kostenloser Webcast: Was ist Hadoop und wohin geht es? Besprechen Sie mit Eric Kavanagh, Robin Bloor und Techopedia, wie sich Hadoop von Linux oder SOA stark unterscheidet und warum seine Zukunft weitgehend ungeschrieben bleibt.

Verpackungsprobleme

Das Besondere an Hadoop ist, dass es sich keineswegs um eine Komplettlösung handelt. Vielmehr handelt es sich um eine komplexe Sammlung von Modulen, die es hochwertigen Programmierern ermöglichen, massive Parallelverarbeitungsalgorithmen für ganz bestimmte Aufgaben einzusetzen. Aber es gibt keine ausgefallene Benutzeroberfläche und die Handbücher sind brutal.

Hinzu kommt diese entscheidende Hürde: Sie brauchen auch Geschäftsleute, die zumindest ein allgemeines Verständnis dafür haben, was sie können. Diese Leute müssen in der Lage sein, Ideen für ihre Verwendung zu entwickeln und diese dann an die Entwickler weiterzuleiten, die anschließend Anwendungen erstellen, testen, implementieren und unterstützen müssen.

Das Orchestrieren dieses Tanzes ist, wie Cloudera und Hortonworks viel von ihrem Geld verdienen. Das Problem ist, dass die meisten der mit dieser Methode erstellten Lösungen einzigartig sind und sich in der Regel auf Betriebssysteme und nicht auf analytische Systeme konzentrieren. Übersetzung? Solche Sachen eignen sich nicht wirklich für verpackte Softwareprodukte.

Verpackungsrentabilität!

Das bringt uns zurück zu Oracle. Larry Ellison und die Jungs machen ihr Heu und verkaufen Datenbanktechnologie, Hardware, Dienstleistungen und (warten Sie …) Softwarepakete. Anscheinend hat Cloudera das herausgefunden, weshalb sie sich auf Impala konzentrierten. Aber Hortonworks?

Ihr Modell scheint eher das von RedHat zu imitieren, den Leuten, die auf der Basis des Linux-Betriebssystems ein Milliardengeschäft aufgebaut haben. Keiner der großen Anbieter in der Unternehmenssoftwareindustrie schreibt für Linux, das Betriebssystem, mit dem IBM Microsoft im Stich gelassen hat. Aber Hadoop ist noch lange kein Linux.

Dr. Geoffrey Malafsky, ehemaliger Nanotechnologe der US Navy, jetzt Datenwissenschaftler bei Phasic Systems und dem PSIKORS Institute, fasst das Hadoop-Wertversprechen wie folgt zusammen:

"Hadoop eignet sich hervorragend für die Suche, eine sehr umfangreiche Trendanalyse für stochastische Ergebnisse und wahrscheinlich eine sehr kostengünstige, clevere Parallelverarbeitung von Dingen, wie sie meine Ex-Frau früher getan hat: quantenmechanische Wellenfunktionsberechnung von Festkörper- und chemischen Reaktionen. Diese echte Wissenschaft stützt sich darauf Ich vermute, dass Forschungsstipendien für einige Hochleistungs-Computer in diese Richtung gehen werden Anwendungen. "

Sie werden feststellen, dass dies nichts mit Data Warehousing, Business Intelligence, Datenintegration oder sogar Big Data zu tun hat. Es klingt wie Supercomputing. Und aus irgendeinem interessanten Grund sind die Welten des High-Performance-Computing und der Business Intelligence noch nie auf bedeutsame Weise zusammengestoßen oder zusammengewachsen.

Weiter Weg für Hortonworks und Cloudera

Und hier sind die wirklich schlechten Nachrichten für Hortonworks und möglicherweise Cloudera. Die großen Anbieter wie IBM und SAP sowie Oracle und Teradata - um es milde auszudrücken und um Dire Straits zu zitieren: "Die Jungs sind nicht dumm!" Vor drei und mehr Jahren haben alle ernsthafte Hadoop-Strategien eingeführt.

Von zentraler Bedeutung für diese Pläne sind die Dinge, die Geschäftsbenutzer erwarten: grafische Benutzeroberflächen, Drag-and-Drop-Funktionen, Modellierungs- und Ermittlungstools, Workflow, Governance und Sicherheit; Kurz gesagt, all die Kleinigkeiten, die Unternehmenssoftware nutzbar machen. Und natürlich verfügen diese großen Anbieter über eine massive Installationsbasis.

Sicher, Cloudera und Hortonworks haben gute Geschäfte gemacht, aber nur einen winzigen Bruchteil dessen, was diese Hauptakteure jedes Jahr erhalten. Überlegen Sie, wie viel die Herausforderer ihren Kunden in Rechnung stellen, verglichen mit dem wahrscheinlichen Overhead, und das Bild ist nicht so rosig. Zugegeben, das ist für frühe Softwareanforderungen selbstverständlich, aber dennoch …

Die Zukunft von Hadoop?

Könnten wir also die klassische Welle von Akquisitionen sehen, wie wir sie früher hatten, als IBM Cognos kaufte, Oracle Hyperion und SAP BusinessObjects erwarb? Vielleicht, aber die neuen Kinder in diesem Block besitzen kein Hadoop. sie leihen es sich einfach aus. Und so vielversprechend YARN und Tez auch sein mögen, die Veröffentlichungszyklen scheinen hinter dem zurückzubleiben, was die Heavy Hitter hervorbringen.

Neulich bemerkte ein Branchenkenner, dass die Politik bei Apache ein schwerwiegender Engpass sein kann. Dies ist nicht sonderlich überraschend, besonders wenn man die damit verbundenen Dollars betrachtet - es gibt eine große Motivation für Innovatoren, reich zu werden. Und hat jemand bemerkt, wie Chrome Firefox in letzter Zeit an Funktionalität und Bedienbarkeit übertroffen zu haben scheint? Geschlossene Quelle, jemand?

Eines ist sicher: Dieses Spiel wird auf interessante Weise ablaufen. Ja, die Säugetiere (sprich: kleine Händler) können den Dinosauriern oft entkommen. aber es gibt immer noch Alligatoren und Krokodile auf der ganzen Welt; und wenn Sie unversehens auf einen stoßen, entdecken Sie vielleicht, wie scharf diese Zähne sein können. Ein paar Krokodile zusammen könnten sogar einen oder zwei Elefanten erledigen.