Laut Mike Olson, CEO von Cloudera, weist die Hadoop-Analyseplattform einige erhebliche Einschränkungen hinsichtlich Geschwindigkeit und Komplexität auf. Branchenführer - auch in seiner eigenen Firma - arbeiten jedoch daran, dies zu ändern, da sie zuversichtlich sind, dass sich dieses Forschungsinstrument in den kommenden Jahren grundlegend weiterentwickeln wird.
Auf der letztjährigen Strata-Konferenz bat Olson ein Publikum, sich vorzustellen, wie Hadoop anders aussehen würde, wenn es heute geschaffen würde, und bestimmte Änderungen könnten neue Zugänge für die Forschung in Bereichen wie Bildung, Energie und Landwirtschaft eröffnen. Olson zitierte den Kosmologen und wissenschaftlichen Autor Carl Sagan und betonte, wie wichtig es sei, Daten auf hoher Ebene für ein größeres Publikum aufzuschlüsseln.
"Ich denke, wir stehen am Rand wichtiger Entdeckungen, die für die Wirtschaft und die Gesellschaft von Bedeutung sind", sagte Olson.
Ein Beispiel sei die wissenschaftliche Entdeckung, die die Arbeit von Wissenschaftlern am Large Hadron Collider in der Schweiz ermöglicht habe. Laut Olson hat die tägliche Auswertung von 37 Terabyte Daten zu wichtigen Fortschritten wie der Entdeckung der Wasserscheide Higgs-Boson geführt, die wichtige Aspekte von Materie und Energie enthüllte. Olson fügte hinzu, dass Hadoop bei diesen grundlegenden Forschungsprojekten hilft, indem es eine enorme Datenmenge in einem einzigen Repository erfasst. Es sei jedoch schwierig, mit diesen Daten in Echtzeit zu interagieren.
Olson erläuterte, wie Hadoop und ähnliche Technologien Wissenschaftlern in Schlüsselbereichen wie dem Gesundheitswesen helfen können, und kündigte das Impala-Projekt an, an dem sein Unternehmen seit zwei Jahren arbeitet. Zwei Viertel der Beta-Tests wurden in Abstimmung mit Major durchgeführt Kunden. Laut Olson ist das Impala-Projekt eine "100% Open Source" -Technologie mit Apache-Lizenz, die mit Hadoop als "Echtzeit-Abfrage-Engine" zusammenarbeitet. Dies, so Olson, ermögliche, was er als "Geschwindigkeit von Gedankenabfragen" bezeichne, bei denen Benutzer eine Frage stellen, eine Antwort erhalten und eine neue Frage formulieren können, um wichtige Datencluster effektiv zu nutzen.
"Es gibt Ihnen einen neuen Weg, an Ihre Daten heranzukommen", sagte Olson und umriss, wie diese Art der Weiterentwicklung zusätzliche Möglichkeiten zur Lösung größerer Probleme in den USA und im Ausland eröffnen könnte.
