Die Entwicklung von Big Data

In den frühen 2000er Jahren war klar, dass ein enormer Innovationsbedarf in Bezug auf Daten besteht. Einschränkungen, was Unternehmen mit ihren Daten anstellen könnten, haben die Führungskräfte frustriert und die Effizienz enorm gemindert. Viele Unternehmen speicherten riesige Mengen an Informationen, waren jedoch einfach nicht in der Lage, diese zu ihrem Vorteil zu verwalten, zu analysieren oder zu manipulieren. Es ist dieser wachsende Druck, der der Big Data-Grenze Platz machte.

Im Jahr 2003 schuf Google MapReduce, eine Datenanwendung, mit der das Unternehmen Informationen zu Suchanfragen auf Tausenden von Servern in kurzer Zeit verarbeiten und analysieren konnte. Das skalierbare und anpassbare Programm ermöglichte es Google, Tausende von Datenaufgaben in nur wenigen Minuten auszuführen, wodurch die Produktivität gesteigert und die wahrgenommenen Grenzen der Möglichkeiten für die Datenverarbeitung neu definiert wurden. Fast 10 Jahre später hat sich Big Data zu einem zentralen Grundsatz der Informationstechnologie entwickelt. Sein weitreichender Umfang und seine Fähigkeit haben das Datenmanagement am Arbeitsplatz grundlegend verändert. Aber was hat diese Entwicklung ausgelöst und wie genau wirkt sich Big Data auf die Zukunft aus? Wir dachten, Sie würden nie fragen. (Hintergrundinformationen zu Big Data finden Sie unter Big Data: Wie es erfasst, komprimiert und für Geschäftsentscheidungen verwendet wird.)

Antworten auf Fragen zu Big Data

Das Schöne an MapReduce war, dass es hochkomplexe Aufgaben vereinfachte. Die Kommunikation könnte maschinenübergreifend verwaltet, Systemfehler behoben und Eingabedaten automatisch organisiert werden. Dieser Prozess könnte von Personen überwacht werden, die keine hochtechnischen Fähigkeiten mehr benötigen. Indem Google die Datenverarbeitung nicht nur möglich, sondern auch zugänglich machte, hat Google einen kulturellen Wandel im Datenmanagement eingeleitet. Es dauerte nicht lange, bis Tausende großer Unternehmen MapReduce für ihre Daten verwendeten.

Aber es gab ein Problem: MapReduce war einfach ein Programmiermodell. Während es die Grundlagen der Datenverarbeitung erleichterte, war es selbst nicht die Antwort auf vorhandene Datenmängel; Es war nur ein dringend erforderlicher Schritt in die richtige Richtung. Unternehmen benötigten nach wie vor ein System, das ihren spezifischen Datenanforderungen gerecht wird und über das Nötigste des Datenmanagements hinausgeht. Kurz gesagt, die Technologie musste sich weiterentwickeln.

Hadoop betreten

Geben Sie Hadoop ein, eine Open-Source-Framework-Software, die von mehreren Programmierern, einschließlich Doug Cutting, erstellt wurde. Wo MapReduce einfach und umfassend war, bot Hadoop eine erfrischende Besonderheit. Unternehmen konnten ihre eigenen maßgeschneiderten Anwendungen entwerfen, die den Datenanforderungen auf eine Weise entsprachen, wie es keine andere Software konnte, und die im Allgemeinen mit anderen Dateisystemen kompatibel war. Ein Unternehmen mit talentierten Programmierern könnte ein Dateisystem entwerfen, das mit Daten, die zuvor unerreichbar schienen, einzigartige Aufgaben erfüllt. Möglicherweise war das Beste daran, dass Entwickler Anwendungen und Programme untereinander austauschen konnten, die erläutert und perfektioniert werden konnten.

Durch die Demokratisierung einer so wichtigen Ressource wurde Hadoop zum Trend. Schließlich hatten viele große Unternehmen, insbesondere Suchmaschinenfirmen, das Gefühl, sie hätten es seit Jahrzehnten gebraucht! Es dauerte nicht lange, bis Suchmaschinenriesen wie Yahoo die Implementierung großer Hadoop-Anwendungen ankündigten, die Daten für Suchanfragen im Web generierten. In einer Welle kündigten mehrere namhafte Unternehmen die Einführung dieser Technologie für ihre umfangreichen Datenbanken an, darunter Facebook, Amazon, Fox, Apple, eBay und FourSquare. Hadoop setzte den neuen Standard für die Datenverarbeitung.

Big Data, große Probleme

Während die Fortschritte in der Datentechnologie die Art und Weise, wie Unternehmen mit Daten umgehen, verändert haben, sind viele Führungskräfte immer noch nicht für die gesamte Bandbreite der erforderlichen Aufgaben gerüstet. Im Juli 2012 veröffentlichte Oracle eine Umfrage unter mehr als 300 Führungskräften auf C-Ebene. Dabei stellte sich heraus, dass 36 Prozent der Unternehmen für die Verwaltung und Analyse von Daten auf die IT angewiesen sind. braucht. Das wahrscheinlich auffälligste Ergebnis der Studie war, dass 93 Prozent der Befragten der Ansicht waren, dass ihr Unternehmen bis zu 14 Prozent seines Umsatzes einbüßte, weil es die gesammelten Daten nicht nutzen konnte. Das sind Einnahmen, die für die Herstellung besserer Produkte und die Einstellung von mehr Arbeitskräften ausgegeben werden könnten. In einer Zeit, in der Unternehmen Schwierigkeiten haben, rentabel zu bleiben, ist die Verbesserung der Daten, damit Unternehmen rentabler werden können, eine Notwendigkeit. Die Umfrage zeigt, dass trotz der Annahme, dass der Einfluss von Big Data auf den Handel bereits vorbei ist, die darin enthaltenen Wachstums- und Aufstiegschancen noch nicht vollständig ausgeschöpft sind.

Was die Zukunft für Big Data bereithält

Die gute Nachricht ist, dass Hadoop und MapReduce viele andere Datenverwaltungstools inspiriert haben. Viele neue Unternehmen erstellen umfangreiche Datenplattformen, die auf Hadoop ausgeführt werden, jedoch eine Vielzahl von Analysefunktionen und eine einfachere Systemintegration bieten. Es scheint, dass Unternehmen eine Menge Ressourcen in die Behebung von Datenproblemen investiert haben, und der finanzielle Erfolg von Datenunternehmen ist ein Beweis dafür. Im Jahr 2010 erzielten Datenfirmen Einzelhandelsumsätze in Höhe von schätzungsweise 3, 2 Milliarden US-Dollar. Viele Experten haben geschätzt, dass diese Zahl allein bis zum Jahr 2015 auf satte 17 Milliarden US-Dollar anwachsen wird. Dies ist eine Tatsache, die bei einigen der größten Technologieunternehmen nicht verloren gegangen ist. Sowohl IBM als auch Oracle haben in den letzten Monaten Milliarden ausgegeben, um Datenunternehmen zu erwerben. Viele andere Unternehmen werden in den kommenden Jahren ähnliche Schritte unternehmen, da sie weiterhin um einen wettbewerbsfähigen Marktanteil kämpfen.

Die Big Data-Grenze

Die Menge der gesammelten Daten wächst exponentiell weiter, was einige beunruhigt und andere aufgeregt hat. Der Vorteil ist, dass der Mensch weiterhin produktiver und anpassungsfähiger wird, wenn wir durch die Analyse von Daten neue Dinge über unsere Welt lernen. Der Nachteil ist, dass es so viele Daten gibt, dass viele befürchten, dass wir nicht in der Lage sind, alles richtig zu speichern, geschweige denn es richtig zu verwalten, damit es von allen verwendet werden kann, die es benötigen.

Fortschritte bei Big Data können jedoch beispiellose Möglichkeiten für die Lösung dringender Datenprobleme bieten. Experten haben beispielsweise vorgeschlagen, dass Big Data allein bei einer ordnungsgemäßen Implementierung mit Schwerpunkt auf Effizienz und Qualität eine jährliche Einsparung von rund 300 Milliarden US-Dollar bei den Gesundheitsausgaben bewirken könnte. Einzelhändler könnten ihre operativen Margen verbessern, der öffentliche Sektor könnte bessere Dienstleistungen erbringen und große Unternehmen würden Milliarden einsparen. Es scheint also, dass die Lösung unserer Datenprobleme nicht nur in den Sitzungssälen des Unternehmens, sondern überall gebraucht wird. Was gute Dinge über die Zukunft von Big Data aussagt - und vielleicht auch unsere.