Q:
Welche Umstände führten zum Aufstieg des Big-Data-Ökosystems?
EIN:Es gibt viele Faktoren, die zur Entstehung des heutigen Big-Data-Ökosystems beigetragen haben, aber es herrscht allgemeiner Konsens darüber, dass Big-Data aufgrund einer Reihe von Hardware- und Software-Entwürfen zustande gekommen ist, bei denen Big-Data einfach existierte.
| Webinar: Big Iron, Meet Big Data: Freigabe von Mainframe-Daten mit Hadoop & Spark Hier registrieren |
Eine herkömmliche Definition von Big Data lautet wie folgt: Datensätze, die so groß und komplex sind, dass sie sich einer einfachen iterativen oder manuellen Verwaltung entziehen. Große Datenmengen werden häufig als Datenmengen identifiziert, die nicht in ein einfaches Datenbanknetz passen, da ihre Analyse zu viel Arbeit auf den Servern erfordert, die die Daten verarbeiten.
Vor diesem Hintergrund ist ein wesentlicher Teil der Entstehung von Big Data die Idee, die wir als Mooresches Gesetz kennen, oder die Verdoppelung der Transistoren auf einer Schaltung alle zwei Jahre, wodurch immer kleinere Hardware- und Datenspeichergeräte (sowie leistungsstärkere Mikroprozessoren) entstehen. . In Verbindung mit dem Moore-Gesetz und wahrscheinlich aufgrund dessen stieg die Rechenleistung von zugänglichen Softwaresystemen immer weiter an, bis sogar PCs viel größere Datenmengen verarbeiten konnten und Geschäfts- und Avantgarde-Systeme damit begannen, Datenmengen zu verarbeiten noch vor einigen Jahren unvorstellbar. Personal-Systeme wurden von Kilobyte auf Megabyte und dann auf Gigabyte umgestellt, und zwar in einem Prozess, der für die Verbraucher transparent ist. Avantgarde-Systeme wandelten sich von Gigabyte zu Terabyte und Petabyte und zu Größenordnungen wie Zetabyte, auf eine Weise, die für den Durchschnittsbürger viel weniger transparent war.
Ein weiterer Fortschritt für Big Data waren Änderungen in der Art und Weise, wie Handler Datensätze verarbeiteten. Statt einer linearen Verarbeitung durch ein herkömmliches relationales Datenbankdesign verwendeten die Handler Tools wie Apache Hadoop und verwandte Hardwareverwaltungskomponenten, um Engpässe in Datenprozessen zu beseitigen.
Das Ergebnis ist die Big-Data-Welt, in der wir leben, in der riesige Datenmengen in Rechenzentren gespeichert und verwaltet werden und auf die eine Vielzahl von Technologien für eine Vielzahl von Anwendungen immer häufiger zugreifen. Vom Handel zur Ökologie, von der öffentlichen Planung zur Medizin - Big Data wird immer zugänglicher. Unterdessen erweitern Regierungsbehörden und andere größere Organisationen immer noch die Grenzen der Größe von Big Data und implementieren noch fortschrittlichere Lösungen.
