Von Techopedia Staff, 24. Februar 2016
Imbiss: Gastgeberin Rebecca Jozwiak diskutiert mit führenden Branchenexperten über Streaming-Analysen.
Du bist derzeit nicht angemeldet. Bitte melde dich an oder registriere dich, um das Video zu sehen.
Rebecca Jozwiak: Sehr geehrte Damen und Herren, hallo und herzlich willkommen bei Hot Technologies 2016! Der heutige Titel lautet „Den Firehose nutzen: Geschäftswert aus Streaming Analytics ziehen“. Das ist Rebecca Jozwiak. Ich bin der zweite Kommandant des Webcast-Hosts, wenn unser lieber Eric Kavanagh nicht hier sein kann. Es ist also schön, so viele von Ihnen heute da draußen zu sehen.
Diese Episode unterscheidet sich ein wenig von unseren anderen. Wir haben darüber gesprochen, was heiß ist und natürlich ist dieses Jahr heiß. Die letzten Jahre waren heiß. Es kommen immer neue Sachen raus. Heute geht es um Streaming Analytics. Streaming Analytics ist an sich neu. Natürlich sind Streaming-, Center- und RFID-Daten nicht unbedingt neu. Im Kontext von Datenarchitekturen konzentrieren wir uns jedoch seit Jahrzehnten auf ruhende Daten. Datenbanken, Dateisysteme, Datenrepositorys - alles zumeist für die Stapelverarbeitung. Aber jetzt, da Datenströme, Datenemotionen oder so etwas wie lebende Datenströme einen Mehrwert schaffen, benötigen sie wirklich eine Stream-basierte Architektur, nicht die Architekturen für ruhende Daten, an die wir uns gewöhnt haben und die es können müssen Schnelle Einnahme, Echtzeit- oder Fast-Echtzeit-Verarbeitung. Es muss nicht nur das Internet der Dinge, sondern auch das Internet von Allem bedienen können.
Im Idealfall wäre es natürlich schön, wenn die beiden Architekturen sozusagen mit einer Hand die andere waschen und nebeneinander leben würden. Während die Tage alten Daten, Wochen alten Daten und Jahre alten Daten natürlich immer noch Wert haben, sind es die Live-Daten, die heutzutage die Live-Intelligenz antreiben, und deshalb sind Streaming-Analysen so wichtig geworden.
Ich spreche heute mehr darüber. Wir haben unseren Datenwissenschaftler Dez Blanchfield, der aus Australien anruft. Für ihn ist es jetzt früh am Morgen. Wir haben unseren Chefanalysten, Dr. Robin Bloor. Zu uns gesellt sich Anand Venugopal, Produktleiter für StreamAnalytix bei Impetus Technologies. Sie konzentrieren sich wirklich auf den Aspekt der Streaming-Analyse in diesem Bereich.
Damit gehe ich voran und gebe es an Dez weiter.
Dez Blanchfield: Danke. Ich muss hier die Kontrolle über den Bildschirm übernehmen und nach vorne springen.
Rebecca Jozwiak: Los geht's.
Dez Blanchfield: Lassen Sie mich das Kernthema behandeln, während wir die Folien nach oben schnappen .
Ich werde es ziemlich hoch halten und ich werde es auf ungefähr 10 Minuten halten. Das ist ein sehr großes Thema. Ich nahm an einer Veranstaltung teil, bei der wir uns zwei bis drei Tage lang mit den Details der Stream-Verarbeitung und den aktuellen Frameworks befassten, die wir entwickeln, und was das Ausführen von Analysen in diesen hochvolumigen Streams bedeuten sollte.
Wir werden nur klären, was wir unter Streaming-Analyse verstehen, und dann untersuchen, ob der Unternehmenswert abgeleitet werden kann, denn genau das ist es, wonach Unternehmen suchen. Sie möchten, dass die Leute ihnen sehr schnell und prägnant erklären, wo kann ich Wert ableiten, indem ich irgendeine Form von Analyse auf unsere Stream-Daten anwende?
Was ist Streaming Analytics?
Mithilfe von Streaming-Analysen können Unternehmen Werte aus Daten mit hohem Datenvolumen und hoher Geschwindigkeit extrahieren, die sie in verschiedenen bewegten Formen über das Unternehmen erhalten haben. Der wesentliche Unterschied besteht darin, dass wir seit der Erfindung des Mainframes eine lange Geschichte in der Entwicklung von Analysen, Objektiven und Ansichten von Daten haben, die wir seit Jahrzehnten in Ruhe verarbeiten. Der massive Paradigmenwechsel, den wir in den letzten drei bis fünf Jahren bei der sogenannten "Web-Skala" erlebt haben, besteht darin, die Datenströme, die in Echtzeit oder nahezu in Echtzeit auf uns zukommen, nicht nur zu verarbeiten und nach Ereigniskorrelation zu suchen Das Ereignis löst aus, führt jedoch eine sehr detaillierte Analyse dieser Datenströme durch. Es ist eine bedeutende Veränderung zu dem, was wir bisher gemacht haben, nämlich entweder Daten zu sammeln, sie in eine Art Repository zu verschieben, traditionell große Datenbanken, große Big-Data-Frameworks wie die Hadoop-Plattform, und auf diese Weise eine Stapelverarbeitung durchzuführen und Daten abzurufen eine Art Einsicht.
Wir sind sehr gut darin, das sehr schnell zu erledigen und viel Eisen im Zeug zu versuchen, aber wir erfassen immer noch wirklich Daten, speichern sie und sehen sie dann an und erhalten eine Art von Einsichten oder Analysen darüber. Die Umstellung auf die Durchführung dieser Analysen während des Datenstreamings war ein sehr neues und aufregendes Wachstumsfeld für die Art der Dinge, die im Zusammenhang mit Big Data geschehen. Es ist ein völlig anderer Ansatz erforderlich, um nur Analysen zu erfassen, zu speichern, zu verarbeiten und durchzuführen.
Einer der Hauptgründe für die Verlagerung und Fokussierung auf die Durchführung von Analysen im Datenstrom ist, dass Sie einen erheblichen geschäftlichen Nutzen daraus ziehen können, diese Erkenntnisse schneller und einfacher zu erhalten, wenn die Daten zu Ihnen gelangen, während die Informationen dem Unternehmen zur Verfügung gestellt werden. Die Idee der Tagesendverarbeitung ist in bestimmten Branchen nicht mehr relevant. Wir möchten in der Lage sein, die Analysen im laufenden Betrieb durchzuführen. Am Ende des Tages wissen wir bereits, was passiert ist, anstatt das Ende des Tages zu erreichen und einen 24-Stunden-Batch-Job zu erledigen und diese Erkenntnisse zu erhalten.
Bei der Streaming-Analyse geht es darum, genau auf diesen Stream zuzugreifen, während es sich bei Datenströmen in der Regel um mehrere Streams mit sehr hohen Datenmengen handelt, die sehr schnell auf uns zukommen und Einblicke oder Analysen zu diesen Streams erhalten, wenn sie zu uns kommen zu ermöglichen, dass das in Ruhe kommt und Analytik auf ihnen durchführt.
Wie bereits erwähnt, haben wir jahrzehntelang so genannte Batch-Analysen durchgeführt. Ich habe hier ein wirklich cooles Bild gemacht. Dies ist ein Bild eines Gentlemans, der vor einem verspotteten Computer steht, der vor einem Leben von der RAND Corporation erstellt wurde, und so sahen sie einen Computer in einem Haus aus. Interessant ist, dass sie schon damals das Konzept all dieser kleinen Zifferblätter hatten und diese Zifferblätter Informationen darstellten, die aus dem Haus kamen und in Echtzeit verarbeitet wurden und Ihnen sagten, was los war. Ein einfaches Beispiel ist ein Satz von Luftdruck und Lufttemperatur, mit dem wir sehen können, wo wir in Echtzeit sehen, was passiert. Aber ich stelle mir vor, dass die RAND Corporation bereits vor langer Zeit über die Verarbeitung und Analyse von Daten nachgedacht hat, die im Stream-Format vorliegen. Ich bin mir nicht ganz sicher, warum sie ein Lenkrad am Computer anbringen, aber das ist ziemlich cool.
Seit der Erfindung des Druckers hatten wir die Möglichkeit, Daten zu erfassen und Stapelanalysen durchzuführen. Wie ich mit der großen Veränderung bereits sagte und wir gesehen haben, dass es sich bei den bekannten Web-Scale-Playern um Haushaltsmarken wie Twitter, Facebook und LinkedIn handelt, um das interaktive Verhalten, das wir mit diesen sozialen Akteuren haben Plattformen erfordern nicht nur das Erfassen, Speichern und anschließende Verarbeiten im Batch-Modus, sondern das Erfassen und Ausführen von Analysen im Handumdrehen aus den durchlaufenden Datenströmen. Wenn ich etwas twittere, müssen sie nicht nur etwas erfassen und speichern und später tun, sondern auch in der Lage sein, es sofort wieder in meinen Stream zu stellen und es mit anderen Leuten zu teilen, die mir folgen. Das ist ein Stapelverarbeitungsmodell.
Warum sollten wir diesen Weg gehen? Warum sollten Unternehmen Zeit, Mühe und Geld investieren, um auch nur die Herausforderung in Betracht zu ziehen, sich auf dem Weg der Stream-Analyse zu bemühen? Unternehmen haben diesen massiven Wunsch, in den Branchen, in denen sie tätig sind, einen Leistungsgewinn gegenüber ihren Wettbewerbern zu erzielen. Dieser Leistungsgewinn kann durch einfache Stream-Analysen schnell implementiert werden und beginnt mit der einfachen Verfolgung von Echtzeitdaten, die wir bereits haben vertraut mit. Ich habe dort einen kleinen Screenshot von Google Analytics. Dies ist wahrscheinlich das erste Mal, dass wir wirklich praktische Analysen für Endverbraucher erhalten haben. Als die Leute Ihre Website besuchten und Sie diese Trefferzahlen mit einem winzigen Stück JavaScript am unteren Rand Ihrer Webseite in HTML in Ihre Website eingebettet bekamen, wurden diese kleinen Codes in Echtzeit an Google zurückgesendet und waren es auch Durchführen von Analysen für die Datenströme, die von jeder Seite Ihrer Website, jedem Objekt Ihrer Website in Echtzeit eingehen, und Senden dieser Daten an Sie auf dieser wirklich niedlichen kleinen Webseite in einem Dashboard aus Echtzeitgrafiken, niedlichen kleinen Histogrammen und Liniendiagramm mit X Personen, die Ihre Seite in der Vergangenheit besucht haben, aber wie viele sind es derzeit?
Wie Sie auf diesem Screenshot sehen können, steht dort gerade 25. Zum Zeitpunkt des Screenshots waren 25 Personen auf dieser Seite. Dies ist die erste echte Chance, die wir für ein Consumer-Grade-Analysetool ergriffen haben. Ich denke, viele Leute haben es wirklich verstanden. Sie verstanden nur die Macht zu wissen, was los war und wie sie darauf reagieren können. Wenn wir an die Größenordnung der Avionik denken, die Flugzeuge, die herumfliegen, dann gibt es allein in den USA 18.700 Inlandsflüge pro Tag. Ich habe vor einiger Zeit - vor ungefähr sechs oder sieben Jahren - in einer Zeitung gelesen, dass die Datenmenge, die von diesen Flugzeugen erzeugt wurde, im alten technischen Modell ungefähr 200 bis 300 Megabyte betrug. In heutigen Flugzeugkonstruktionen produzieren diese Flugzeuge etwa 500 Gigabyte Daten oder etwa ein halbes Terabyte Daten pro Flug.
Wenn Sie ganz schnell rechnen, werden allein im US-Luftraum alle 24 Stunden 18.700 Inlandsflüge durchgeführt. Wenn alle modernen Flugzeuge etwa ein halbes Terabyte produzieren, kommen 43 bis 44 Petabyte an Daten durch und Es passiert, während die Flugzeuge in der Luft sind. Es passiert, wenn sie landen und Daten ausgeben. Dann gehen sie in den Laden und lassen sich von den Ingenieurteams einen vollständigen Datenauszug geben, um zu sehen, was in den Lagern, Rädern und im Inneren der Motoren passiert. Einige dieser Daten müssen in Echtzeit verarbeitet werden, damit sie entscheiden können, ob es ein echtes Problem gibt, während das Flugzeug in der Luft oder am Boden war. Dies ist im Batch-Modus einfach nicht möglich. In anderen Branchen, die wir in den Bereichen Finanzen, Gesundheitswesen, Fertigung und Ingenieurwesen kennen, wird auch untersucht, wie sie mit diesen neuen Erkenntnissen einen Einblick in die Vorgänge in Echtzeit erhalten können und nicht nur in den Datenbanken von a Begriff.
Es gibt auch das Konzept des Umgangs mit Daten als etwas, das ich als verderbliches Gut oder als verderbliches Gut bezeichne - dass viele Daten mit der Zeit an Wert verlieren. Dies ist bei Mobilitäts-Apps und Social-Media-Tools immer häufiger der Fall, da das, was die Leute sagen und was sich jetzt abzeichnet, das ist, worauf Sie reagieren möchten. Wenn Sie an andere Bereiche unseres Lebens denken, in denen Logistik und Transport von Lebensmitteln im Vordergrund stehen, verstehen wir den Begriff der verderblichen Ware in diesem Sinne. Denken Sie jedoch an die Daten, die in Ihrem Unternehmen gespeichert sind, und an den Wert, den sie haben. Wenn jemand gerade mit Ihnen Geschäfte macht und Sie in Echtzeit mit ihnen interagieren können, möchten Sie nicht eine Stunde warten, damit die Daten erfasst und in einem System wie Hadoop abgelegt werden können, und dann diese Taste drücken Sie werden es momentan nicht können und Sie möchten es sofort auf Wunsch des Kunden tun können. Es gibt einen Begriff, der in letzter Zeit sehr oft auftaucht und in dem die Leute über diesen Echtzeit-Datenstrom sprechen, der Ihnen eine Personalisierung ermöglichen kann, und über die Personalisierung des Systems, das Sie für Ihre individuelle Erfahrung verwenden. Wenn Sie also beispielsweise auf ein Tool wie die Google-Suche klicken und dieselbe Abfrage ausführen, erhalten wir ausnahmslos nicht genau dieselben Daten. Wir bekommen im Wesentlichen das, was ich als Promi-Erfahrung bezeichne. Ich werde einmalig behandelt. Ich erhalte anhand der Profile und Daten, die sie über mich gesammelt haben, eine persönliche Version der Ereignisse in diesen Systemen, und ich konnte Analysen in Echtzeit im Stream durchführen.
Diese Vorstellung, dass Daten eine verderbliche Ware sind, ist vorerst real und der Wert von Daten, der mit der Zeit abnimmt, ist etwas, mit dem wir uns heute befassen müssen. Es ist nichts von gestern. Ich liebe dieses Bild eines Bären, der einen Lachs greift, der aus dem Fluss springt, weil er wirklich genau das malt, was ich als Streaming Analytics sehe. Es ist dieser gewaltige Datenfluss, der auf uns zukommt, eine Feuerhose, wenn Sie so wollen, und der Bär sitzt in der Mitte des Baches. Es wird Echtzeitanalysen durchführen, um festzustellen, was um es herum passiert, sodass es seine Fähigkeit, den Fisch in der Luft zu fangen, tatsächlich verbessern kann. Es ist nicht so, als würde man einfach in den Strom eintauchen und sich einen schnappen. Dieses Ding springt in die Luft und es muss zur richtigen Zeit am richtigen Ort sein, um diesen Fisch zu fangen. Ansonsten bekommt er kein Frühstück oder Mittagessen.
Eine Organisation möchte dasselbe mit ihren Daten tun. Sie wollen Wert aus den jetzt in Bewegung befindlichen riesigen Datenmengen ziehen. Sie möchten Analysen für diese Daten und Hochgeschwindigkeitsdaten durchführen, damit nicht nur die Datenmenge bei uns ankommt, sondern auch die Geschwindigkeit, mit der sie daraus resultiert. In Bezug auf die Sicherheit sind es beispielsweise alle Ihre Router, Switches, Server, Firewalls und alle Ereignisse, die von diesen und Zehntausenden, wenn nicht Hunderttausenden von Geräten ausgehen, in einigen Fällen handelt es sich um verderbliche Daten. Wenn wir im Internet der Dinge und im industriellen Internet darüber nachdenken, sprechen wir letztendlich von Millionen, wenn nicht sogar Milliarden von Sensoren, und da die Daten für die Durchführung von Analysen verwendet werden, versuchen wir jetzt, komplexe Ereignisse zu verarbeiten in Größenordnungen und Geschwindigkeiten, die wir noch nie zuvor gesehen haben und mit denen wir uns heute befassen müssen. Darauf müssen wir Werkzeuge und Systeme aufbauen. Dies ist eine echte Herausforderung für Unternehmen, denn einerseits haben wir die sehr großen Marken, die Heimwerkerarbeiten durchführen, und andererseits können sie es selbst backen, wenn sie über die entsprechenden Fähigkeiten und Fähigkeiten und das Engineering verfügen. Aber für die durchschnittliche Organisation ist das nicht der Fall. Sie haben nicht die Fähigkeiten. Sie haben nicht die Kapazität, die Zeit oder das Geld, um es herauszufinden. Sie alle zielen auf dieses Konzept der zeitnahen Entscheidungsfindung ab.
Anwendungsfälle, auf die ich gestoßen bin, und die sich auf jedes erdenkliche breite Spektrum in jedem Sektor beziehen. Die Leute sitzen auf und achten und sagen: Wie wenden wir einige Analysen auf unsere Stream-Daten an? Wir sprechen über Web-Scale-Online-Dienste. Es gibt die traditionellen Social-Media-Plattformen sowie Online-E-Tailing und -Einzelhandel - beispielsweise Apps. Sie alle versuchen, uns dieses Promi-Erlebnis in Echtzeit zu bieten. Aber wenn wir uns mehr mit Technologie-Stack-Diensten, Telefondiensten, Sprach- und Videodiensten befassen, sehe ich Leute, die auf Telefonen mit FaceTime herumlaufen. Es explodiert einfach. Es verwirrt mich, dass die Leute das Telefon vor sich halten und mit einem Videostream eines Freundes sprechen, anstatt es nicht mehr ans Ohr zu halten. Aber sie wissen, dass sie es können und sie haben sich angepasst und sie mochten diese Erfahrung. Bei der Entwicklung dieser Anwendungen und der Plattformen, die diese bereitstellen, müssen Echtzeitanalysen für diesen Verkehr und die Profile des Verkehrs durchgeführt werden, damit sie einfache Dinge wie das perfekte Weiterleiten des Videos durchführen können, um die Sprachqualität zu verbessern Ein Video, das Sie erhalten, ist ausreichend, um eine gute Erfahrung zu machen. Sie können diese Art von Daten nicht stapelweise verarbeiten. Es würde den Echtzeit-Videostream nicht zu einem funktionalen Dienst machen.
Bei Finanztransaktionen gibt es eine Governance-Herausforderung. Es ist nicht in Ordnung, bis ans Ende des Tages zu kommen und herauszufinden, dass Sie gegen das Gesetz verstoßen haben, indem Sie private Daten über den Ort bewegen. In Australien haben wir eine sehr interessante Herausforderung, bei der das Verschieben datenschutzrelevanter Daten auf See ein No-No ist. Sie können meine PID, meine persönlichen Identifikationsdaten, nicht an Land nehmen. Es gibt Gesetze in Australien, die das verhindern. Insbesondere Finanzdienstleister, Behörden und Behörden, müssen mit mir Echtzeitanalysen ihrer Daten- und Anweisungsströme durchführen, um sicherzustellen, dass das, was sie mir bereitstellen, nicht die Küste verlässt. Das ganze Zeug muss vor Ort bleiben. Sie müssen es in Echtzeit tun. Sie können das Gesetz nicht brechen und später um Vergebung bitten. Betrugserkennung - es ist ziemlich offensichtlich, dass wir bei Kreditkartentransaktionen davon hören. Da sich die Arten von Transaktionen im Bereich Finanzdienstleistungen jedoch sehr, sehr schnell ändern, gibt es eine Reihe von Maßnahmen, mit denen PayPal jetzt als erstes Betrugsfälle in Echtzeit aufdeckt, bei denen das Geld nicht von einer Sache zur anderen wechselt, sondern es ist eine finanzielle Transaktion zwischen Systemen. Auf Ebay-Gebotsplattformen muss die Betrugserkennung in einem Streaming-Büro in Echtzeit erfolgen.
Es gibt einen Trend, der jetzt dahingehend geht, Extraktion und Transformation der Ladeaktivität in den Streams durchzuführen, sodass wir nichts erfassen möchten, was in den Stream fließt. Das können wir nicht wirklich machen. Die Leute haben gelernt, dass Daten sehr schnell kaputt gehen, wenn wir alles erfassen. Der Trick besteht nun darin, Analysen für diese Streams durchzuführen und ETL darauf durchzuführen und nur das zu erfassen, was Sie benötigen, möglicherweise Metadaten, und dann Vorhersageanalysen durchzuführen, bei denen wir tatsächlich sagen können, was ein wenig später auf unseren Wegen passieren wird Habe gerade im Stream gesehen, basierend auf den Analysen, die wir dazu durchgeführt haben.
Energie- und Versorgungsanbieter verspüren diesen massiven Wunsch der Verbraucher nach Nachfragesätzen. Vielleicht entscheide ich mich, zu einer bestimmten Tageszeit Ökostrom zu kaufen, weil ich nur allein zu Hause bin und nicht viele Geräte verwende. Aber wenn ich eine Dinnerparty habe, möchte ich vielleicht alle meine Geräte anhaben und möchte nicht billigen Strom kaufen und darauf warten, dass er geliefert wird, sondern bereit sein, mehr Kosten zu bezahlen, um diesen Strom zu erhalten. Diese Nachfragepreisgestaltung insbesondere bei Versorgungsunternehmen und im Energiebereich ist bereits eingetreten. Uber zum Beispiel ist ein klassisches Beispiel für Dinge, die Sie jeden Tag tun können. Es gibt einige klassische Beispiele für Menschen in Australien, die aufgrund der massiven Nachfrage an Silvester Preise von 10.000 US-Dollar erhalten. Ich bin mir sicher, dass sie sich mit diesem Problem befasst haben, aber Stream-Analysen werden in Echtzeit durchgeführt, während Sie im Auto sitzen und Ihnen sagen, wie viel ich bezahlen soll.
Internet der Dinge und Sensorströme - wir haben gerade erst die Oberfläche darauf gekratzt, und wir haben gerade erst das grundlegende Gespräch darüber geführt, aber wir werden eine interessante Veränderung in der Art und Weise sehen, wie die Technologie damit umgeht, denn wenn Sie nicht sprechen Etwa Tausende oder Zehntausende, aber Hunderttausende und möglicherweise Milliarden von Geräten, die zu Ihnen streamen. Fast keiner der Technologiestacks, die wir jetzt haben, ist darauf ausgelegt, dies zu bewältigen.
Es gibt einige wirklich heiße Themen rund um den Ort wie Sicherheit und Cyber-Risiko. Das sind sehr reale Herausforderungen für uns. Es gibt ein wirklich nettes Tool namens North im Internet, mit dem Sie auf einer Webseite verschiedene Cyberangriffe in Echtzeit verfolgen können. Wenn Sie es sich ansehen, denken Sie, "oh, es ist eine nette, süße kleine Webseite", aber nach ungefähr fünf Minuten stellen Sie fest, wie viele Daten das System auf allen verschiedenen Streams der verschiedenen Geräte auf der ganzen Welt analysiert das werden in sie eingezogen. Es fängt an, den Verstand zu verwirren, wie sie das im Wesentlichen am Rand der Aufzeichnung ausführen, und bietet Ihnen diesen einfachen kleinen Bildschirm, der Ihnen in Echtzeit sagt, was oder etwas anderes, das es angreift, und welche Arten von Angriffen. Aber es ist eine wirklich nette kleine Möglichkeit, einen guten Eindruck davon zu bekommen, was Stream-Analytics in Echtzeit für Sie bedeuten kann, wenn Sie sich diese Seite nur ansehen und ein Gefühl dafür bekommen, wie umfangreich und herausfordernd es ist, die Streams zu nutzen und Analytics-Abfragen zu verarbeiten sie und das in Echtzeit darstellen.
Ich denke, das Gespräch, das ich für den Rest der Sitzung habe, wird sich aus meiner Sicht mit all diesen Dingen aus einer interessanten Perspektive befassen, und das ist die Herausforderung des Heimwerkerhandwerks klassische Einhörner, die es sich leisten können, solche Dinge zu bauen. Sie haben die Milliarden von Dollar, um diese Ingenieurteams und ihre Rechenzentren aufzubauen. Für 99, 9% der Unternehmen, die Wert in ihrem Geschäft mit Stream-Analysen steigern möchten, ist jedoch ein Standardservice erforderlich. Sie müssen ein Produkt sofort kaufen und benötigen in der Regel einen Beratungsservice und professionellen Service, um es umzusetzen, und sie gewinnen diesen Wert im Unternehmen zurück und verkaufen es als funktionierende Lösung an das Unternehmen zurück.
Damit gebe ich Ihnen zurück, Rebecca, denn ich glaube, das werden wir jetzt im Detail behandeln.
Rebecca Jozwiak: Ausgezeichnet. Vielen Dank, Dez. Das ist eine großartige Präsentation.
Jetzt werde ich den Ball an Robin weitergeben. Nimm es weg.
Robin Bloor: Okay. Da Dez sich mit der Verarbeitung von Streams beschäftigt hat, erschien es mir nicht sinnvoll, sie noch einmal zu behandeln. Ich werde also nur eine völlig strategische Sichtweise vertreten. Ich schaue fast von einer sehr hohen Ebene aus auf das, was zum Teufel los ist, und positioniere es, weil ich denke, es könnte Menschen helfen, insbesondere uns Menschen, die sich vorher nicht in der Verarbeitung von Streams in großer Tiefe befunden haben.
Die Stream-Verarbeitung gibt es schon lange. Wir haben es CEP genannt. Davor gab es Echtzeitsysteme. Die ursprünglichen Prozessleitsysteme verarbeiteten tatsächlich Informationsströme - natürlich ging nichts mehr so, wie es heute ist. Diese Grafik, die Sie hier auf der Folie sehen; Eigentlich weist es auf eine Menge Dinge hin, aber es weist über alles hinaus auf die Tatsache hin, dass es ein Spektrum von Latenzen gibt, die hier unten in verschiedenen Farben erscheinen. Was seit der Erfindung des Computing oder des kommerziellen Computing um 1960 tatsächlich passiert ist, ist, dass alles immer schneller geworden ist. Früher konnten wir uns auf die Art und Weise verlassen, wie dies tatsächlich herauskam, wenn Sie es in Wellen mögen, denn so sieht es aus. Das hängt tatsächlich davon ab. Weil es alles von Moores Gesetz getrieben wurde und Moores Gesetz uns über einen Zeitraum von ungefähr sechs Jahren einen Faktor von ungefähr zehnfacher Geschwindigkeit geben würde. Als wir dann ungefähr 2013 erreichten, brach alles zusammen und wir begannen plötzlich, mit einer Geschwindigkeit zu beschleunigen, die wir nie hatten, was seltsamerweise beispiellos ist. Etwa alle sechs Jahre verzehnfachten sich die Geschwindigkeit und damit die Latenz. In den sechs Jahren seit ungefähr 2010 haben wir ein Vielfaches von mindestens tausend. Drei Größenordnungen statt einer.
Das ist, was passiert ist und deshalb scheint sich die Branche auf die eine oder andere Weise mit fantastischen Geschwindigkeiten zu bewegen - weil es so ist. Betrachtet man nur die Bedeutung dieser bestimmten Grafik, so sind die Antwortzeiten übrigens algorithmisch entlang der vertikalen Achse skaliert. Echtzeit ist Computergeschwindigkeit, schneller als Menschen. Interaktive Zeiten sind orange. Wenn Sie mit dem Computer interagieren, möchten Sie wirklich eine Latenz von einem Zehntel bis zu einer Sekunde. Oben finden Sie Transaktionen, bei denen wir tatsächlich darüber nachdenken, was Sie im Computer tun. Wenn dies jedoch in etwa fünfzehn Sekunden geschieht, wird dies unerträglich. Die Leute würden einfach nicht auf den Computer warten. Alles wurde im Batch gemacht. Viele Dinge, die im Batch erledigt wurden, kommen jetzt direkt in den Transaktionsraum, direkt in den interaktiven Raum oder sogar in den Echtzeitraum. Während früher eine Welle mit sehr kleinen Datenmengen dies tun konnte, können wir jetzt mit sehr großen Datenmengen in einer enorm skalierten Umgebung arbeiten.
Im Grunde genommen ist das alles nur die Transaktion und die interaktiven menschlichen Reaktionszeiten. Im Moment wird sehr viel mit Streams gemacht, um die Menschen über Dinge zu informieren. Einiges davon geht schneller als das und es informiert Dinge gut, so dass es Echtzeit ist. Dann nehmen wir eine Lizenz, um einfach wie ein Stein fallen zu lassen, was eine sofortige Analyse möglich und im Übrigen ziemlich erschwinglich macht. Es ist nicht nur die Geschwindigkeit gesunken, sondern auch die Spitze ist zusammengebrochen. Bei all diesen Anwendungen ist dies wahrscheinlich die größte Auswirkung. Sie können all diese Vorhersageanalysen durchführen. Ich sage dir gleich warum.
Dies ist nur der Baumarkt. Du hast parallele Software. Wir sprechen von 2004. Scale-out-Architektur, Multicore-Chips, Speichererweiterung, konfigurierbare CPU. SSDs sind jetzt viel schneller als rotierende Festplatten. Sie können so ziemlich Welle Scheibe auf Wiedersehen. SSDs sind auch in mehreren Kernen vorhanden, also immer schneller. Bald erscheint der Memristor von HP. Wir haben den 3D XPoint von Intel und Micron. Das Versprechen von denen ist, dass es alles sowieso schneller und schneller machen wird. Wenn Sie tatsächlich an zwei neue Speichertechnologien denken, die beide das gesamte grundlegende kleine Stück, die einzelne Leiterplatte, beschleunigen, haben wir noch nicht einmal das Ende gesehen.
Streams-Technologie, die wirklich die nächste Botschaft ist, ist da, um zu bleiben. Es wird eine neue Architektur geben müssen. Ich meine, Dez hat dies in seinem Vortrag an mehreren Stellen erwähnt. Wir haben Architektur jahrzehntelang als eine Kombination von Datenheaps und Datenpipes gesehen. Wir neigten dazu, die Haufen zu verarbeiten und die Daten zwischen den Haufen zu leiten. Wir bewegen uns jetzt grundlegend in Richtung der sogenannten Lambda-Datenarchitektur, die die Verarbeitung von Datenflüssen mit Datenhaufen kombiniert. Wenn Sie tatsächlich einen Strom von Ereignissen verarbeiten, die als Datenfluss oder Datenhaufen gegen historische Daten eingehen, meine ich das mit Lambda-Architektur. Das steckt noch in den Kinderschuhen. Es ist nur ein Teil des Bildes. Wenn Sie etwas so Komplexes wie Internet of Everything betrachten, das Dez ebenfalls erwähnt hat, werden Sie feststellen, dass es alle möglichen Probleme mit der Datenposition gibt - Entscheidungen darüber, was Sie im Stream verarbeiten sollten.
Die Sache, die ich hier wirklich sage, ist, dass wir bei der Stapelverarbeitung tatsächlich Streams verarbeitet haben. Wir konnten es einfach nicht einzeln machen. Wir warten nur, bis es einen großen Haufen Zeug gibt, und dann verarbeiten wir alles auf einmal. Wir befinden uns in einer Situation, in der wir tatsächlich Daten im Stream verarbeiten können. Wenn wir Daten im Stream verarbeiten können, handelt es sich bei den gespeicherten Datenheaps um die statischen Daten, auf die wir verweisen müssen, um die Daten im Stream zu verarbeiten.
Dies bringt uns zu dieser speziellen Sache. Ich habe dies bereits in einer Präsentation mit der biologischen Analogie erwähnt. Ich möchte, dass Sie darüber nachdenken, dass wir im Moment Menschen sind. Wir verfügen über drei unterschiedliche Netzwerke für die prädiktive Echtzeitverarbeitung. Sie werden somatisch, autonom und enterisch genannt. Der Darm ist dein Magen. Das autonome Nervensystem kümmert sich um Kampf und Flucht. Es kümmert sich eigentlich um schnelle Reaktionen auf die Umwelt. Das Somatische, das sich um die Bewegung des Körpers kümmert. Das sind Echtzeitsysteme. Das Interessante daran - oder ich denke, es ist irgendwie interessant - ist, dass viele davon prädiktiver sind, als Sie sich jemals vorstellen würden. Es ist, als ob Sie tatsächlich auf einen Bildschirm blicken, der ungefähr 18 Zoll von Ihrem Gesicht entfernt ist. Alles, was Sie klar sehen können, alles, was Ihr Körper klar sehen kann, ist in Wirklichkeit ein 8 × 10 Rechteck. Alles außerhalb davon ist tatsächlich verschwommen, was Ihren Körper betrifft, aber Ihr Verstand füllt tatsächlich die Lücken und macht es nicht verschwommen. Sie sehen überhaupt keine Unschärfe. Sie sehen es deutlich. Ihr Verstand macht tatsächlich eine Vorhersagemethode des Datenstroms, damit Sie diese Klarheit sehen. Das ist etwas merkwürdig, aber Sie können sich tatsächlich ansehen, wie das Nervensystem funktioniert und wie wir uns bewegen und vernünftig verhalten - zumindest einige von uns - vernünftig vernünftig und nicht ständig gegen Dinge anstoßen.
Es wird alles von einer Reihe von neuronalen Analyseskalen im Inneren hier durchgeführt. Was passieren wird, ist, dass Organisationen die gleiche Art von Dingen haben und die gleiche Art von Dingen aufbauen werden, und es wird die Verarbeitung von Streams sein, einschließlich der internen Streams der Organisation - der Dinge, die in ihnen geschehen es, die Dinge, die außerhalb davon passieren, die unmittelbaren Reaktionen, die tatsächlich gemacht werden müssen, nähren natürlich den Menschen, um Entscheidungen zu treffen, um all diese zu verwirklichen. Soweit ich sehen kann, gehen wir dorthin.
Eine der Konsequenzen ist, dass die Streaming-Anwendung gut läuft. Es wird sehr viel mehr geben, als wir jetzt sehen. Im Moment pflücken wir die niedrig hängenden Früchte, wenn wir die Dinge tun, die offensichtlich sind.
Das ist also die Schlussfolgerung hier. Streaming Analytics ist einst eine Nische, wird aber zum Mainstream und bald allgemein angewendet.
Damit werde ich es an Rebecca zurückgeben.
Rebecca Jozwiak: Vielen Dank, Robin. Tolle Präsentation wie immer.
Anand, du bist der Nächste. Der Boden gehört dir.
Anand Venugopal: Fantastisch. Vielen Dank.
Mein Name ist Anand Venugopal und ich bin der Produktleiter von StreamAnalytix. Es ist ein Produkt von Impetus Technologies aus Los Gatos, Kalifornien.
Impetus hat eine lange Geschichte als Anbieter von Big-Data-Lösungen für große Unternehmen. Daher haben wir als Dienstleistungsunternehmen eine Reihe von Streaming-Analytics-Implementierungen durchgeführt und eine Menge Lektionen gelernt. In den letzten Jahren haben wir uns auch zu einem Produkt- und lösungsorientierten Unternehmen entwickelt. Stream Analytics ist federführend dabei, Impetus in ein weitgehend produktorientiertes Unternehmen umzuwandeln. Es gibt einige kritische, sehr, sehr wichtige Vermögenswerte, die Impetus dank unseres Engagements in Unternehmen beseitigt hat, und StreamAnalytix ist einer davon.
Wir sind seit 20 Jahren im Geschäft und es gibt eine großartige Mischung aus Produkten und Dienstleistungen, die uns zu einem großen Vorteil macht. Und StreamAnalytix ist aus all den Lehren entstanden, die wir aus unseren ersten fünf oder sechs Streaming-Implementierungen gezogen haben.
Ich werde ein paar Dinge ansprechen, aber die Analysten Dez und Robin haben großartige Arbeit geleistet, um den gesamten Bereich abzudecken, sodass ich eine Menge überlappender Inhalte überspringen werde. Ich werde wahrscheinlich schnell gehen. Wir sehen neben echten Streaming-Fällen die Verwendung einer Vielzahl von Batch-Beschleunigungen, bei denen es buchstäblich sehr, sehr wichtige Batch-Prozesse in Unternehmen gibt. Wie Sie sehen, kann dieser gesamte Zyklus des Erfassens und Analysierens und Reagierens eines Ereignisses in großen Unternehmen Wochen dauern, und alle versuchen, ihn auf Minuten und manchmal Sekunden und Millisekunden zu reduzieren. Alles, was schneller als alle diese Batch-Prozesse ist, ist ein Kandidat für die Akquisition von Unternehmen, und das ist sehr gut zu sagen, dass der Wert von Daten mit dem Alter dramatisch abnimmt. Je mehr Wert sich also in den Sekunden, in denen dies gerade geschah, im Anfangsabschnitt befindet. Wenn Sie vorhersagen können, was passieren wird, ist dies im Idealfall der höchste Wert. Dies hängt jedoch von der Genauigkeit ab. Der nächsthöhere Wert ist, wenn er genau dort ist, wo er auftritt. Sie können ihn analysieren und darauf reagieren. Natürlich verringert sich der Wert danach dramatisch, was die restriktive BI betrifft, in der wir uns befinden.
Es ist interessant. Vielleicht erwarten Sie eine dramatisch wissenschaftliche Antwort auf die Frage, warum Streaming-Analysen sinnvoll sind. In vielen Fällen sehen wir, dass dies jetzt möglich ist und dass jeder weiß, dass Batch alt ist, Batch langweilig ist und Batch nicht cool ist. Es gibt genug Ausbildung, die jeder jetzt auf der Tatsache gehabt hat, dass es möglich ist zu streamen und jeder hat jetzt Hadoop. Jetzt ist in Hadoop-Distributionen eine Streaming-Technologie eingebettet, egal ob Storm- oder Spark-Streaming und natürlich Nachrichtenwarteschlangen wie Kafka usw.
Unternehmen, die wir sehen, springen hinein und beginnen, mit diesen Fällen zu experimentieren, und wir sehen zwei große Kategorien. Das eine hat etwas mit Kundenanalysen und Kundenerfahrungen zu tun und das andere mit operativer Intelligenz. Ich werde später auf einige Details eingehen. Der gesamte Blickwinkel für Kundenservice und Kundenerfahrung und wir von Impetus StreamAnalytix haben dies auf viele verschiedene Arten umgesetzt. Es geht wirklich darum, das Mehrkanal-Engagement des Verbrauchers in Echtzeit festzuhalten und ihm sehr, sehr kontextsensitive Erfahrungen zu vermitteln die heute nicht üblich sind. Wenn Sie im Internet oder auf der Website der Bank of America surfen und einige Produkte recherchieren, rufen Sie einfach das Callcenter an. Würden sie sagen: „Hey Joe, ich weiß, dass Sie einige Bankprodukte recherchiert haben, möchten Sie, dass ich Sie ausfülle?“ Das erwarten Sie heute nicht, aber das ist die Art von Erfahrung, die mit Streaming Analytics wirklich möglich ist. In vielen Fällen ist dies ein großer Unterschied, insbesondere wenn der Kunde nach Wegen gesucht hat, wie er seinen Vertrag mit Ihnen kündigen kann, indem er auf Ihrer Website nach Klauseln für die vorzeitige Kündigung oder nach Bedingungen für die vorzeitige Kündigung gesucht und dann angerufen hat und dies nicht kann Konfrontieren Sie sie direkt damit, aber unterbreiten Sie ihnen nur indirekt ein Angebot für eine Erstpromotion, da das System weiß, dass diese Person eine vorzeitige Kündigung in Betracht zieht. Wenn Sie dieses Angebot zu diesem Zeitpunkt abgeben, können Sie den abwandernden Kunden sehr gut schützen und diesen Vermögenswert schützen .
Das wäre ein Beispiel, und viele Kundendienstleistungen sind allesamt sehr gute Beispiele. Die heutige Implementierung senkt die Kosten im Call Center und sorgt für ein beeindruckendes Kundenerlebnis. Dez hat großartige Arbeit geleistet, um einige der Anwendungsfälle zusammenzufassen. Sie können für ein paar Minuten auf diese Grafik starren. Ich habe es in vertikale, horizontale und kombinierte Bereiche, IoT, mobile App und Call Center eingeteilt. Sie sind alle vertikal und horizontal. Es hängt davon ab, wie Sie es sehen. Unter dem Strich sehen wir eine Menge horizontaler Verwendungen, die in allen Branchen ziemlich häufig sind, und es gibt vertikale spezifische Anwendungsfälle, einschließlich Finanzdienstleistungen, Gesundheitswesen, Telekommunikation, Fertigung usw. Wenn Sie sich wirklich die Frage stellen oder sich selbst sagen das, „oh, ich weiß nicht, welche Anwendungsfälle es gibt. Ich bin mir nicht sicher, ob Streaming Analytics für mein Unternehmen oder für unser Unternehmen wirklich einen geschäftlichen Nutzen hat. Sprechen Sie mit mehr Menschen, denn es gibt Anwendungsfälle, die in Ihrem Unternehmen heute relevant sind. Ich werde auf den Geschäftswert eingehen, wie genau der Geschäftswert abgeleitet wird.
Am unteren Ende der Pyramide befinden sich prognostizierte Wartungsarbeiten, Sicherheitsmaßnahmen, Abwanderungsschutz usw. Diese Arten von Anwendungsfällen stellen den Schutz von Einnahmen und Vermögenswerten dar. Wenn Target seine Sicherheitsverletzung, die sich über Stunden und Wochen hinzog, geschützt hätte, hätte der CIO seinen Job retten können. Es könnte Dutzende oder Hunderte von Millionen Dollar usw. einsparen. Echtzeit-Streaming-Analysen helfen wirklich dabei, diese Vermögenswerte und Verluste zu schützen. Das ist direkter geschäftlicher Mehrwert.
Die nächste Kategorie wird rentabler, senkt Ihre Kosten und erzielt mehr Einnahmen aus dem laufenden Betrieb. Das ist die Effizienz des aktuellen Unternehmens. Dies sind alles Anwendungsfälle, die wir als operative Echtzeit-Intelligenz bezeichnen, bei denen Sie tiefe Einblicke in das Verhalten des Netzwerks, das Verhalten Ihrer Kundenvorgänge, das Verhalten Ihrer Geschäftsprozesse und die Optimierungsmöglichkeiten erhalten Dies alles in Echtzeit, da Sie Feedback erhalten und Benachrichtigungen erhalten. Sie erhalten Abweichungen, Abweichungen in Echtzeit, und Sie können schnell handeln und den Prozess trennen, der über die Grenzen hinausgeht.
Möglicherweise sparen Sie auch eine Menge Geld bei teuren Kapitalaufrüstungen und Dingen, die Sie für notwendig halten und die möglicherweise nicht erforderlich sind, wenn Sie den Netzwerkdienst optimiert haben. Wir haben von einem Fall gehört, in dem ein großer Telekommunikationskonzern ein Upgrade seiner Netzwerkinfrastruktur um 40 Millionen US-Dollar aufgeschoben hat, weil er festgestellt hat, dass er über genügend Kapazität verfügt, um seinen aktuellen Datenverkehr zu verwalten, indem er die intelligente Weiterleitung seines Datenverkehrs und ähnlicher Dinge optimiert und verbessert. All dies ist nur mit einigen Echtzeit-Analysen und -Aktionsmechanismen möglich, die diese Erkenntnisse in Echtzeit verarbeiten.
Die nächste Stufe der Wertschöpfung ist das Up-Selling und das Cross-Selling, bei denen die Möglichkeiten bestehen, mit den aktuellen Angeboten mehr Umsatz und Gewinn zu erzielen. Dies ist ein klassisches Beispiel, von dem viele von uns wissen, dass sie erlebt haben, wo Sie in Ihrem Leben darüber nachdenken, wo Sie bereit sind, ein Produkt zu kaufen, das Ihnen heute nicht angeboten wird. In vielen, vielen Fällen passiert das tatsächlich. Sie haben Dinge im Kopf, die Sie gerne kaufen, von denen Sie wissen, dass Sie sie kaufen möchten, dass Sie eine Aufgabenliste haben oder etwas, das Ihnen Ihre Frau gesagt hat, oder wenn Sie keine Frau haben, aber wirklich kaufen möchten Und wenn Sie entweder auf einer Website einkaufen gehen oder in einem Einzelhandelsgeschäft interagieren, hat die Storefront einfach nicht den Kontext und nicht die Intelligenz, um zu berechnen, was Sie möglicherweise benötigen. Daher bekommen sie ihr Geschäft nicht sicher. Wenn Streaming-Analysen eingesetzt werden könnten, um wirklich genaue Vorhersagen zu treffen, und die tatsächlich möglich sind, was für diesen speziellen Kontext am besten geeignet ist, dann gibt es für diesen Kunden zu diesem Zeitpunkt an diesem Standort eine Menge Up-Selling und Cross-Selling, und das kommt wiederum von Streaming Analytics - in der Lage zu sein, eine Neigungsentscheidung darüber zu treffen, was dieser Kunde wahrscheinlich in diesem Moment der Wahrheit kauft oder darauf reagiert, wenn sich eine Gelegenheit bietet. Deshalb liebe ich dieses Bild, das Dez gerade mit dem Bären zeigte, um diesen Fisch zu essen. Das wars so ziemlich.
Wir glauben auch, dass es eine große Kategorie dramatischer, transformierender Veränderungen in einem Unternehmen gibt, die darin bestehen, völlig neue Produkte und Dienstleistungen anzubieten, die einfach auf der Beobachtung des Kundenverhaltens beruhen und alle auf der Beobachtung des Verhaltens eines anderen Unternehmens beruhen. Wenn beispielsweise ein Telekommunikations- oder Kabelunternehmen die Nutzungsmuster der Kunden in welchem Marktsegment, zu welchem Zeitpunkt usw. wirklich beobachtet, entstehen Produkte und Dienstleistungen, die geradezu angefleht werden für in gewisser Weise. Das gesamte Konzept des Multi-Screen-Verhaltens, bei dem wir jetzt fast davon ausgehen, dass wir TV- oder Kabelinhalte auf unseren mobilen Apps sehen können. Einige dieser Beispiele stammen von den neuen Produkten und Dienstleistungen, die uns angeboten werden.
Ich gehe auf Folgendes ein: „Was sind die Architekturaspekte von Streaming Analytics?“ Letztendlich ist es das, was wir versuchen. Dies ist die Lambda-Architektur, in der Sie die historischen Daten und die Echtzeiterkenntnisse mischen und gleichzeitig anzeigen. Das ist es, was Sigma ermöglicht. Wir alle haben heute die Stapelarchitektur und das Unternehmensbild. Wir sehen uns eine Art BI-Stack und Nutzungs-Stack an, und die Lambda-Architektur wurde hinzugefügt. Als Geschwindigkeitsschicht oder Bedürfnis und Lambda geht es darum, diese beiden Erkenntnisse zu verschmelzen und das auf eine kombinierte Art und Weise zu sehen, auf eine reichhaltige Weise, die beide Erkenntnisse kombiniert.
Es gibt ein weiteres Paradigma namens Kappa-Architektur, das vorgeschlagen wird, wobei die Vermutung lautet, dass die Geschwindigkeitsschicht der einzige Eingabemechanismus ist, der auf längere Sicht bestehen bleibt. Alles wird durch diese Geschwindigkeitsschicht kommen. Es wird nicht einmal einen Offline-ETL-Mechanismus geben. Die ganze ETL wird passieren. Bereinigen, Datenbereinigen, Qualitäts-ETL - all dies geschieht auf dem Kabel, da alle Daten in Echtzeit erstellt wurden. Irgendwann war es Echtzeit. Wir haben uns daran gewöhnt, dies auf Seen, Flüssen und Ozeanen anzuwenden und dann statisch zu analysieren, sodass wir vergessen haben, dass die Daten zu einem bestimmten Zeitpunkt in Echtzeit erstellt wurden. Alle Daten werden tatsächlich als Echtzeitereignis geboren, das zu dem Zeitpunkt stattgefunden hat, und die meisten Daten, die heute auf dem See vorliegen, wurden nur für eine spätere Analyse in die Datenbank aufgenommen, und wir haben nun den Vorteil, dass sie in der Lambda- und Kappa-Architektur tatsächlich vorhanden sind es sehen, analysieren, vorverarbeiten und darauf reagieren, wenn es eintrifft. Das ist es, was diese Technologien ermöglichen. Wenn Sie es als Gesamtbild betrachten, sieht es so aus, als wäre Hadoop drin, es gibt MPPs und Data Warehouses, die Sie bereits haben.
Wir stellen dies vor, weil es wichtig ist, nicht nur über neue Technologien auf einer Insel zu sprechen. Sie müssen sich integrieren. Sie müssen im aktuellen Unternehmenskontext Sinn machen, und als Lösungsanbieter, die Unternehmen bedienen, sind wir sehr sensibel dafür. Wir helfen Unternehmen dabei, das Ganze zu integrieren. Auf der linken Seite befinden sich Datenquellen, die sowohl in die Hadoop- und Data Warehouse-Ebene als auch in die Echtzeitebene eingespeist werden. Wie Sie sehen, handelt es sich bei jeder dieser Einheiten um Aktiencomputer, und die Datenverbrauchsebene befindet sich auf der rechten Seite Seite. Es werden ständig Anstrengungen unternommen, um den größten Teil der heute verfügbaren Compliance, Governance, Sicherheit, Lebenszyklusverwaltung usw. in diese neue Technologie zu integrieren.
Eine der Aufgaben von Stream Analytics ist, wenn man sich die heutige Landschaft ansieht, dass in der Streaming-Technologie-Landschaft eine Menge Dinge vor sich gehen und aus Sicht der Unternehmenskunden so viel zu verstehen ist. Es gibt so viel zu tun. Auf der linken Seite befinden sich Datenerfassungsmechanismen - NiFi, Logstash, Flume, Sqoop. Offensichtlich habe ich einen Haftungsausschluss veröffentlicht, der besagt, dass er nicht vollständig ist. Kommen in die Nachrichtenwarteschlangen und dann in die Open-Source-Streaming-Engines - Storm, Spark Streaming, Samza, Flink, Apex, Heron. Heron ist wahrscheinlich noch nicht Open Source. Ich bin mir nicht sicher, ob es Twitter ist. Diese Streaming-Engines führen dann zu einer Setup-Analyse-Anwendungskomponente, wie z. B. komplexe Ereignisverarbeitung, maschinelles Lernen, Predictive Analytics, Alarmierungsmodul, Streaming-ETL und Filter für statistische Abläufe zur Anreicherung. Das sind alles, was wir jetzt Betreiber nennen. Die Menge dieser Operatoren, wenn sie aneinander gereiht sind, würde möglicherweise auch zu einer Gewohnheit werden, die bei Bedarf zu einer Streaming-Anwendung wird, die auf einer Streaming-Engine ausgeführt wird.
Als Teil dieser Komponentenkette müssen Sie auch die Daten in Ihrer bevorzugten Datenbank, Ihrem bevorzugten Index, speichern und indizieren. Möglicherweise müssen Sie auch den Cache verteilen und das führt in die Datenvisualisierungsebene auf der rechten Seite im oberen Bereich zu kommerziellen Produkten oder Open-Source-Produkten. Letztendlich benötigen Sie jedoch eine Art Produkt, um diese Daten in Echtzeit zu visualisieren. Außerdem müssen Sie manchmal andere Anwendungen herausfinden. Wir haben alle gesehen, dass die Werte, die nur von der Aktion abgeleitet werden, die Sie aus der Einsicht heraus ausführen, ein Auslöser von einem Analysestapel in einen anderen Anwendungsstapel sein werden, der möglicherweise etwas auf der IVR-Seite verändert hat oder ein Callcenter auslöst ausgehender Anruf oder so ähnlich. Wir benötigen diese Systeme und einen Mechanismus für Ihren Streaming-Cluster, um andere Anwendungen zum Senden von Daten nach unten auszulösen.
Das ist der Gesamtstapel von links nach rechts. Dann haben Sie die Service-Schichten, die mittlere Überwachungsschicht, die allgemeine Sicherheits-Service-Schicht usw. Kommen wir zu den Produkten, die es im Unternehmensbereich gibt, die Kunden wie Hadoop-Distributionen sehen, die alle wie gesagt Streams haben und es gibt kommerzielle oder einzelne -Lösungen von Anbietern, die offensichtlich zu unseren Mitbewerbern gehören. Es gibt noch viele weitere in der Landschaft, die wir hier vielleicht nicht erwähnt haben.
Was Sie dort sehen, sieht im Großen und Ganzen der Unternehmensbenutzer. Eine komplexe und sich schnell entwickelnde Technologielandschaft für die Stream-Verarbeitung, wie Sie sehen können. Wir müssen die Auswahl und die Benutzererfahrung vereinfachen. Wir glauben, dass Unternehmen wirklich die funktionale Abstraktion all dessen in einer benutzerfreundlichen One-Stop-Shop-Oberfläche benötigen, die all jene Technologien zusammenführt, die die Verwendung wirklich einfach machen und nicht alle beweglichen Teile offenlegen und die Verschlechterungsprobleme und die Leistungsprobleme und die Lebenszykluswartungsprobleme für das Unternehmen.
Die Funktionalitätsabstraktion ist eine. Der zweite Teil ist die Abstraktion der Streaming-Engine. Die Streaming-Engines und die Open-Source-Domains werden jetzt alle drei, vier oder sechs Monate gestartet. Es war lange Zeit Sturm. Samza ist gekommen und jetzt ist es Spark Streaming. Flink hebt den Kopf und beginnt, Aufmerksamkeit zu erregen. Sogar die Spark-Streaming-Roadmap bietet die Möglichkeit, möglicherweise eine andere Engine für die reine Ereignisverarbeitung zu verwenden, da sie auch erkennen, dass Spark für den Batch-Betrieb entwickelt wurde, und einen Weg in ihrer Architekturvision und ihrer Roadmap finden, um möglicherweise eine andere zu haben Engine zur Stream-Verarbeitung zusätzlich zum aktuellen Microbatch-Pattern im Spark-Streaming.
Es ist eine Realität, mit der man sich auseinandersetzen muss, dass es eine Menge Evolution geben wird. Sie müssen sich wirklich vor diesem technologischen Wandel schützen. Denn standardmäßig müssen Sie eine auswählen und dann damit leben, was nicht optimal ist. Wenn Sie es anders sehen, streiten Sie sich: „Okay, ich muss eine proprietäre Plattform kaufen, auf der es kein Lock-In gibt, auf der keine Hebelwirkung von Open Source besteht, die sehr teuer und begrenzt sein könnte Flexibilität im Vergleich zu all diesen Open-Source-Paketen, bei denen Sie alles selbst erledigen müssen. “Wie ich bereits sagte, sind dies wiederum viele Kosten und Verzögerungen bei der Markteinführung. Wir behaupten, StreamAnalytix ist ein Beispiel für eine großartige Plattform, die Enterprise-Klasse, zuverlässigen Einzelanbieter und professionellen Service vereint - all das, was Sie als Unternehmen wirklich brauchen, und die Flexibilität des Open Source-Ökosystems wo eine einzige Plattform sie zusammenbringt - Ingest, CEP, Analytics, Visualisierung und all das.
Es macht auch eine sehr, sehr einzigartige Sache, die viele verschiedene Technologie-Engines unter einem einzigen Benutzererlebnis vereint. Wir sind der Meinung, dass es in Zukunft darum geht, mehrere Streaming-Engines zu verwenden, da unterschiedliche Anwendungsfälle unterschiedliche Streaming-Architekturen erfordern. Wie Robin sagte, gibt es ein ganzes Spektrum an Latenzen. Wenn Sie wirklich von Millisekunden-Latenz sprechen, von Zehn- oder sogar Hunderten von Millisekunden, brauchen Sie Storm zu diesem Zeitpunkt wirklich, bis es ein anderes gleichermaßen ausgereiftes Produkt für weniger Nachsicht oder weniger Zeit und Latenzen von vielleicht ein paar Sekunden, drei, gibt. vier, fünf Sekunden, dieser Bereich, dann können Sie Spark Streaming verwenden. Möglicherweise gibt es andere Motoren, die beides können. Unterm Strich wird es in einem großen Unternehmen Anwendungsfälle aller Art geben. Sie möchten wirklich, dass der Zugriff und die Allgemeinheit über mehrere Engines mit einer Benutzererfahrung verfügen, und genau das möchten wir in StreamAnalytix implementieren.
Nur ein kurzer Blick auf die Architektur. Wir werden dies ein wenig überarbeiten, aber im Wesentlichen kommen auf der linken Seite mehrere Datenquellen hinzu - Kafka, RabbitMQ, Kinesis, ActiveMQ, all diese Datenquellen und Nachrichtenwarteschlangen, die auf der Stream-Verarbeitungsplattform eingehen Sie können eine App zusammenstellen, in der Sie von Operatoren wie den ETLs alles, worüber wir gesprochen haben, ziehen und ablegen können. Darunter befinden sich mehrere Motoren. Momentan haben wir Storm- und Spark-Streaming als branchenweit einzige und erste Streaming-Plattform der Enterprise-Klasse mit Unterstützung für mehrere Engines. Dies ist eine einzigartige Flexibilität, die wir neben der anderen Flexibilität von Echtzeit-Dashboards anbieten. CET Engine eingebettet. Wir haben die nahtlose Integration mit Hadoop- und NoSQL-Indizes, Solr- und Apache-Indizes. Sie können zu Ihrer Lieblingsdatenbank gelangen, egal was es ist, und Anwendungen sehr schnell erstellen und sehr schnell auf den Markt bringen, um zukunftssicher zu bleiben. Das ist unser ganzes Mantra in StreamAnalytix.
Ich denke, damit schließe ich meine Ausführungen ab. Fühlen Sie sich frei, zu uns für weitere Fragen zu kommen. Ich möchte das Wort für Fragen und Diskussionen offen halten.
Rebecca, rüber zu dir.
Rebecca Jozwiak: Großartig, okay. Ich danke dir sehr. Dez und Robin, haben Sie einige Fragen, bevor wir sie an das Publikum weiterleiten?
Robin Bloor: Ich habe eine Frage. Ich werde meine Kopfhörer wieder aufsetzen, damit Sie mich hören können. Eines der interessanten Dinge, wenn Sie mir dies freundlicherweise mitteilen könnten, sieht vieles, was ich im Open-Source-Bereich gesehen habe, so aus, als ob ich es für unreif halte. In gewissem Sinne kann man ja verschiedene Dinge tun. Aber es sieht so aus, als würden wir Software in ihrer ersten oder zweiten Version in der Realität betrachten und ich habe mich nur gefragt, wie sehr Sie die Unreife der Hadoop-Umgebung als problematisch ansehen oder ob dies nicht der Fall ist. ' Erschaffe ich nicht zu viele Probleme?
Anand Venugopal: Es ist eine Realität, Robin. Du hast absolut recht. Die Unreife liegt nicht unbedingt nur im Bereich der funktionalen Stabilität und der Dinge, sondern möglicherweise auch in einigen Fällen. Die Unreife ist aber eher in der Einsatzbereitschaft. Die Open-Source-Produkte, wie sie herauskommen, und auch wenn sie von der Hadoop-Distribution angeboten werden, sind sie alle eine Menge verschiedener fähiger Produkte, Komponenten, die einfach zusammengeschlagen werden. Sie arbeiten nicht nahtlos zusammen und sind nicht für eine reibungslose Benutzererfahrung konzipiert, die wir wie die Bank of America oder Verizon oder AT & T haben, um innerhalb von Wochen eine Streaming-Analytics-Anwendung bereitzustellen. Sie sind nicht für das sicher bestimmt. Das ist der Grund, warum wir reinkommen. Wir bringen es zusammen und machen es wirklich einfach zu verstehen, bereitzustellen usw.
Die funktionale Reife ist meines Erachtens weitgehend gegeben. Viele große Unternehmen nutzen beispielsweise Storm heute. Viele große Unternehmen spielen heute mit Spark Streaming. Jede dieser Motoren hat ihre Grenzen. Deshalb ist es wichtig zu wissen, was Sie können und was nicht. Es macht keinen Sinn, den Kopf gegen die Wand zu brechen und zu sagen: „Guck mal, ich Ich habe mich für Spark Streaming entschieden und es funktioniert in dieser Branche nicht. “Es wird nicht funktionieren. Es wird Anwendungsfälle geben, in denen Spark-Streaming die beste Option ist, und es wird Anwendungsfälle geben, in denen Spark-Streaming möglicherweise überhaupt nicht für Sie funktioniert. Deshalb brauchen Sie wirklich mehrere Optionen.
Robin Bloor: Dafür braucht man meistens Expertenteams. Ich weiß nicht mal, wo ich damit anfangen soll. Ein vernünftiges Zusammenspiel von Fachleuten. Mich interessiert, wie du dich engagierst und wie es passiert. Liegt es daran, dass ein bestimmtes Unternehmen nach einer bestimmten Anwendung strebt, oder sehen Sie eine Art von strategischer Adoption, bei der eine ganze Plattform viele Aufgaben übernehmen soll?
Anand Venugopal: Wir sehen Beispiele von beiden, Robin. Einige der Top-Ten-Marken, die jeder kennt, gehen sehr strategisch vor. Sie wissen, dass sie eine Vielzahl von Anwendungsfällen haben werden, und evaluieren daher Plattformen, die diesen Anforderungen entsprechen. Dabei handelt es sich um eine Vielzahl unterschiedlicher Anwendungsfälle mit mehreren Mandanten, die in einem Unternehmen bereitgestellt werden sollen. Es gibt auch Single-Use-Case-Stories, die gerade beginnen. In einem Hypothekenunternehmen, an dem wir arbeiten, gibt es einen bestimmten Anwendungsfall für die Überwachung der Geschäftstätigkeit, den Sie sich nicht als ersten Anwendungsfall vorstellen können. Dies ist jedoch die Geschäftslösung oder der Anwendungsfall, den sie entwickelt haben, und dann haben wir die Punkte mit dem Streaming verbunden . Wir sagten: „Weißt du was? Dies ist ein großartiger Fall für die Streaming-Analyse, und so können wir sie implementieren. “So fing es an. In diesem Prozess werden sie geschult und sagen: „Oh, wenn wir das können und es sich um eine generische Plattform handelt, können wir die Anwendung trennen, sie in eine Plattform einteilen und viele verschiedene Anwendungen darauf aufbauen Plattform."
Robin Bloor: Dez, hast du irgendwelche Fragen?
Anand Venugopal: Dez ist wahrscheinlich stummgeschaltet.
Dez Blanchfield: Entschuldigung, stumm. Ich habe mich gerade gut unterhalten. Wenn Sie nur der ursprünglichen Beobachtung von Robin folgen, haben Sie absolut Recht. Ich denke, dass die Herausforderung jetzt darin besteht, dass Unternehmen ein Ökosystem und ein kulturelles und verhaltensbezogenes Umfeld haben, in dem freie und Open-Source-Software etwas ist, das ihnen bekannt ist und das in der Lage ist, Tools wie Firefox als Browser zu verwenden, und ein anständiges Umfeld hat Lebensdauer, bis es stabil und sicher wird. Aber einige dieser sehr großen Plattformen, die sie verwenden, sind proprietäre Plattformen für Unternehmen. Die Übernahme von Open-Source-Plattformen ist daher für sie nicht immer leicht kulturell oder emotional zu vermitteln. Ich habe dies nur an der Einführung kleiner Programme gesehen, bei denen es sich um lokale Projekte handelte, bei denen Big Data und Analytics als grundlegendes Konzept betrachtet wurden. Ich denke, eine der wichtigsten Herausforderungen, von denen Sie sicher schon in allen Unternehmen gehört haben, ist ihr Wunsch, das Ergebnis zu erzielen, aber gleichzeitig, dass sie mit einem Fuß in der alten Dose stecken, bei der sie das einfach kaufen könnten Eine große Marke einfügen Oracle, IBM und Microsoft. Diese neuen und bekannten Marken setzen sich mit Hadoop-Plattformen und mehr durch. Es kommen aufregendere Marken auf den Markt, die über modernste Technologien wie Stream verfügen.
Was sind die Arten von Gesprächen, die Sie auf diese Weise geführt haben? Ich weiß, dass wir heute Morgen eine enorme Besucherzahl haben, und eines ist sicher in aller Munde: „Wie kann ich diese ganze herausfordernde Schicht vom Board bis zur Managementebene durchschneiden, oh, es ist zu Open Source und zu hochaktuell? "Wie verlaufen Ihre Kundengespräche und wie schaffen Sie es, diese Art von Ängsten zu zerstreuen, um die Übernahme von StreamAnalytix zu erwägen?
Anand Venugopal: Tatsächlich fällt es uns ziemlich leicht, unser Wertversprechen zu verkaufen, da Kunden sich naturgemäß für Open Source als bevorzugte Option entscheiden. Sie geben nicht einfach auf und sagen: "Okay, ich gehe jetzt zu Open Source." Sie durchlaufen tatsächlich eine sehr engagierte Bewertung eines wichtigen Produkts, sagen wir, es ist ein IBM- oder ein typisches Produkt, weil sie es haben diese Lieferantenbeziehungen. Sie würden uns oder die Open-Source-Engine nicht gegen dieses Produkt behandeln. Sie werden sechs bis acht bis zwölf Wochen lang evaluiert. Sie werden sich selbst davon überzeugen, dass es hier ein gewisses Maß an Leistung und Stabilität gibt, das ich möchte, und dann entscheiden sie sich und sagen: „Wow, weißt du was, ich kann das tatsächlich tun.“
Heute haben wir zum Beispiel ein großes Tier-1-Telekommunikationsunternehmen, bei dem Stream-Analytics in der Produktion über einem Großteil des Stacks laufen und das mit einem anderen sehr, sehr großen, bekannten Anbieter verglichen wird, und das war erst überzeugt, nachdem wir alle bewiesen hatten die Leistung, Stabilität und all diese Dinge. Sie halten es nicht für selbstverständlich. Sie haben durch ihre Evaluierungen herausgefunden, dass Open Source kompetent ist, und sie stellen fest, dass im schlimmsten Fall: „Vielleicht gibt es diese beiden Anwendungsfälle, die ich möglicherweise nicht ausführen kann, aber die meisten meiner Unternehmen können Beschleunigungsanwendungsfälle heutzutage hervorragend mit Open Source ausführen Stack. “Und wir ermöglichen die Verwendung davon. Das ist also der große Sweet Spot genau dort. Sie wollten die Open Source. Sie sind wirklich bestrebt, aus der seit vielen, vielen Jahren gewohnten Verkäufer-Lock-in-Situation herauszukommen. Dann kommen wir und sagen: "Weißt du was, wir machen Open Source viel einfacher und benutzerfreundlicher für dich."
Dez Blanchfield: Ich denke, die andere Herausforderung, die die Unternehmen finden, ist, wenn sie das traditionelle etablierte Unternehmen einführen, dass sie oft eine Generation hinter dem neuesten Stand der aufregenden Dinge stehen, über die wir hier sprechen, und das meine ich nicht als negativ leicht. Es ist nur so, dass die Realität so ist, dass sie eine Generation und einen Weg vor sich haben, um zu veröffentlichen, was sie für stabile Plattformen halten, was sie durchlaufen müssen, Entwicklungszyklen der alten Schule und UATN-Integrationszyklen und Tests und Dokumentation sowie Marketing und Vertrieb. Während ich bei dem Typ, den Sie gerade machen, daran interessiert bin, dass Sie sich einige Ihrer neuesten Veröffentlichungen anschauen, die letzte Nacht eine Art von Forschungsarbeit ausgeführt haben, haben Sie diese Mischung jetzt dort, wo Sie sie haben Kompetenz aus Sicht der Beratung und der Implementierung, aber Sie haben auch einen Stack, in den Sie einsteigen können. Ich denke, hier werden die etablierten Betreiber einige Zeit zu kämpfen haben. Wir haben viele von ihnen gesehen, wie ich es auf dem Markt getan habe. Sie befinden sich häufig in den von mir als Aufholknoten bezeichneten Bereichen, wohingegen Sie diese Gespräche nach dem, was Sie uns sagen, wenn Sie da draußen sind, führen und implementieren.
Können Sie uns ein paar Beispiele für einige der Grenzvertikalen nennen, die Sie angenommen haben? Zum Beispiel gibt es wirklich eine Nischenumgebung wie Raketenforschung und Satelliten im Weltraum zu platzieren und Daten vom Mars zu sammeln. Es gibt nur eine Handvoll Leute auf dem Planeten, die das tun. Aber es gibt große Branchen wie Gesundheit, zum Beispiel Luftfahrt, Schifffahrt und Logistik, Fertigung und Ingenieurwesen. Dies sind einige Beispiele für die größeren und breiteren Branchen, die Sie bisher wirklich gut gesehen haben Annahme in?
Anand Venugopal: Telco ist ein großes Beispiel.
Ich werde hier nur schnell meine Dias reparieren. Können Sie die Folie hier sehen, Fallstudie 4?
Dies ist ein Fall, in dem ein großer Telekommunikationsanbieter Set-Top-Box-Daten aufnimmt und mehrere Vorgänge damit ausführt. Sie schauen sich an, was Kunden wirklich in Echtzeit tun. Sie beobachten, wo in Echtzeit Fehler in Set-Top-Boxen auftreten. Sie versuchen, das Callcenter darüber zu informieren, ob die Code-Link-Informationen aus der Set-Top-Box dieses Kunden, die Informationen über das Wartungsticket schnell korrelieren, ob die Set-Top-Box dieses Kunden ein Problem hat oder nicht Der Kunde spricht ein Wort. Jedes Kabelunternehmen, jede große Telekommunikationsfirma versucht dies zu tun. Sie erfassen die Set-Top-Box-Daten, führen Echtzeitanalysen durch und führen Kampagnenanalysen durch, damit sie ihre Anzeigen schalten können. Es gibt einen riesigen Anwendungsfall.
Wie gesagt, es gibt dieses Hypothekenunternehmen, das wiederum ein generisches Muster darstellt, bei dem große Systeme an der Datenverarbeitung von beteiligt sind. Die Daten, die durch System A zu System B zu System C fließen, sind regulierte Unternehmen, bei denen alles konsistent sein muss. Oft sind Systeme nicht mehr synchron miteinander. Ein System sagt: „Ich verarbeite hundert Kredite mit einem Gesamtwert von 10 Millionen US-Dollar.“ Das System sagt: „Nein, ich verarbeite 110 Kredite eines anderen verschiedene Zahlen. “Sie müssen das wirklich schnell lösen, weil sie tatsächlich die gleichen Daten verarbeiten und unterschiedliche Interpretationen vornehmen.
Unabhängig davon, ob es sich um eine Kreditkarte, eine Kreditabwicklung, einen Geschäftsprozess oder einen Hypothekengeschäftsprozess handelt, wir unterstützen sie dabei, Korrelationen und Abgleiche in Echtzeit durchzuführen, um sicherzustellen, dass diese Geschäftsprozesse synchron bleiben. Das ist ein weiterer interessanter Anwendungsfall. Es gibt einen großen Auftragnehmer der US-Regierung, der den DNS-Verkehr untersucht, um Anomalien zu erkennen. Es gibt ein Offline-Trainingsmodell, das sie erstellt haben, und sie führen das Scoring basierend auf diesem Modell für Echtzeitverkehr durch. Einige dieser interessanten Anwendungsfälle. Es gibt eine große Fluggesellschaft, die sich mit Sicherheitswarteschlangen befasst und versucht, Ihnen die folgenden Informationen zu geben: „Hey, es ist Ihr Gate für Ihr Flugzeug für Ihren Flug. Die heutige TSA-Warteschlange beträgt ungefähr 45 Minuten gegenüber zwei Stunden gegenüber etwas anderem. “Sie erhalten dieses Update im Voraus. Sie arbeiten immer noch daran. Interessanter IoT-Anwendungsfall, aber großartiger Fall von Streaming Analytics zur Kundenerfahrung.
Rebecca Jozwiak: Das ist Rebecca. Während Sie sich mit Anwendungsfällen befassen, stellt sich eine große Frage eines Publikums, das sich die Frage stellt: „Sind diese Fallstudien, werden diese Initiativen von der analytischen Seite der Informationssysteme des Hauses aus angeregt oder werden sie eher von dieser Seite angeregt? das Unternehmen, das spezielle Fragen oder Bedürfnisse hat? “
Anand Venugopal: Ich denke, wir sehen ungefähr 60 Prozent, 50 bis 55 Prozent, größtenteils sehr proaktive, enthusiastische Technologieinitiativen, die zufällig wissen, die ziemlich versiert sind und bestimmte Geschäftsanforderungen verstehen, und die wahrscheinlich einen Sponsor haben identifiziert, aber dies sind Technologieteams, die sich auf den Ansturm von Geschäftsanwendungsfällen vorbereiten, und sobald sie diese Fähigkeiten aufgebaut haben, wissen sie, dass sie dies tun können, und gehen dann zum Geschäft und verkaufen dies aggressiv. In 30 bis 40 Prozent der Fälle sehen wir, dass Unternehmen bereits einen bestimmten Anwendungsfall haben, der nach einer Streaming-Analyse-Funktion verlangt.
Rebecca Jozwiak: Das macht Sinn. Ich habe noch eine etwas technischere Frage von einem Publikum. Er fragt sich, ob diese Systeme sowohl strukturierte als auch unstrukturierte Datenströme unterstützen, wie Sedimente von Twitter-Streams oder Facebook-Posts in Echtzeit, oder müssen sie zunächst gefiltert werden?
Anand Venugopal: Die Produkte und Technologien, über die wir sprechen, unterstützen in Kürze sowohl strukturierte als auch unstrukturierte Daten. Sie können konfiguriert werden. Alle Daten haben eine Art Struktur, egal ob es sich um Text, XML oder irgendetwas handelt. Es gibt eine gewisse Struktur hinsichtlich eines Zeitstempelvorschubs. Möglicherweise muss ein weiterer Blob analysiert werden, damit Sie Parser in den Stream einfügen können, um die Datenstrukturen zu analysieren. Wenn es strukturiert ist, sagen wir dem System einfach: "Okay, wenn es durch Kommas getrennte Werte gibt und der erste eine Zeichenfolge ist, ist der zweite ein Datum." verarbeiten leicht strukturierte und unstrukturierte Daten.
Rebecca Jozwiak: Ich habe noch eine Frage vom Publikum. Ich weiß, wir sind ein bisschen über die volle Stunde gelaufen. Dieser Teilnehmer möchte wissen, dass Echtzeit-Streaming-Anwendungen möglicherweise sowohl eine Notwendigkeit als auch eine Möglichkeit für die Integration in Transaktionssysteme, beispielsweise Betrugspräventionssysteme, darstellen. Müssen in diesem Fall die Transaktionssysteme so angepasst werden, dass sie dazu passen?
Anand Venugopal: Es ist eine Fusion, oder? Es ist eine Verschmelzung von Transaktionssystemen. Sie werden manchmal zur Datenquelle, aus der wir Transaktionen in Echtzeit analysieren, und in vielen Fällen, wenn beispielsweise ein Anwendungsfluss vorliegt. Hier versuche ich, eine statische Daten-Lookup-Site und in unserem Fall eine Art Streaming anzuzeigen Sie durchsuchen eine statische Datenbank wie eine HBase oder ein RDBMS, um die Streaming-Daten und die statischen Daten zusammen anzureichern und eine Entscheidung zu treffen oder einen analytischen Einblick zu erhalten.
Ein weiterer wichtiger Branchentrend ist die Konvergenz von OLAP und OLTP. Daher gibt es Datenbanken wie Kudu und In-Memory-Datenbanken, die gleichzeitig Transaktionen und analytische Verarbeitung unterstützen. Die Stream-Verarbeitungsschicht würde sich vollständig im Speicher befinden, und wir werden einige dieser Transaktionsdatenbanken untersuchen oder mit ihnen kommunizieren.
Rebecca Jozwiak: Die gemischte Arbeitsbelastung war, glaube ich, eine der letzten Hürden, die es zu überwinden galt. Dez, Robin, hast du noch zwei Fragen?
Dez Blanchfield: Ich werde auf eine letzte Frage eingehen und mich darum kümmern, wenn es Ihnen nichts ausmacht. Die erste Herausforderung, mit der die Organisationen, mit denen ich mich in den letzten zehn Jahren befasst habe, zu dieser aufregenden Herausforderung der Stream-Analytik geführt haben, ist die Frage, wo sie zu Beginn des Gesprächs über diese gesamte Herausforderung wieder auf den Tisch kommen bekommen wir die Fähigkeiten? Wie trainieren wir die Fähigkeiten neu und wie erhalten wir diese Fähigkeit intern? Wenn Impetus hereinkommt und uns in die Hand gibt, halten Sie uns auf dem Weg und setzen Sie es als ersten Schritt um. Dies zu tun, macht sehr viel Sinn.
Aber für mittlere bis große Unternehmen, welche Art von Dingen sehen Sie im Moment, um sich darauf vorzubereiten, diese Fähigkeit intern aufzubauen, alles aus einem einfachen Vokabular herauszuholen und mit welcher Art von Botschaft sie umgehen können die Organisation rund um den Übergang zu dieser Art von Framework und das Umrüsten der vorhandenen technischen Mitarbeiter von der IT vom CEO, damit diese diese selbst ausführen können, sobald Sie sie erstellt und implementiert haben? Nur ganz kurz, welche Art von Herausforderungen und wie lösen sie sie, mit welchen Kunden Sie es zu tun haben, welche Arten von Herausforderungen sie gefunden haben und wie sie diese Umschulung durchlaufen und Erfahrung und Wissen wiedergewinnen, um sich darauf vorzubereiten und zu sein operativ umgehen können?
Anand Venugopal: Oft sind die wenigen Leute, die versuchen, eine Streaming-Analyse-Plattform zu kaufen, schon einigermaßen schlau, da sie Hadoop-Kenntnisse haben, bereits ihre Hadoop MapReduce-Kenntnisse erworben haben und eng mit Hadoop zusammenarbeiten Distributionsanbieter sind sie entweder vertraut. Alles bekommt zum Beispiel Kafka. Sie tun etwas damit und entweder Storm- oder Spark-Streaming befindet sich in ihrer Open-Source-Domäne. Auf jeden Fall sind die Leute damit vertraut oder bauen ihre Fähigkeiten auf. Aber es beginnt mit einer kleinen Gruppe von Leuten, die fähig und klug genug sind. Sie nehmen an Konferenzen teil. Sie lernen und stellen den Anbietern intelligente Fragen, und in einigen Fällen lernen sie mit den Anbietern. Da die Anbieter beim ersten Treffen kommen und präsentieren, kennen sie sich vielleicht nicht aus, lesen aber mit und beginnen, damit zu spielen.
Diese kleine Gruppe von Menschen ist der Kern und dann wächst sie und jeder merkt jetzt, dass der erste Geschäftsanwendungsfall operationalisiert wird. Es beginnt eine Welle und wir haben letzte Woche auf dem Spark-Gipfel gesehen, dass ein großes Unternehmen wie Capital One da draußen und in voller Stärke war. Sie entschieden sich für Spark. Sie sprachen darüber. Sie bilden viele ihrer Mitarbeiter in Spark aus, weil sie in vielen Fällen auch als Benutzer dazu beitragen. Wir sehen dasselbe bei vielen, vielen großen Unternehmen. Es beginnt mit ein paar wenigen sehr klugen Leuten und dann beginnt eine Welle der allgemeinen Bildung und die Leute wissen, dass sobald ein Senior VP oder ein Senior Director in einer Linie ist und sie auf diese Sache wetten wollen und das Wort herumkommt und Alle fangen an, diese Fähigkeiten zu erlernen.
Dez Blanchfield: Ich bin sicher, Sie haben eine fantastische Zeit damit, diese Champions zu bauen.
Anand Venugopal: Ja. Wir machen viel Ausbildung, während wir mit den ersten Champions arbeiten, und wir halten Schulungen ab, und viele, viele für unsere großen Kunden. Wir sind zurückgekehrt und hatten Wellen und Wellen von Schulungen, um besonders viele Benutzer in die Mainstream-Nutzungsphase zu bringen in Hadoop MapReduce Website. Wir haben festgestellt, dass wir in einem großen Kreditkartenunternehmen, das ein Kunde von uns ist, mindestens fünf bis acht verschiedene Schulungsprogramme durchgeführt haben. Wir haben auch kostenlose Community-Editionen all dieser Produkte, einschließlich unserer, Sandkästen, die die Leute herunterladen, sich daran gewöhnen und sich auf diese Weise auch weiterbilden können.
Dez Blanchfield: Das ist alles, was ich heute Morgen für Sie habe. Vielen Dank. Ich finde es unglaublich interessant zu sehen, welche Arten von Modellen und Anwendungsfällen Sie heute für uns haben. Vielen Dank.
Anand Venugopal: Großartig. Vielen Dank Leute.
Rebecca Jozwiak: Vielen Dank an alle, die an diesem Webcast von Hot Technologies teilgenommen haben. Es war faszinierend, von Dez Blanchfield, Dr. Robin Bloor und Impetus Technologies, Anand Venugopal, zu hören. Vielen Dank an die Moderatoren. Vielen Dank an die Referenten und das Publikum. Wir haben nächsten Monat eine weitere Hot Technologies, suchen Sie danach. Sie können unsere Inhalte jederzeit unter Insideanalysis.com archivieren. Wir haben auch viele Inhalte auf SlideShare und einige interessante Teile auch auf YouTube veröffentlicht.
Das war's Leute. Nochmals vielen Dank und einen schönen Tag. Tschüss.
