The Doppler Quarterly (DEUTSCHE) Frühjahr 2017 | Page 30

Die gleiche Workload, viele Cluster
So, wie wir uns mit dem Konzept von Clustern vertraut machen müssen, die für
intensive Berechnungen zum Leben erweckt werden und dann wieder ruhen,
sollten wir auch davon abkommen, nur einzelne Cluster in Erwägung zu zie-
hen. Stattdessen sollten wir das Konzept verfolgen, viele Cluster für unter-
schiedliche Workloads zu verwenden. Wenn Sie sich an die speziellen Entwick-
lungs-, Test- und Implementierungsmuster im Zusammenhang mit flüchtigen
Clustern gewöhnen, besteht der logische nächste Schritt darin, an die Ausfüh-
rung separater Cluster für die verschiedenen Nutzungsmuster zu denken (z. B.
ein oder mehrere Cluster für die Datenaufnahme, ein oder mehrere Cluster für
schnelle Abfragen und einer für Data-Science-Tasks).
Toolumgebung
Wir erwähnten bereits, dass HDFS die bevorzugte Technologie für den Aufbau
eines Data Lake ist. Wenn Sie sich HDFS verschreiben, ist Apache Oozie die
natürliche Wahl für das Workflow-Management, Apache Pig für das Scripting
und Apache Hive für Batch- und einige interaktive Abfragen.
Apache Spark ist in den letzten Jahren immer beliebter geworden und sollte ein
ernstzunehmender Kandidat für die Verarbeitung von Streaming Analytics
und das maschinelle Lernen sein. Wir sehen oft auch den Einsatz von Redshift-,
DynamoDB- und ElasticSearch-Clustern gemeinsam mit dem Hadoop-Ökosys-
tem in einer Implementierung von Amazon Web Services. Alle Tools haben
bestimmte Einschränkungen. Daher ist vorab eine sorgfältige Analyse nötig,
um sicherzustellen, dass unerlässliche Funktionen unterstützt werden oder in
der kurzfristigen Roadmap geplant sind.
Abbildung 5: Zusammenwirken verschiedener Technologien in AWS
Automation der Datenaufnahme
In unseren Diskussionen werden hinsichtlich Polyglot Persistence des Öfteren
Bedenken zu einem Punkt geäußert: der Komplexität der Back-End-Dateninte-
gration. Mehrere Verarbeitungsengines erfordern mehr Code für die Daten-
aufnahme und sind mit mehr Kosten für Entwicklung, Wartung und Änderun-
gen verbunden. Doch durch die Verteilung der Workloads auf mehrere
Automatisierungsengines können wir die Datenstrukturen in jeder einzelnen
Engine vereinfachen. Ein sehr typisches Muster ist die Erstellung von Code für
die Datenaufnahme im Data Lake und die Nutzung von temporären AWS
EMR-Clustern oder AWS Lambda-Funktionen, um automatische Datenaktuali-
sierungen in anderen Persistenzengines auszulösen.
28 | THE DOPPLER | FRÜHJAHR 2017