The Doppler Quarterly (DEUTSCHE) Sommer 2017 | Page 15

Abbildung 1: Speicherebenen eines Data Lakes
segment und können die gewünschten Berichte mit-
hilfe einer Vielzahl von Tools erstellen. Die IT wird
zum Verwalter der Infrastruktur und der Daten in der
Cloud, während das Unternehmen die Verantwor-
tung für das Data Mining und die Untersuchung der
Daten übernimmt.
Entwurf des physischen Speichers
Der physische Speicher bildet die Grundlage für die
Konzeption und Implementierung jedes Data Lakes.
Dabei wird die zentrale Speicherebene für die Pri-
märdatenbestände genutzt. Üblicherweise enthält
sie Rohdaten und/oder gering verarbeitete Daten.
Folgende Prinzipien und Anforderungen sollten die
wichtigsten Aspekte bei der Evaluierung von Techno-
logien für die cloudbasierte Speicherung von Daten-
seen darstellen:
Außergewöhnliche Skalierbarkeit – Da ein Enter-
prise Data Lake normalerweise als zentralisierter
Datenspeicher für eine gesamte Abteilung oder das
Unternehmen insgesamt dienen soll, muss er signifi-
kant skaliert werden können und darf keine Kapazi-
tätsgrenzen aufweisen.
Hohe Lebensdauer – Als Hauptspeicher kritischer
Unternehmensdaten bietet die sehr hohe Lebens-
dauer der zentralen Speicherebene eine ausgezeich-
nete Datenrobustheit, ohne dass hierfür extrem
hochverfügbare Designs erforderlich sind.
Support unstrukturierter, semi-strukturierter und
strukturierter Daten – Eine der wichtigsten Konzep-
tionsaspekte eines Data Lakes ist die Möglichkeit, alle
Datentypen in einem einzigen Repository zu
speichern.
Unabhängigkeit von festen Schemata – Die Fähig-
keit, ein für jeden Verwendungszweck erforderliches
Schema beim Lesen anzuwenden, kann nur erreicht
werden, wenn die zugrunde liegende zentrale Spei-
cherebene kein festes Schema vorschreibt.
Trennung von Rechenressourcen – Der bedeutendste
philosophische und praktische Vorteil von cloudba-
sierten Data Lakes im Vergleich zu „alten“ Big
Data-Speichern auf Hadoop ist die Fähigkeit, Spei-
cher und Rechenleistung voneinander zu trennen
und so eine unabhängige Skalierung zu ermöglichen.
Angesichts der Anforderungen sind objektbasierte
Speicher zur De-facto-Speicherwahl für Data Lakes
geworden. AWS, Google und Azure bieten alle Objekt-
speichertechnologien an.
Das wesentliche Merkmal des zentralen Speichers
besteht darin, mit wenig oder gar keinen Schema-
strukturen alle Datentypen zu zentrieren. Ein Data
Lake wird jedoch üblicherweise zusätzliche „Ebenen“
über dem zentralen Speicher haben. Dies ermöglicht
die Aufbewahrung der Rohdaten als im Wesentlichen
unveränderlich, während die zusätzlichen Ebenen in
der Regel eine Struktur aufweisen, um eine effektive
Datennutzung wie Berichterstellung und Analyse zu
unterstützen. Abbildung 1 zeigt die zusätzlichen
Schichten, die der Speicherebene für Rohdaten hin-
zugefügt wurden.
Ein spezifisches Beispiel wäre das Hinzufügen einer
von einem Hive-Metastore definierten Ebene. In
einer solchen Ebene sind die Dateien im Objektspei-
cher in „Verzeichnisse“ partitioniert und von Hive
geclusterte Dateien werden darin so angeordnet,
SOMMER 2017 | THE DOPPLER | 13