The Doppler Quarterly (日本語) 夏 2017 - Page 18

りません。そのため、すべてのデータレイクインフラストラクチャ ときに使用するすべての手法をメタデータの作成要件に従わ とツールにデータガバナンスの遵守に関する要件を組み込む せ、新規データの取り込みのルーチンでメタデータの作成要件 必要があるかどうかを予測することがより効果的なアプローチ を適用する方法を指定する必要があります。 となります。 メタデータをカタログ化して検索できるよ うにする メタデータの作成を自動化する - クラウド上のほぼすべて の要素と同じように、自動化は整合性と正確性を確保するうえ での重要なポイントとなります。メタデータの作成を自動化す るための設計は、可能な限り資料に記載されているものを使用 します。 主な留意事項 データレイクの設計には、ビジネスユーザーがレイク内にある データセットを検索したり、見つけたり、そこから情報を得たり できるようにするためにメタデータストレージ戦略を組み込む 必要があります。従来のデータウェアハウスは、リレーショナル ストレージレイヤー内に固定的かつ静的な意味のあるデータ の定義と特性を保存しますが、データレイクは、読み取り時に 柔軟にスキーマを適用できる仕組みになっています。ただしこ れは、技術およびビジネス的な意味を示すメタデータをカタロ グ化して格納するための個別のストレージレイヤーが必要にな ることを意味します。組織はメタデータレイヤーのないデータレ イクにコンテンツを蓄積するだけの場合もありますが、この方 法では、有益なデータレイクではなく管理しにくいデータスワ ンプ ( データの沼 ) が作られることになります。適切なメタデー タを確実に作成して維持するためのアプローチやソリューショ ンは数多くありますが、ここでは、覚えておくべきいくつかの重 クラウドネイティブのソリューションを優先する - 可能な限 りクラウドネイティブの自動化フレームワークを使用して、デー タレイク内のメタデータをキャプチャー、保存、取得します。 一般的にデータソース用にカタログ化されるコア属性を次の ページの表に示します。 AWS ベースのソリューションに関するアイデア AWS 社は、 S3 でデータオブジェクトが作成されたときに AWS Lambda 関数をトリガーし、 DynamoDB データベースにデー タの属性を保存する、シンプルなソリューションの一例を示し ています。このとき作成される DynamoDB ベースのデータ カタログは、ビジネスユーザーが全文検索を実行できるよう、 Elasticsearch でインデックスを作成することが可能です。 要な原則とパターンについて説明します。 AWS Glue は、データソースのカタログ化機能をサポートする メタデータの要件に従う - 適切なメタデータを確実に作成 ス予定の製品です。JSON、 CSV、 Parquet などの広く普及し なります。中核となるデータレイクレイヤーにデータを保存する う事前に作成された分類子を使用してデータソースをクロール するには、メタデータを強制的に作成することが最善の方法と 16 | THE DOPPLER | 2017 年夏号 ための自動化された一連のツールを提供する、間もなくリリー ている数多くのソースフォーマットとデータタイプに対応するよ