Macrosend

まず、データレイクの定義や特徴を解説した上で、主要なデータレイク製品やサービスを紹介します。

データレイクは、あらゆるソースからなるビッグデータを、ひとまとめに格納することのできる、容量無制限で一元的なリポジトリ（データ保管場所）のことを指します。

Hadoopをはじめとする、オープンソースBIツールを提供するPentahoのCTO・James Dixonが2010年に初めて提唱した概念で、「データを蓄積する湖」の意からデータレイクと呼ばれます。

オンプレミスな従来のデータウェアハウスとは異なるものであり、増え続ける企業のデータ量に対応するために考案されたアーキテクチャです。データレイクは、音声・画像といった非構造化データを含めて一元的に保管できることから、機械学習や分析をする際の基盤として活躍します。

データレイクの定義や存在意義について、クラウドコンピューティングサービス大手のAmazon Web Serviceでは、次のように解説しています。

データレイクの役割は、従来のデータウェアハウスでは対応しきれないデータの保存です。つまり、データウェアハウスを拡張するというのが、データレイクの本質的な役割と言えるでしょう。

年々増え続けるデータ量に対し、従来のオンプレミスなデータウェアハウスではすべてのデータを格納することが難しい状況の中、「今は必要ないが将来的に必要になるかもしれないデータ」を保管するために、データレイクは不可欠なリポジトリなのです。

増え続けるデータ量の推移について、2014年に発表された米国ストレージベンダー・EMCと調査会社・IDCの調査結果によれば、2013年時点で4.4ZBだったデータ総量は、2020年に10倍の44ZBに拡大するとしています。

そのほかにも、DELLテクノロジーズの調査によれば、企業の管理するデータ量は、2016年に比べて2018年時点で平均831％増加していると発表しており、世界15カ国の従業員数250人超の企業と公的機関の意思決定者1,000人を対象として行ったアンケートの回答では、回答者のうち81％が「現在のデータ保護ソリューションでは、今後のビジネスニーズに対応することはできない」と答えたとのことです。

さらに、Aberdeen社の調査によれば、データレイクを実装した企業は同業他社と比べて収益成長率が9%上回るという結果が出ています。

以上の結果からも、無制限にデータを取り込めるリポジトリの設置は急務であり、データレイクは今後のデータ活用の分析基盤として必要不可欠な存在と言えるでしょう。

参考：

ビジネスの現場で増え続けるデータに企業はどう立ち向かうべきか｜できるネット

Previous DELL、企業が管理するデータ量の平均が2016年から831%増と発表｜IoTNEWS

Aberdeen – Angling for Insight in Today’s Data Lake（PDF）

データレイクを構築できるサービスには、次のようなものがあります。

また、データレイクにはあらゆるソースからのデータがひとまとめに格納されるため、目次として機能するメタデータを付与しておかなければ、せっかくのデータも活用できないものになってしまいます。

このことに対して、90年代にデータウェアハウスを提唱したBill Inmonは、Data Lake Architecture: Designing the Data Lake and avoiding the Garbage Dump（2016年）の中で、次のように語っています。

データレイクに格納するデータは、メタデータを付与すればデータカタログで管理できるようになります。データカタログ機能を持つサービスやベンダーには、次のようなものがあります。

データレイクを導入することで得られるメリットは、主に次の通りです。

ひとつずつ見ていきましょう。

クラウドで構築するデータレイクは、オンプレミスなデータウェアハウスと比べ、低コストで大容量のストレージを使用できます。

また、構造化・半構造化・非構造化といったあらゆるデータを、事前の定義なく格納することができるため、あらゆるIoTデバイスで発生したデータを一元管理することが可能です。

サイロ化の心配がなく、分割やスケールアップに悩む必要もなく、クラウドなのでサーバやインフラの管理も必要ありません。

従来のデータウェアハウスも、すべてのデータを保存することをコンセプトとしていましたが、実際には容量の問題などから優先度の低いデータを削除するケースも少なくありませんでした。データレイクでは、これらの課題が解決されています。

データレイクは、構造化・半構造化・非構造化といったデータの構造を問わずあらゆるデータを格納できます。

そのため、データウェアハウスやデータベースにデータを格納する際に発生していたデータの成形処理が不要になります。

データウェアハウスでは、成形を施したデータを格納するのに対し、データレイクでは生のデータをそのまま格納できます。

rawデータが残ることにより、同じデータに対して別の分析を別のタイミングで行うことが可能です。

rawデータが蓄積されるため、rawデータをもとに部署ごとに必要なデータ分析を実施することができます。

rawデータが確実に保存されるアーキテクチャを構築することにより、同じタイミングで部署ごとに異なる視点から分析をかけるといったアプローチも可能になるのです。

IoTによりさまざまなエッジデバイスが活躍する中、データウェアハウスだけでは半構造化・非構造化データを含めたすべての情報をリアルタイムに格納することは難しいのがこれまでの状況でした。

それに対し、あらゆるデータを一元管理できるデータレイクなら、データをリアルタイムに取得することで、的確で迅速な意思決定をサポートします。

データレイク・データウェアハウス・データマートの違いは次の通りです。

データレイク

データウェアハウス

データマート

データウェアハウスやデータマートが使用目的に先立って設計されるのに対して、データレイクは特定の使用目的を持たない点が大きな違いと言えるでしょう。

参考：

【初級】AWSで構築するデータレイク 基盤概要とアーキテクチャ例のご紹介｜aws SUMMIT Tokyo2019

ここからは、データレイクの実際の導入・構築事例を紹介します。