クラウドデータレイクへのファイルデータ最適化：実践ガイド

クラウドデータレイク戦略は、クラウドへ移行するデータ重視のエンタープライズIT組織にとって自然な進化です。クラウドを安価なデータストレージロッカーから、データを新たな価値で活用し、収益化できる場所へ昇格させるからです。

2020年と2021年が急速なクラウド加速の年だったなら、2022年は企業が非構造化ファイルデータをクラウドデータレイクへ本格的に取り込み始める年になるでしょう。これにはいくつかの理由があります。第一に、組織はペタバイト単位の非構造化データを抱えており、これは世界中のストレージにある64ゼタバイト（増加中）のデータの少なくとも80%を占めます。その大半はファイルデータ——医療画像からストリーミング動画、電気自動車やIoT製品からのセンサーデータ、あらゆる業界で協働とビジネスに使われる文書まで。

第二に、ファイルデータは管理不能になり、保存コストが高騰しており、CIOは適切な場所へ持っていけば分析可能な潜在的な金鉱（インサイト）の上に座っていることを知っています。最後に、主要クラウドプラットフォームがデータ分析/ML/AIツールと低コストオブジェクトストレージ階層へ多額投資し、データレイクプロジェクトを支援しています。

関連記事： データレイク、時系列データ、産業分析

データレイクのクラウドへの成熟

データレイクの実現は、セキュリティ、コスト管理、可視性とともに、ITマネージャーが優先するトップゴールの一つです。クラウドは従来のデータレイク戦略を一変させました。それは、企業がCSVやログファイルのような半構造化データを分析したいというところから始まりました。2006年にHadoopが誕生し、ビッグデータ会話が循環し始めた頃に広く採用されました。しかしHadoopは結局、予想より遅く高価で、セットアップ、スケール、管理が複雑で、主にバッチ処理向けに設計されていました。これらの問題を解決するためApache Sparkが登場し、一部ワークロードで最大100倍高速、リアルタイム分析に適していました。重要なのは、Databricksのような企業がクラウド上でSparkを実行することに焦点を当てたのに対し、Hadoopは主にオンプレミス実装だったことです。

ここ数年、クラウドベースのデータレイクプラットフォームが成熟し、今や本番準備が整っています。クラウドプロバイダーの安価なスケールアウトオブジェクトストレージが、オンプレミスでは単純に実現不可能な大規模ペタバイトスケールプロジェクトのプラットフォームを提供します。次世代データレイクはApache Spark上に構築され、S3やオブジェクトデータストレージをサポートし、半構造化・非構造化データの取り込みと処理を可能にします。ファイルストレージもクラウドへ移行しており、すべてのデータがオブジェクトストレージにあるとは限らないため、クラウドデータレイクの一部として活用される必要があります。

クラウドデータレイク戦略は、クラウドへ移行するデータ重視のエンタープライズIT組織にとって自然な進化です。クラウドを安価なデータストレージロッカーから、データを新たな価値で活用し、収益化できる場所へ昇格させるからです。

クラウドデータレイクを手懐ける方法

まだクラウドデータレイクの初期段階ですが、ファイルデータをデータレイクに含めることは不可欠です。機械学習モデルは意味のある結果を生成するために大量のファイルデータを必要とします。しかし、この非構造化データはファイルタイプ間で標準化されていません：動画ファイル、音声ファイル、センサーデータ、ログは共通構造を持ちません。このすべてのファイルデータをクラウドデータレイクプラットフォームへ無造作に投げ込むのは賢明な戦略ではなく、後で片付けるべき混乱を招きます。約束される一方で、データレイクには多くのリスクがあります——高い管理コスト、スキルギャップ、セキュリティとガバナンスの懸念、クラウドとストレージプラットフォーム間でのデータ移動時のポータビリティ問題、データが大きく絡まりすぎて検索と分析が不能になる「データスワンプ」化への長年の懸念。

ファイルデータをクラウドデータレイクへ取り込む際、困難を回避または最小化するための考慮事項をいくつか示します。

1. データレイクを最適化する。 データを分析する前に、クレンジング、正規化、分類が必要です。これは高度に手作業なプロセスとなり得、コスト超過と価値創出までの遅延につながります。これはデータウェアハウスイニシアチブでも常に課題であり、データレイクとデータレイクハウスでも同じです。データレイクはネイティブフォーマットでデータを取り込めるから魅力的ですが、データをレイクに入れる前に最適化を要求するとこの使いやすさが損なわれます。ユーザー行動を変えずにファイルデータを自動的に最適化するにはどうすればよいか？ 鍵はメタデータです：ファイルタイプ、作成日と最終アクセス日、所有者、プロジェクト、場所といった情報。メタデータプロパティでファイルを自動的にインデックス化しタグ付けする能力が、データスワンプ問題を回避し、後での検索とセグメント化を容易にします。データレイクを非管理のまま放置するのとは対照的です。
2. メタデータインデックスで特定ニーズに合う正確なデータセットを見つける。 ストレージ（オンプレミス、エッジ、クラウドを含む）全体でファイルをインデックス化しメタデータを検索できるツールなら、数十億のファイルを数千に絞り込み、分析したい正確なファイルのみをクラウドへ送れます。
3. データを取り込み時にタグ付けし、検索性とユーザビリティを向上させる。 必要なファイルが見つかったら、機械学習システムでさらにタグを付与し検索を洗練させます。このプロセスは継続的かつ自動化されなければならず、時間とともに追加の構造が開発され、データレイクへの検索容易性と全体的な品質向上がもたらされます。
4. エッジに対応する。 センサーデータやストリーミングデータの新ユースケースでエッジコンピューティングが成長する中、エッジからのデータストリーミングは手に負えなくなるでしょう。エッジでより多くのデータを処理し、必要なものだけをクラウドデータレイクへ持っていくにはどうすればよいか？ エッジプリプロセッシングが、エッジデータ量増大に伴いよりクリティカルになります。
5. 業界別タクソノミーを作成する。 各業界の標準タグ付け命名法は存在しません。セクターごとの共通タグ分類があれば、データの検索と抽出が容易になり、特に研究とライフサイエンスのような協働環境で効果的です。
6. データモビリティに対処する。 真にモバイルであるためには、データはハイブリッドクラウド環境における異なるシステムに常駐でき、それら環境のサービスへネイティブにアクセスできなければなりません。独自ストレージシステムからデータを解放すれば、制御がITに戻り、プラットフォーム間データ移動の手数料と手間が排除されます。データの使用・アクセス方法と価値は時間とともに変化します。データを将来保証することで、変化と新要件へ適応できます。独立したデータモビリティと管理ソリューションがここで役立ちます。
7. 適切な文化を構築する。 2021年New Vantage Partnersの研究によると、主要IT組織は文化——人、プロセス、組織、チェンジマネジメント——を、データ駆動型組織になる上での最大の障壁として特定し続けています。データ駆動文化はアナリストと業務ラインだけでなく、ITインフラチームにも広がる必要があります。ITリーダーは、データストレージ、サーバー、ネットワーク担当プロフェッショナルが責任と日常業務をデータ中心の意思決定フレームワークへ再配向できるよう支援する役割を果たす必要があります。ツールとプロセスはクロスファンクショナルでなければならず、組織のデータ資産の全体像と、それらを組織利益のために管理する戦略への協働を可能にします。

クラウドデータレイクは、データウェアハウスに必要な広範な事前処理なしでネイティブフォーマットでデータを取り込めるため人気を博しています。裏返せば、非構造化ファイルデータにおいて特にデータレイクがデータスワンプ化しやすいのは、このデータに共通構造がないからです。AI/MLエンジンの台頭でファイルデータ分析がより重要になっています。メタデータの自動インデックス化、検索、収集、最適化により、ネイティブフォーマット取り込みというデータレイクの魅力を損なわずに、非構造化データ向けにクラウドデータレイクを最適化できます。