非構造化データ：産業界への隠れたコスト — 価値へ転換する方法

あらゆる業界で、データエンジニアとデータサイエンティストは、ファイル共有の中に隠れ、さまざまなシステム内にロックされているデータをより良く活用しようとしています。彼らは、市場をより深く理解し、新製品・サービスを創出し、ビジネス運営と顧客関係を改善するため、AIと分析ツール用のワークフローを作成するためにこのデータを必要としています。

この方程式のもう一方の側面は、エンタープライズデータが、ビジネスだけでなくIT内部でも十分に理解されていない十分なリスクをもたらすことです。例えば：

• データストレージとバックアップは、イノベーション、サイバーセキュリティ、優れた顧客体験に資金を割く必要があるとき、ほとんどのIT予算の少なくとも30%を占める；
• ほとんどの非構造化データはビジネス価値のために活用されていない；
• 非構造化データの大部分、最大80%がほとんど使用されず、高価なストレージスペースを占有している；
• 多くの組織が明確な保持・削除ポリシーを持たず、部門からの反発を恐れて定期的なデータクレンジングを行わない。重複データだけで、平均的なエンタープライズデータフットプリントの30〜40%を容易に占める；
• ハイブリッドITサイロ全体にわたる非管理・未知の非構造化データ資産が、追加のセキュリティとコンプライアンスリスクを生む。

ここでは、非構造化データ管理戦略で顧客と長年取り組んできた経験から、いくつかの業界とそのデータ管理要件・課題を紹介します。

ヘルスケア：重要データへのアクセスを犠牲にせずコスト削減

ヘルスケアはデータの巨獣です。一部の推計では、ヘルスケア組織は世界最大のデータ生産者であり、その大部分は多様な臨床画像と機械データの量によって駆動されています。コスト抑制はヘルスケアにおいて常に喫緊の命題であり、Medicare償還の変更によりさらにそうなっています。ヘルスケア組織はまた、厳格なデータ保持規制と、法的・研究要件によるデータ削除の困難さにも直面しています。

ある大手医療システムは、16PB超のNASストレージを管理し、非構造化データ管理を導入してコールドデータを分析・アーカイブし、Azure Blobへ移行することで、プライマリストレージシステムへの圧力を軽減しました。ユーザーを中断させることなく、2PB超のデータを移動し、高価なハードウェアリフレッシュを遅らせることに成功しました。

チェーンオブカストディ（保管連鎖）要件を持つ組織（ヘルスケアのような規制産業で一般的）にとって、ファイルの場所とメタデータへの可視性は極めて重要です。最後に、患者データの高い機密性を考慮するとコンプライアンスは常に要求されるため、完全な非構造化データの可視性、検索、監査により、ヘルスケアITディレクターはリスクを低減するためのより大きな制御権を得られます。

ライフサイエンス：データのカオスを研究加速へ転換

ライフサイエンス組織も、最大級のデータ生産セクターの一つです。何百万もの小さくて高価値なファイル、予測不能なデータバースト、明確な削除ポリシーなしの長期保持要件を扱うことが多く、これらの要因がITインフラ計画を複雑にしています。

バイオ医薬品とバイオテックラボでは、科学機器から生成されるTIF画像ファイルの爆発的増加がさらなる課題を生んでいます。ある例では、企業がローカルに保存されていた研究データを中央集約型NASアレイへ移行しました。急速な成長に対応するため、ITチームはAzureへのクラウド階層化を導入し、データ分析を用いて古くなったデータを特定・移動しました。これにより過剰プロビジョニングを防ぎ、ボトルネックなしで研究パイプラインをITが支援できるようになりました。

企業ITチームは通常、自社データについて一箇所で情報を把握できないと、AWSのストレージソリューションエキスパートAnthony Fiore氏は言います。データ管理ソフトウェアが提供する詳細な可視性は、ライフサイエンスや他のセクターのIT担当者にとってエキサイティングです。「単一の共有内に多くのデータサイロを持つNAS共有を持つ顧客がいます。それを業務単位でどう分割できるか、あるいはそのデータを気にかける必要があるかさえわかりにくい。だが一度すべてのメタデータが見えれば、すべてがどう機能しているか理解が深まり、後でタグ付けして検索できるようになります。」

金融サービス：クリーンでガバナンスされたデータでリスクを排除しAIを強化

金融機関は厳格な規制制約（SEC、FINRA、GDPRなど）下で運営され、数十年にわたるファイル共有の増大に悩まされることが多々あります。データの蔓延、分散したIT統制、コンプライアンスが、ファイルベースのデータ管理を極めて複雑にしています。また、金融機関は、信用リスク、不正検知、トレーディングに使用されるAIモデルが適切にガバナンスされ、バイアスと古いデータから自由であることを保証しなければなりません。データを体系的に理解・クレンジング・分類し、安全で監視されたAIデータワークフローを作成する方法を持つことは、ますます重要な要件となっています。

ある多国籍保険企業にとって、Azureへの移行はコスト削減だけでなく、モダナイゼーション、分析、AIレディネスのためでもありました。非構造化データ管理を用いて、データセンターの高価なプライマリストレージの容量ニーズを削減し、600TB超を低コストのオブジェクトクラウドストレージへ階層化しました。また、クラウドベースのツールでAI拡張保険商品を開発し、非構造化データがそれらの予測モデルの重要な部分を形成しています。AI取り込み前に非構造化データを分類・セグメント化する能力は、コスト管理と正確な結果提供の観点から極めて重要です。

関連記事： リアルタイム視覚インテリジェンスにおけるデータストレージの罠からの脱却

州・地方政府：インフラ寿命を延ばしデータ監督を強化

公共セクターのIT組織は、民間セクターより古いインフラとより高い割合のレガシーアプリケーションを抱えがちです。モダナイズしたいが、予算は通常厳しく、セキュリティポリシーや、明確な削除パスのないデータ保持を要求する法的命令により、クラウド採用は最小限です。ITリーダーは、サービス提供と厳格なコンプライアンス要件のバランスを取る必要があります。

州機関にとって、ファイルをクラウドにアーカイブすることは、老朽化したハードウェアへの依存を減らすのに役立ちます。最終変更/アクセス日への可視性により、ITはめったにアクセスされないデータのみを高性能ストレージから移動できます。同時に、ストレージとデータ管理システムをセキュリティとコンプライアンスツールと統合することは、安全で監査可能なアクセスを確保するために不可欠です。データ階層化の採用は慎重ですが、多くの機関がレポート機能を用いて、停滞した部門データを中心とした非構造化データライフサイクルポリシーの必要性を訴えています。

エンジニアリング＆アーキテクチャ：隠れたデータ価値を解き放ち、より多くのプロジェクトを獲得

エンジニアリングと設計事務所は、CAD、GIS、3Dモデリングファイルから特に大量の非構造化データを生成します。これらのファイルは大容量で管理が難しく、特に分散チームやM&Aで引き継いだレガシーシステムでは尚更です。これらの企業は、参照、責任、再利用のために過去のプロジェクトデータを保存する必要があります。あるグローバル企業は、6PB超を管理し、非構造化データ管理を用いて3年以上前のプロジェクトファイルを特定し、AzureでバックアップされたCloudianアーカイブへ移動しました。これによりアクティブなHPEアレイのパフォーマンスを維持しつつ、アクセス性を保っています。あるケースでは、ファイルデータストア全体へのクエリで、地震多発地域のプロジェクトのための土壌試験データを迅速に特定し、時間を節約し、重要なインフラ設計を支援しました。

買収統合を継続する中で、同社は分析を用いて新たに引き継いだファイルサーバーを評価しています。この可視性により、何を保持、移行、アーカイブすべきか優先順位付けが可能になります。最終目標はすべての非構造化データをインデックス化し、AIベースのモデリングを可能にし、ビジネスユニット間の知識サイロを削減することです。

エネルギー：データを一元化し、現場効率とコンプライアンスを改善

これらの企業は、リモートサイトの制約、変動する帯域幅、国際的な安全・運用規制への準拠、データ駆動型リモート診断とデジタルツインのサポートへの増大するニーズに直面しています。

ある企業では、数百のリモート拠点にわたるエッジストレージを廃止する必要から、非構造化データ管理の導入を決断しました。ビデオログ、図面、オフショアメンテナンス記録が積み上がる中、コールドデータをAzureにアーカイブし、非構造化データを一元化・管理し始めました。

チャージバックモデルが導入されている中、ファイルデータインサイトは部門説明責任にとって不可欠になりました。長期目標は、水中ROV映像のような調査・検査データワークフローを、予知保全とコンプライアンスのためのAI対応環境へ取り込むことです。

半導体／製造：高価なストレージフットプリントを削減しながらIPを保護

半導体企業は、高価値IPの保護、グローバルに分散したデータの管理、厳格な輸出管理とセキュリティ要件の遵守を、エンジニアがアクティブなデータセットに高性能アクセスできることを確保しながら行わなければなりません。

あるグローバル半導体メーカーは、大量の独自画像データを生成する高度に特殊なスキャン装置を使用しています。データの97%がオンプレミスに保存されている中、IP保護や取得パフォーマンスを損なうことなく、古いスキャンデータを効率的にアーカイブする方法を必要としていました。非構造化データ管理とCloudian S3ストレージを組み合わせ、12ヶ月アクセスされていないファイルをプライマリサーバーから移動するコールドデータポリシーを実装しました。シンボリックリンクの保持とメタデータ追跡により、社内IP取り扱いプロトコルへの準拠を確保し、高価なプライマリNASへの依存を削減しました。

結論：非構造化データを戦略的ビジネス資産へ転換

業界を問わず、非構造化データ管理は単なるコスト削減策ではなく、戦略的イネーブラーとなっています。保険でのAIワークフロー支援、ヘルスケアでの規制コンプライアンス維持、製造でのインフラ効率化など、組織はデータガバナンスと柔軟なデータアクセス・移動の結合の必要性を認識しつつあります。