非構造化データ:業界の隠れたコスト – それを価値に変える方法

あらゆる業界で、データ エンジニアやデータ サイエンティストは、ファイル共有内に隠され、さまざまなシステム内にロックされているデータをより効果的に活用することを目指しています。 AI や分析ツールのワークフローを作成するには、このデータが必要です。これにより、自社の市場について詳しく学び、新しい製品やサービスを作成したり、業務運営や顧客関係を改善したりすることができます。

この方程式のもう一方の側面は、企業データは、ビジネスだけでなく IT 内部でも十分に理解されていない多大なリスクをもたらすということです。例:

• イノベーション、サイバーセキュリティ、優れたカスタマー エクスペリエンスに資金を費やす必要がある場合、データ ストレージとバックアップがほとんどの IT 予算の少なくとも 30% を占めます。
• ほとんどの非構造化データはビジネス価値を得るために活用されていません。
• 80% もの非構造化データの大部分はめったに使用されず、高価なストレージ スペースを占有します。
• 多くの組織は明確な保存ポリシーや削除ポリシーを持っておらず、部門からの反発を懸念してデータの定期的なクレンジング演習も行っていません。重複データだけでも、平均的な企業データ フットプリントの 30 ～ 40% を簡単に占める可能性があります。
• ハイブリッド IT サイロにわたる管理されていない未知の非構造化データ資産は、セキュリティとコンプライアンスのリスクをさらに高めます。

ここでは、非構造化データ管理戦略に関してお客様と長年取り組んできた当社の取り組みから抜粋した、いくつかの業界とそのデータ管理の要件と課題を紹介します。

ヘルスケア:重要なデータへのアクセスを遮断せずにコストを削減  

医療はデータの猛獣です。ある推定によると、医療機関は世界最大のデータ生産者であり、その主な原動力となっているのは、さまざまな臨床画像や機械データの量です。医療費の抑制は、今も昔も医療における重大な責務であり、メディケアの償還変更により、さらにその義務が増しています。医療機関は、厳格なデータ保持規制や、法的要件や研究上の要件によるデータ削除の困難にも直面しています。 

16PB を超える NAS ストレージを管理しているある大手医療システムは、非構造化データ管理に切り替えて、コールド データを分析して Azure Blob にアーカイブし、プライマリ ストレージ システムへの負担を軽減しました。 IT 組織はユーザーの作業を中断することなく 2PB を超えるデータを移動し、高価なハードウェアの更新を遅らせることができました。 

医療などの規制された業界では一般的な、加工管理要件がある組織にとって、ファイルの場所とメタデータの可視性は非常に重要です。最後に、患者データに関する機密性が高いことを考えると、コンプライアンスは常に求められているため、完全な非構造化データの可視化、検索、監査により、医療 IT ディレクターはリスクを軽減するためのより優れた制御が可能になります。

ライフ サイエンス:データの混乱を研究の加速に変える

ライフ サイエンス組織も、最大のデータ生成部門の 1 つです。彼らは多くの場合、数百万の小さいながらも価値の高いファイル、予測できないデータのバースト、および明確な削除ポリシーのない長期保存の必要性を扱います。これらの要因により、IT インフラストラクチャの計画が複雑になります。

バイオ医薬品やバイオテクノロジーの研究室では、科学機器からの TIF 画像ファイルの爆発的な増加により、さらなる課題が生じています。一例では、ある企業は、ローカルに保存された研究データから集中型の NAS アレイに移行しました。急速な成長に対応するために、IT チームはクラウド階層化を Azure にデプロイし、データ分析を使用して古いデータを特定して移動しました。これにより、オーバープロビジョニングが防止され、IT 部門がボトルネックなしで研究パイプラインをサポートできるようになりました。 

AWS のストレージ ソリューションの専門家であるアンソニー フィオーレ氏は、企業の IT チームは通常、1 か所に保存されているデータに関する情報を確認できないと述べています。データ管理ソフトウェアによって提供される詳細な可視性は、ライフ サイエンスやその他の分野の IT 担当者にとって魅力的です。「当社の顧客は、単一の共有内に多くのサイロ化されたデータを含む NAS 共有を所有していますが、それを事業分野ごとにどのように分割できるのか、あるいはこのデータを気にしているのかどうかを知るのは困難です。しかし、すべてのメタデータを一度見ると、すべてがどのように機能するかをよりよく理解できるようになり、後でタグ付けして検索できるようになります。」

金融サービス:クリーンで管理されたデータでリスクを排除し、AI を強化

金融機関は厳しい規制上の制約 (SEC、FINRA、GDPR など) の下で運営されており、多くの場合、数十年にわたるファイル共有の増加による負担を抱えています。データの無秩序な拡大、IT の分散管理、コンプライアンスにより、ファイルベースのデータの管理が非常に複雑になっています。同様に、金融機関は、信用リスク、不正検出、取引に使用される AI モデルが適切に管理され、バイアスや古いデータがないことを保証する必要があります。データを理解し、クレンジング、分類し、安全で監視された AI データ ワークフローを作成するための体系的な方法を持つことの要件がますます高まっています。 

ある多国籍保険会社にとって、Azure への移行はコスト削減だけでなく、最新化、分析、AI への対応も重要でした。彼らは非構造化データ管理を使用して、データセンター内の高価なプライマリ ストレージの容量ニーズを削減し、600 TB 以上を低コストのオブジェクト クラウド ストレージに階層化しました。また、クラウドベースのツールを使用して AI を活用した保険商品を開発しており、非構造化データが予測モデルの重要な部分を形成しています。 AI の取り込み前に非構造化データを分類およびセグメント化する機能は、コストを管理し、正確な結果を提供するために重要です。

こちらもご覧ください: リアルタイム ビジュアル インテリジェンスによるデータ ストレージの罠からの脱出

州および地方自治体:インフラストラクチャの耐用年数を延長し、データ監視を強化する

公共部門の IT 組織は、民間部門に比べてインフラストラクチャが老朽化しており、レガシー アプリケーションの割合が高い傾向があります。最新化を望んでいますが、通常は予算が限られており、セキュリティ ポリシーや、明確な削除パスのないデータ保持を必要とする法的義務により、クラウドの導入は最小限に抑えられています。 IT リーダーは、サービスの提供と厳格なコンプライアンス要件のバランスを取る必要があります。 

州政府機関にとって、ファイルをクラウドにアーカイブすることは、老朽化したハードウェアへの依存を軽減するのに役立ちます。最終変更日/最終アクセス日を可視化することで、IT 部門はアクセス頻度の低いデータのみを高性能ストレージから移動できます。同時に、安全で監査可能なアクセスを確保するには、ストレージおよびデータ管理システムをセキュリティおよびコンプライアンス ツールと統合することが重要です。データ階層化の導入は依然として慎重ですが、多くの政府機関はレポートを使用して、特に停滞している部門データに関する非構造化データのライフサイクル ポリシーの根拠を構築しています。

エンジニアリングとアーキテクチャ:隠れたデータ価値を明らかにして、より多くのプロジェクトを獲得

エンジニアリング会社や設計会社は、特に CAD、GIS、3D モデリング ファイルから、大規模な非構造化データを生成します。これらのファイルはサイズが大きく、特に分散したチーム間や M&A 活動から継承したレガシー システム間では管理が困難です。これらの企業は、参照、責任、再利用のために過去のプロジェクト データを保存する必要があります。 6PB 以上を管理しているある世界的企業は、非構造化データ管理を使用して 3 年以上前のプロジェクト ファイルを特定し、Azure にバックアップされた Cloudian アーカイブに移動しています。これにより、アクセシビリティを維持しながら、アクティブな HPE アレイのパフォーマンスが維持されます。あるケースでは、ファイル データ ストア全体のクエリにより、地震が発生しやすい地域のプロジェクトの土壌試験データを迅速に見つけることができ、時間を節約し、重要なインフラストラクチャの設計をサポートできました。

買収の統合を継続する中で、同社は分析を使用して新しく継承したファイル サーバーを評価しています。この可視性により、保持、移行、またはアーカイブするものに優先順位を付けることができます。彼らの目標は、最終的にはすべての非構造化データにインデックスを付けて、AI ベースのモデリングを可能にし、ビジネス ユニット全体にわたる知識のサイロを削減することです。

エネルギー:一元化されたデータにより現場の効率とコンプライアンスを向上

これらの企業は、リモート サイトの制約、変動する帯域幅、国際的な安全および運用規制への準拠、そしてデータ駆動型のリモート診断とデジタル ツインをサポートする必要性の増大に直面しています。

ある企業では、数百もの遠隔地にまたがるエッジ ストレージを廃止する必要性から、非構造化データ管理の採用を決定しました。ビデオ ログ、図面、オフショア メンテナンス記録が山積みになる中、非構造化データを一元管理して制御するために、コールド データを Azure にアーカイブし始めました。

チャージバック モデルが導入されたことで、ファイル データの洞察は部門の責任にとって非常に重要になりました。長期的な目標は、水中 ROV 画像などの調査および検査データのワークフローを、予測メンテナンスとコンプライアンスのために AI 対応環境にサポートすることです。 

半導体 / 製造:高価なストレージの設置面積を削減しながら IP を保護

半導体企業は、エンジニアがアクティブなデータセットに高パフォーマンスでアクセスできるようにしながら、価値の高い知的財産を保護し、世界中に分散したデータを管理し、厳格な輸出管理とセキュリティ要件を順守する必要があります。

世界的な半導体メーカーは、高度に特殊化されたスキャン装置を使用して、独自の膨大な画像データを生成しています。データの 97% が依然としてオンプレミスに保存されているため、IP 保護や取得パフォーマンスを損なうことなく古いスキャン データをアーカイブする効率的な方法が必要でした。非構造化データ管理と Cloudian S3 ストレージを組み合わせることで、12 か月間アクセスされなかったファイルをプライマリ サーバーから移動するコールド データ ポリシーを実装しました。シンボリック リンクの保存とメタデータの追跡により、同社は内部 IP 処理プロトコルへの準拠を確保し、高価なプライマリ NAS への依存を軽減しました。

結論:非構造化データを戦略的なビジネス資産に変換する

あらゆる業界において、非構造化データ管理はもはや単なるコスト削減策ではなく、戦略的な実現要因となっています。保険における AI ワークフローのサポート、医療における法規制遵守の維持、製造におけるインフラストラクチャの合理化など、組織はデータ ガバナンスと柔軟なデータ アクセスおよび移動を組み合わせる必要性を認識しています。