連続データをクラウドにバックホールするのに予想以上のコストがかかる理由

製造、運輸、通信、公安など、リアルタイムの意思決定がますます求められる業界では、データが不定期にバッチで作成されることはなくなりました。それは、センサー、マシン、モバイル資産、デジタル アプリケーションから継続的かつ大規模に到達します。かつては分析のためにデータをクラウドまたはデータセンターに一元管理することが効率的だと思われていましたが、今日のデータ ストリームの量、速度、重要性により、従来のバックホール優先のアプローチでは重大な限界が明らかになりました。

長年にわたり、このようなデータ ストリームを日常的に処理し、そのデータをリアルタイムの洞察に使用したいと考えている組織は、そのデータの分析をデータが作成されるエッジに移行してきました。データ量とデータ生成速度がますます増大するにつれて、多くの組織は、分析で得られるリアルタイムおよびほぼリアルタイムの洞察に基づいて適応的に行動するための高度なインテリジェンスをエッジ システムに導入しています。

こちらもご覧ください: 遅延を超えて:アダプティブ エッジ インテリジェンスの次の段階

データのバックホールの制限

集中施設へのデータのバックホールは、データ量とデータ生成速度が控えめだった数十年にわたって実用化されてきました。データは保存および分析され、即時アクションを実行したり、過去の傾向を理解したりすることができます。

このモデルは、大量の継続的なストリーミング データを扱う業界ではもう機能しません。影響を受ける業界には次のようなものがあります。

• 取引データの無限のストリームに基づいて行動しようとしている金融サービス組織
• 製造ライン上の機器から得られる IoT やその他のセンサー データを理解しようとしている製造会社
• オンライン小売業者はこの機を捉えて、ウェブサイト上で顧客に関連商品を紹介しようとしています
• 自動運転車は、道路の障害物を回避し、交通法規を遵守するためにビデオ ストリームを解釈しようとします。

このような場合やその他の場合、データのバックホールに関する最も当面の課題の 1 つはネットワークの混雑です。 。 IoT センサー、HD ビデオ フィード、自律システム、産業機械などの高周波データ ソースは、1 時間あたりギガバイト、さらにはテラバイトのデータを生成することがあります。これを中央の場所に集中させようとすると、利用可能な帯域幅に負担がかかり、コストが増加し、ネットワーク全体のパフォーマンスが低下します。帯域幅のアップグレードは役立ちますが、拡張性が低く、コストが高くなります。

次に遅延があります。 、これはリアルタイム応答性のサイレントキラーです。生データを処理するために長距離を移動する必要がある場合、往復遅延により、分析システムがデータに作用するまでに洞察が古くなってしまう可能性があります。公共施設の障害検出、製造ラインの品質管理、輸送車両の予知保全など、安全性が重要なシナリオや時間に敏感なシナリオでは、ミリ秒が重要です。集中処理アーキテクチャでは、決定的なパフォーマンスを保証することはできません。

見落とされがちなもう 1 つの問題はコスト効率の悪さです。 。大規模なデータセットが継続的に移動されると、クラウド ストレージ、データ転送料金、コンピューティング リソースが高価になります。多くの組織は、冗長なデータ、価値の低いデータ、または無関係なデータの保存と分析にお金を払っていることに気づいています。実際、生のセンサー データの大部分は決して使用されないにもかかわらず、バックホールされる際には依然として完全な転送コストと保管コストがかかることが調査で定期的に示されています。

セキュリティとプライバシーのリスク データ量の増加に応じて増加します。フィルタリングされていないデータを広域ネットワーク上に移動すると、攻撃対象領域が拡大し、厳格な暗号化、監視、コンプライアンス制御が必要になります。位置情報、運用テレメトリ、顧客の使用パターンなどの機密データは、リージョンやクラウドの境界を越えて転送される場合、規制上の影響を受ける可能性があります。一部の業界では、これだけでは一元的なバックホールが現実的ではなくなります。

最後に、集中型アーキテクチャは復元力を制限します。 。接続が失われたり、パフォーマンスが低下したりすると、分析をクラウドに依存しているシステムはタイムリーな意思決定を行えなくなる可能性があります。これは、ネットワークが回復するまで動作を一時停止できないリモート採掘作業、海洋エネルギー プラットフォーム、スマート グリッド、輸送システムなどのエッジ環境では受け入れられません。

データ バックホールの問題を詳しく見る

つまり、リアルタイム システムが急増するにつれて、分析と意思決定はイベント ソースに近づき、状態を維持し、最小限のレイテンシと完全な一貫性で実行する必要があります。

最近の Volt Active Data ブログでは、データのバックホールの問題を大局的に取り上げ、適応型エッジ インテリジェンス システムがどのようにそれらの問題を排除するかについて説明しました。

このブログでは、一元化されたデータ処理は管理上の利便性を提供する一方で、多額の隠れたコストを伴うと指摘しています。これには、大規模なデータセットの転送と保管に伴う高帯域幅とストレージの費用、エネルギー消費とそれに伴う二酸化炭素排出量の増加、ネットワークの遅延と信頼性の課題 (特にリアルタイム アプリケーションの場合)、すべての処理が集中化されたインフラストラクチャに依存する場合の単一障害点のリスクの増大などが含まれます。

これらの問題を克服するために、組織はインテリジェンスをエッジに移行させています。つまり、データをソースに近いところで処理およびフィルタリングして、意味のある削減された情報のみが上流に送信されるようにしています。このようなエッジネイティブ モデルは、伝送とストレージのコストを削減し、レイテンシを大幅に短縮し、運用上の復元力を向上させ、より環境に優しく持続可能なアーキテクチャを可能にします。

最後に一言

組織がエッジでの自動化、AI、自律運用の採用を増やすにつれて、すべてをデータセンターに輸送するモデルはますます持続不可能になってきています。未来は、データがローカルで処理され、ソースで削減または強化され、価値の高い出力または集約のみが上流に送信される、ハイブリッドおよびエッジネイティブ アーキテクチャにあります。