継続的データをクラウドにバックホールするコストは想像以上に高い

リアルタイム意思決定によって駆動される業界（製造、輸送、通信、公共安全など）では、データはもはや時折のバッチで生成されるものではありません。センサー、機械、移動資産、デジタルアプリケーションから、継続的に、かつ大規模に到着します。そのデータを分析のためにクラウドやデータセンターに集中化することは一度は効率的に見えましたが、今日のデータストリームの量、速度、重要性が、従来のバックホールファーストアプローチの深刻な限界を露呈させています。

長年にわたり、このようなデータストリームを日常的に扱い、リアルタイムインサイトに活用したい組織は、データが生成されるエッジに分析を移してきました。ますます、データ量と生成率が増大する中、多くの組織はエッジシステムに高度な知能を付与し、分析から導かれるリアルタイムおよびニアリアルタイムのインサイトに適応的に対応できるようにしています。

関連記事：レイテンシを超えて：適応型エッジインテリジェンスの次フェーズ

データバックホールの限界

データを中央施設にバックホールすることは、データ量と生成率が控えめだった数十年間、実用的なアプリケーションを持っていました。データは即時のアクションや過去傾向の理解のために保存・分析されてきました。

そのモデルは、大量の継続的ストリーミングデータを持つ業界ではもはや機能しません。影響を受ける業界には：

• 果てしないトランザクションデータストリームに基づいて行動しようとする金融サービス組織。
• 生産ライン上の機器からのIoTおよびその他センサーデータを理解しようとする製造企業。
• その瞬間を捉え、Webサイト上の顧客に関連アイテムを提示しようとするオンライン小売業者。
• 道路障害物を回避し交通法規を遵守するためにビデオストリームを解釈しようとする自律走行車両。

これらのケースやその他のケースで、データバックホールの最も即時的な課題の一つはネットワーク輻輳です。IoTセンサー、HDビデオフィード、自律システム、産業機械などの高頻度データソースは、時間あたりギガバイト、甚至はテラバイトのデータを生成できます。これを中央の場所に集めようとすると、利用可能な帯域幅が圧迫され、コストが増大し、全体的なネットワークパフォーマンスが低下します。帯域幅アップグレードは役立ちますが、スケールが悪く、コスト増大につながります。

次にレイテンシがあります。これはリアルタイム応答性を静かに殺す要因です。生データが処理のために長距離を移動しなければならない場合、往復遅延により、分析システムがそれらに基づいて行動する頃にはインサイトが古くなっている可能性があります。安全クリティカルまたは時間に敏感なシナリオ（公益事業の故障検知、製造ラインの品質管理、輸送車両の予知保全など）では、ミリ秒が重要です。中央集権型処理アーキテクチャは、決定論的なパフォーマンスを単純に保証できません。

もう一つしばしば見落とされる問題はコスト非効率です。クラウドストレージ、データ転送料、コンピュートリソースは、大規模データセットが継続的に移動すると高価になります。多くの組織は、冗長、低価値、無関係なデータを保存・分析するために費用を支払っていることに気づきます。実際、研究は定期的に、生センサーデータの大半が決して使用されないことを示していますが、バックホールされると依然として全額の輸送・保存コストが発生します。

セキュリティとプライバシーリスクもデータ量の増加とともに高まります。未フィルタリングのデータを広域ネットワーク経由で移動させると攻撃対象領域が拡大し、厳格な暗号化、監視、コンプライアンスコントロールが必要になります。位置情報、運用テレメトリ、顧客利用パターンなどの機密データは、リージョンやクラウド境界を越えて輸送される際に規制上の影響を持つ可能性があります。一部の業界では、このことだけで中央集権型バックホールが非現実的になります。

最後に、中央集権型アーキテクチャはレジリエンスを制限します。接続が失われたりパフォーマンスが低下したりすると、分析のためにクラウドに依存するシステムはタイムリーな意思決定ができなくなる可能性があります。これは、リモート鉱山作業、洋上エネルギープラットフォーム、スマートグリッド、輸送システムなど、ネットワークが回復するまで操作を一時停止できないエッジ環境では受け入れられません。

データバックホール問題の詳細な考察

要するに、リアルタイムシステムが普及するにつれ、アナリティクスと意思決定はイベントソースに近づき、ステートを維持し、最小レイテンシと完全な一貫性で実行されなければなりません。

最近のVolt Active Dataブログが、データバックホールの問題を展望し、適応型エッジインテリジェンスシステムがいかにそれらを排除するかを議論しました。

ブログは、中央集権型データ処理がいくつかの管理上の利便性を提供する一方で、実質的な隠れたコストを伴うことを指摘しました。これには、大規模データセットの輸送と格納による高い帯域幅とストレージ費用、エネルギー消費増大と関連するカーボンフットプリント、ネットワークレイテンシと信頼性の課題（特にリアルタイムアプリケーション向け）、すべての処理が中央集権型インフラに依存することによる単一障害点リスクの増大が含まれます。

これらの問題を克服するため、組織はインテリジェンスをエッジにシフトさせています：データをそのソースに近い場所で処理・フィルタリングし、意味のある削減された情報のみをアップストリームに送信します。このようなエッジネイティブモデルは、伝送とストレージコストを削減し、レイテンシを劇的に減らし、運用レジリエンスを向上させ、よりグリーンで持続可能なアーキテクチャを可能にします。

最後に

組織がエッジでより多くの自動化、AI、自律運用を採用するにつれ、すべてをデータセンターに出荷するモデルはますます持続不可能になっています。未来は、データがローカルで処理され、ソースで削減またはエンリッチされ、高価値なアウトプットや集約のみがアップストリームに送信される、ハイブリッドおよびエッジネイティブなアーキテクチャにあります。