データのストリーミングは、IoT時代の新しい可能性を解き放ちます

ヘーゼルキャストのケリーヘレル

デジタル化以前の時代、IT部門は、データから価値を引き出すためのさまざまな技術的アプローチを習得していました。データウェアハウス、分析プラットフォーム、さまざまな種類のデータベースがデータセンターを埋め尽くし、レコードが過去の価値のためにディスクに安全に保存されているストレージデバイスにアクセスします。

対照的に、 Hazelcast のCEOであるKellyHerrellは言います 、今日のデータは、モノのインターネット（IoT）デバイスによって前例のない速度で生成およびストリーミングされています。 IoTの「モノ」は、センサー、モバイルアプリ、コネクテッドカーなど、無数にあり、それ自体が爆発的です。それに加えて、価値の程度が接続ユーザーの数に直接相関する「ネットワーク効果」があり、 IDC が好きな理由を理解するのは難しいことではありません。 IoT市場は来年7,450億米ドル（6,650億ユーロ）に達し、2022年には1兆ドル（0.89兆ユーロ）を超えると予測しています。

このメガトレンドは、データ処理パラダイムを混乱させています。保存されたデータの履歴値は、ストリーミングデータの時間的値に取って代わられています。ストリーミングデータパラダイムでは、2つの理由から、価値は即時性の直接的な機能です。

• 違い ：ある長さのホースを通過する固有の水分子がすべての時点で異なるように、各時間枠でネットワークを介してストリーミングされる固有のデータも異なります。
• 腐りやすさ ：ストリーミングデータ内で見つかった洞察に基づいて行動する機会は、データが生成された直後に失われることがよくあります。

違いの概念 および腐敗性 このストリーミングデータパラダイムに適用します。データストリームで検出された突然の変化は、リアルタイムの顔認識でパターンがヒットした場合でも、掘削リグの振動センサーが突然異常を記録した場合でも、すぐに対応する必要があります。予防措置をすぐに講じないと、悲惨な結果になる可能性があります。

今日の時間に敏感な時代では、IoTとストリーミングデータは、この新しいデータパラダイムの変化のペースを加速しています。ストリーム処理自体は急速に変化しています。

2世代、同じ問題

第一世代のストリーム処理は、主に複雑なHadoopベースのアーキテクチャを使用したバッチ処理に基づいていました。データがロードされた後（つまり、データが生成された後）、データ処理エンジンを介してストリームとしてプッシュされました。複雑さと遅延の組み合わせにより、この方法は大幅に不十分になりました。

第2世代（まだ主に使用されている）は、バッチサイズを「マイクロバッチ」に縮小しました。実装の複雑さは変わりませんでした。バッチが小さいほど時間がかかりませんが、バッチの設定にはまだ遅延があります。第2世代は、違いを識別できます ただし、腐敗性には対応していません。 ストリームの変化を発見するまでに、それはすでに歴史です。

第3世代のストリーム処理

最初の2世代は、IT組織が直面しているハードルを浮き彫りにしています。データが生成された時点でデータを処理しながら、ストリーム処理を簡単に実装するにはどうすればよいでしょうか。答え：ソフトウェアは単純化する必要があり、バッチ指向ではなく、ストリームソースの非常に近くに配置できるほど小さくする必要があります。

ストリーム処理の最初の2世代では、複数のコンポーネントをインストールして統合する必要があります。その結果、ほとんどのエッジおよびIoTインフラストラクチャのフットプリントが大きくなりすぎます。軽量のフットプリントにより、ストリーミングエンジンをデータの発信元の近くにインストールするか、データの発信元に埋め込むことができます。近接しているため、IoTストリームがネットワークを通過して処理する必要がなくなり、レイテンシが短縮され、腐りやすい課題に対処するのに役立ちます。

IT組織にとっての課題は、ストリーミングデータソースをリアルタイムで取り込み、処理し、データを実用的な情報に洗練することです。今 。バッチ処理の遅延は、ストリーミングデータの価値を低下させます。第3世代のストリーム処理は、ライブの生データをあらゆる規模で即座に処理することで、バッチ処理に固有のレイテンシの課題を克服できます。

実際のストリーミング

掘削リグは、エネルギー業界で最も有名なシンボルの1つです。ただし、リグの運用コストは非常に高く、プロセス全体のダウンタイムはオペレーターの収益に大きな影響を与える可能性があります。予防的洞察は、これらの損失を劇的に改善する新しい機会をもたらします。

SigmaStream 掘削プロセスで生成される高周波データストリームを専門とする、は、現場で実装されているストリーム処理の良い例です。 SigmaStreamカスタマーリグには、掘削プロセス中の最小の振動を検出するための多数のセンサーが装備されています。これらのセンサーから生成されたデータは、ストリーム処理システムに入る60〜70チャネルの高周波データに到達する可能性があります。

SigmaStreamは、情報をリアルタイムで処理することにより、オペレーターがこれらのデータストリームを実行し、データに即座に対応して障害や遅延を防ぐことを可能にします。データを処理および分析するための適切なツールと組み合わせた第3世代のストリーミングエンジンにより、オペレーターはリグのデータのストリーミング分析を通じてほとんど感知できない振動を監視できます。微調整を行うことで、SigmaStreamの顧客は数百万ドルを節約し、現場での時間を最大20％短縮しました。

今日のデジタル時代では、レイテンシーは新しいダウンタイムです。ストリーム処理は、情報をより速く処理し、アクションをより迅速に有効にし、到着する速度で新しいデータを利用することを目指す組織にとって、論理的な次のステップです。ストリーム処理を主流のアプリケーションに導入することで、組織は新しい種類の超高性能アプリケーションが支配する世界で繁栄し、高まる期待に応えるために時間に敏感な情報を提供できます。

著者はHazelcastのCEO、KellyHerrellです