コンバージングテクノロジーにより、10億規模のElasticsearchが可能になります

もともとは無関係だったテクノロジーが刺激的な新しい方法で融合するにつれて、デジタルコンバージェンスが私たちの周りで起こっています。 iPhoneは完璧な例であり、電話とコンピューター、カメラ、センサーを組み合わせて、優れたエクスペリエンスを提供します。

埋め込まれた空間では、収束は新しいものではありません。組み込みデバイスは、従来、メモリと処理のより厳しい制限を受けており、多くの技術分野を最大限に活用する方法としてコンバージェンスを採用してきました。したがって、さまざまな規模のテクノロジーの収束が始まったばかりであり、一見異なるテクノロジーが一緒になって既存の業界を混乱させ、魅力的な新しい機会を導くことを約束しているため、埋め込まれたスペースにもメリットがあります。新しい収束の1つは、メモリ内アクセラレーション処理を備えたk-NN最近傍法（k-NN）を使用して、10億規模のElasticsearch操作にほぼリアルタイムの応答を提供することです。

Elasticsearchは、ドキュメント検索のためにJSONリクエストを受け取り、結果としてJSONデータを配信する検索エンジンです。 Elasticsearchデータ形式は、JSONでエンコードされた構造化データを含むドキュメントです。 Elasticsearchはテキストの検索エンジンとして始まりましたが、データベースはあらゆるタイプのデータをカバーでき、各ドキュメントには一意のIDとデータタイプがあります。

この構造は「スキーマフリー」であるため、ユーザーが必要とするものにドキュメントを定義できます。 Elasticsearchデータベースのドキュメントの例は次のとおりです。

• 消費者の検索リクエストを識別するために使用される写真。
• ネットワークへの侵入、異常、または負荷の不均衡を特定するために使用されるネットワークデータログ。
• 顧客の購入パターンを特定し、在庫管理を改善するために使用される製品レシート。
• 自動共有とレプリケーションに使用されるネットワークアーキテクチャ。
• 特定の文学的事例を見つけるために使用されるテキスト文書。
• コンピュータ支援翻訳に使用される1対多のマッピングを含むテキストドキュメント。

Elasticsearchは配布されるように設計されました。インフラストラクチャでスケーラブルであり、ローカルサーバー、リモートサーバー、またはクラウドベースの運用に柔軟に対応できます。オープンで落ち着いたAPI構造のおかげで、拡張可能な検索エンジンをプラグインで簡単に使用できます。そのようなプラグインの1つは、ハードウェアアクセラレーションされたk-NN、マルチモーダル検索のためのベクトルの使用、スコア結果のマージなど、多くの利点を提供するGSIテクノロジーからのものです。

Elasticsearchは、スケーラビリティを分散コンピューティングのサポートに依存しており、その驚異的な速度は、数百万規模のデータベース検索で数秒のオーダーです。分散型の性質とシャーディングのサポートにより、Elasticsearchはデータの重複を可能にし、検索を並列化し、より大きなデータベースの検索を高速化します。 HTTPコマンドの投稿に由来する分散機能により、組み込みデバイスで異なる解像度の複数の検索を実行することもできます。1つはローカルリソースで、もう1つはアップストリームリソースに送信されます。

Core Elasticsearchは、計算量の多い徹底的な一致（すべて一致）を使用します。これにより、大規模なデータベース検索をサポートするために、速度が低下するか、重複するハードウェアで非常にコストがかかります。データベースサイズを増やすために使用できる1つの手法は、k-NN検索です。これは、最初に一般的なグループの類似点を探し、次にそれらの1つ以上のグループ内で最終的な検索を行うことによって機能します。この手法により、遅延の影響が非常に大きいアプリケーションの場合、クラウドベースのコンピューティングファームではなく、エッジスケールサーバーで大規模なデータベース検索を実行することもできます。

計算が難しいアプローチ

k-NNは、Elasticsearchが数十億規模以上のエントリなどの非常に大規模なデータベースをサポートするための方法論を提供しますが、計算量が多すぎます。その結果、GPUまたはCPUコア間でデータベースを移動するという制約があるため、k-NNは加速するのが困難でした。

ワークロードアクセラレーションの最大の制限の1つは、プロセッサとメモリ間で必要なデータ交換の制限です。最新のプロセッサで使用されているフォンノイマンアーキテクチャの主な欠点は、プロセッサとストレージ間のデータ転送のオーバーヘッドです。 CPUは、実行するすべての操作について、外に出てデータをフェッチする必要があります。

このアーキテクチャは、オフロードアクセラレーション環境ではさらに非効率的です。このようなシステムのパフォーマンスは、操作を要求するホストと、操作を実行する計算エンジンによってメモリを介してデータを交換できる速度によって制限されます。

フォンノイマンボトルネックを緩和するために、メモリからのデータの流れを減らすアーキテクチャが研究されています。ただし、メモリを大量に消費する人工知能アプリケーションを扱う場合、ボトルネックは特に深刻です。 AI関連のアプリケーションの動作は、メモリ内の大量のデータの高速かつ効率的な移動に依存しています。トレーニングされたデータベースは、ワーキングメモリとベクトル化された入力クエリにロードする必要があります。次に、比較関数を動作させるために、それらを処理してロードする必要があります。

すでに市場に影響を与えている実証済みのテクノロジーの1つは、Associative Processing Unit（APU）です。インメモリアクセラレーションの利点は、ストレージ自体がプロセッサになることです。これは、キャッシュメモリが近くにある処理コアの大規模な配列ではなく、読み取りラインアーキテクチャに組み込まれた計算ユニットを備えたメモリ配列です。

したがって、APUは、計算を高速化できるメモリアレイを持つことで差別化されます。このタイプの「高速化された」プロセッサは、標準サーバーのワークロードの電力消費を削減しながら、パフォーマンスを桁違いに加速することが示されています。

Elasticsearch、k-NN、およびAPUアクセラレーションのコンバージェンスにより、レイテンシが短縮され、1秒あたりのクエリ数が増加します。また、従来のCPUのみまたはGPUで高速化されたシステムよりも低い電力で、数十億規模のデータベース検索をサポートすることもできます。組み込みスペースでは、Elasticsearchは、エッジデバイスでローカル検索を実行すると同時に、ネットワーク上でより詳細な検索を行うためのHTTPリクエストを送信する手段を提供できます。さまざまな結果をつなぎ合わせて、より鋭い答えを得るか、新しい例外のみを組み込むことができます。

エクストリームエッジデバイスは、CPUリソースを適用して、ローカルに関連するデータベースで速度を検索できます。次に、APU密度乗数を使用すると、Elasticsearchネットワークリクエストをクラウドに送信する代わりに、エッジサーバーまたはアグリゲーターで効率的に実行できます。自律的な意思決定を行うことができるが、上流のより深い検索からバックアップ検証またはコース修正を取得できるロボットを検討してください。高速道路標識ゲートウェイを介して情報を送信し、上流の道路情報と運転指示を返す一方で、ルールセットと地域の状況に基づいて即座に決定を下す自動運転車を検討してください。

今後、このコンバージェンスによってどのような新しい機会が可能になるかを見るのはエキサイティングです。