データストリームを交差させる：ゴーストバスターズから高度分析へ

データストリームを活用する——バッチとリアルタイムイベントの双方を結合する——ことは、データサイエンティストとアナリストが洗練された問題に取り組む力を与えます。

個々のストリームは特定の次元に関するデータ——株価、顧客注文、デバイスメトリクス——を提供します。単一ストリームでも分析とアプリケーションに役立ちますが、用途は狭くローカルです。

ストリームを交差させると、歴史、文脈、関連シグナルに満ちたより壮大な可能性が開けます。ゴーストバスターズのヒーローたち（ベンクマンと仲間）が挑戦に立ち向かう（マシュマロマンを倒す）とき、彼らは力を合わせ——ストリームを交差させました！ 全体は部分の総和より大きかったのです。

我々のコミュニティでは、データサイエンティスト、アナリスト、開発者が同様に行動を促されています。データストリームを活用し——バッチとリアルタイムイベントの双方を結合する——ことは、あなたが洗練された問題に取り組む力になります。そしてベンクマンと同じく、時には他人のギアと助けが必要です。ストリーム交差を成功させる4つの重要要素：

1) データ、ユースケース、人を結集する

イノベーション加速、効率最大化、柔軟性確保は、洗練されたデータシステムの確立された優先事項です。機敏で進化するソフトウェアバックボーンがこれらを実現します。オープンソースのコアコンポーネントが、成功に不可欠な長期的アジリティと相互運用性を提供します。

ツールは進化し、時には新しいゴーストトラップを使う必要があります。

2) オープンソースフォーマットでデータスタックを将来保証する

データポータビリティは長らくエンタープライズデータチームの神聖な要件でした。囲い込みは将来の負債を生み、ベンダーロックインには語られない長期コスト——しばしばビジネスの足枷として支払われる——があります。データをオープンフォーマットで保存する。

CSVとJSONは長年定番で、最近ではAvro、Protobuf、Parquet、ORCなどが人気を博しています。それぞれ存在意義がありますが、すべて構造化データを多様な独立システムへ、下流の計算機科学を問わず、盲目的に提供するという原則に基づいています。

データ量が拡大し、データ移動の金銭的・レイテンシコストが複合化する中、「オープンデータ」の概念はディスク持続型だけでなくインメモリフォーマットも含むようになりました。データをコピー、移動、シリアライズ、翻訳することを要求するのは今やしばしば許容されません。特にApache Arrowは、ゼロコピー読み取り、スケールでの高速アクセス、多言語のデータ処理ライブラリへのインメモリデータ提供により、巨大なコミュニティメリットを享受しています。

しかし思い出してほしい、ゴーストバスターズではデータは冒険の始まりに過ぎなかったことを。

3) リアルタイムデータと静的データの結合を基本要件にする

モダンデータエンジンは多様なソースからのデータを結合できなければなりません。ウェアハウス、レイク、ケンタウロスのようなレイクハウスという用語は今や一般的です。しかし、イベントストリームの人気の高まりは、静的データだけでは全容が語れないことを示す静かなカナリアです。

データは変化します。モダンワークロードはフラックスの状態にあります。リアルタイムデータが重要。

データエンジンと処理ライブラリは、リアルタイムと静的データワークロードの双方を第一級の能力として扱い、流動的に行き来できるようアーキテクトされるべきだ。 「継続的インテリジェンス」は、歴史の文脈と瞬間のイベントシグナルを組み合わせるシステムの流行り言葉です。モダンデータシステムは、リアルタイムデータ、イベントストリーム、その他の更新をコアコンピテンシーとして処理できるよう構築されるべきです。これらはアドオンでも後付けでもなく、核心的強みでなければなりません。

ゴーストバスターズで学んだように、ゲートキーパーとキーマスターは結合されるまで大した力を持ちません。

4) 常にユーザーを第一に

今日のデータユーザーは多様なスキル、ツール、ワークフロー、優先順位を持っています。共有プラットフォームでチームを結集することは個人に貢献し、チームを活性化します。個人の効率を最大化し、コラボレーションを促進するデータシステムがビジネス価値を生み出します。

オープンデータソフトウェアが道を照らします。オープンプロジェクトにおける協力と競争の魅力的なミックスが、比類なき進歩のペースと独創性を生み出します。相互運用性を促進するよう組織されたコミュニティ開発は、機能拡張、統合、ユーザー体験向上を約束します。人気のパスは舗装道路になります。こうしたシステムはユーザーを「一人分の軍隊」にしつつ、中程度以上に複雑なユースケースに必要な相互依存の作業成果を支援します。

結局、プロトンパック1つでも強力だが、4つが協力すれば無敵だ。

I ain't 'fraid of no ghost.