ゴーストバスティングかデータ分析か：ストリームを横断する

データストリームを活用する—バッチイベントとリアルタイムイベントの両方に参加する—は、データサイエンティストとアナリストが高度な問題に対処できるようにします。

個々のストリームは、特定のディメンション（株式の価格、顧客の注文、デバイスのメトリック）に関連するデータを提供します。分析とアプリケーションは単一のデータストリームで提供できますが、用途は狭く、ローカルです。

ストリームを横断すると、歴史、コンテキスト、および関連するシグナルで満たされた、より壮大な可能性が明らかになります。私たちのゴーストバスターズのヒーロー（ベンクマンとギャング）が挑戦に立ち向かう必要があるとき（そしてステイパフト氏を倒す）、彼らは力を合わせて流れました！全体は部分の合計よりも大きかった。

私たちのコミュニティでは、データサイエンティスト、アナリスト、開発者も同様に行動を起こすよう求められています。データストリームを利用する—バッチイベントとリアルタイムイベントの両方に参加する—は、高度な問題に対処する力を与えます。そして、Venkmanの場合と同様に、他の人がギアを持って助けてくれる必要がある場合があります。ストリームの交差を成功させるための4つの重要な要素は次のとおりです。

1）データ、ユースケース、人をまとめます。

イノベーションの加速、効率の最大化、柔軟性の提供は、高度なデータシステムの確立された優先事項です。機敏で進化するソフトウェアバックボーンは、これらの目標を実現します。オープンソースのコアコンポーネントは、成功のために最も重要な長期的な敏捷性と相互運用性を提供します。

ツールは進化し、時にはその新しいゴーストトラップを使用する必要があります。

2）オープンソース形式でデータスタックを将来にわたって利用できるようにします。

データの移植性は、エンタープライズデータチームにとって長い間神聖な要件でした。壁に囲まれた庭園は将来の債務を生み出し、ベンダーロックインには暗黙の長期コストがかかります。 オープンフォーマットを使用してデータを保存します。

CSVとJSONは何年も前から大きく、Avro、Protobuffs、Parquet、Orcなどが最近人気を集めています。それらにはそれぞれ存在する理由がありますが、それぞれが、下流のコンピュータサイエンスにとらわれず、知らない、多数の独立したシステムへの構造化データの配信を原則としています。

データの規模が拡大し、データを移動するための関連する財務コストと遅延コストが増大するにつれて、オープンデータの概念には、ディスク上に保持される種類だけでなく、メモリ内の形式が含まれるようになりました。現在では、データのコピー、移動、シリアル化、または変換を何らかの方法で要求することは受け入れられないことがよくあります。特に、Apache Arrowの重要なコミュニティは、最小限のオーバーヘッド、ゼロコピー読み取り、大規模な高速アクセスで、メモリ内のデータを多くの言語のさまざまなデータ処理ライブラリに提供できるというメリットを享受しています。

ただし、ゴーストバスターズでは、データは冒険の始まりにすぎなかったことを思い出してください。

3）リアルタイムデータと静的データの結合を基本的な要件にします。

最新のデータエンジンは、さまざまなソースからのデータをまとめる必要があります。倉庫、湖、ケンタウロスのような湖の家の専門用語は、現在一般的なイメージです。ただし、イベントストリームの人気が高まっていることは、それほど静かではないカナリアであり、静的データがもはやすべてではないことを示唆しています。

データが変更されます。現代のワークロードは流動的な状態で生きています。 リアルタイムのデータが重要です。

データエンジンと処理ライブラリは、リアルタイムデータワークロードと静的データワークロードの間でスムーズに対応および移動できるように設計する必要があります。 「継続的なインテリジェンス」は、歴史の文脈と瞬間のイベント信号を組み合わせたシステムの流行のフレーズです。最新のデータシステムは、リアルタイムデータ、イベントストリーム、およびその他の更新を一流のコンピテンシーとして処理するように構築する必要があります。これらは、アドオンではなく、後付けではなく、コアの強みである必要があります。

結局のところ、ゴーストバスターズで学んだように、ゲートキーパーとキーマスターは、一緒に結合されるまでははるかに強力ではありません。

4）常にユーザーを最優先します。

今日のデータユーザーには、さまざまなスキル、ツール、ワークフロー、および優先順位があります。共有プラットフォームを中心にチームを合体させることで、チームに活力を与えながら個人にサービスを提供します。個人の効率を最大化し、コラボレーションを促進するデータシステムは、ビジネス価値を促進します。

オープンデータソフトウェアが道を照らします。オープンプロジェクトにおける協力と競争の魅力的な組み合わせは、比類のない進歩と創意工夫のペースを生み出します。相互運用性を促進するために組織されたコミュニティ開発は、拡張、統合、およびユーザーエクスペリエンスのアップグレードを約束します。人気のある小道は舗装道路になります。このようなシステムにより、ユーザーは1つの軍隊になり、適度に複雑なユースケースにも必要な相互依存の作業成果物をサポートできます。

結局のところ、1つのプロトンパックは強力ですが、4つを一緒に使用することは無敵です。

私は「幽霊がいないことを恐れていません。