スマートトーク エピソード8：データレイクハウスでリアルタイムインサイトを解き放つ

データレイクハウスは柔軟で多目的なリポジトリとして台頭しています。このスマートトークエピソードでは、StratolaのCEOディネシュ・チャンドラセカールとゲストのStarburst CEO兼会長ジャスティン・ボーグマンが、データレイクハウスの機能をリアルタイムデータと高性能クエリに拡張し、ほぼリアルタイムのインサイトを得る方法について議論します—これはますます一般的なユースケースです。必要な2つの鍵となるテクノロジーは、Kafkaストリームと強力なクエリエンジンです。

特に興味深いのは、SnowflakeとDatabricksがApache Icebergのサポートを発表し、オープンソースソフトウェアとオープンフォーマットの重要性が検証されたことについての二人の見解です。ジャスティンは、ベンチマークソリューションについてのアドバイスを共有します：エンタープライズデータを使用し、実際のクエリを実行し、スケールをシミュレートし、最後にコストを計算することです。

カバーされるトピック：

• データレイクハウスへのリアルタイムデータストリーミングのためのKafka（4:22）
• オープンフォーマットの利点（5:56）
• GenAIにおけるSQLの支援役割（8:53）
• Snowflake、Databricks、Iceberg（11:56）
• 柔軟なデータリポジトリ戦略（17:21）

ゲスト

ジャスティン・ボーグマン、Starburst CEO兼会長

ジャスティン・ボーグマンはビッグデータと分析のあらゆる側面における専門家です。Starburst創業前は、Teradata（NYSE: TDC）の副社長兼GMを務め、同社のHadoop製品ポートフォリオを担当しました。2014年、自身の会社Hadaptが買収された際にTeradataに入社。Hadaptは「SQL on Hadoop」を創造し、Hadoopをファイルシステムから任意のBIツールからアクセス可能な分析データベースへと変えました。2017年にStarburstを設立し、アナリストがデータの場所を問わず多様なデータセットを分析できる自由を、パフォーマンスを犠牲にすることなく提供することを目指しました。

ホスト

ディネシュ・チャンドラセカールはテクノロジーエバンジェリスト、思想的リーダー、ベテランIT業界アナリストです。約30年の経験を持ち、B2BエンタープライズソフトウェアやSaaS製品で、複雑なアーキテクチャを持つ顧客向けに洗練されたソリューションの提供とマーケティングに従事。LogicMonitor、Cloudera、Hortonworks、CA Technologies、Software AG、IBMなど様々な企業で、複数の高成長製品を市場投入するための非常に成功したGTM戦略の定義と実行を行ってきました。多作なスピーカー、ブロガー、週末プログラマーでもあります。サンタクララ大学MBA、マドラス大学コンピュータアプリケーション修士。現在は自身の会社Stratolaを経営し、顧客中心のビジネス戦略コンサルティングとフルスタックマーケティングサービスを提供しています。

リソース

スマートトーク エピソード7：オブザーバビリティにおけるカーディナリティ、制御、コスト
スマートトーク エピソード6：AIOpsとIT監視の未来
スマートトーク エピソード5：オブザーバビリティスタックの分解
スマートトーク エピソード4：リアルタイムデータとベクトルデータベース
スマートトーク エピソード3：モダンデータパイプラインとLLM
スマートトーク エピソード2：Data-in-Motionを活用したGenAIアプリケーションの台頭
スマートトーク エピソード1：Data-in-Motionエコシステムランドスケープ
データインモーションエコシステムマップをこちらで閲覧
RTInsightsでデータインモーションについてこちらで詳細

トランスクリプト

ディネシュ・チャンドラセカール：

こんにちは、Data and Motion Leadershipシリーズのスマートトークへようこそ。ホストのディネシュ・チャンドラセカールです。本日のゲストはStarburstのCEO兼会長、ジャスティン・ボーグマンです。ジャスティンはセキュリティとデータ分析企業で輝かしいキャリアを持ち、2017年のStarburst創業前にはHadaptという会社を設立し、後にTeradataに買収され、数年間VP兼GMを務めました。ようこそジャスティン。まずStarburstについて、特にその起源と創業の動機について教えてください。

ジャスティン・ボーグマン：

喜んで。紹介にあった通り、私は約15年間データ分析の分野に携わってきました。最初のスタートアップはTeradataに買収されたところまで遡ります。ご存知の通り、Teradataは数十年にわたりデータウェアハウジング分析のリーダーでした。そのモデルは、すべてのデータを独自データベース、つまりエンタープライズデータウェアハウスに移動させることを必要としました。そこから高速分析を実行し、ビジネスを理解できました。私たちが見出したのは、そのモデルを根本から覆す機会でした。特に2点で：第一に、データレイクでのオープンテーブルフォーマットの活用、データウェアハウジング並みのパフォーマンスをデータレイクで実現（レイクハウスアーキテクチャと呼ばれることも）、第二に、他のデータソースにアクセスし、あるデータベースにあるテーブルとデータレイクにあるテーブルを結合できることです。

例えば、OracleデータベースやSQL Serverデータベースがあり、それらのシステムのテーブルをデータレイクのIcebergファイルフォーマットのテーブルと結合したい場合です。これがまさに私たちのテクノロジーが行うことです。基盤技術はTrinoと呼ばれ、オープンソースプロジェクトです。もともとはFacebookで生まれ、LinkedIn、Airbnb、Netflix、Appleなど多くの大手インターネット企業が自社のデータウェアハウジング分析に使用しています。再び、データレイクが中央リポジトリとなり、データをこれらのデータレイクに非常に低コストで保存し、他のテーブルとも結合できるモデルです。Starburstはそのオープンソースプロジェクトの商用化に過ぎません。追加のセキュリティ機能、コネクタ、パフォーマンスメリット、その他多数の機能を備えたTrinoのエンタープライズ版を提供しています。

ディネシュ・チャンドラセカール：

ありがとうございます。TrinoとIcebergについてもう少し深く掘り下げたいと思います。これらは今日の素晴らしいトピックだと思いますが、少し立ち戻って、データアーキテクチャの進化を見たとき、従来のデータベース、データウェアハウス、データの爆発的増加とリアルタイムデータ処理の必要性によりレイクハウスアーキテクチャなどが登場しました。あなたの世界では、データアーキテクチャの進化、データレイクハウス、そしてあなたの場合「アイスハウス」と呼ばれるコンセプトもあると思いますが、これが組織のリアルタイムデータ効果的処理能力にどう影響したか、どうお考えですか？

ジャスティン・ボーグマン：

素晴らしい質問です。リスナーのために補足すると、アイスハウスコンセプトはIcebergベースのレイクハウスに過ぎません。データがIcebergテーブルフォーマットで保存され、その上でデータウェアハウジングスタイルの分析が可能です。その結果、非常に低い総所有コストと、あなたが説明したニアリアルタイムデータの処理能力が得られます。私たちがそう考える理由は、Kafkaのようなストリーミングデータテクノロジーの市場投入が著しく増加しており、顧客がそれを使ってニアリアルタイムでデータをデータレイクにストリーミングしているからです。

私たちの立場からは、そこからデータを拾い上げたいと考えています。Kafkaストリームに接続し、それを自動的にIcebergテーブルに変換し、ほぼ瞬時にクエリ可能にする「ストリーミングインジェスト」という機能を構築しました。これにより、ビジネスはこのアーキテクチャの結果として、データに関するより速く、より新鮮なインサイトを得られるようになります。

ディネシュ・チャンドラセカール：

ありがとうございます。レイクハウスはバッチとリアルタイム分析の統一アーキテクチャアプローチを約束します。このアーキテクチャの変化が、今日の業界全体のBIと従来の意思決定をどう変えているとお考えですか？

ジャスティン・ボーグマン：

かなり劇的に変わると見ています。このアーキテクチャのドライバーかつメリットの一つは、経済性というシンプルな点です。従来のデータウェアハウスは非常に高コストになり得ます。実はTeradata時代に最も多かった不満の一つでした。Teradataが悪いデータベースだと言った人はいません。実際は優れたデータベースシステムです。ただ非常に高価で、一度入ると、コミットせざるを得なくなります。

このデータレイクは、オープンフォーマットを使用するため、より大きな柔軟性を提供します。これにより顧客は、自分のデータにアクセスするのに適したエンジンを選択できます。ロックインを大幅に減らし、さらにデータを非常に安価なコモディティストレージに保存できます。クラウドではS3、Google GCS、Azure Data Lakeストレージが一般的です。オンプレミスでも、DellやIBMなどからS3互換オブジェクトストレージが提供され、基本的にS3が手に入ります。これがデータを非常にコスト効率よく保存する共通の基盤レイヤーとなり、この変革を推進する要因の一部です。

ディネシュ・チャンドラセカール：

では、Trinoについて掘り下げましょう。リアルタイムデータ空間で非常に強力なクエリエンジンとして人気を博してきました。Apache Icebergのような他のオープンソーステクノロジーも、異なるデータシステム間の相互運用性を提供していますが、現代のデータエコシステムにおけるTrinoの役割はどう進化するとお考えですか？これらのオープンソーステクノロジーの組み合わせが、現代のデータエコシステムをどう変えているのでしょうか？

ジャスティン・ボーグマン：

「データウェアハウジングのPostgres」になりつつあると思います。Postgresは広く展開され、非常に人気のあるオープンソースデータベースです。伝統的なRDBMS単一ノードです。Trinoは、MPP（大規模並列処理）データウェアハウジング分析の同等物のようなものです。したがって、ビッグデータ、データウェアハウジングスタイルの活動において、これが今やデファクトのオープンソース選択肢になりつつあります。

時々Sparkとの比較を聞かれますが、Sparkは汎用処理エンジンとして優秀ですが、SQL分析には最適化されていません。ビジネスインテリジェンスと意思決定についての前のポイントに関連して、SQLはそれらのユースケースの言語であり続けます。BIツールの接続、レポート実行、データ駆動アプリケーション構築のいずれにおいても、SQLはインターフェースとして重要な言語であり続け、Trinoは現在市場でそのためのナンバーワンエンジンです。

Icebergのようなものと組み合わせると、完全なデータウェアハウスが実現します。クエリエンジン部分、ストレージ部分があり、完全なオープンデータウェアハウスになります。オンプレミスでもクラウドでも実行可能で、そのスタックで大きな柔軟性が得られます。

ディネシュ・チャンドラセカール：

少し横道に逸れますが、SQLがこれらのデータストアの定石だとして、過去30-40年でそれを揺るがすものはなかったと思いますが、GenAI技術と自然言語処理の登場により、データの民主化が進み、ビジネスアナリストのようなSQL知識のない人でも自然言語で「この地域の過去3ヶ月の売上を取得して」と言えるようになりました。内部ではSQLに変換されエンジンにクエリされます。この点でもシフトが起きるとお考えですか？SQLは生き残り繁栄するのか、それともデータクエリの見方が変わるのでしょうか？

ジャスティン・ボーグマン：

本当に素晴らしい質問で、鋭い指摘だと思います。時間の経過とともに、生成AIインターフェースが非常に人気になると思います。ご指摘の通り、誰でも正直使えるレベルに「ダムダウン」するからです。企業のすべてのデータでGoogleのような体験が可能になり、それは非常にエキサイティングです。実際、私たちも自社製品に初期バージョンを組み込みましたし、誰もがそうするでしょう。テーブルステークスになると思います。

ただし、裏側では、それらの技術が自然言語をエンジン実行用のSQL構文に変換するだけだと思います。言語は依然として重要ですが、生成AI自然言語スタイルインターフェースの裏側の実装詳細になるかもしれません。ご指摘の通りです。電卓や関数電卓が発明されたときを思い出します。突然、すべての公式や筆算のやり方を知る必要がなくなりました。電卓がそれを処理してくれたからです。生成AIがここで私たちにすることもそれに近いと思います。

ディネシュ・チャンドラセカール：

データへのより簡単なアクセス、確かにそれが向かう先です。間違いなくエキサイティングな分野です。Trinoについて語りましたが、Icebergについても質問させてください。非常に人気になっています。業界の巨大企業がIcebergを採用し、「我々は相互運用可能、サポートします」と言う自然な流れが見られます。組織がリアルタイム分析をますます採用する中、Apache Icebergはより効率的で拡張性のあるデータ管理を可能にする上でどのような役割を果たすとお考えですか？

ジャスティン・ボーグマン：

大きな話題だと思います。AI以外で2024年の最大のストーリーだと言えます。フォーマット自体は数年前からありましたが、今年市場が「どのフォーマットが勝つか」という議論を決着させたからです。一時期、3つの人気競合フォーマットがあり、誰が勝つか不明でした。

私たちの賭けは常にIcebergでした。市場も今夏、SnowflakeとDatabricksがそれぞれサポート意向を発表したことで、ほぼ合意しました。それで議論に終止符が打たれ、Icebergがデファクトスタンダードとなりました。これが顧客にとって意味することは、顧客が真の勝者だということです。なぜなら、データを自分たちが所有し、コントロールし、ポータブルなフォーマットで保存でき、何十年も人質に取るデータベースベンダーの手中にないからです。

彼らはそれを所有し、エンジンを競わせられます。「このワークロードはStarburstが最適なコストパフォーマンス」「このワークロードはSnowflakeが最適」「あのワークロードはDatabricksが最適」と、顧客がエンジン間で選択できる。エンジンが競争すれば顧客が勝ちます。これがIcebergが提供するものです。

ディネシュ・チャンドラセカール：

素晴らしいまとめでした。Icebergの重要性が、相互運用性のあるモデルで標準化し、特定ベンダーに縛られず、よりオープンで柔軟になれるという点で明確になりました。素晴らしいポイントです。

ジャスティン・ボーグマン：

その通りです。

ディネシュ・チャンドラセカール：

ジャスティン、顧客事例について話しませんか。TrinoとIcebergが会話の中心ですが、実際に活用された顧客ケーススタディと、TrinoとIceberg採用によるメリットを教えてください。

ジャスティン・ボーグマン：

喜んで。DoorDashのような主要インターネット企業から、長年存在するComcastのような伝統的企業まで、両者とも従来のデータウェアハウスプラットフォームからワークロードを移行させています。

Comcastの場合、非常に伝統的なオンプレミスデータウェアハウス。DoorDashの場合、非常に伝統的なクラウドデータウェアハウスと呼べます。どちらも、最終的にSQL分析のTCOを改善し、この共通フォーマットからインターフェースできる最新の最先端テクノロジーと連携する柔軟性を得ることを目指しています。

前のポイントに関連しますが、AIトピックとも関係しており、データアーキテクチャを整え、自社モデルのトレーニングやRAGワークフロー実行に必要なデータへの容易なアクセスを可能にし、自社のAI野心を支える基盤を築こうとしています。多くの企業が「AIに何ができるか？どう競争優位を得られるか？」を模索する初期段階にあります。

模索する中で、彼らが明確にしていることは、自社の独自データが競争優位を与える中心になるということです。低コスト・高性能で必要なデータにアクセスできるデータインフラを整えることは、そのプロセスの核心ステップです。

ディネシュ・チャンドラセカール：

メリットの観点から、リアルタイムデータ特にについて掘り下げさせてください。スキーマ進化（ソース変更に伴うスキーマ変更、ターゲット側の適応必要）やデータバージョニングといった課題がよくあります。Apache Icebergはモダンデータプラットフォームでこれらの課題をどう解決しますか？

ジャスティン・ボーグマン：

バージョニングとタイムトラベルの概念があり、データがプラットフォーム内でどう進化したかを確認できます。データリネージ、データ品質メトリクスも追加し、取得・提示できるようにしました。データがどこから来て、どう進化し、どう反復したかを理解し、エンドユーザーにその可視性を提供します。

ディネシュ・チャンドラセカール：

では、Trinoについて、多様なデータソースを組み合わせて結合クエリができることを話されました。アーキテクチャは中央集約型データソース・ストアに向かっているのか、それともデータをその場所に置いたまま、結合・可視化する能力を提供するのか。ここで目指す理想的なアーキテクチャは？

ジャスティン・ボーグマン：

両方の要素があり、それが私たちのバリュープロポジションの説明を常に難しくしてきた理由です。人々は一つのモデル、一つのフレームに慣れています。従来のデータウェアハウスにすべてを中央集約するか、そうでなければアクセスできないか。私たちが見る世界の進化は、中央リポジトリ（データレイク）が間違いなく存在し、データの大半または可能な限り多くを保存するということです。経済的メリット、Icebergフォーマットでレイクに保存するパフォーマンスメリットが得られるからです。これは多くのデータにとって素晴らしい戦略だと思いますが、常に他のデータソースにアクセスしたいユースケースも存在します。

例えば探索的分析。ビジネスにとって非常に大きくなる可能性のある仮説をテストしたいが、単なる直感のためにETLパイプライン開発の全プロセスを経たくない。そんなユースケースで、他の場所にあるテーブルと手元のデータを結合できるのはゲームチェンジャーです。数週間かかっていた検証が数分で可能になります。両方価値がありますが、「大半はレイクに、そこから先へリーチする」と考えています。

ディネシュ・チャンドラセカール：

サードパーティ企業がモダンデータプラットフォームを探している場合、Trinoと他の代替案を比較する際、リアルタイムデータクエリ処理、低レイテンシ確保を優先要件とするなら、チェックリストに入れるべき重要なパフォーマンス考慮事項は？

ジャスティン・ボーグマン：

トップ2のアドバイスは、第一に、実際に使用するリアルクエリを使うこと。業界ベンチマークを使うのはよくあることですが、それはせいぜい表面的なステップで、ワークロードを反映しません。すべての企業が独自のやりたいことを持っています。だから、できる限りエンドステートをシミュレートするのがベストです。自社クエリと自社データを使ってPoCを構築しベンチマークする。他社ベンダーのベンチマークを盲信すべきではありません。私たちのベンチマークでさえも。

第二に、スケールもシミュレートすること。スケールは重要です。PoCプロセスではベンダーがニーズを満たすと思われても、本番スケールになると対応できないケースで、私たちが顧客にベンダー置換を提案する機会を見つける場面でもあります。Trinoのようなオープンソーステクノロジーを活用する大きなメリットもここです。Appleが狂気的なスケールで、Facebookが狂気的なスケールで実行していることが証明されています。これが動くことは分かっています。それでも、自社ベンチマークプロセスでシミュレートし、各テクノロジーが本番ニーズを満たすか確認すべきです。

第三にコストも追加します。コストとパフォーマンスはコインの裏表です。ベンチマークにコストも組み込むべきです。最速を選ぶのではなく、最高のコストパフォーマンスを選ぶ。これも重要な要素です。

ディネシュ・チャンドラセカール：

同意します。多くの人がソリューション評価で重視する主要チェックリスト項目です。トレンド観点で締めくくりましょう。データ分野では今、データウェアハウスベンダー、レイクハウスベンダー、データレイクベンダー、リアルタイム分析データベースなど、選択肢が広く、バイヤーにとって混乱しています。新興トレンド観点から、リアルタイムデータ処理、データレイクハウスアーキテクチャ、オープンソースエコシステム全般において、何らかの収束が起き、近い将来バイヤーにとってより明確になるとお考えですか？

ジャスティン・ボーグマン：

起きています。非常に人気のあるパターンが頻繁に出現しています。これらのパターンはインターネットハイパースケーラーで生まれ、時間をかけてエンタープライズに移行します。今がそのポイントだと考えます。見られるパターンは、ストリーミング部分にKafkaのようなテクノロジーを活用（Confluent、Amazon版など選択肢あり、すべてのオープンソースプラットフォームで選択肢あり、これは素晴らしい）、データ保存フォーマットにはIceberg（これ以上安全な賭けはない）、エンジン側では、仕事に適したエンジンを見つける。SQL分析ならTrinoとStarburstがベストベットだが、自分で証明すべき。機械学習モデルトレーニングならSparkを使うでしょう。これら4つのテクノロジーすべてが、オープンソース由来のデータアーキテクチャで今後何年も非常に人気になるでしょう。オープンソースはコンポーネントを時間とともにミックス&マッチする柔軟性を与え、アーキテクチャを時間の試練に耐えさせます。10年後に置き換えが非常に困難なテクニカルデットを作らない。オープンソースがその柔軟性を与えます。

ディネシュ・チャンドラセカール：

そのポイント、大好きです。素晴らしい締めくくりだと思います。ジャスティン、今日は参加いただきありがとうございました。TrinoとIceberg、Starburstが両方の長所を組み合わせた素晴らしいプラットフォームを提供していることがよく理解できました。本当にありがとうございました、参加いただき感謝します。

ジャスティン・ボーグマン：

こちらこそ、ディネシュ。光栄でした。