正確なリアルタイムデータがビジネス成功に不可欠な理由

メタデータを活用したリアルタイムデータ精度の検証

正確なリアルタイムデータを得ることはビジネスにとって不可欠です。メタデータを用いてパターンを特定し、メタデータファイルを通じてこの情報をグループ化し、メタデータ管理フレームワークを通じてメタデータの精度を確保することが必要です。

正しい値とフォーマットを指すデータ品質特性であるリアルタイムデータ精度は、収益性と成長を目指すビジネスにとって必須です。企業は消費者需要の流入に対応するために正確なリアルタイムデータを必要とします。Cスイート幹部と財務プロフェッショナルの3分の1が、リアルタイム財務データをますます重視していると同意しています。

残念ながら、多くの組織がリアルタイムデータからビジネス洞察を得ることに苦労し続けています。企業は何時間ものストリーミングデータフィードを収集しますが、良い意思決定には数分のストリームしか必要ないかもしれません。

蓄積された大量データをどう検証するかを決めることさえ、どのデータセットがより正確かを迅速に判断する上で課題を生みます。誤った判断は、ビジネスに1400万ドルの損失をもたらす可能性があります。

幸い、データについてのデータであるメタデータが、リアルタイムデータ精度の確保に役立つと期待されています。この記事では、メタデータを用いてリアルタイムデータ精度を実現する旅へ読者をご案内します。

メタデータを用いたリアルタイムデータ精度の検証

既存データを正確に保つために、さらにデータ（メタデータ）を生成することは直感に反するように見えるかもしれません。しかしメタデータにはいくつかの「スーパーパワー」があります：

• 正確であれば、メタデータはそれが記述する情報についての文脈を提供し、データ精度を証明します。コンピュータプログラムはこのメタデータをスキーマや表現に変換できます。
• メタデータ定義には、データセットの技術的、ビジネス的、運用上の記述のあらゆる組み合わせが含まれます。したがって、システム、プロセス、人々はメタデータを用いて、顧客、購買、製品、場所などを特徴づけられます。
• アルゴリズムは技術的メタデータを用いて、別のプロセスや人に更なるアクションを促すフラグを立てられます。
• メタデータは巨大なデータ塊を包み込み、そのデータをより見つけやすくします。

Romero氏とCalders氏という二人の専門家は、「情報プロファイリング」と呼ばれるアプローチでこれらのメタデータの強みを活用しました。彼らは、プロファイリングのためのスキーマを形成するためにメタデータを適用し、その結果をメタデータで包み込むフレームワークを提案しています。

これらの知見をさらに発展させ、企業はビジネスルールを用いてスキーマ形成のためのメタデータ形成をガイドし、メタデータで包まれたパケットにデータをグループ化できます。これらの組織は、アルゴリズムを用いてデータパターンを探し、一致するデータセットを取得することで、リアルタイムデータをより効率的に扱えるようになります。

リアルタイムデータ精度の事例を探る

メタデータを用いたリアルタイムデータ精度の活用が実生活でどう見えるか？ Babson CollegeのGordon氏とShankaranarayanan氏が洞察を提供します。

企業Aのフィードに毎時数百件のインスタントメッセージが届くとします。顧客John Doeが、企業Aから自転車を購入したいとテキストメッセージを送信しました。企業Aは、これらのメッセージがJohn Doeからのものであり、彼が自転車を買いたいことを検証したいとします。

まず、アプリケーションがJohn Doeのプロファイル、つまりJohn Doeについてのメタデータを作成します。John Doeのメタデータに、電話番号、使用している携帯電話の種類、企業Aでの会員ステータスに基づく値があるとします。このJohn Doe表現は、企業AのCRMシステムに含まれるデータと同等に良いものになります。

次に、コンピュータプログラムがこのJohn Doeプロファイルを取り込み、ビジネスルールで定義されたデータストリーム内の検索対象に照らし合わせます。ソフトウェアがJohnのスキーマDoeに一致するデータを見つけると、それをコンテンツメタデータファイルの下にバンドルします。このコンテンツメタデータファイルは、人々が検索可能になり（メタデータ品質がビジネスニーズを満たせば）、テキストメッセージがJohn Doeからのものであることを保証されます。

また、アルゴリズムが購買プロファイルを構築し、John Doeが自転車を購入する可能性を判断します。Amazonが顧客への商品推薦を決定するのと似た仕組みです。その後、アルゴリズムがこの購買プロファイルを適用し、Johnが自転車を買いたい可能性を重み付けします。

メタデータ精度をクリティカルにする

メタデータを用いてスキーマを作成しバッチ処理することは、メタデータ精度に大きく依存します。そうでなければ、リアルタイムデータ精度を確保することは不可能です。

上記の例で、John Doeが電話番号を変更したのにメタデータが古い番号のままなら、Johnのメタデータは不正確です。同様、リアルタイムデータセットを含むメタデータファイルも正しくラベル付けされる必要があります。John Doeのテキストファイルのメタデータに別の顧客名があれば、誰もJohnのテキストファイルを見つけられません。

したがって、企業がデータを監視・クレンジングし、一貫して高いデータ品質を提供するために用いるのと同じ理由とプロセスが、メタデータにも適用されます。リアルタイム検証に用いられるメタデータは、リアルタイムデータ精度について自信を持てるよう、十分に正確でなければなりません。

メタデータ管理フレームワーク

では、メタデータの監視とクレンジングを自動化すれば十分でしょうか？ いいえ。ビジネスにとって価値がありアクセス可能な十分なメタデータ品質を得るには、メタデータ管理フレームワークが必要です。

組織の人、プロセス、テクノロジーがこのメタデータ管理フレームワークと、それを生み出すビジネスルールを構成します。

例えば、ある部門があるシステムで顧客名をある方法で標準化し、別の部門が別のアプリケーションで異なる形式で顧客名をフォーマットしているなら、メタデータ管理フレームワークは不安定です。組織はどちらの部門からメタデータを取るべきでしょうか？

適切なリアルタイムデータ精度を確保するメタデータ管理フレームワークの構築には、以下が必要です：

• 既存構造とその影響についてのメタデータ管理評価。このベースラインから、企業はどのプロセスを変えるべきかを判断できます。
• データ戦略、ビジネスを継続・成長させるためのデータ活用計画。
• データガバナンス、メタデータアクセスとセキュリティを調整し、コンプライアンスを維持するプログラム。
• メタデータの重要性と、リアルタイムデータ精度決定における価値についての集合的なデータリテラシー。さらに、作業者は良いメタデータをどう定義するかを知る必要があります。
• メタデータが何/誰を記述するかを定義する属性と値についての確固たるビジネス要件。

結び

2020年、企業はリアルタイムデータ品質の必要性を痛感しながら、このデータからビジネス洞察を得ることを不信視しました。高データ量と高データ速度は、テキストやメッセージストリームの各データが精度を持つことを迅速に保証する上で、ビジネスに大きな障壁を提示します。

メタデータスキーマとビジネスルールを用いてリアルタイムデータをキュレーションすることで、無関係なデータ分析から企業リソースを節約しながら、より多くの価値を得られます。結果をチャンク化し、メタデータでこれらのデータセットをラベル付けすることで、正確なデータの検索が高速化されます。しかし、この方法でメタデータを用いるには、正確なメタデータと適切なメタデータ管理構造が必要であり、ビジネスが自社のリアルタイムデータ精度を信頼できるようにするためです。