データ品質の自動化でAI・ML成功を加速させる

組織はデータ品質を自動化してAIとMLを改善できるか？

過去10年間で、企業は人工知能（AI）と機械学習（ML）がもたらすポテンシャルを理解し、解き放ち始めました。まだ初期段階ですが、企業はこの技術がもたらす大きなインパクトを理解し始めており、より良い、より速い、より効率的な意思決定を支援します。

もちろん、AIとMLはビジネスのイノベーション受容の特効薬ではありません。実際、これらのアルゴリズムの成功は、その基盤、具体的には質の高いデータの質しかありません。

それがなければ、企業はAIとMLを導入した目的そのものが失敗し、悪いデータの予期せぬ結果が、効率とレピュテーションの両面でビジネスに取り返しのつかないダメージを与えます。

しかし、開発が期待されるもう一つの領域があります。すなわち、データ品質を自動化と機械学習自体によって改善・維持できるか？

データ品質不良のリスク

映画ストリーミング・サービスからチャットボット、スーパーの棚配置への情報提供、主要交通ハブでの案内まで、MLは10年前には想像もできなかった形で私たちの生活に影響を与えています。

しかし、アルゴリズムがデータ品質不良の基盤で動作したらどうなるでしょう？将来のリスクは、好みではない映画が推薦されることより遥かに深刻かもしれません。

例えば、医薬品の発見とテスト改善に機械学習を信頼し始めた場合、化学化合物データにエラーがあったためにシミュレーション・テストでエラーを含む薬が処方されたら？そのインプリケーションは深刻です。

悪い基盤データによって影響を受ける可能性のあるMLの新たな応用は、自動運転車です。地図と住所から、車両がサイクリストにどう反応するかまで、機械を教えるために使われるデータは、消費者と規制当局の採用にとって極めて重要です。

MLアルゴリズム（定義された問題を解決するのを助けるルールと計算のセット）は、データ品質の改善をサポートすることも、悪いデータの可能性が構築時に考慮されていなければ、不正確なデータによって狂わされることもあります。

自動化されたデータ品質

あらゆるデジタル変革と同様に、手動から自動化、そして「インテリジェント」なデータ品質管理への移行には長期計画が必要です。エクスペリアンは、データ管理の成熟度について4段階を特定しました。これを「データ管理成熟度曲線」と呼びます。Unaware（無認識）、Reactive（事後対応）、Proactive（事前対応）、Optimised & Governed（最適化・ガバナンス済み）が、データ品質戦略の完全なサイクルをカバーする4段階です。

評価は、組織が保有するデータのポテンシャルを解き放ち、より真剣に取り組み始めるにつれ、成熟度曲線を着実に上昇していることを明らかにしました。最も興味深いのは、Optimised & Governed段階にある組織が、もう一つのレベルの始まり、すなわち「インテリジェントに自動化された」と呼ぶべき段階を見ている可能性があることです。

「インテリジェントに自動化された」とは、データ品質の責任者が最大の懸念領域を特定するのを支援するシステムとプロセスが整っていることを指します。今までに、主要KPIを定期的にレビューしてデータ品質のトレンドを特定すべきです。主要属性の全体完了率を見たり、データ受信やデータ・ロード段階のタイミング懸念を監視したりするかもしれません。しかし、真にデータ品質を理解するには、コンテンツをより深く見る必要があります。

例えば、サードパーティ・データ要件を満たすために生年月日を99%のケースで収集できていると言っても、収集した日付の大部分がシステム由来で実際の生年月日ではない場合、十分と言えますか？これは実際の問題を引き起こし、意図しない結果が意思決定プロセスを通じて波及します。

次のステップ

ほとんどのデータ品質プログラムにはすでに自動化とテスト＆ラーンの要素が含まれています。この進化の次の段階は、機械学習を用いてさまざまなタイプのデータを自動的に認識し、応答することです。「インテリジェントに自動化された」状態です。

例えば、住所、メール、クレジットカード番号、国民保険番号などの標準情報を、事前トレーニングやルール作成をほとんど必要とせずに認識し、エントリの検証やコンプライアンス問題の管理者へのフラグ付けといったアクションを取るデータ管理ツールです。

究極の目標は、時間とともに自己改善するデータ品質のためのMLです。良い例は会社名です。テスコPLCとテスコ・ストアーズ Ltdは同じか？名前に「テスコ」を含まないテスコ・グループの一部は？

商業主体をグループ化するのは、名前を探すだけでシンプルな場合もあれば、会社勘定、本社住所、CEO名、ウェブアドレス、その他のメタデータの詳細を見て、世界中の関連性を見つけるように複雑な場合もあります。

この種の仮説は、強力なデータ戦略がサポートできるビジネス課題です。しかし、データの実世界での変化が例外や外れ値として見えるようになるにつれ、データ品質の基本ルールを取り入れ、実装し、改善を提案する場所へ移行できるでしょうか？手作業を減らしてデータ品質を時間とともに改善し、データ担当者により多くの分析とビジネス・サポートの時間を与えることは可能でしょうか？

それがMLへの挑戦です。ベースとなるデータ品質ルールを取り入れ、実装し、実世界のデータ変化が例外や外れ値として見えるようになると改善を提案することです。これは新興分野であり、今後数年間で大きな発展が見込まれます。

あなたのデータ戦略

根本的に、MLのあらゆる例は、目的に適したデータに依存しています。そうでなければ、そのデータ、そしてその結果として行われる意思決定を信頼できません。

これを避けるため、組織は堅牢なデータ戦略を持つ必要があります。MLに着手する理由、達成したい説明可能な成果、避けたい成果について考えます。

そして、すでに持っているデータの初期評価を行い、品質をセンス・チェックすることで、組織は行動を起こし、データの全体的な品質を改善するために他に何が必要かを計画できます。

MLを通じて行われた意思決定、およびすべての自動化された意思決定プロセスを特定し、追跡できることは、それらが成功裏に採用・実装されるために不可欠です。

データ品質の継続的な監視も極めて重要です。これにより、どの領域が注意を要するかを迅速に特定し、現在および潜在的なMLイニシアチブにとってベスト・ポジションにあることを確信できます。

そうすれば、組織はMLを活用してデータ品質をより効率的に管理し、意思決定プロセスをより速く、より良くする立場に立てます。

これを論理的結論まで持っていくと、機械学習を用いて、実際の問題になるまで隠れているデータ懸念を特定できます。意思決定やプロセスに下流で影響を与える重要な属性を特定するモデルを訓練し、変動や懸念パターンを監視できれば、これらのデータ懸念がビジネスに与えるインパクトを予測できるかもしれません。

例えば、物件の部屋数がビジネスの意思決定に直接影響し、このフィールドで不完全または推定データが一定規模で存在し、それが悪化しているとわかっている場合、データが使用されている場所に基づいて、賃貸収入見積もり、住宅ローン査定、暖房消費量予測を予測できるでしょうか？

この成長するデータ品質懸念のインパクトは、問題が現実化する前に修正するためのビジネス・ケース構築に役立つかもしれません。