人工知能と機械学習をサポートするためにデータ品質を自動化できますか？

組織はデータ品質を自動化してAIとMLを改善できますか？

過去10年間で、企業は人工知能（AI）と機械学習（ML）がもたらす可能性を把握して解き放ち始めました。企業はまだ揺籃期にありますが、このテクノロジーがもたらす大きな影響を理解し始めており、より良い、より速く、より効率的な意思決定を支援しています。

もちろん、AIとMLは、企業がイノベーションを受け入れるのに役立つ特効薬ではありません。実際、これらのアルゴリズムの成功は、その基盤、具体的には高品質のデータと同じくらい良いものです。

これがないと、企業はAIとMLをインストールした非常に目的が失敗し、データの不良が効率と評判の両方の点でビジネスに取り返しのつかない損害をもたらすという予期せぬ結果を招くことになります。

しかし、開発の機が熟している別の調査分野があります。つまり、自動化と機械学習自体によってデータ品質を改善および維持できますか？

データ品質が低下するリスク

映画ストリーミングサービスからチャットボット、スーパーマーケットが棚をどのように配置するかを知らせ、主要な交通ハブを案内するまで、MLは10年前には想像もできなかった方法で私たちの生活に影響を与えます。

しかし、アルゴリズムが不十分なデータ品質の基盤で機能するように設定されている場合はどうなりますか？将来のリスクは、好きではない映画が提供されるよりもはるかに深刻になる可能性があります。

たとえば、医薬品の発見とテストを改善するために機械学習を信頼し始めた場合、たとえば、医薬品が処方されたが、テストのシミュレーションに使用された化学化合物データにエラーがあった場合はどうなるでしょうか。影響は重大である可能性があります。

不十分なベースデータによっても影響を受ける可能性のあるMLの新しいアプリケーションは、自動運転車です。地図や住所から、車両がサイクリストにどのように反応するかまで、機械を教えるために使用されるデータは、消費者と規制当局の採用に不可欠です。

MLアルゴリズム（定義された問題の解決に役立つ一連のルールと計算）は、データ品質の向上をサポートするか、不十分なデータの可能性が構築で考慮されていない場合に不正確なデータによって破棄される可能性があります。

自動データ品質

他のデジタルトランスフォーメーションと同様に、手動から自動化、そして「インテリジェント」なデータ品質管理への移行には、長期的な計画が必要になります。 Experianは、データ管理の進行について4つの段階を特定しました。これを、データ管理成熟度曲線と呼びます。 Unaware、Reactive、Proactive、Optimized＆Governedは、データ品質戦略の全サイクルにまたがる4つの段階を反映しています。

組織が保持しているデータの可能性を解放し、それをより真剣に受け止め始めるにつれて、評価は成熟度曲線の着実な進展を明らかにしました。何よりも興味深いことに、最適化および管理された段階にいる人は、「インテリジェントに自動化された」と呼ぶことができる別のレベルの始まりを見ることができます。

「インテリジェントに自動化された」とは、データ品質の責任者が最大の懸念事項を特定できるようにシステムとプロセスを導入することを指します。これまでに、主要なパフォーマンスメトリックを定期的に確認して、データ品質の傾向を特定する必要があります。おそらく、主要な属性の全体的な完了率を確認したり、データの受信やデータの読み込み段階に関するタイミングの問題を監視したりする必要があります。ただし、データ品質を真に理解するには、コンテンツを詳しく調べる必要があります。

たとえば、収集した日付の大部分がシステムから派生したものであり、実際の生年月日ではない場合、99％のケースでサードパーティのデータ要件を満たすために生年月日を収集したと言えば十分ですか？これは実際の問題を引き起こす可能性があり、意図しない結果が意思決定プロセスに波及する可能性があります。

次のステップ

ほとんどのデータ品質プログラムには、自動化とテストおよび学習の要素がすでに含まれています。この進化の次の段階は、機械学習を使用してさまざまな種類のデータを自動的に認識して応答することです。これは「インテリジェントに自動化された」ものです。

たとえば、住所、電子メール、クレジットカード番号、国民保険番号などの標準情報を、エントリの検証やコンプライアンス問題のフラグ付けなどのアクションを実行する前に、事前トレーニングやルール作成をほとんど行わずに認識できるデータ管理ツールマネージャー。

最終的な目標は、データ品質のMLであり、時間の経過とともにそれ自体が向上します。この良い例は会社名です—TescoPLCはTescoStoresLtdと同じですか？会社名に「Tesco」という単語が含まれていないTescoグループの一部はどうですか？

営利団体をグループ化することは、名前を探すのと同じくらい簡単なこともあれば、会社のアカウント、本社の住所、CEOの名前、Webアドレス、その他のメタデータを調べて世界中の関連を見つけることでさらに複雑にすることもできます。

これらの種類の仮説は、強力なデータ戦略がサポートできるビジネス上の課題です。ただし、この学習を自動化し、時間の経過とともにデータ品質を向上させることができる場所に移動して、手作業を減らすことで、データ担当者がビジネスを分析してサポートする時間を増やすことができますか？

これがMLの課題です。データ品質の基本ルールを採用し、それらを実装してから、データの実際の変更が例外または外れ値として表示されるようになったときに改善を提案します。これは新たなテーマであり、今後数年間で多くの開発が見込まれると予想されます。

データ戦略

基本的に、MLのすべての例は、目的に合ったデータに依存しています。そのデータでない場合、その結果、そのために行われる決定は信頼できません。

これを回避するには、組織が堅牢なデータ戦略を持っていることを確認する必要があります。 MLに着手する理由を考えてください。彼らが達成し回避したい説明可能な結果は何ですか？

次に、データの初期評価を実施して、データの品質を確認することで、組織はデータの全体的な品質を向上させるために、行動を起こし、他に必要なものを計画することができます。

MLを介して行われた決定、およびすべての自動化された意思決定プロセスを識別および追跡できることは、それらが正常に採用および実装されるために不可欠です。

データ品質の継続的な監視も重要です。これを行うことで、注意が必要な領域をすばやく特定し、現在および将来のMLイニシアチブで可能な限り最高の位置にいることを確信できます。

そうすれば、組織はMLの立場になり、データ品質をより効率的に管理できるようになり、意思決定プロセスがより迅速かつ適切になります。

これを論理的な結論に導くと、機械学習を使用すると、実際の問題になるまで隠されたままのデータの懸念を特定するのに役立ちます。モデルをトレーニングして、意思決定やプロセスに影響を与える可能性のある主要な属性を特定し、変動や関連するパターンを監視できれば、これらのデータの懸念がビジネスに与える影響を予測できる可能性もあります。

たとえば、物件の寝室の数がビジネスの決定に直接影響することがわかっていて、この分野のデータが不完全または概算で悪化していることを確認した場合、どこに基づいて予測できますか？データが使用されていること、賃貸収入の見積もり、住宅ローンの評価、または暖房消費の予測がわかっていますか？

この増大するデータ品質の懸念の影響は、それが実際の問題である場合ではなく、今すぐ修正するためのビジネスケースを構築するのに役立つ可能性があります。