データ管理：成功するAIの基盤

SAS UK & IrelandのGDPRテクノロジーヘッド、デイブ・スミス氏が、データ管理がいかにAIシステムの成功を支えるかを説明します。

AIは日常生活に浸透しつつありますが、技術への誤解が不信を煽る可能性があります。英国科学協会の次期会長、ジム・アル・カリリ教授は、AIがより高い透明性と公共エンゲージメントで提供されない限り、初期のGM論争のような世論の反発が起こり得ると警告します。

信頼の問題を超え、制御のない自律モデルはコントロールリスクをはらみます。2010年のフラッシュクラッシュ（米市場が36分で9%下落）は、アルゴリズミック取引がボラティリティを増幅し得ることを示しました。規制当局は今、モデルの監視と出力の監査可能性を要求しています。

善のためのAI活用

責任を持って適用されれば、AIは医療を変革できます──高速画像解析でがん検出を強化したり、野生生物の足跡特定で保全を支援したり。これらのメリットを実現するには、公平性、説明責任、透明性、説明可能性（FATE）を保証するフレームワークが必要です。本稿では、データ管理によって大きく影響を受ける透明性の柱に焦点を当てます。

AIの性能は入力データの質に制約されます。AIソリューション構築は通常、3つの主要ステージを経ます：

• データクレンジング──モデルにバイアスを与える無関係または誤ったレコードを除去
• 変換とエンリッチメント──異種ソースを結合し、アルゴリズムに供給する派生変数を作成
• デプロイメント──訓練済みモデルをライブデータに適用し、リアルタイムで意思決定を可能に

各ステージは価値を追加できますが、結果を変えることもあります。例えば、クレンジング時の外れ値除外は大多数のケースでモデル安定性を改善しますが、稀だが重要なシグナルを消し去るリスクもあります。ジョスリン・ベル・バーネル博士が1970年代に10万データポイント中1つの微弱信号からパルサーを発見した事例は、外れ値を捨てる危険性を物語ります。

データの旅

データ品質は、恥ずかしいエラー回避にも不可欠です。2014年、バンク・オブ・アメリカがゴールデン・キー国際名誉協会から受け取った汚染データのせいで、「Lisa Is A Slut McXxxxxx」という無効な名前宛てにクレジットカードオファーを送付しました。厳格な検証で防げたミスです。

変換は、高度に正規化されたソースシステムからデータサイエンティスト好みの単一フラットテーブルへデータを移します。このステップでは派生変数の追加が多く、モデルを誤誘導するエラーを導入しないよう慎重に実装する必要があります。

デプロイメントはビジネス成果に直接影響する最終段階です。モデルには有限の有効寿命があり、本番投入の遅れは陳腐化を招きます。さらに、GDPR第22条は、明示的同意など厳格な条件なしに個人データへの分析的プロファイリングを禁じています。制御されたデプロイメントは、どのデータがモデルに供給され、どの分析が適用されたかを示す監査証跡を提供し、規制コンプライアンスを確保します。

要するに、堅牢なデータ管理は、AIが信頼性が高く、公正で、効果的な結果をもたらすための基盤です。データ処理のあらゆるステップを理解することが、責任あるAIの核心である透明性を支えます。

本ブログの著者は、デイブ・スミス、GDPRテクノロジーヘッド、SAS UK & Ireland。