AIにプロアクティブな安全アプローチが必要な理由：高電力エレクトロニクスエンジニア30年の教訓

元高電力エレクトロニクスエンジニアとして、私は初期プロトタイプCTスキャンシステムから粒子加速器まで、幅広い用途の高圧電源を設計・テストしてきました。レーダーが敏感な航空機エレクトロニクスに与える影響をテストするシミュレーターからグラノラ加工まで、高出力マイクロ波システムでも同じことをしてきました。30年以上にわたり、数十キロボルトの直流電圧と数十キロワットのマイクロ波電力を扱ってきました。

エドのブログ

EEとして数十年のキャリアを持つエド・ブラウンは、SAEメディアグループのテックエディターとして第二のキャリアを歩んでいます。

「エンジニア時代を振り返り、エディターとして最新技術を見てきた中で、私のエンジニア経験の光で今起きていることを考えると、共有したい考えがたくさんあります。」

すべては、実用的な限り大きな安全マージンで設計され、フェイルセーフであることを目標にしなければなりません。つまり、システムがどう故障するかを事前に考え、故障が怪我や損傷を引き起こす可能性を最小限に抑える設計をすることです。例えば、センサーが負荷電流の急激な増加を検知したらマイクロ秒単位で出力を安全に短絡する電子「クロバー」を使用しました。しかしこれは能動システムであり、停電時には機能しません。そこで、電磁石で保持されるバックアップ機械式クロバーをフェイルセーフ保護として使用しました。入力ライン電力が失われると、金属バーが出力に落下します。これは重要でした。電源がなくても、コンデンサーバンクに危険な量のエネルギーが蓄えられている可能性があるからです——これは、安全にオフだと思っていた電源から感電した私がかつて恐ろしい体験をした事実です。

そのマインドセットで、私は人工知能（AI）について考えます。AIが人間の知性を置き換え、我々をすべてロボットに変えることを心配しているわけではありません。しかし、特に少なくとも2つの分野——先進運転支援システム（ADAS）と自律走行車両の安全応用、および疾病診断——でAIに過度に依存することを懸念しています。

ケンブリッジ大学とオスロ大学の研究者たちがAIの「固有の限界」について指摘したとき、私の目に留まりました。AIを処理するニューラルネットワークは特定条件下で不安定になり得る、そしてその不確実性は単により多くの訓練データを追加するだけでは解決できない、と彼らは主張します。研究者たちによれば、AI計算の数学をよりよく理解するためにより多くの理論的作業が必要です。より信頼できる結果を得るには、特定の誤差源を理解し、AI手法を変更して修正しなければなりません。

カリフォルニア大学バークレー校とテキサス大学オースティン校の研究者たちは、医療画像研究の有望な結果を再現できなかったときに問題に気づきました。「数か月の作業の後、論文で使用された画像データが前処理済みだったことに気づきました」と、研究責任者マイケル・ラストグ氏（UCバークレー電気工学・コンピュータサイエンス教授）は述べています。

それがトラブルの原因でした。「研究者たちがより慎重になり、より現実的な結果を公表できるよう、問題への認識を高めたかったのです」とラストグ氏。

彼らは、システム訓練に偏った公開データベースが使用されていたことが不正確さの原因だと発見しました。研究者たちは、誤った方法論でアルゴリズムを開発した際に生じる研究結果を「暗黙のデータ犯罪」と命名しました。

SAEデジタルエディトリアルマネージャー、ビリー・ハーレー氏とのQ&Aで、ミュンヘン工科大学（TUM）のエッケハルト・シュタインバッハ教授が、AIモデルが「認識できない、またはまだ発見していない」潜在的にクリティカルな自動車状況について説明しました。例えば、繰り返しブレーキングのパターンは暖かい天気では通常運転かもしれませんが、路面が凍結して滑りやすい場合は迫り来る脱離を示唆するかもしれません。このようなパターンは認識が困難です。

しかし明るい面もあります。シュタインバッハ教授のチームは、自らの過去の過ちから内省的に学ぶ安全技術を開発しました。「車が訓練されていない状況に入ると、問題が生じ得ます」とシュタインバッハ教授。「このような新規シーンは人間の介入を引き起こし、それらのシーンが我々のアプローチの訓練データになります。我々の手法なら、次回同じ挑戦的環境に遭遇したときに検出を助けられますが、完全に新規なシーンを初回遭遇時に検出し正しく管理することは依然として困難な課題です。」

これらすべてから私の結論は：AIは医療診断を高速化・改善できます。車両を道路でより安全にすることもできます。しかし、手法に細心の注意を払わなければなりません。

高電圧エンジニアのように考えることが、AIシステム設計時に不可欠です：システムがどう故障するかを事前に考え、それが起こる可能性を最小限に抑える目標で設計する。そして故障が発生した場合、怪我や損傷の可能性を減らすことを目指す。

同意しますか？ 以下に質問とコメントをお寄せください。

エドのブログをさらに読む：外側からの設計 vs 内側からの設計