AIの固有の制限により、「事前の」安全マインドセットが求められます

私は元ハイパワーエレクトロニクスエンジニアとして、初期のプロトタイプCATスキャンシステムから粒子加速器まで、さまざまなアプリケーション向けの高電圧電源を設計およびテストしました。私は、シミュレーターから、一方の極限で敏感な航空機の電子機器に対するレーダーの影響をテストすることから、もう一方の極限でグラノーラを処理することまで、すべての高出力マイクロ波システムで同じことを行いました。 30年以上の間、私は数十キロボルトのDC電圧と数十キロワットのマイクロ波電力を処理しました。

エドのブログ

EEとして数十年働いた後、SAE MediaGroupのEdBrownは、彼の2番目のキャリアであるTechEditorに十分に取り組んでいます。

「エンジニアリングの時代を振り返り、編集者として最新かつ最高のすべてを見て、エンジニアリングの経験に照らして今何が起こっているのかについて多くの考えを持っていることに気づきました。今、それらのいくつかを共有したいと思います。 。」 。

すべては、実用的である限り大きな安全マージンで、そしてフェイルセーフであることを目標として設計されなければなりませんでした。つまり、システムが故障する可能性のある方法を事前に考え、故障が怪我や損傷を引き起こす可能性を最小限に抑えるように設計することを意味しました。たとえば、負荷電流が急激に増加したことをセンサーが通知した場合に、マイクロ秒単位で出力を安全に短絡する電子「クローバー」を使用しました。しかし、それはアクティブなシステムであり、停電が発生した場合には機能しませんでした。そこで、フェイルセーフ保護として電磁石で支えられたバックアップ式の機械式バールを使用しました。入力ラインの電源に障害が発生した場合、金属製のバーが出力全体に落下します。これは重要でした。なぜなら、電力がなくても、コンデンサバンクに危険な量のエネルギーが蓄積される可能性があるためです。これは、安全にオフになっていると思った電源からショックを受けたときに、かつて自分自身で恐ろしく発見したものです。

私が人工知能（AI）について考えるのは、その考え方です。 AIが人間の知性に取って代わり、私たち全員をロボットに変えることを心配する必要はありません。しかし、特に少なくとも2つの分野で、これに過度に依存することを心配しています。先進運転支援システム（ADAS）と自動運転車の安全アプリケーションと病気の診断です。

そのため、AI の「固有の制限」について読んだときに注目を集めました。 。ケンブリッジ大学とオスロ大学の研究者は、AIを処理するニューラルネットワークは特定の条件下では不安定になる可能性があり、トレーニングデータを追加するだけでは不確実性を修正できないと主張しています。研究者によると、AIコンピューティングの数学をよりよく理解するには、より理論的な作業が必要です。より信頼性の高い結果を得るには、エラーの特定の原因を理解し、AIメソッドを変更して修正する必要があります。

カリフォルニア大学バークレー校とテキサス大学オースティン校の研究者は、の問題に気づきました。 彼らが医用画像研究の有望な結果を再現できなかったとき。 「数か月の作業の後、紙に使用されている画像データが前処理されていることに気づきました」と、カリフォルニア大学バークレー校の電気工学およびコンピューターサイエンスの教授である研究主任研究員のマイケル・ラスティグは述べています。

それが問題の原因でした。 「研究者がより注意深く、より現実的な結果を公開できるように、問題の認識を高めたかったのです」とLustig氏は述べています。

彼らは、システムをトレーニングするために偏った公開データベースを使用することによって不正確さが引き起こされたことを発見しました。研究者たちは、アルゴリズムが誤った方法論を使用して開発されたときに生じる研究結果を説明するために、「暗黙のデータ犯罪」という用語を作り出しました。

SAEデジタル編集マネージャーのBillyHurleyとのQ＆Aで、ミュンヘン工科大学（TUM）のEckehard Steinbach教授は、AIモデルが「認識できないか、まだ発見していない可能性がある」潜在的に重大な自動車の状況について説明しました。たとえば、繰り返しブレーキをかけるパターンは、暖かい天候では通常の運転である可能性がありますが、道路が凍っていて滑りやすい場合は、差し迫った離脱を示している可能性があります。このようなパターンは認識しにくい場合があります。

しかし、明るい面として、Steinbachのチームは、以前の過ちから内省的に学習する安全技術を開発しました。 「車が訓練されていない状況に入ると、問題が発生する可能性があります」とスタインバッハは語った。 「そのような新しいシーンは人間の介入を引き起こし、それが私たちのアプローチのトレーニングデータとして使用されることにつながります。私たちの方法は、次に遭遇したときにそのような新しい挑戦的な環境を検出するのに役立ち、まったく新しいシーンを検出して正しく管理することができます初めて遭遇したときは、依然として困難な作業です。」

これらすべてからの私の持ち帰りは、AIが医療診断をスピードアップして改善できるということです。また、道路上で車両をより安全にするのにも役立ちます。ただし、メソッドには細心の注意を払う必要があります。

AIシステムを設計するときは、高電圧エンジニアのように考えることが重要です。システムが故障する可能性を事前に考え、その可能性を最小限に抑えることを目標にシステムを設計します。また、障害が発生した場合は、怪我や損傷の可能性を減らすことを目指してください。

同意しますか？以下で質問やコメントを共有してください。

Edのブログから詳細を読む：OutsideInとInsideOutからの設計