AI があなたの思考を視覚化 – 日本の研究者が脳ベースの画像再構成を作成

• 日本の研究者は、文字通り人間が想像していることを認識できる AI を開発しました。
• このシステムは、人間の脳活動からの深部画像再構成を使用します。 
• 最初のトレーニングの後、DNN はこれまでに見たことのない画像を再構築することができました。 

過去数年間に行われた人工知能に関する研究は、私たち全員を驚かせました。私たちは日常的に、パーソナル音声アシスタント、Web 検索エンジン、ソーシャル メディア プラットフォームなど、数十の AI プログラムと対話しています。最近では、Samsung が機械学習を使用してあらゆるビデオ形式を 8K 解像度に変換するテクノロジーを導入しました。可能性は無限大です。

AI では毎月、世界をより良い方向に変えることに大きく貢献する驚くべき発展が起こっているようです。 2017 年末、Nvidia は、これまで見たことのないシーンや写真を想像できるニューラル ネットワークを発表しました。そして今回、ATR 計算神経科学研究所の日本人研究者チームが、文字通りあなたの思考を見ることができる AI を開発しました。

何かを考えるだけで、ロボットがそれを視覚化しようとします。研究者らは、人間の脳活動からの深い画像再構成によってこれを可能にしました。たとえば、人が文字「Z」の写真を見ている場合、AI はその曖昧なバージョンに似た画像を形成します。それは実際に人の心を読んでいるようなものです。 このシステムがどのように機能するかを詳しく見てみましょう。

最近の進歩

これまでのところ、機械学習技術に基づいた fMRI (機能的磁気共鳴画像法) により、知覚内容を確認できるようになりました。ただし、それは画像ベースの低レベルの再構築に限定されています。

昨年、神経科学の進歩により、視覚皮質活動をディープ ニューラル ネットワーク (DNN) の階層レベルにデコードできるようになりました。

予測レベルを使用して、さまざまなオブジェクト画像の計算された特徴の配列から想像上のオブジェクト カテゴリを検出できます。想像された物体を解読すると、高レベルから低レベルの視覚表現が漸進的に採用されていることが明らかになります。 これにより、階層的な視覚的特徴からのデータを利用する手法が得られました。

新しい画像再構成技術

今回、日本の科学者たちは、人間の脳活動の複数の層として抽出された DNN 特徴に一致するように画像のピクセル値を最適化する画像再構成技術を考案しました。

参考:bioRxiv | 土井:10.1101/240317

このシステムは、fMRI スキャナーからの信号を DNN を使用してリアルタイムで分析し、人々が見ているものをさらに再現します。システムをトレーニングするために、自然界の写真が AI と参加者の両方に表示され、人々がさまざまな写真を認識している間に、ネットワークが脳内の血流のパターンを正確に判断できるようになりました。

トレーニングの第 1 段階 (10 週間) の後、DNN は、数字やアルファベットなど、これまでに見たことのない画像を (リアルタイムで) 再構築することができました。

アルファベット文字の再構成

着色された人工形状の再構築品質

彼らは人間の超能力者が行うのと同じ方法、つまり推測によって学習します。あなたが特定の数字を考えているときに脳波がどのように見えるかを知っています。このシステムは、脳の活動に基づいて、見たい出力を推測することで、あなたの思考を視覚化します。

人間と違って、それは多くの推測を行うことができます。持っているすべてのデータ (DNN 上の形式で脳波から抽出) を取得し、画像に変換します。システムは、知覚可能なイメージを再作成するまで、これを何度も繰り返します。

読む:Google の AI が人間のコードを超える AI を作成

次は何ですか?

最近の人工知能の開発の中で、これは SF のように聞こえます。このテクノロジーは、話すことができない人にとって非常に役立つ可能性があります。 今のところ、心を読むという点では完全さを欠いているため、研究にはさらなる改善が必要です。

一方、将来的には、より高度な AI アプローチによって、新しいコミュニケーション モードが開かれる可能性があります。前にも述べたように、可能性は無限です。