Aya：AWS活用の受賞インタラクティブロボットパーソナルアシスタント

Ayaは、AWS Rekognitionで顔認識と物体検出を行い、Amazon Pollyで自然な音声応答を返す受賞歴のあるインタラクティブロボットです。

ストーリー

着想

Amazon AlexaやGoogle Homeを見て、本当に人間らしいパーソナルアシスタントを作りたいと考えました。Ayaは人間のような外観と高度なAIを融合した概念実証ロボットです。

できること

Ayaはユーザーの写真を保存して本人を認識し、目の前の物体を特定して音声で伝えます。

製作プロセス

Ayaの構築には複雑な組み込みシステムが必要でした。サーボ制御をオーディオコーデックとは別スレッドで動かすことで、発話と顎の動きを同時に実現。シャーシはオープンソースのInMoov設計を3Dプリントし、Hack the North 2017で26時間かけて出力。システムはAWS Rekognitionで顔比較、Amazon Pollyで音声合成、並列スレッドでリアルタイムサーボ駆動を行います。

課題

ハードウェア面では、溶けた配線、焼損したブレッドボード、サーボ過熱、公差問題などが発生。サーボ制御と音声の同期には慎重なマルチスレッド設計が必要でした。ソフトウェア面では、Rekognitionの信頼度配列から最も関連性の高いラベルを選ぶのに苦労し、k-meansクラスタリングを検討しましたが時間切れで完全実装には至りませんでした。36時間のハッカソンで最小限の睡眠しか取れない中、アジャイルに開発を進めました。