Aya
Ayaは、写真を保存して認識し、対話するインタラクティブなロボットです。 Hack the North2017とAWSのベストユースの勝者。
ストーリー
インスピレーション
AmazonがAlexaで何をしたか、Googleが自宅で何をしたかを見たとき、コンピューター化されたパーソナルアシスタントの時代がここにあると確信していました。しかし、どうすればそれらをより人間味のあるものにすることができるのか疑問に思いました。Ayaは、人間のように見えて感じるロボットのパーソナルアシスタントの概念実証です。
何をするのか
Ayaは、写真を保存してあなたを認識し、保持しているオブジェクトを知らせるインタラクティブなロボットです。
構築方法
Ayaは組み込みシステムの悪夢です！マルチプロセッシングのために異なるスレッドで実行されているオーディオコーデックとのサーボシステムインターフェイス。
26時間以上にわたるプロセスで、物理部品（オープンソースロボットのInMoov®提供）を3Dプリントしました。 Hack the North2017で製造および組み立てられました。
Ayaは、AWS Rekognitionを使用して顔の形状を比較し、すでに会った人を認識し、新しい人に会います。人間ではない最も信頼性の高いオブジェクトを選択し、それをAmazonPollyで実行します。AmazonPollyは.oggファイルを生成します。このすべてが起こっている間、カスタムサーボコントロールを備えた別のスレッドが並行して実行され、顎をスピーチで動かします。
私たちが遭遇した課題
ソフトウェアに関しては、Amazon Rekognitionはラベルの配列とその信頼水準のみを出力するため、画像に最も関連性の高いラベルを選択するのは難しいことがよくあります。 k を使用してこれを解決しようとしました -クラスタリングとは、類似した単語のグループを生成してから、グループごとに文を生成することを意味します。ただし、ハードウェアが多くの時間を費やしたため、残念ながら、これを完全に実装する時間がありませんでした。
最後に、36時間の予算（睡眠を含まない！）でこれらすべてを行うことは、すべての中で最大の課題でしたが、スケジュールに準拠し、プロジェクトをアジャイルにする必要がありました。
私たちが誇りに思っている成果
綾の次は
AWS Rekognitionの出力をクラスタリングするためのTensorFlowと、生成されたオーディオファイルに波形分析手法を適用してサウンドをサーボ作動とより適切に同期するためのpyAudioAnalysisの使用に取り組みたいと考えています。
続きを読む情報…
彩
製造プロセス