Oculus Rift と Julius で言霊使いになる

オールナイト・クリエイソンという、一晩でコンテンツを作るイベントに参加しました。ネタは自由だったので、GOROmanさんのこのツイートに触発されて、音声認識でOculusRiftに文字やオブジェクトを出現させるモノを作りました。



・コマンド「箱を作る」を言うと箱が出現し、飛んでいきます。
・コマンド以外の言葉の場合は、文字が出現します。

今回のバージョンでは理想像には程遠い出来ですが、認識精度が上がって、複数対戦や多彩なコマンドが実装されたら、かなり楽しいんじゃないかと思います。


技術的な事
音声認識にはJuliusを使わせて頂いています。Macへのインストールについて、以下のサイトを参考にさせていただきました。最終的にはHomeBrewで、portaudioとjuliusをインストールする事が出来ました。

大語彙連続音声認識エンジンJuliusをmacにインストール
Mountain Lion で Julius を動かしてみた
音声認識エンジンjuliusをLionで試してみた
HomebrewでOSXに音声解析エンジンJuliusを入れる

Juliusはmoduleモードで立ち上げると、TCP/IPのサーバーになり、認識した文字列をxmlでクライアントに送ってくれます。今回はunity3Dからのアクセスがなぜかうまくいかなかったので、oFで中継しています。

課題
・Juliusで精度を高めるのはなかなか苦労しそう。他のエンジンも試してみたいです。
・対戦プレイをしたいので、複数のPCを連携させたい。OculusRiftももう一台必要。
・コマンドの種類、カッコよさ。出現したオブジェクトを指定して、MoveTo!とかやりたい。