凹みTips

C++、JavaScript、Unity、ガジェット等の Tips について雑多に書いています。

音声信号処理

Unity でリアルタイムにリップシンクを行うプラグインを更に作り直してみた

はじめに 前回、リップシンクするプラグインを作り直してみた記事を書きました。 tips.hecomi.com 色々とご反響を頂いたのですが、しかしながら母音推定の性能がいまいちでした。第 1 、第 2 フォルマントという周波数スペクトルの 1 つ目、2 つ目のピークを…

Unity でリアルタイムにリップシンクを行うプラグインを作り直してみた

はじめに Unity でリップシンクを行う手段としては、事前にデータを作るものからリアルタイムに解析するものまで色々あります。本ブログでも以前、自分で作ったり Oculus 製のものを解説したりしました。 tips.hecomi.com tips.hecomi.com 前者の記事で自分…

フォルマントから母音推定してリップシンクを目指してみる

はじめに Oculus Rift を使用して、VR 内のキャラと目が合う、握手できるなどの衝撃体験を @GOROman さんが実現されて話題になっています。 Dive into VR - Oculus Rift + Razer Hydra feat. Miku - YouTube Oculus Rift で 初音ミク と握手をしてみた - Mik…