ユニティちゃんが声に合わせて口パクしてくれるリップシンクアセットを作ってみた

はじめに

以前、Unity で MMD4Mecanim を利用した MMD モデルさん達がリップシンクしてしゃべってくれるアセットの作成を行いました。

Unity でリアルタイムにリップシンクする MMD4Mecanim LipSync Plugin を作ってみた - 凹みTips

これを利用して、ユニティちゃんにリップシンクをしてもらおうと何度か挑戦しようとしたのですが、モーフのさせ方が分からず諦めていた所、先日、MMD4Mecanim 作者である Nora さん（@Setereoarts）が、MMD4Mecanim にユニティちゃん用のモーフアセットを追加してくださいました。

Stereoarts Homepage（2014/07/17版）

これを利用してユニティちゃんがボイスデータに合わせて口パクしてくれるように更新してみましたので、その紹介をします。

デモ

利用方法

まず、ユニティちゃんアセット、MMD4Mecanim、MMD4Mecanim-LipSync-Plugin をそれぞれダウンロードし import します。

ユニティちゃん（UnityChan/Prefabs/unitychan）をシーンに配置し、MMD4Mecanim-LipSync-Plugin/UnityChanLipSync.cs をそこへアタッチします。そして、適当なユニティちゃんボイス（e.g. UnityChan/Voice/univ0015）を Inspector の「Uniy Chan Lip Sync > Play Voice Sound > Audio Clip」にセットし、ゲームを開始して「Uniy Chan Lip Sync > Play Voice Sound > Audio Clip > Play」ボタンを押すと、口パクしながら喋ってくれるようになります。

スクリプトから利用する際は UnityChanLipSync コンポーネントを取得して Play() を呼んで下さい。動画で使用したスクリプトは以下になります。

using UnityEngine;
using System.Collections;

[RequireComponent( typeof(UnityChanLipSync) )]
public class UnityChanVoicePlayer : MonoBehaviour 
{
    private UnityChanLipSync lipSync_;
    public AudioClip[] audioClips;
    public int index = 0;

    void Start()
    {
        lipSync_ = GetComponent<UnityChanLipSync>();
    }

    void Update() 
    {
        if (Input.anyKeyDown) {
            if (index < 0 || index >= audioClips.Length) index = 0; 
            lipSync_.Play( audioClips[index] );
            ++index;
        }
    }
}

MMD4Mecanim-LipSync-Plugin の詳細な利用方法は以前のエントリをご覧ください。

Unity でリアルタイムにリップシンクする MMD4Mecanim LipSync Plugin を作ってみた - 凹みTips

課題

再生直前に一瞬プチフリーズが発生してしまっています。これは、音声解析をするために AudioClip.Create で PCMReaderCallback をセットしているのですが、この内部で呼び出される AudioClip.InvokePCMReaderCallback_Internal() が重い処理のようで、プロファイラを見ると一瞬 98% くらいの処理を持っていかれているからのようです。時間が出来た時に追って調査したいと思います。