iPhone で表情キャプチャーしてみた

iClone7には、モーションキャプチャー関連のプラグインがいろいろあります。
かなり価格がこなれてきたものの、全身用は、まだまだ高価です。

一方、手と表情のモーションキャプチャーは、かなり入手しやすくなってます。
表情用には、Webカメラを使うものと、iPhoneXを使うものがあります。
Webカメラ版は、10万円以上しますが、iPhoneX版は、iPhoneXさえ持っていれば、比較的安価です。

iPhone Xには、顔認証機能があって、実はこれがすごいんです。
なにやら3万本以上の赤外線ドットを顔に照射して、顔を認識するのだとか・・・。
こちらで、その様子が見れます。
この機能のおかげで、表情のモーションキャプチャーができるということらしいです。

表情のモーションキャプチャーは、やってみたかったので、昨年末のセールの時にソフトのみを購入していました。
この連休で、やっとiPhone XRを入手できたので、さっそく動かしてみました。

iPhoneXと、パソコンの接続には、Wi-Fi接続と、USB接続があります。
USB接続の方が、高速で安定してるらしいですが、デザリングを使えないとだめです。
このため、Wi-Fiで接続しています。ほんのすこしラグが発生するようです。

あとは、iPhoneXRを手で持ってないといけないのと、思った表情にするのがむずいですね。

今回、この機能を使ってバーチャル・ユーチューバーぽい動画を作ってみました。
2.5次元キャラのMikakoさんを使いました。
微妙な表情を全般的につけられるので、とても良い感じです。
次は、リアル系のMayumiさんでもやってみたいです。^^

ニコニコ動画は、こちら。
Youtube向けには、英語版テキストを入れました。