マイクロソフトは人間の顔のほぼ完璧な3Dモデルを作成する方法を発見した
トッド・ビショップ著
研究論文で、マトリックス リローデッドや ベオウルフのリメイクを超えて最先端の技術をいかに進歩させたかを説明できれば、コンピューター グラフィックスの分野で何か新しいことを始めていることがわかります 。
今週、ブリティッシュコロンビア州バンクーバーで開催される SIGGRAPH コンピュータ グラフィックス カンファレンスで発表される論文の中で、マイクロソフトの研究者らは、これらの映画で人間の顔を正確に 3D コンピュータ モデリングするために使用されたテクノロジを称賛している。
しかし、マイクロソフト北京研究所の研究者たちは、さらに優れた方法を発見したと発表しました。彼らが考案した技術は、顔の細部に至るまで、新たなレベルの精度で自動的にモデル化できるのです。
彼らは、3D スキャン技術とモーション キャプチャ システム (上記の俳優の顔にあるマーカーの由来) を組み合わせ、さらに正確なモデルを作成するために必要な最小限の顔スキャン数を決定するために開発した手法を使用して、システムの速度と効率を高めています。
研究プロジェクトが必ずしも製品の出荷につながるわけではありませんが、このアプローチの側面が Microsoft の Kinect センサーの将来のバージョンに何らかの形で組み込まれることは想像に難くありません。
マイクロソフトの新しい仮想会議サービス「Avatar Kinect」では、画面上のアバターの表情の一部を操作できます。例えば、眉を上げるなどです。しかし、顔のより正確なモデル化によって、さらなる可能性が開けるかもしれません。
もしかしたら、将来の Windows ユーザーは、特別な種類のニヤニヤ笑いをしながら Outlook を起動できるようになるかもしれません。
技術的な詳細については、論文の要約をご覧ください。
本稿では、リアルな動的なしわや細かい顔のディテールを備えた高忠実度の 3D 顔演技を取得するための新しいアプローチを紹介します。このアプローチでは、最先端のモーション キャプチャ技術と高度な 3D スキャン技術を活用して顔演技を取得します。まず、マーカーベースのモーション キャプチャ システムを使用して俳優の 3D 顔演技を記録し、キャプチャしたデータに対して顔分析を実行して、正確な顔の再構築に必要な最小限の顔スキャン セットを決定します。すべての顔スキャンにわたって高密度で一貫した表面対応を効率的に構築するために、2 段階のレジストレーション プロセスを導入します。ブレンドシェイプ補間フレームワークでモーション キャプチャ データと最小限の顔スキャン セットを組み合わせることで、高忠実度の 3D 顔演技を再構築します。実際のデータと合成データの両方でシステムのパフォーマンスを評価しました。結果は、システムが静的顔スキャンの空間解像度とモーション キャプチャ システムの取得速度の両方に一致する顔演技をキャプチャできることを示しています。
