2020 : 面部捕捉動畫/跟蹤平臺Faceware Studio
今天想給大家介紹一款實(shí)時面部動畫/跟蹤平臺Faceware Studio。
無標(biāo)記3D面部動作捕捉解決方案的領(lǐng)先開發(fā)商Faceware Technologies最近發(fā)布了一種用于創(chuàng)建高質(zhì)量面部動畫的新平臺Faceware Studio,其利用創(chuàng)建即時面部動畫的方式重新定義了實(shí)時工作流程,通過機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)技術(shù)實(shí)時跟蹤人臉并創(chuàng)建面部動畫。
作為一個新產(chǎn)品,F(xiàn)aceware Studio替代了以前的Faceware Live Server產(chǎn)品。FacewareStudio通過利用機(jī)器學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)技術(shù)可以快速校準(zhǔn)、跟蹤和顯示任何人的臉部實(shí)時動畫,且這些數(shù)據(jù)可以流式傳輸?shù)紽aceware支持的虛幻引擎(UE4)、Unity、MotionBuilder和Autodesk Maya插件中。這個工具也可以讓藝術(shù)家根據(jù)演員的獨(dú)特表現(xiàn)來調(diào)整和定制動畫,并通過Motion Effects建立附加邏輯與運(yùn)動效果。
Faceware Studio目前與構(gòu)建在Faceware Analyzer和ReTargeter上的非實(shí)時Faceware流程并駕齊驅(qū),可直接用于實(shí)時應(yīng)用程序,將來這項(xiàng)技術(shù)會得到擴(kuò)展,與傳統(tǒng)流程工具結(jié)合到一起使用。
Faceware支持使用網(wǎng)絡(luò)攝像頭或頭戴式攝像頭
//主要功能
Tracking Any Face(面部跟蹤)
Faceware Studio只需單擊校準(zhǔn)就可以跟蹤面部,并為面部表情設(shè)置動畫,其中用到的神經(jīng)網(wǎng)絡(luò)技術(shù)可以通過實(shí)時攝像頭或預(yù)先錄制好的視頻輕松識別角色面部。Faceware Studio可實(shí)現(xiàn)交互、虛擬制作和大規(guī)模的內(nèi)容創(chuàng)建。
Advanced Tuning(強(qiáng)大的調(diào)整功能)
Studio的界面,右側(cè)有調(diào)整變量
藝術(shù)家可利用“Animation Tuning”(動畫調(diào)整)功能對角色特定配置文件進(jìn)行可視化調(diào)整,還能提供所需的反饋和工具,根據(jù)演員的獨(dú)特表演定制動畫。
Motion Effects(動態(tài)效果)
Motion Effects是一個功能強(qiáng)大的系統(tǒng),可在實(shí)時數(shù)據(jù)流中構(gòu)建其他邏輯,效果可用于處理數(shù)據(jù),使過程完全按照用戶的想法執(zhí)行,從而盡可能地直接控制最終動畫。
Animate Any Character(為角色制作動畫)
Faceware Studio可以自由設(shè)置任何角色綁定的動畫,將Studio標(biāo)準(zhǔn)控件映射到定制角色上,就可以將面部動畫數(shù)據(jù)流導(dǎo)入到虛擬引擎、Unity和MotionBuilder受Faceware支持的插件中,這一功能不久之后在Maya中也可以實(shí)現(xiàn)。
//工作流程
Realtime Setup(實(shí)時設(shè)置)
使用“實(shí)時設(shè)置”面板來選擇要跟蹤的攝像機(jī)、圖像序列或預(yù)先錄制的視頻。然后使用面板中的控件調(diào)整各種選項(xiàng),例如幀速率、分辨率和旋轉(zhuǎn)。根據(jù)輸入內(nèi)容選擇Stationary或Professional Headcam模型,Pathfinder功能會提醒用戶實(shí)時設(shè)置是否為設(shè)置。
Calibration&Tracking(校準(zhǔn)&跟蹤)
左邊是Faceware Studio,右邊是輸出到UE4的輸出
完成實(shí)時設(shè)置后,Tracking視窗開始顯示畫面。為了校準(zhǔn)跟蹤,角色需要在合適的構(gòu)圖位置,對焦且保持中立姿勢。如果使用的是預(yù)先錄制的媒體,需要找到合適位置的圖像,然后使用“ Calibrate Neutral Pose”按鈕開始跟蹤。
Tune Your Animation(調(diào)整動畫)
Animation Tuning面板包括面部跟蹤時的每個表情及其對應(yīng)值的列表,用戶可通過彩色條獲取有關(guān)每種表情的即時反饋,單擊并拖動滑塊以增加或減少每種表情的效果。還可以在“ Motion Effects”面板中使用隨帶的效果來增強(qiáng)數(shù)據(jù),或使用Python在每個空間基礎(chǔ)上創(chuàng)建自己的自定義效果。
Stream to Engine(導(dǎo)入到引擎中)
“Streaming”面板為用戶提供了眾多選項(xiàng)來啟用和自定義數(shù)據(jù)流,要從Faceware Studio傳輸動畫數(shù)據(jù),需要在引擎中配置受Faceware 支持的插件,單擊“Stream to Client”以查看角色動畫。
Faceware官方表示,他們的愿景是使創(chuàng)建面部動畫的過程快速而又有趣,而Studio僅僅是個開始。如果感興趣的話,可以詳細(xì)了解一下!
推荐
-
-
QQ空间
-
新浪微博
-
人人网
-
豆瓣