台湾专利TW201303747A 頭像臉部表情技術

专利PDF首页>>台湾专利

专利附录

专利说明

权利要求

类似技术

同族专利

引用文献

法律状态

优先权

专利摘要:
揭露之技術有關於頭像。例如使用者的臉部表情改變及頭部的動作可被可靠地模擬於映射的頭像。如此的技術可能涉及增強型的臉部表情序列擷取的方法以及增強型的頭像動畫。更進一步，如此的技術可有利地提供執行速度與通訊頻寬的改善。
公开号:TW201303747A
申请号:TW101112310
申请日:2012-04-06
公开日:2013-01-16
发明作者:xiao-feng Tong；Yang-Zhou Du；Wei Hu；yi-min Zhang
申请人:Intel Corp；
IPC主号:G06T13-00

专利说明:
頭像臉部表情技術
本發明是有關於頭像臉部表情技術。
頭像廣泛的使用在各種系統和應用程式中，例如電腦遊戲、使用者介面應用程式和電信(例如在由Apple iPhone4提供的FaceTime，以及在由Microsoft Xbox 360提供的Avatar Kinect)。
舉例來說，頭像(例如一個真實的臉、卡通的臉和動物的臉等)模擬一個使用者臉部表情和頭部動作。這不只是提供有趣的使用者經驗，當使用者不希望透露他或她的真實面目，其可以保護使用者的隱私。
另外，使用頭像取代真實的臉能節省相當大的通訊頻寬。這使得協作的應用程式有效率執行。(例如視訊會議、虛擬教室等)。
有三個關於臉部表情驅動頭像應用程式的普遍性問題。首先，在不同的光照條件和頭部動作存在下，攝影機很難精準捕捉和追蹤人臉部表情的變化。第二，基於攝影機的臉部追蹤只能可靠地追蹤有限的臉部特徵數量(例如，嘴角、眼角等的10點)。如此有限的數量可能不足以直接全面驅動頭像表情動畫。第三，描述真實臉部表情的變化需要大量通訊頻寬，大量的通訊頻寬對於以通訊為基礎的像是視訊會議或頭像的應用程式是一個障礙。
實施例提供的技術能有效解決上述問題。因此，一實用、即時(或超即時)、線上和低通訊頻寬的頭像系統可被實施。如此的系統能可靠地模擬使用者臉部表情的變化和頭部動作。此外，如此的系統僅透過採用一般網路攝影機和計算裝置即可達成。
此外，實施例能提供新型快速和強大的臉部追蹤演算法。再者，實施例可提供新型的臉部表情序列擷取方法。更進一步，實施例可提供新型快速臉部動畫模擬方法。
實施例能提供各種優勢。一個優勢是能夠提供使用更低頻寬通訊操作的頭像基礎系統和應用程式。例如，如下所述，每一幀(如視訊幀)僅有一些臉部特徵(例如，九項特徵)需傳輸到遠端驅動遠端頭像臉部動畫。舉個例子，在頭像基礎視訊聊天應用程式，若要顯示遠端的頭像臉部動畫，只有每秒9^＊4^＊30=1080位元組需被傳輸(假設30幀/秒的通信速率)。而且，每一幀中，若臉部的變化不需要傳輸，轉換能更進一步降低。
整個說明書提到的“一實施例”或“一個實施例”，表示與實施例有關的所述的特定的特徵、結構或是特性被包含於至少一實施例中。因此，整個說明書在不同地方出現的“在一實施例”或“在一個實施例”的片語，不見得全部指的是相同的實施例。更進一步，特定的特徵、結構或特性可在一或更多實施例中以任何合適的方式結合。
實施例的操作可參考下列的圖式與附帶的範例更進一步地描述。其中一些圖式可包含邏輯流程。雖然本文呈現之圖式可包含特定的邏輯流程，但是其能夠明白該邏輯流程僅提供此描述的一般功能如何實施的範例。再者，給定的邏輯流程除非另有指示外，不必然會在所示流程中執行。另外，給定的邏輯流程可藉由硬體元件，由處理器執行的軟體元件或任何其組合實施。實施例並不限於此範圍。
圖1係為範例實施方塊圖100。此實施可被用於提供模擬使用者動作與表情的頭像。如圖1所示，實施100可包含臉部追蹤模組102、動態擷取資料庫模組104、映射模組106、資料庫產生模組108、影像來源110以及顯示裝置112。這些元件可以硬體及/或軟體的任何組合實施。
臉部追蹤模組102接收影像資料，例如一個或更多視訊幀。此資料可從影像來源110接收。由此資料，臉部追蹤模組102能偵測臉部和決定臉部特徵。如此的特徵可包含特徵點的位置。然後，這些位置(及/或他們的動作)可使用做為決定兩個組件：臉部表情動作和頭部剛性動作(head rigid movements)。在實施例中，如此的臉部表情動作可表示為多重特徵(例如，如下所述的九種特徵)。此外，根據如此的特徵，臉部追蹤模組102可從動態擷取資料庫104擷取最相近的表情特徵。
動態擷取資料庫104從人不同的臉部表情紀錄(或儲存)資料(例如，微笑、大笑、憤怒、驚訝、說話、吃...等)。這些表情可記錄為幀的序列。如此處所述的九種特徵，每一個此類的幀可包含多重特徵。因此，動態擷取資料庫104可包含一資料儲存媒介，例如記憶體(揮發性或非揮發性)、磁碟機、光學儲存器...等。
根據從動態擷取資料庫104的特徵擷取，映射模組106控制頭像。這可涉及標準化與重新映射人臉部到頭像臉部，複製臉部表情變化到頭像，以及然後驅動頭像執行如擷取的特徵相同的臉部表情變化。在實施例中，映射模組106可包含由顯示裝置112使頭像輸出的圖形繪製特徵。
因此，顯示裝置112可形象化地輸出頭像至使用者。顯示裝置可以各種顯示裝置實施。範例裝置包含(但不限於)液晶顯示器(liquid crystal displays,LCDs)、發光二極體(light emitting diode,LED)顯示器、電漿顯示器(plasma displays)、以及陰極射線管(CRT)顯示器。
在一實施例，臉部追蹤模組102可接收從影像來源110的影像資料。如此影像資料能以影像或幀(例如影像幀)序列的形式。影像來源110可包含影像感應裝置(image sensing device)，例如攝影機。如此的一個裝置可包含各種組件。範例組件包含(但不限於)一個光學組件(optics assembly)、一個影像感應器(image sensor)及一個影像/視訊編碼器(image/video encoder)。這些組件可在硬體及/或軟體的任何組合下實施。
光學組件可包含一或更多光學裝置(例如透鏡、反光鏡...等)在影像感應器內的多重感應器元件上的視野內投射影像。此外，光學組件可包括控制這些光學裝置配置的機構。例如，如此的機構可控制聚焦操作、光圈設置、曝光設置、縮放操作、快門速度、有效焦距等。然而，實施例不限於這些範例。
影像感應器可包含一感應器元件陣列(未示出)。這些元件可以是互補式金屬氧化物半導體(CMOS)感應器、電荷耦合裝置(CCDs)或其他合適的感應器元件類型。這些元件可產生對應於在感應器上光入射的類比強度信號(例如電壓)。另外，影像感應器亦可包含轉換類比強度信號至數位編碼強度值的類比/數位轉換器(analog-to-digital converter(s),ADC(s))。然而，實施例不限於這些範例。
因此，影像感應器轉換透過光學組件接收的光到像素值。其中每個像素值代表在對應的感應器元件上特定的光照強度。雖然這些像素值已被描述成數位，但是仍可選擇性地為類比。如上所述，影像感應裝置可包含編碼及/或壓縮像素值的影像/視訊編碼器。各種技術、標準及/或格式(例如動態影像壓縮標準(MPEG)、靜態影像壓縮標準(JPEG)等)可使用於此編碼及/或壓縮。
如上所述，動態擷取資料庫模組104可儲存人不同臉部表情的資料。請參閱，例如Jin-xiang Chai,Jing Xiao,and Jessica Hodgins,Vision-based Control of 3D Facial Animation,Eurographics/SIGGRAPH Symposium on Computer Animation(2003)。如此的資料可由資料庫產生模組108產生。在實施例中，資料庫產生模組108在離線程序產生此資料。
舉例來說，專業動態擷取裝置(例如來自英國牛津大學維康動態系統的產品(Vicon Motion Systems,of Oxford,UK))可用來擷取人臉部表情。若要執行此操作，人臉部可貼上(例如黏上)標記(例如30-100個標記)，如圖2描繪。接著，當人表現不同表情，動態擷取裝置擷取在每一幀的每一個標記的三維(three-dimensional,3D)座標。這些座標可記錄各種表情。範例表情包含(但不限於)六種基本表情類型(大笑、憤怒、驚訝、悲傷、驚恐、厭惡)，以及一些平常的表情，像是說話與吃。其中每個表情可重複數次。這可使表情資料被記錄大約十分鐘。
動態擷取資料庫被記錄之後，資料產生模組108可藉由提取臉部特徵，為資料庫的每一幀預先處理資料庫。尤其是在資料庫的每一幀，資料庫產生模組108可運算多重臉部特徵。接著，資料庫產生模組108儲存這些特徵在動態擷取資料庫模組104。
在實施例中，這些多重臉部特徵可以是以下九項特徵：1.上、下唇之間的距離；2.兩個嘴角之間距離；3.上唇與鼻尖的距離；4.下唇與鼻尖的距離；5.鼻翼與鼻尖的距離；6.上、下眼瞼之間的距離；7.眉尖與鼻尖的距離；8.兩眉尖之間的距離；以及9.眉尖與眉毛中間的距離
然而，實施例可使用特徵的任何數量。再者，在實施例中，動態擷取臉部表情和預處理擷取臉部特徵兩者皆離線執行。並且如此的操作可不常執行(例如發展實施100時只有執行一次)。因此，實施100的使用者通常不需要在意這些操作。
圖1元件可分布於一個或更多裝置中。例如，在實施例中，臉部追蹤模組102、動態擷取資料庫模組104、資料庫產生模組108和影像來源110可包含在第一裝置中。接著，映射模組106與顯示裝置112可在第二裝置中。
如此的安排可提供在第一裝置產生決定表情特徵的通訊應用程式(例如，如同從資料庫模組104擷取)。接著，這些特徵可遍及任何合適的通訊媒體通訊到第二裝置(例如有線及/或無線網路/介面)。接著，第二裝置可驅動和繪製藉由顯示裝置112輸出的頭像(例如，與映射模組106)。此配置提供描繪而非限制的目的。因此，其他的配置可被採用。
在實施例中，這些一或更多裝置可以是各種類型。裝置類型範例包含(但不限於)攝影機、個人數位助理(PDAs)、行動電話、智慧手機、個人計算機裝置(例如桌上型裝置、筆記型裝置、平板裝置等)、智慧型電視、伺服器、穿戴式裝置、媒體播放器、任何智慧型裝置等等。再一步的範例包含微處理器(microprocessors)、圖形處理器或引擎、微控制器(microcontroller)、特殊應用積體電路(ASICs)等等，然而，實施例不限於這些範例。
圖3描繪顯示頭像基礎臉部動畫實施的範例操作的範例邏輯流程300。如此的操作可由圖1的元件執行。然而，實施例不限於此範圍內。而且，雖然圖3顯示特定序列，但其他序列仍可被採用。此外，描繪的操作可在各種平行及/或連續的組合中執行。
在方塊圖302，攝影機擷取使用者臉部表情和頭部動作。
在方塊圖304，臉部追蹤模組被採用到追蹤臉部特徵點的位置。
由此看來，在方塊圖306，特徵點的動作分解為兩個部分：臉部表情動作和頭部剛性動作(head rigid movements)。由此看來，多重臉部表情資料(稱為“臉部特徵”)在方塊圖308中決定。如上所述，九項臉部特徵可從每一幀中決定。
在方塊圖310，臉部特徵資料被輸入到動態擷取資料庫，以及最相似的臉部表情序列從資料庫中擷取。此擷取提供類似使用者臉部表情的序列。
接著，執行方塊圖312。在此方塊圖，人類臉部被標準化並重新映射到頭像臉部。而且，在此方塊圖，臉部表情變化將複製到頭像。
然後，在方塊圖314，頭像被驅動。此包括用於如在擷取序列中的頭像執行相同臉部表情的變化。而且，在驅動頭像時，頭部剛性動作將直接使用。
臉部追蹤特徵現在更詳細地描述。在圖1中，如此的特徵可藉由臉部追蹤模組102提供。然而，實施例不限於此範圍。在頭像基礎系統(例如視訊聊天系統)，擷取使用者的頭部姿勢及使用者的臉部表情是重要的。在實施例中，這些操作可藉由臉部追蹤模組執行。接著，這些姿勢和表情能以動畫參數表現出來。如此的動畫參數被傳輸至圖形繪製引擎。以這種方式，頭像系統將能夠在虛擬三維模型(3D model)中複製原使用者的臉部表情。
臉部追蹤模組的執行和準確性主要影響整體頭像基礎動畫系統的品質。在實施例中，用於臉部追蹤模組實用的解決方案可提供各種特徵。例如，臉部追蹤模組可由頭部姿勢追蹤剛性動作。如此的剛性動作可包含(但不限於)平移、旋轉和縮放的因素。而且，臉部追蹤模組可追蹤由於臉部表情的非剛性轉換。非剛性轉換可包含多重的臉部動作單元(action units)(例如六項典型的臉部動作單元)。再者，臉部追蹤模組可在一個或更多處理器中即時地運作(例如，在Intel Atom 1.6 GHz處理器中)以優化其實施。
圖4描繪範例邏輯流程400，其顯示頭像基礎臉部動畫系統的範例操作。在此圖中，虛線環繞臉部追蹤模組可執行的操作。雖然圖4顯示特定序列，但是其他序列仍可被採用。此外，描繪的操作可在各種平行及/或連續的組合中執行。
如圖4所示，視訊幀在方塊圖402被讀取。在實施例中，視訊幀可由設置在使用者前方的攝影機讀取。由此，臉部追蹤模組分析臉部區域，以及根據臉部影像計算動畫參數。如圖4所示，這可以涉及方塊圖404-412的執行。
動畫參數可包含頭部的傾斜角和傾側角、嘴巴的開闔、眉尖的挑高和擠壓。在實施例中，這些所有的參數透過臉部追蹤模組被分析。
圖4所示，在方塊圖414，動畫參數被傳送到繪製引擎。接著，根據在方塊圖416的動畫參數，繪製引擎驅動頭像3D模型。
如圖4所示，方塊圖402-416的操作可反覆地執行。例如，這些操作可在視訊流的每一幀中執行。
如上所述，臉部追蹤模組可執行提供遞迴程序的方塊圖404-412。
在這些方塊圖中，頭部模型被投射在臉部區域，該臉部區域在方塊圖402被讀取的視訊幀中被偵測到。尤其是，實施例可採用參數化的3D頭部模型以助於臉部動作追蹤。3D模型的外型(例如框線圖)完全由一組參數控制。在輸出影像的臉部區域上投射3D模組，調整其參數使框線圖改變外型並比對使用者的頭部位置與臉部表情。
例如，圖4所示，在方塊圖404，頭部模型被投射在偵測的臉部(也稱為當前的臉部)。這在方塊圖406產生未變形結構的當前的臉部。在方塊圖408，此未變形結構與範本結構相比較。根據此計算，在方塊圖410中，一個或更多3D頭部模型的參數可被更新。如方塊圖412所示，若3D頭部模型和當前的臉部尚未在預先設定的量內趨近，方塊圖404-410即可反覆執行。否則，操作可進行方塊圖414。
在方塊圖414中，參數被提供。這些參數可以是臉部特徵的形式(也稱為輸入臉部特徵)。在實施例中，如此的特徵序列可用來驅動在方塊圖416的頭像。
因此，3D頭像模型的控制參數可反覆地更新，直到與現在的臉部發生符合要求的趨近。此程序能夠視為受某些組的轉換參數的影像校準問題。因此，方塊圖404-412的操作可涉及逆向組合演算法(inverse compositional algorithm)，例如，在Baker,S.and Matthews,I.,Lucas-Kanade 20 years on：A Unifying Framework,International Journal of Computer Vision,56(3)：221-255,2004所述。如此的演算法可有助於在實際實施中加快影像校準。
有關3D頭部模型，實施例可使用典型的Candide3框線圖，如參數化的臉部追蹤模組內的頭部模型。這是因為Candide3框線圖模型包含少數頂點，但是仍然提供豐富的一組動畫結構。然而，實施例可採用其他模型。
為了保持結構緊湊的動畫參數，六項典型動作單元(AUs)可自模型的動畫結構中選擇，如圖5所示。尤其圖5提供Candide3線框圖模型和選取的臉部動作單元的觀點。如上這些觀點所示，大部分主要的動作基於臉部表情由這六項AUs.所包括。
除局部彈性的轉換，頭部模型仍然需要受到球狀剛性動作(global rigid movement)，如圖6所示。尤其圖6描繪在平移、旋轉和縮放因素下的Candide3頭部模型。此球狀剛性動作包括3軸(3-axis)旋轉與x與y軸(x-and y-axis)平移。3軸旋轉相當於頭部的傾斜角、傾側角和滾轉角。x、y軸的平移相對應於頭部動作平行於影像平面。在實施例中，可使用平行投影取代透視投影。在此情況下，z軸(z-axis)的平移致使縮放的因素。所以有可能六項剛性參數描述球狀式的轉換，以及六項非剛性參數描述臉部動作單元。因此一組十二個參數在頭像實施中可用來描述所有的臉部變化。
如上述的動畫參數緊湊的描述，連同逆向組合影像提及上文所述，臉部追蹤模組可被實施，其可在各種處理器中能夠即時運作(例如在Intel Atom 1.6 GHz處理器)。因此，頭像基礎應用程式在Atom基礎的嵌入式裝置中能夠順利執行，例如行動電話與機上盒。
如上所述，實施例可以根據使用者臉部從資料庫中取得特徵。實施例可以提供快速又可靠的方法，其是從有最相似的臉部特徵的資料庫中擷取表情序列。
如本文所述，臉部表情資料的每一幀包含先前被擷取的多重的(例如九項)臉部特徵。此特徵的序列範例是描繪在圖7中。尤其圖7顯示兩個臉部特徵序列的範例。例如在圖7中的每一列代表由資料庫中的一幀中被擷取的臉部特徵。雖然並未示出多數(例如九項)數值存在於多重欄位的每一列中。例如，第一個欄位代表嘴巴張開的大小。圖7包含兩個序列：一序列(a)代表嘴巴張開的表情，以及一序列(b)代表嘴巴合上的程序。
如上所述，臉部追蹤模組可產生輸出的參數。例如，在圖4中，如此的輸出參數可以在方塊圖414中提供的輸入臉部特徵的序列之形式呈現。如此的輸入臉部特徵的範例顯示在圖8。尤其圖8顯示輸入臉部特徵基礎序列，源自偵測臉部的嘴巴張開表情。
理想情況下，這些特徵將會致使圖7中的序列(a)之擷取，因為兩個序列相對應於嘴巴張開表情。然而，習知的方式可致使圖7序列(b)被擷取。這是因為傳統上最接近的搜尋演算法(例如採用知名的KD樹結構(KD-tree structures))只能夠處理個別的查詢。換句話說，傳統的演算法不能處理時間序列。例如，當使用單一查詢技術，圖8的第(2)行將可能使由在圖7序列(b)的幀(8)資料庫中擷取。然而，實際上，在圖7序列(a)的幀(4)是更合適的比對。
為了解決此問題，實施例引入另一個特點：臉部變化趨勢。對於臉部特徵序列的每一幀，臉部變化趨勢特徵為每個多重(例如九項)特徵定義。例如，在圖7序列(a)的幀(4)是在嘴巴張開的程序。這可藉由附近的幀評估。例如，從幀(1)到幀(4)，嘴巴打開發生18.68-16.56=2.12的變化。同樣的，從幀(4)到幀(7)，嘴巴打開發生21.084-18.68=2.404的變化。
如此的絕對變化值可被離散成一些符號(例如整數)。範例符號包含(但不限於)+2(相當大地正數變化)，+1(通常地正數變化)，0(幾乎沒有變化)，-1(通常地負數變化)，-2(相當大地負數變化)。例如，“+2”可被分配到圖7中序列(a)的幀(4)。同樣地“-2”可被分配到圖5中序列(b)幀(8)。
同樣地，當擷取輸入臉部特徵序列，如此的符號可被分配。例如，“-2”可被分配到圖8的幀(2)。因此，實施例可比較表情變化趨勢查詢的分配與輸出結果。透過此方式，正確的擷取結果是可達到的(圖7中序列(a)的幀(4))。這是因為包含匹配的變化趨勢符號“+2”(像查詢一樣)。
因此，實施例可在資料庫的每一幀中使用上述臉部變化趨勢符號至每一個多重(例如九項)特徵。當取得輸入臉部特徵(此特徵為資料庫查詢時採用)，例如KD樹的技術可使用以產生一些候選(例如在圖7序列(a)的幀(4)與序列(b)的幀(8)序列)。接著，實施例可將每個候選的符號與查詢的符號相比較。最後，最佳匹配符號的候選被選擇為輸出結果(例如在圖7中序列(a)的幀(4))。藉由此方法，與不使用符號相較下能夠達到更好的結果。
如此的符號方法可有助優於其他不使用臉部變化趨勢特徵之方法。再者，如此的符號方法對於查詢在只增加一點額外的計算需求(例如時間)而言十分有效。此外，資料庫幀所有的符號能夠離線計算且只有一次。
標記特定幀的變化趨勢，每個特徵的不同處決定於幀之前的N幀與幀之後的M幀。在實施例中，N和M能相同(例如五項)。然而，M和N能不同。因此，實施不限於特定值或M與N相同。而且，在離散變化中，變化大於2.1能指定為“+2”，而變化小於0.75能指定為“0”。然而，實施例不限於這些臨界值。
一旦臉部表情序列(例如最相似表情)從資料庫中擷取，實施例映射擷取的臉部表情到頭像臉部。此程序的範例描繪在圖9。
尤其圖9是一個邏輯流程900範例，其顯示涉及擷取的臉部表情映射到頭像的範例操作。在圖1範圍內，如此的操作可透過模組110執行。然而，實施例不限於此範圍。而且，雖然圖9顯示特定序列，其他序列仍可採用。此外，所述的操作可在各種平行及/或連續的組合中執行。
映射輸入是(1)在關鍵點(例如從動作擷取裝置中擷取的34點)的動作向量(dx,dy,dz)；(2)來源動作捕捉模型(用於動作擷取的模型)；(3)目標臉部模型(頭像)、已知的關鍵點且對應到動作捕捉模型。輸出是在目標臉部模型(目標密集動態向量)的每個點的動作向量(dx,dy,dz)。
此映射目的是在來源模型上稀少的關鍵點上轉換動作向量到密集目標模型(頭像模型)，以及使目標模型做相同的動畫，例如微笑、驚訝、打哈欠等。
首先，在方塊圖902中，根據對應的關鍵點目標模型對準至來源模型(如在圖9指出的“srcKeyPointMV”)。這可使用最小平方法。
在方塊圖904，動作向量轉換(MVT)程序被執行轉換來源關鍵點動作向量到目標關鍵點。在實施例中，因為此兩模型校準良好(例如不需要旋轉和轉變的校準)，所以此可僅涉及執行縮放操作。此在目標模型產生關鍵點的動作向量(在如圖9指出的“tarKeyMV”)。
由此看來，在方塊圖906中執行在密集點的動作向量與在稀少關鍵點的內插法(動作向量內插法，MVI)的計算。這些動作向量在圖9指出如“tarDenseMV”。這可涉及展開目標模型到圓柱面並決定每個密集點坐落在哪一個關鍵三角形。內插係數可藉由質心座標(bary-centric coordinate)決定。
在唇部區域點是特定且需要特別額外處理。例如，上唇部點應該只受上唇部區域影響，而且不能受下唇部點影響，即使那些點非常接近。反過來下唇部也適用。因此，唇線的處理在方塊圖908中執行。這可涉及使用知名的代克思托演算法(Dijkstra's algorithm)，從被視為唇線的左嘴角到右嘴角找尋最短路徑。該唇線用來分割上、下唇部。透過此過程，嘴能夠正常開啟。
為了使整個臉部動畫流暢，拉普拉斯(Laplace)流暢操作在方塊圖910的動作向量中執行。如圖9所示，其可為目標(或頭像)產生最終動作向量(表示為“目標上最後的Dense MV”)。
此臉部動畫方法可有助於提供快速的處理速度。例如，MVT與MVI只需要在第一次計算。然後，他們可在進一步的處理中重複使用。而且此方法可有助於個別地處理上、下唇部區域，以及使用代克斯托演算法(Dijkstra’s algorithm)，在臉部網格上，找尋從左嘴角到右嘴角的最短路徑。
如本文所述，不同的實施例可使用硬體元件、軟體元件或其任意組合來實施。硬體元件的範例可包含處理器、微處理器、電路、電路元件(例如電晶體、電阻器、電容器及電感器等等)、積體電路(integrated circuits)、特殊應用積體電路(ASIC)、可程式邏輯裝置(PLD)、數位訊號處理器(DSP)、場效可編程輯閘陣列(FPGA)、邏輯閘(Logic gates)、暫存器(registers)、半導體裝置(semiconductor device)、晶片、微晶片、晶片組等等。
軟體的範例可包含軟體元件(software components)、程式(programs)、應用(applications)、電腦程式(computer programs)、應用程式(application programs)、系統程式(system programs)、機器程式(machine programs)、作業系統軟體(operating system software)、中介軟體(middleware)、韌體(firmware)、軟體模組(software module)、程序(routines)、子程序(subroutines)、函式(functions)、方法(methods)、程序(procedures)、軟體介面(software interfaces)、應用程式介面(API)、指令集(instruction sets)、計算機程式碼(computing code)、電腦程式碼(computer code)、程式碼區段(code segments)、電腦程式碼區段(computer code segments)、文字(words)、數值(values)、符號(symbols)或任何其組合。
例如，某些實施例能利用機器可讀取的儲存媒介或物件實施。若由機器執行，儲存媒介可儲存指令或指令集，其可致使機器執行根據實施例執行方法及/或操作。如此的機器可包含，例如，任何合適的處理平台、計算機平台、計算機裝置、處理裝置、計算機系統、處理系統、電腦、處理器或類似的，以及可使用任何合適的硬體及/或軟體組合來實施。
如此所述，實施例可包含儲存媒體或機器可讀取的物件。例如，這些可包含任何合適的類型之記憶體單元、記憶體裝置、記憶體物件、記憶體媒介、儲存裝置、儲存物件、儲存媒介及/或儲存單元，例如記憶體、可移除式或不可移除式媒體、可擦除型或不可擦除型媒體、可寫入或可抹寫媒體、數位或類比媒體、硬碟、軟碟、光碟唯讀記憶體(CD-ROM)、可錄式光碟(CD-R)、可抹寫光碟(CD-RW)、光碟片、磁性媒體、磁光媒體、可移除式記憶卡或磁碟、各種數位多功能光碟(DVD)、錄音帶、卡式磁帶之類的。此說明書可包含各種合適的類型的程式碼，例如原始碼、編譯碼、解釋性碼、可執行碼、靜態編碼、動態編碼、加密編碼之類的，使用任何合適的高階、低階、物件導向、視覺化、編譯及/或解釋性程式語言實施。
同時本發明的各種實施例已描述如上，應該理解的是其係以範例性而非限制性來呈現。
因此，其中可能產生的在形式上或細節上不同種類的改變並不會背離本發明之精神與範疇，對於在相關領域中具有通常知識者是明顯的。因此，本發明之廣度及範疇不應被上述任何的範例實施例所限制，而只應根據如下的申請專利範圍及其等效範圍來定義。
102‧‧‧臉部追蹤模組
104‧‧‧動態擷取資料庫模組
106‧‧‧映射模組
108‧‧‧資料庫產生模組
110‧‧‧影像來源
112‧‧‧顯示裝置
在圖式中，相像圖號通常指的是完全相同的、功能上相似及/或結構上相似的元件。在圖式中首次出現的元件藉由圖號的最左邊位數表示。實施例將參考所附的圖式來描述，其中：圖1係為範例實施圖；圖2係為臉部標記的視圖；圖3和圖4係為邏輯流程圖；圖5係為範例框線模型視圖；圖6係為平移、旋轉和縮放下的範例模型視圖；圖7係為兩個範例資料庫臉部特徵序列；圖8係為範例輸入臉部特徵序列；以及圖9係為邏輯流程圖。

权利要求:
Claims (16)
[1] 一種設備，其包括：資料庫模組，係儲存複數個特徵資料序列，每一該特徵資料序列對應複數個臉部表情之一者；以及臉部追蹤模組，係根據使用者臉部特徵資料，而擷取該特徵資料序列之一者。
[2] 如申請專利範圍第1項之設備，其中該複數個特徵資料序列包含用於複數個幀數上的多重特徵之資料。
[3] 如申請專利範圍第2項之設備，其中該資料庫模組更儲存用於每一該多重特徵的趨勢資料。
[4] 如申請專利範圍第3項之設備，其中該臉部追蹤模組基於對應於該使用者臉部特徵資料的趨勢資料而擷取該特徵資料序列之一者。
[5] 如申請專利範圍第1項之設備，其中該追蹤模組基於預定的臉部的線框模型，而決定該使用者的臉部特徵資料。
[6] 如申請專利範圍第1項之設備，更包括：映射模組，其映射該擷取的特徵資料序列至頭像臉部。
[7] 如申請專利範圍第1項之設備，其中該映射模組決定該頭像的唇線。
[8] 一種方法，其包括：儲存複數個特徵資料序列，每一該特徵資料序列對應複數個臉部表情之一者；以及基於使用者的臉部特徵資料，而擷取特徵資料序列之一者。
[9] 如申請專利範圍第8項之方法，其中該複數個特徵資料序列包含用於複數個幀數上的多重特徵之資料。
[10] 如申請專利範圍第9項之方法，更包括儲存用於每一該多重特徵的趨勢資料。
[11] 如申請專利範圍第11項之方法，其中該擷取係基於對應於該使用者臉部特徵資料的趨勢資料。
[12] 如申請專利範圍第8項之方法，更包括基於預定臉部的線框模型，而決定該使用者的臉部特徵資料。
[13] 如申請專利範圍第8項之方法，更包括映射該擷取的特徵資料序列至頭像臉部。
[14] 如申請專利範圍第13項之方法，其中該映射包括決定該頭像的唇線。
[15] 一種物件，包括機器可存取媒介，其具有儲存於其上的指令，當該指令被機器執行時，使該機器執行下列步驟：儲存複數個特徵資料序列，每一該特徵資料序列對應於複數個臉部表情之一者；以及基於使用者臉部特徵資料，而擷取該特徵資料序列之一者。
[16] 如申請專利範圍第15項之物件，其中當該指令被機器執行時，更使該機器執行下列步驟：映射該擷取的特徵資料序列至頭像臉部。

类似技术:

公开号 | 公开日 | 专利标题

TWI526947B|2016-03-21|頭像臉部表情技術

Thies et al.2016|Facevr: Real-time facial reenactment and eye gaze control in virtual reality

US20190043203A1|2019-02-07|Method and system of recurrent semantic segmentation for image processing

US9792479B2|2017-10-17|Geometry tracking

US20180158246A1|2018-06-07|Method and system of providing user facial displays in virtual or augmented reality for face occluding head mounted displays

US8457442B1|2013-06-04|Methods and apparatus for facial feature replacement

US20150325029A1|2015-11-12|Mechanism for facilitaing dynamic simulation of avatars corresponding to changing user performances as detected at computing devices

CN102799868B|2014-09-10|人脸面部关键表情识别方法

Kartynnik et al.2019|Real-time facial surface geometry from monocular video on mobile GPUs

WO2019200718A1|2019-10-24|图像处理方法、装置及电子设备

US8854376B1|2014-10-07|Generating animation from actor performance

Lin et al.2021|Real-time high-resolution background matting

CN111971713A|2020-11-20|使用图像和时间跟踪神经网络进行的3d面部捕获和修改

Guo et al.2021|Ad-nerf: Audio driven neural radiance fields for talking head synthesis

Elgharib et al.2020|Egocentric videoconferencing

US10656722B2|2020-05-19|Sensor system for collecting gestural data in two-dimensional animation

WO2019223463A1|2019-11-28|图像处理方法、装置、存储介质和计算机设备

Asthana et al.2009|Automatic frontal face annotation and AAM building for arbitrary expressions from a single frontal image only

Nehvi et al.2021|Differentiable event stream simulator for non-rigid 3d tracking

US20210350547A1|2021-11-11|Learning apparatus, foreground region estimation apparatus, learning method, foreground region estimation method, and program

US20210390767A1|2021-12-16|Computing images of head mounted display wearer

Cao et al.2020|Task-agnostic Temporally Consistent Facial Video Editing

Jian et al.2021|Realistic face animation generation from videos

Fried2017|Photo Manipulation, The Easy Way

Afifi et al.2015|What is the Truth: A Survey of Video Compositing Techniques

同族专利:

公开号 | 公开日

US9330483B2|2016-05-03|

WO2012139276A1|2012-10-18|

TWI526947B|2016-03-21|

US20140035934A1|2014-02-06|

引用文献:

公开号 | 申请日 | 公开日 | 申请人 | 专利标题

WO2014139118A1|2013-03-14|2014-09-18|Intel Corporation|Adaptive facial expression calibration|

WO2016101131A1|2014-12-23|2016-06-30|Intel Corporation|Augmented facial animation|

US9799133B2|2014-12-23|2017-10-24|Intel Corporation|Facial gesture driven animation of non-facial features|

US9824502B2|2014-12-23|2017-11-21|Intel Corporation|Sketch selection for rendering 3D model avatar|

US10044849B2|2013-03-15|2018-08-07|Intel Corporation|Scalable avatar messaging|US6072496A|1998-06-08|2000-06-06|Microsoft Corporation|Method and system for capturing and representing 3D geometry, color and shading of facial expressions and other animated objects|

US6504546B1|2000-02-08|2003-01-07|At&T Corp.|Method of modeling objects to synthesize three-dimensional, photo-realistic animations|

CN100416612C|2006-09-14|2008-09-03|浙江大学|基于视频流的三维动态人脸表情建模方法|

US20080136814A1|2006-09-17|2008-06-12|Chang Woo Chu|System and method for generating 3-d facial model and animation using one video camera|

US8199152B2|2007-01-16|2012-06-12|Lucasfilm Entertainment Company Ltd.|Combining multiple session content for animation libraries|

WO2009128784A1|2008-04-14|2009-10-22|Xid Technologies Pte Ltd|Face expressions identification|

TW201028934A|2009-01-21|2010-08-01|Univ Nat Cheng Kung|Facial expression recognition method and system thereof|

JP2011090466A|2009-10-21|2011-05-06|Sony Corp|情報処理装置及び方法、並びにプログラム|

CN101826217A|2010-05-07|2010-09-08|上海交通大学|人脸动画快速生成方法|US10049482B2|2011-07-22|2018-08-14|Adobe Systems Incorporated|Systems and methods for animation recommendations|

US10748325B2|2011-11-17|2020-08-18|Adobe Inc.|System and method for automatic rigging of three dimensional characters for facial animation|

WO2013097139A1|2011-12-29|2013-07-04|Intel Corporation|Communication using avatar|

US9747495B2|2012-03-06|2017-08-29|Adobe Systems Incorporated|Systems and methods for creating and distributing modifiable animated video messages|

WO2013152454A1|2012-04-09|2013-10-17|Intel Corporation|System and method for avatar management and selection|

WO2013152453A1|2012-04-09|2013-10-17|Intel Corporation|Communication using interactive avatars|

WO2013166588A1|2012-05-08|2013-11-14|Bitstrips Inc.|System and method for adaptable avatars|

KR101988279B1|2013-01-07|2019-06-12|삼성전자 주식회사|얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기|

CN105190700A|2013-06-04|2015-12-23|英特尔公司|基于化身的视频编码|

US9547808B2|2013-07-17|2017-01-17|Emotient, Inc.|Head-pose invariant recognition of facial attributes|

US9477878B2|2014-01-28|2016-10-25|Disney Enterprises, Inc.|Rigid stabilization of facial expressions|

US9928874B2|2014-02-05|2018-03-27|Snap Inc.|Method for real-time video processing involving changing features of an object in the video|

WO2015145219A1|2014-03-28|2015-10-01|Navaratnam Ratnakumar|Systems for remote service of customers using virtual and physical mannequins|

WO2016011654A1|2014-07-25|2016-01-28|Intel Corporation|Avatar facial expression animations with head rotation|

WO2016045015A1|2014-09-24|2016-03-31|Intel Corporation|Avatar audio communication systems and techniques|

CN107251096B|2014-11-10|2022-02-11|英特尔公司|图像捕获装置和方法|

US9576190B2|2015-03-18|2017-02-21|Snap Inc.|Emotion recognition in video conferencing|

US9747573B2|2015-03-23|2017-08-29|Avatar Merger Sub II, LLC|Emotion recognition for workforce analytics|

US10339365B2|2016-03-31|2019-07-02|Snap Inc.|Automated avatar generation|

US10559111B2|2016-06-23|2020-02-11|LoomAi, Inc.|Systems and methods for generating computer ready animation models of a human head from captured data images|

US10062198B2|2016-06-23|2018-08-28|LoomAi, Inc.|Systems and methods for generating computer ready animation models of a human head from captured data images|

US10360708B2|2016-06-30|2019-07-23|Snap Inc.|Avatar based ideogram generation|

US10855632B2|2016-07-19|2020-12-01|Snap Inc.|Displaying customized electronic messaging graphics|

CN107633542A|2016-07-19|2018-01-26|珠海金山网络游戏科技有限公司|一种捏脸编辑和动画附加融合方法和系统|

US10198626B2|2016-10-19|2019-02-05|Snap Inc.|Neural networks for facial modeling|

US10432559B2|2016-10-24|2019-10-01|Snap Inc.|Generating and displaying customized avatars in electronic messages|

US10951562B2|2017-01-18|2021-03-16|Snap. Inc.|Customized contextual media content item generation|

US10726602B2|2017-02-03|2020-07-28|Sony Corporation|Apparatus and method to generate realistic three-dimensionalmodel animation|

US11069103B1|2017-04-20|2021-07-20|Snap Inc.|Customized user interface for electronic communications|

US10212541B1|2017-04-27|2019-02-19|Snap Inc.|Selective location-based identity communication|

EP3616154A4|2017-04-27|2020-03-04|Snap Inc.|REPRESENTATION OF THE USER LOCATION AT REGIONAL LEVEL ON A SOCIAL MEDIA PLATFORM|

KR20190022856A|2017-06-12|2019-03-06|미디어 그룹 코 엘티디|제어 방법, 제어기, 스마트 거울 및 컴퓨터 판독가능 저장매체|

US11122094B2|2017-07-28|2021-09-14|Snap Inc.|Software application manager for messaging applications|

US10748322B1|2017-10-13|2020-08-18|Umojify, Inc.|Systems and methods for generating cartoon images from images|

US10586368B2|2017-10-26|2020-03-10|Snap Inc.|Joint audio-video facial animation system|

US10657695B2|2017-10-30|2020-05-19|Snap Inc.|Animated chat presence|

WO2019108702A1|2017-11-29|2019-06-06|Snap Inc.|Graphic rendering for electronic messaging applications|

US10949648B1|2018-01-23|2021-03-16|Snap Inc.|Region-based stabilized face tracking|

US10979752B1|2018-02-28|2021-04-13|Snap Inc.|Generating media content items based on location information|

US10726603B1|2018-02-28|2020-07-28|Snap Inc.|Animated expressive icon|

US20210012549A1|2018-03-15|2021-01-14|Magic Leap, Inc.|Animating virtual avatar facial movements|

US10198845B1|2018-05-29|2019-02-05|LoomAi, Inc.|Methods and systems for animating facial expressions|

CN110634174A|2018-06-05|2019-12-31|深圳市优必选科技有限公司|一种表情动画过渡方法、系统及智能终端|

US11074675B2|2018-07-31|2021-07-27|Snap Inc.|Eye texture inpainting|

US11030813B2|2018-08-30|2021-06-08|Snap Inc.|Video clip object tracking|

US10896534B1|2018-09-19|2021-01-19|Snap Inc.|Avatar style transformation using neural networks|

US10895964B1|2018-09-25|2021-01-19|Snap Inc.|Interface to display shared user groups|

US11245658B2|2018-09-28|2022-02-08|Snap Inc.|System and method of generating private notifications between users in a communication session|

US10904181B2|2018-09-28|2021-01-26|Snap Inc.|Generating customized graphics having reactions to electronic message content|

US11189070B2|2018-09-28|2021-11-30|Snap Inc.|System and method of generating targeted user lists using customizable avatar characteristics|

US10872451B2|2018-10-31|2020-12-22|Snap Inc.|3D avatar rendering|

US11103795B1|2018-10-31|2021-08-31|Snap Inc.|Game drawer|

US11176737B2|2018-11-27|2021-11-16|Snap Inc.|Textured mesh building|

US10902661B1|2018-11-28|2021-01-26|Snap Inc.|Dynamic composite user identifier|

US11199957B1|2018-11-30|2021-12-14|Snap Inc.|Generating customized avatars based on location information|

US10861170B1|2018-11-30|2020-12-08|Snap Inc.|Efficient human pose tracking in videos|

US11055514B1|2018-12-14|2021-07-06|Snap Inc.|Image face manipulation|

US11032670B1|2019-01-14|2021-06-08|Snap Inc.|Destination sharing in location sharing system|

US10939246B1|2019-01-16|2021-03-02|Snap Inc.|Location-based context information sharing in a messaging system|

US10656797B1|2019-02-06|2020-05-19|Snap Inc.|Global event-based avatar|

US10984575B2|2019-02-06|2021-04-20|Snap Inc.|Body pose estimation|

US10936066B1|2019-02-13|2021-03-02|Snap Inc.|Sleep detection in a location sharing system|

US10964082B2|2019-02-26|2021-03-30|Snap Inc.|Avatar based on weather|

US10852918B1|2019-03-08|2020-12-01|Snap Inc.|Contextual information in chat|

US10674311B1|2019-03-28|2020-06-02|Snap Inc.|Points of interest in a location sharing system|

US11166123B1|2019-03-28|2021-11-02|Snap Inc.|Grouped transmission of location data in a location sharing system|

US10992619B2|2019-04-30|2021-04-27|Snap Inc.|Messaging system with avatar generation|

US10893385B1|2019-06-07|2021-01-12|Snap Inc.|Detection of a physical collision between two client devices in a location sharing system|

US11189098B2|2019-06-28|2021-11-30|Snap Inc.|3D object camera customization system|

US11188190B2|2019-06-28|2021-11-30|Snap Inc.|Generating animation overlays in a communication session|

US10911387B1|2019-08-12|2021-02-02|Snap Inc.|Message reminder interface|

US11080917B2|2019-09-30|2021-08-03|Snap Inc.|Dynamic parameterized user avatar stories|

US11218838B2|2019-10-31|2022-01-04|Snap Inc.|Focused map-based context information surfacing|

US11063891B2|2019-12-03|2021-07-13|Snap Inc.|Personalized avatar notification|

US11128586B2|2019-12-09|2021-09-21|Snap Inc.|Context sensitive avatar captions|

US11036989B1|2019-12-11|2021-06-15|Snap Inc.|Skeletal tracking using previous frames|

US11227442B1|2019-12-19|2022-01-18|Snap Inc.|3D captions with semantic graphical elements|

US11140515B1|2019-12-30|2021-10-05|Snap Inc.|Interfaces for relative device positioning|

US11128715B1|2019-12-30|2021-09-21|Snap Inc.|Physical friend proximity in chat|

US11169658B2|2019-12-31|2021-11-09|Snap Inc.|Combined map icon with action indicator|

US11036781B1|2020-01-30|2021-06-15|Snap Inc.|Video generation system to render frames on demand using a fleet of servers|

US11217020B2|2020-03-16|2022-01-04|Snap Inc.|3D cutout image modification|

CN111695471A|2020-06-02|2020-09-22|北京百度网讯科技有限公司|虚拟形象生成方法、装置、设备以及存储介质|

法律状态:

优先权:

申请号 | 申请日 | 专利标题

PCT/CN2011/072603|WO2012139276A1|2011-04-11|2011-04-11|Avatar facial expression techniques|

[返回顶部]