• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:
    本發明描述用於校正捲動快門假影之若干方法、裝置及系統。在一實施例中，一影像俘獲系統包括一捲動快門影像感測器，該捲動快門影像感測器可導致一捲動快門假影(例如，扭曲)。該系統包括一處理系統，該處理系統經組態以執行一自動捲動快門校正機制，該自動捲動快門校正機制基於該影像感測器的一影像平面中之像素位置與該等像素位置在一座標空間中的對應光線之間的一關係來利用校準資料。該捲動快門機制基於該校準資料來判定像素速度分量，且基於該等像素速度分量之一加總針對每一影像來估計一加總像素速度。
    公开号:TW201304527A
    申请号:TW101119999
    申请日:2012-06-04
    公开日:2013-01-16
    发明作者:William E Mantzel；Kenneth I Greenebaum；Gregory Keith Mullins
    申请人:Apple Inc；
    IPC主号:G09G5-00
    专利说明:
    使用影像穩定校正捲動快門
    本發明之實施例大體上係關於使用影像穩定校正捲動快門。
    影像俘獲裝置包括攝影機、攜帶型手持式電子裝置以及其他電子裝置。影像俘獲裝置所俘獲之影像可能因影像俘獲裝置運動而受損。舉例而言，振動、攝影機搖晃或攝影機旋轉均可能使影像模糊。
    一種先前方法使用將不同圖框的相似部分進行比較且基於此比較來調整輸出影像的軟體。此方法一般只能補償平移運動，而無法補償旋轉運動。
    一些影像俘獲裝置可使用稱作捲動快門之影像獲取方法，其中並非藉由在單個時間點快照整個圖框來記錄每一圖框，而是藉由以垂直地或水平地一次掃描一行之方式掃描圖框來記錄每一圖框。換言之，儘管在播放期間整個圖框係同時顯示的，但影像之所有部分並非完全同時被記錄。至少一些CMOS影像感測器具有捲動快門。在物體快速移動的情況下，或在感測器俘獲快速閃光時，捲動快門產生可預測之失真。此方法係藉由在可曝光之影像區域上捲動(移動)快門而非同時曝光整個影像區域來實施。捲動快門可導致諸如歪斜及晃動之效應。歪斜發生在因為攝影機或被拍物自一側移動至另一側，從而在不同時間曝光不同影像部分，而致使影像在一個方向或另一方向上傾斜彎曲時。晃動最常見於遠攝設置下的手持拍攝中，且在攝影機歸因於被附接至移動中的車輛而振動之狀況中，晃動最為嚴重。捲動快門導致影像不自然且怪異地晃動。此類晃動常被稱作果凍效應(jello effect)。
    先前用於穩定捲動快門所俘獲的影像之方法可包括後處理技術。此等技術一般只能補償平移運動，而無法補償旋轉運動。
    下文將描述用於穩定影像及校正捲動快門效應之若干方法、裝置及系統。在一實施例中，一種影像俘獲裝置包括一攝影機及一運動估計裝置。在一實施例中，該影像俘獲裝置利用攝影機校準資料來將影像感測器的影像平面之影像座標映射為座標空間之正規化影像座標。該運動估計裝置可判定該裝置之運動資料(例如，三維旋轉資料)。該裝置將運動資料與由該裝置俘獲之圖框序列相匹配，以判定每一圖框之運動資料。該裝置基於該運動資料來估計該裝置之估計運動路徑。該裝置基於該估計運動路徑來建構該影像俘獲裝置之目標運動路徑。該裝置基於該估計運動路徑及該目標運動路徑計算出所需要的運動校正。接著，該裝置利用攝影機校準資料，根據所需要的運動校正來對每一圖框重新取樣，以產生經校正的穩定圖框序列。
    舉例而言，使用者可藉由該裝置來俘獲影像序列。該運動路徑係基於指示突然移動或微小移動(例如，使用者所致的攝影機搖晃、振動、攝影機旋轉等)的運動資料而建構。該等穩定圖框補償了在影像俘獲期間該裝置之非意欲移動。
    在另一實施例中，一種影像俘獲系統包括一捲動快門影像感測器，該捲動快門影像感測器可導致捲動快門假影(例如，扭曲)。該系統包括一用以偵測運動資料之運動估計裝置及一處理系統，該處理系統經組態以執行自動捲動快門校正機制。該校正機制基於該影像感測器之影像平面中的像素位置與其在座標空間(例如，三維空間)中的對應光線之間的關係來利用校準資料；基於該校準資料來判定像素速度分量；以及基於該等像素速度分量與對應旋轉速度值之加總針對每一影像來估計加總像素速度，該等對應旋轉速度值係自該運動資料判定的。該校正機制對每一影像重新取樣以產生基於該加總像素速度之新的經校正影像。
    亦描述其他實施例。本發明之其他特徵將自隨附圖式及以下詳細描述而顯而易見。
    本專利或申請案檔案含有至少一彩色繪製圖式。本專利或專利申請公開案之具有彩圖的複本將由專利局視請求及必要費用的支付情況來提供。
    在隨附圖式之諸圖中藉由實例而非藉由限制來說明本發明之實施例，在隨附圖式之諸圖中，類似參考數字指代相似元件。應注意，在本發明中對本發明之「一」實施例的引用未必針對同一實施例，且其意謂「至少一」。
    描述用於穩定影像及校正捲動快門假影之若干方法、裝置及系統。在一實施例中，影像俘獲裝置包括一影像感測器(例如，攝影機)及一運動估計裝置。在一實施例中，運動估計裝置可判定該裝置之運動資料。該裝置將運動資料與由該裝置俘獲的圖框序列相匹配，以判定每一圖框的運動資料。該裝置基於每一圖框的運動資料來建構影像俘獲裝置之目標運動路徑。該裝置計算自在運動資料中所觀測到之估計運動路徑至目標運動路徑之所需要的運動校正。接著，該裝置基於所需要的運動校正來對每一圖框重新取樣，以產生穩定的圖框。
    在另一實施例中，一種影像俘獲系統包括一捲動快門影像感測器，該捲動快門影像感測器可導致捲動快門假影(例如，扭曲)。該系統包括一用以偵測運動資料之運動估計裝置及一處理系統，該處理系統經組態以執行自動捲動快門校正機制。
    圖1繪示在本發明之一實施例中穩定藉由影像俘獲裝置俘獲的影像(例如，影像序列、視訊)的電腦實施方法100之流程圖。電腦實施方法100係由處理邏輯來執行，該處理邏輯可包含硬體(電路、專用邏輯等)、軟體(諸如在通用電腦系統或專用機器或系統上運行)、或兩者之組合。該處理邏輯將資訊發送至一影像感測單元或自該影像感測單元接收資訊，該影像感測單元具有微處理器及影像感測器。該影像感測單元可將後設資料(例如，焦數、曝光時間、白平衡)之圖框發送至該處理邏輯。像素值係自影像感測器讀取，以便產生影像資料。圖框係按某一時間間隔(例如，1/15秒)被發送至該處理邏輯。如下文所論述，藉由對影像俘獲裝置的旋轉路徑進行校正，該等圖框得到穩定。
    在區塊102處，處理邏輯(例如，一或多個處理單元)產生影像俘獲裝置的攝影機之校準資料。在區塊103處，利用該校準資料將攝影機的影像感測器之影像平面的影像座標(例如，二維像素)映射為三維座標空間的正規化影像座標(例如，光線)。為產生校準資料，要確定攝影機之視域及徑向失真。在一實施例中，視域為60.8×47.5度，徑向失真為大致=0.1及=-0.007。校準可為離線的一次性過程。在區塊104處，處理邏輯(例如，一或多個處理單元)俘獲影像序列(例如，圖框、視訊)。在區塊106處，處理邏輯使用運動估計裝置來判定該裝置的運動資料(例如，三維旋轉資料)。在一實施例中，運動估計裝置可為陀螺儀或加速度計，或兩者之組合。該陀螺儀可提供三維旋轉資料且該加速度計可提供三維平移資料(六個自由度)。判定每一圖框的三維運動資料可包括判定每一圖框在三個維度上的旋轉速度向量。
    在區塊108處，處理邏輯將運動資料與由影像俘獲裝置俘獲的圖框序列相匹配，以判定每一圖框的三維運動資料。將運動資料與圖框序列相匹配可包括將運動估計裝置的時間戳記轉換為圖框的視訊時間以及整合自運動估計裝置接收到的旋轉速度資料(例如，旋轉速度向量)以估計圖框間旋轉(例如，△Θ[])。藉由使用長期的平均值(例如，5分鐘)可獲得在運動估計裝置的時間戳記與圖框的視訊時間之間的實況偏差估計。
    在區塊110處，處理邏輯基於每一圖框的三維運動資料來估計影像俘獲裝置之估計運動路徑(例如，所觀測的運動路徑)。估計運動路徑係針對指示突然移動或微小移動(例如，使用者所致的攝影機搖晃、振動)的運動資料而建構。視攝影機的移動而定，估計運動路徑可能為粗糙的或鋸齒狀。在區塊111處，處理邏輯基於估計運動路徑來建構影像俘獲裝置之目標運動路徑。目標運動路徑可為估計運動路徑之平滑(例如，經濾波)版本。在區塊112處，處理邏輯計算出自估計運動路徑至目標運動路徑之所需要的運動校正。在區塊113處，處理邏輯利用攝影機校準資料，根據所需要的運動校正來對每一圖框重新取樣，以產生正確的穩定圖框序列。在區塊114處，處理邏輯視情況地在必需時執行穩定圖框的未知區(例如，暗區)之調適性裁切及填充(crop and fill)。方法100之操作提供預處理，該預處理可為圖框的壓縮演算法之部分或與該壓縮演算法解耦。基於方法100之操作，經壓縮視訊圖框可需要較少的記憶體空間或以較低之位元率來提供較高的影像品質。
    在某些實施例中，運動估計裝置可為陀螺儀、加速度計或陀螺儀及加速度計在單一或多個實體封裝中之任何組合。
    下文將解釋影像穩定的額外細節。
    圖2繪示在本發明之一實施例中的影像俘獲裝置之運動路徑的建構。處理邏輯基於每一圖框的三維運動資料而建構出影像俘獲裝置之粗糙運動路徑220。處理邏輯可在每一維度中應用濾波器(諸如低通或預測性濾波器，有可能誘發短延遲)以自粗糙運動路徑200來建構平滑運動路徑220。平滑運動路徑220表示在影像俘獲期間影像俘獲裝置的理想目標路徑。
    圖3繪示在本發明之一實施例中將應用於圖框的子集之分解圖的圖框重新取樣。處理邏輯可對分解圖300應用圖框重新取樣。該圖框重新取樣使用平滑運動路徑220來校正圖框320的子集330中之像素。處理邏輯可基於運動路徑220與運動路徑200之間的差異來人工地旋轉觀測者的觀看方向(例如，使用者之觀看方向)。該圖框重新取樣使用內插(例如，雙線性內插)來建構新圖框。
    圖4繪示在本發明之一實施例中的影像400之實例。中央區402包括待俘獲之物體410。周邊區403及404可為影像之暗區。可自影像404裁切或剪除區403及404。對於此等區，像素值可能丟失。可基於鄰近圖框來填充此等值，或用上色技術來填充此等值。或者，將經裁切的區約束於原始圖框內。
    方法100提供影像穩定來校正影像俘獲裝置的旋轉運動及振動。平移振動佔振動的大致10%，且平移振動需要知曉深度才能予以校正。旋轉振動一般佔振動誘發的失真之絕大部分，且旋轉振動不需要知曉深度來校正。短期旋轉偏移可準確到大致1毫弧度以內。此方法100亦可用於中間圖框產生及捲動快門校正。可能發生捲動快門假影，此係因為自影像感測器(例如，CMOS影像感測器)以一次一行之方式來讀取掃描行，且在影像俘獲時段期間攝影機自身亦在移動。
    圖5繪示在本發明之一實施例中之藉由影像俘獲裝置俘獲的影像(例如，影像序列、視訊)的捲動快門校正之電腦實施方法500之流程圖。電腦實施方法500係由處理邏輯來執行，該處理邏輯可包含硬體(電路、專用邏輯等)、軟體(諸如在通用電腦系統或專用機器或系統上運行)、或兩者之組合。方法500判定在某一時段之前或之後(例如，1毫秒、2毫秒)的像素值來校正捲動快門效應。
    在區塊501處，處理邏輯(例如，一或多個處理單元)校準影像俘獲裝置的攝影機來產生校準資料。在區塊502處，利用該校準資料來將攝影機的影像感測器之影像平面的影像座標(例如，二維像素)轉變成三維方向向量。校準模型為一種參數化方法，用來自攝影機觀測者之角度來描述影像平面中的像素位置與其在三維空間中的對應光線之間的聯繫。可對方向向量應用三維旋轉。三維旋轉及方向向量之應用使得能夠判定在三維空間中在假設的攝影機旋轉之下像素將會移向何處。校準可為離線的一次性過程。
    校準參數可包括如本文中所描述之眾多參數。在一實施例中，可變參數包括焦距f或等效之視域，以及用來描述徑向失真之另外兩個參數。視訊圖框可包括處於視訊圖框的中部之中心點c(例如，對於1024×768視訊圖框，c=[512,384])。歪斜可為零。可將焦距fx模型化為大致1.1823*(2cx)，且可將fy模型化為大致1.1966*(2cx)。或者，fx=fy=1.19*(2cx)。除=0.1及=-0.007以外，所有其他徑向失真項均可被設為零。因而，得出函數F，其正如以下方程式所指示，將正規化像素座標(例如，x向量)轉換為實際像素座標(例如，m向量)。
    m向量=F(x向量)
    F之逆函數將實際像素座標正規化為影像平面(例如，x向量=F-1(m向量))。
    在區塊504處，處理邏輯校準運動估計裝置並使之與影像俘獲裝置的攝影機同步。此同步可包括將運動估計裝置的時間戳記轉換為所俘獲影像的視訊時間。藉由使用長期平均值(例如，5分鐘)可獲得在運動估計裝置的時間戳記與圖框的視訊時間之間的實況偏差估計。
    在區塊506處，處理邏輯自校準資料判定經預先計算之所預測的像素速度分量(例如，Vx、Vy及Vz)。像素速度分量可自校準資料在二個維度上判定。在區塊508處，處理邏輯(例如，一或多個處理單元)俘獲影像序列(例如，視訊、圖框)。在區塊510處，處理邏輯判定在俘獲影像期間攝影機之運動資料。該運動資料可包括旋轉速度向量ω(例如，ωx、ωy及ωz)。在區塊512處，處理邏輯基於像素速度分量之加總來針對每一影像估計對應的加總像素速度向量V。此加總可包括分量ωxVx、ωyVy及ωzVz之加權總和。在一實施例中，旋轉速度權重ωx、ωy及ωz為純量，而像素速度分量(例如，Vx、Vy及Vz)為函數。在區塊514處，處理邏輯對每一影像重新取樣(例如，使用雙線性內插)，以藉由對每一像素指派一新值來產生新影像(例如，圖框)，如以下方程式所指示。
    新影像(向量m)=I(向量m-(tm-t0)*V(向量m))
    tm表示俘獲列m之時間，且由t0表示影像俘獲之初始任意時間(例如，第一列、中間列等)。基於攝影機之移動，新影像可包括新的像素位置。新的像素位置可能並不位於新影像的柵格位置上，而可能係基於某數目個最接近的鄰近像素來內插。在丟失像素的狀況中，可能需要進行外插來計算新像素的顏色。
    圖6至圖8繪示在本發明之一實施例中的經預先計算之速度分量(例如，Vx、Vy及Vz)。歸因於攝影機之所估計或所預測的旋轉運動，在圖6中像素沿y軸向上移動(例如，速度分量601)。歸因於攝影機之所估計的旋轉運動，在圖7中像素沿x軸向右移動(例如，速度分量701)。歸因於攝影機之所估計的旋轉運動，在圖8中像素在順時針方向上移動(例如，速度分量801)。每一像素之路徑均可基於此等速度分量來加以判定。像素速度場V則可自旋轉速度ω及分量速度圖Vx、Vy及Vz來加以計算。變換之組成描述如下。
    向量m→向量x→向量x'→向量m'
    將影像感測器的影像平面之實際像素座標(由向量m表示)映射或轉換為三維方向向量x。可對方向向量x應用所估計的三維旋轉來產生向量x'。舉例而言，在有人手持攝影機時，攝影機之所估計或所預測的旋轉可對應於關於手振動之人體模型。此模型可估計或預測使用者在俘獲一列或幾列像素的時段期間在一或多個方向上稍微轉動其手時攝影機之旋轉。在一實施例中，此模型經設計用於具有小於或等於100赫茲之頻率的所預測振動。人體旋轉運動不大可能導致頻率大於100赫茲之振動，且此等振動之校正難度更大。藉由函數F來將向量x'轉換為向量m'。在分別關於x、y及z軸的遞增旋轉之下，速度分量(例如，Vx、Vy及Vz)大致等於m與m'之間的差。
    圖11繪示在本發明之一實施例中將每一經預先計算的像素速度之加權總和進行加總，其中權重對應於每一維度的旋轉速度值。分量ωxVx 1110、ωyVy 1120及ωzVz 1130之加權總和產生加總像素速度向量V 1140。在一實施例中，ωx=0.2弧度，ωy=-0.2弧度，且ωz=0.8弧度。
    圖12繪示在本發明之一實施例中基於加總像素速度向量V 1220及(tm-t0)1210來產生位移圖。如上文所論述，由tm來表示俘獲影像感測器的列m之時間，且由t0來表示影像俘獲之任意時間。影像感測器之每一列均係在不同的時間被讀出，在圖12中用水平條來表示此情形。對於影像感測器之上部區，(tm-t0)1210為負值。對於影像感測器之下部區，(tm-t0)1210為正值。藉由將加總像素速度向量V 1220與(tm-t0)1210相乘來產生針對影像感測器的給定像素之位移圖。該位移圖指示基於在影像俘獲期間攝影機之旋轉或移動的影像感測器的給定像素之位移。
    圖13A至圖13D繪示在本發明之一實施例中的用於展示捲動快門校正之影像序列。圖13A繪示參考影像1300，影像1300表示具有停車標誌1302之原始場景，該場景被不具有任何捲動快門校正的影像俘獲裝置(例如，iPhone 4)俘獲。參考影像1300可包括徑向失真。圖13B繪示具有停車標誌1312之模擬影像1310。模擬影像1310為在影像俘獲裝置的瞬時旋轉之效應下使用捲動快門曝光所造成的影像1300之模擬呈現。
    圖14及圖15繪示在本發明之一實施例中的影像俘獲裝置之瞬時旋轉。圖14繪示旋轉對tm-t0，旋轉在垂直軸上以度為單位，tm-t0在水平軸上以毫秒為單位。舉例而言，對於2毫秒之曝光時間，影像俘獲裝置自大致-25度旋轉至大致25度。圖15繪示旋轉對影像俘獲裝置的影像感測器之列數目，旋轉在垂直軸上以度為單位，而列數目在水平軸上。
    圖13C繪示具有停車標誌1322的經重新取樣之影像1320。影像1320基於可用資訊來模擬影像1310之去扭曲，該可用資訊可能不完美。在此式中，使用不完美的旋轉資訊來執行校正，該不完美的旋轉資訊具有可能為10：1之信雜比(亦即，在曝光間隔期間，40度之旋轉存在大致4度之誤差)。實務上，該誤差可能係由來自運動估計裝置(例如，陀螺儀、加速度計)量測結果的雜訊以及運動來源(例如，場景的運動、平移等)所造成的模型化誤差所導致。而準確地模型化此等運動來源係困難的。
    圖13D繪示具有停車標誌1332的經重新取樣之影像1330。影像1330基於完美的可用資訊來模擬影像1310之去扭曲。影像1330展示在給出關於瞬時旋轉之完美資訊且無任何其他運動來源(例如，觀測者的平移或環境移動)之情況下經恢復或經重新取樣的影像所呈現之效果。已將徑向失真自此模擬影像1330移除。
    本發明之實施例中的許多方法可藉由影像俘獲裝置來加以執行，諸如數位處理系統(例如，習知的通用電腦系統)。亦可使用經設計或程式化以僅執行一種功能的專用電腦。
    在一些實施例中，本發明之方法、系統及設備可在各種裝置中實施，包括電子裝置、消費型裝置、資料處理系統、桌上型電腦、攜帶型電腦、無線裝置、蜂巢式裝置、平板型裝置、手持式裝置、多點觸控裝置、多點觸控資料處理系統、此等裝置之任何組合或其他類似裝置。圖9及圖10繪示此等裝置中之若干者的實例，此等裝置能夠俘獲靜止影像及視訊，以實施本發明之方法。該等方法(例如，100、500)基於影像穩定及捲動快門校正來增強對於俘獲影像、俘獲視訊、視訊呼叫等之使用者體驗。
    圖9繪示在本發明之一實施例中的無線影像俘獲裝置，其包括無線通信及俘獲影像之能力。無線裝置900可包括天線系統901。無線裝置900亦可包括數位及/或類比射頻(RF)收發器902，收發器902耦接至天線系統901以經由天線系統901來傳輸及/或接收語音、數位資料及/或媒體信號。
    無線裝置900亦可包括數位處理系統903，以控制數位RF收發器及管理語音、數位資料及/或媒體信號。數位處理系統903可為通用處理系統，諸如微處理器或控制器。數位處理系統903亦可為專用處理系統，諸如ASIC(特殊應用積體電路)、FPGA(場可程式化閘陣列)或DSP(數位信號處理器)。數位處理系統903亦可包括此項技術中所知之其他裝置，以與無線裝置900之其他組件介面連接。舉例而言，數位處理系統903可包括類比至數位及數位至類比轉換器來與無線裝置900之其他組件介面連接。數位處理系統903可包括媒體處理系統909，媒體處理系統909亦可包括通用或專用處理系統來管理媒體，諸如音訊資料檔案。
    無線裝置900亦可包括儲存裝置904，儲存裝置904耦接至數位處理系統，用來儲存資料及/或無線裝置900之作業程式。儲存裝置904可為(例如)任何類型之固態或磁性記憶體裝置。儲存裝置904可為機器可讀媒體，或包括機器可讀媒體。
    機器可讀媒體包括用於以機器(例如，電腦)可讀之形式儲存或傳輸資訊之任何機構。舉例而言，機器使用機器可讀媒體來儲存程式碼及資料及進行通信(於內部及經由網路與其他裝置進行)，該機器可讀媒體諸如機器儲存媒體(例如，磁碟、光碟、隨機存取記憶體、唯讀記憶體、快閃記憶體裝置、相變記憶體)。
    無線裝置900亦可包括一或多個輸入裝置905，該一或多個輸入裝置905耦接至數位處理系統903，用以接收使用者輸入(例如，電話號碼、姓名、地址、媒體選擇等)。輸入裝置905可為(例如)小鍵盤、觸控板、觸控螢幕、與顯示裝置組合之指標裝置或相似輸入裝置中之一或多者。
    無線裝置900亦可包括至少一顯示裝置906，該至少一顯示裝置906耦接至數位處理系統903，用以顯示資訊，諸如訊息、電話呼叫資訊、聯繫人資訊、相片、電影及/或經由輸入裝置905選擇的媒體之標題或其他指示符。顯示裝置906可為(例如)LCD顯示裝置。在一實施例中，顯示裝置906及輸入裝置905可一起整合於同一裝置中(例如，觸控螢幕LCD，諸如與例如LCD顯示裝置的顯示裝置整合之多點觸控輸入面板)。在某些情況下，顯示裝置906可包括背光906A以照亮顯示裝置906。應瞭解，無線裝置900可包括多個顯示器。
    無線裝置900亦可包括電池907，用來給系統組件供應操作電力，該等系統組件包括數位RF收發器902、數位處理系統903、儲存裝置904、輸入裝置905、麥克風905A、音訊變換器908、媒體處理系統909、感測器910以及顯示裝置906、影像感測器959(例如，CCD(電荷耦合裝置)、CMOS感測器)。該影像感測器可與影像處理單元960整合。顯示裝置906可包括液晶顯示器(LCD)，該液晶顯示器可用來顯示由無線影像俘獲裝置900所俘獲或記錄之影像。該LCD充當攝影機之觀景窗(例如，透鏡963、影像感測器959及單元960之組合)，且視情況在裝置900上可存在可充當觀景窗的其他類型之影像顯示裝置。
    裝置900亦包括成像透鏡963，成像透鏡963可光學地耦接至影像感測器959。處理系統903控制裝置900之操作；且處理系統903可藉由執行在ROM 957中，或在處理系統903中，或在ROM 957及處理系統903中所儲存之軟體程式來完成此控制操作。
    處理系統903控制影像處理操作；且處理系統903控制所俘獲影像在儲存裝置904中之儲存。處理系統903亦控制影像資料(其可能已經顏色校正，或可能未必)至外部通用電腦或專用電腦之匯出。
    處理系統903亦對使用者命令作出回應(例如，藉由在影像感測器上俘獲影像並將影像儲存於記憶體中來「拍攝」相片或視訊之命令，或選擇用於對比度強化及顏色平衡調整的選項之命令)。
    ROM 957可儲存供處理系統903執行以執行在本發明中論述之自動影像穩定及捲動快門校正機制的軟體指令。儲存裝置904用來儲存自影像感測器959接收之所俘獲/所記錄的影像。應瞭解，攝影機之其他替代架構亦可結合本發明之各種實施例來使用。
    電池907可為(例如)可再充電或不可再充電之鋰或鎳金屬氫化物電池。無線裝置900亦可包括音訊變換器908，音訊變換器908可包括一或多個揚聲器、至少一麥克風905A及加速度計946。裝置900亦包括運動或定向偵測器940(例如，加速度計、陀螺儀或兩者之任何組合)以用於判定裝置900之運動資料或定向。
    在一實施例中，影像俘獲裝置900經設計用來穩定影像及視訊。影像俘獲裝置900包括用於感測影像之具有關聯校準資料的影像感測器959、用於儲存所俘獲影像之儲存裝置904、用於偵測裝置的運動資料之運動估計裝置940及耦接至儲存裝置及運動估計裝置之處理系統903。處理系統經組態以執行自動影像穩定機制，方法是使用運動估計裝置來判定影像俘獲裝置之運動資料，將運動資料與由影像俘獲裝置俘獲的圖框序列相匹配來判定每一圖框的三維運動資料，以及基於每一圖框的三維運動資料來估計影像俘獲裝置之估計運動路徑(例如，粗糙運動路徑)。判定每一圖框的三維運動資料包括判定每一圖框在三個維度上的旋轉速度向量。
    處理系統經進一步組態以基於系統的估計運動路徑來建構系統的目標運動路徑(例如，平滑運動路徑)。建構該目標運動路徑可包括對該估計運動路徑進行濾波。該處理系統經進一步組態以計算自估計運動路徑至目標運動路徑之所需要的運動校正。
    該處理系統經進一步組態以基於校準資料及所需要的運動校正來校正影像平面之影像座標，所需要的運動校正可基於系統的目標運動路徑與估計運動路徑之間的差異來加以判定；針對每一圖框應用自原始影像座標至經校正的影像座標之重新取樣以產生穩定的圖框；及在必需時調適性地裁切及填充穩定圖框之未知區。基於校準資料及估計運動路徑與目標運動路徑之間的差異來校正影像平面之影像座標包括利用校準資料來將影像座標(其表示二維像素)映射為座標空間的正規化影像座標(其表示光線)，根據估計運動路徑與目標運動路徑之間的差異來對所有光線應用所需要的旋轉，以及利用該校準資料來將此等旋轉後的光線映射回至影像平面。
    將運動資料與由影像俘獲裝置俘獲的圖框序列相匹配以判定每一圖框的三維運動資料可包括將運動估計裝置之時間戳記轉換為圖框之視訊時間，以及整合自運動估計裝置接收到的旋轉速度資料以估計圖框間旋轉。
    在另一實施例中，影像俘獲系統(例如，影像俘獲裝置900)經設計用於校正捲動快門效應(例如，扭曲)及補償影像俘獲系統的振動及旋轉移動。該影像俘獲系統包括用來感測影像的影像感測器959、耦接至該影像感測器的儲存裝置904。該儲存裝置儲存所俘獲之影像。運動估計裝置940(例如，陀螺儀、加速度計)偵測運動資料。處理系統903耦接至儲存裝置及運動估計裝置。該處理系統經組態以執行自動影像感測器校正機制，以基於影像感測器的影像平面中的像素位置與其在三維空間中的對應光線之間的關係來利用校準資料；基於該校準資料來判定像素速度分量；以及基於像素速度分量之加總來針對每一影像估計加總像素速度。
    像素速度分量(例如，Vx、Vy及Vz)包括在感測影像之前計算出的經預先計算之預測速度分量。判定該等像素速度分量可包括自該校準資料來建構像素速度圖。基於像素速度分量之加總來針對每一影像估計加總像素速度包括將對應於每一維度的旋轉速度值(例如，ωx、ωy及ωz)之每一經預先計算的像素速度的加權總和進行加總。
    該處理系統經進一步組態以對每一影像重新取樣以產生新影像以執行捲動快門校正機制。對每一影像重新取樣以產生新影像係基於當前影像及加總像素速度。該等新影像補償了影像俘獲系統之捲動快門效應、振動及旋轉移動。
    圖10為本發明之一實施例之系統1000的方塊圖，系統1000一般包括一或多個電腦可讀媒體1001、處理系統1004、輸入/輸出(I/O)子系統1006、射頻(RF)電路1008、音訊電路1010及影像感測器1059(例如，CCD(電荷耦合裝置)、CMOS感測器)。該影像感測器可與影像處理單元1060整合。影像感測器1059經光學耦接以自透鏡1063接收光，透鏡1063可用於藉由該影像感測器來俘獲影像。運動估計裝置1040判定系統1000在三個維度上的運動資料。此等組件可藉由一或多個通信匯流排或信號線1003耦接。
    應瞭解，圖10中所展示之架構僅為系統1000之一實例架構，且系統1000可具有多於或少於所展示的組件之組件，或具有不同的組件組態。圖10中所展示之各種組件可在硬體、軟體、韌體或其任何組合中實施，包括在一或多個信號處理電路及/或特殊應用積體電路中實施。
    RF電路1008用來經由無線鏈路或網路將資訊發送至一或多個其他裝置及接收資訊，且RF電路1008包括用於執行此功能之熟知電路。RF電路1008及音訊電路1010經由周邊介面1016耦接至處理系統1004。介面1016包括用於在周邊組件與處理系統1004之間建立及維持通信之各種已知組件。音訊電路1010耦接至音訊揚聲器1050及麥克風1052且包括用於處理自介面1016接收到的語音信號以使得使用者能夠與其他使用者即時通信的已知電路。在一些實施例中，音訊電路1010包括耳機插孔(未繪示)。
    周邊介面1016將系統的輸入及輸出周邊組件耦接至一或多個處理單元1018及電腦可讀媒體1001。一或多個處理單元1018經由控制器1520與一或多個電腦可讀媒體1001通信。電腦可讀媒體1001可為可儲存程式碼及/或資料以供一或多個處理單元1018使用之任何裝置或媒體(例如，儲存裝置、儲存媒體)。媒體1001可包括記憶體階層，包括(但不限於)快取記憶體、主記憶體及副記憶體。該記憶體階層可使用以下各者之任何組合來加以實施：RAM(例如，SRAM、DRAM、DDRAM)、ROM、FLASH、磁性及/或光學儲存裝置，諸如磁碟機、磁帶、CD(緊密光碟)及DVD(數位影音光碟)。媒體1001亦可包括用於運載指示電腦指令或資料的資訊承載信號之傳輸媒體(具有或不具有藉以調變該等信號之載波)。舉例而言，該傳輸媒體可包括通信網路，包括(但不限於)網際網路(亦被稱作全球資訊網)、企業內部網路、區域網路(LAN)、寬區域網路(WLAN)、儲存區域網路(SAN)、都會網路(MAN)及其類似者。
    一或多個處理單元1018運行媒體1001中所儲存之各種軟體組件來執行系統1000之各種功能。在一些實施例中，該等軟體組件包括作業系統1022、通信模組(或指令集)1024、觸模處理模組(或指令集)1026、圖形模組(或指令集)1028、一或多個應用程式(或指令集)1030及模組(或指令集)1038及1039。影像穩定模組1038及捲動快門校正模組1039各自對應於一指令集，該指令集用於執行上文所描述之一或多個功能及在本申請案中所描述之方法(例如，電腦實施方法及本文中所描述之其他資訊處理方法)。此等模組(亦即，指令集)未必需要實施為獨立的軟體程式、程序或模組，且因此在各種實施例中此等模組之各種子集可組合或以其他方式重新配置。
    在一些實施例中，媒體1001可儲存上文所識別之模組及資料結構之子集。另外，媒體1001可儲存上文未描述的額外模組及資料結構。
    作業系統1022包括各種程序、指令集、軟體組件及/或驅動程式以用於控制及管理一般系統任務(例如，記憶體管理、儲存裝置控制、電力管理等)，且促進各種硬體與軟體組件之間的通信。
    通信模組1024促進經由一或多個外部埠1036或經由RF電路1008與其他裝置通信，且包括用於處置自RF電路1008及/或外部埠1036接收到的資料之各種軟體組件。
    圖形模組1028包括用於在顯示表面上呈現、動畫化及顯示圖形物件之各種已知軟體組件。在觸控I/O裝置1012為觸敏式顯示器(例如，觸控螢幕)之實施例中，圖形模組1028包括用於在該觸敏式顯示器上呈現、顯示及動畫化物體之組件。
    一或多個應用程式1030可包括系統1000上安裝之任何應用程式，包括(但不限於)瀏覽器、通訊錄、聯繫人清單、電子郵件、即時訊息接發、文書處理、鍵盤模擬、介面工具集、JAVA啟用之應用程式、加密、數位版權管理、語音識別、語音複製、位置判定能力(諸如由全球定位系統(GPS)提供之能力)、音樂播放器等。
    觸摸處理模組1026包括用於執行與觸控I/O裝置1012相關聯之各種任務的各種軟體組件，所述任務包括(但不限於)接收及處理經由觸控I/O裝置控制器1032自I/O裝置1012接收之觸摸輸入。
    系統1000可包括用於執行本文中結合圖1至圖10所描述之方法/功能的影像穩定模組1038、捲動快門校正模組1039及影像俘獲單元1060。影像俘獲單元1060與系統1000整合且可如圖10中所示耦接至周邊介面1016或與I/O裝置1012或1014中之一者整合。
    在一實施例中，電腦可讀媒體1001含有可執行之電腦程式指令(例如，模組1038)，該等可執行之電腦程式指令在由資料處理系統1000執行時使得該系統執行一方法。該方法利用該系統的攝影機之校準資料來將攝影機的影像感測器之影像平面的影像座標映射為三維座標空間之正規化影像座標。該方法使用運動估計裝置1040(例如，陀螺儀、加速度計)來判定用於該系統之運動資料。利用該校準資料可包括將影像座標(其表示二維像素)映射為三維座標空間之正規化影像座標(其表示光線)。判定每一圖框的三維運動資料可包括判定每一圖框在三個維度上的旋轉速度向量。
    該方法亦將運動資料與由該系統俘獲之圖框序列相匹配以判定每一圖框之三維運動資料，基於每一圖框的三維運動資料來估計該系統之運動路徑(例如，粗糙運動路徑)，基於每一圖框的運動資料來建構該系統之目標運動路徑(例如，平滑運動路徑)，及計算自在該運動資料中所觀測到的估計運動路徑至該目標運動路徑之所需要的運動校正。該方法基於所需要的運動校正來校正影像平面之影像座標，且基於經校正的影像座標來產生穩定之圖框。將運動資料與圖框序列相匹配可包括將該運動估計裝置之時間戳記轉換為該等圖框之視訊時間。建構該目標運動路徑可包括對所使用的三維運動資料在每一維度中應用低通或預測性濾波器以建構該估計運動路徑(有可能誘發延遲)，及基於該估計運動路徑來估計必需的校正。
    該方法亦基於所需要的運動校正來人工地旋轉使用者的觀看方向，應用雙線性內插以基於經校正的影像座標來產生穩定圖框，及在未知區(例如，暗像素)存在時調適性地裁切及填充該等穩定圖框之未知區。
    在另一實施例中，電腦可讀媒體含有可執行之電腦程式指令(例如，模組1039)，該等可執行之電腦程式指令在由資料處理系統1000執行時使得該系統執行一方法。該方法藉由將影像感測器的影像平面中之二維像素位置轉變成三維方向向量來利用針對該系統之校準資料，該系統具有影像感測器1061及運動估計裝置1040(例如，陀螺儀、加速度計)。該方法基於該校準資料來判定像素速度分量，藉由該系統俘獲影像序列，藉由該運動估計裝置在影像俘獲期間判定運動資料，及基於像素速度分量與在三個維度中的對應運動資料之加總針對每一影像來估計加總像素速度。估計可包括將每一經預先計算的像素速度之加權總和進行加總，其中權重對應於每一維度的旋轉速度值。
    該等像素速度分量可包括在俘獲影像序列之前所計算出的經預先計算之速度分量。判定該等像素速度分量可包括自該校準資料來建構像素速度圖。
    該方法亦包括對每一影像重新取樣以產生新影像。
    對每一影像重新取樣可藉由二元內插來進行，以產生基於當前影像及加總像素速度之新影像。
    模組1038及1039可實施為硬體、軟體、韌體或其任何組合。儘管將模組1038及1039展示為駐留於媒體1001內，但模組1038及1039之全部或部分可在系統1000內的其他組件內實施，或可在系統1000內整個實施為獨立組件。
    I/O子系統1006耦接至觸控I/O裝置1012及一或多個其他I/O裝置1014以用於控制或執行各種功能。觸控I/O裝置1012經由觸控I/O裝置控制器1032與處理系統1004通信，處理系統1004包括用於處理使用者觸摸輸入之各種組件(例如，掃描硬體)。一或多個其他輸入控制器1034自其他I/O裝置1014接收電信號/將電信號發送至其他I/O裝置1014。其他I/O裝置1014可包括實體按鈕、撥號盤、滑動開關、搖桿、鍵盤、觸控板、額外顯示螢幕或其任何組合。
    若作為觸控螢幕來實施，則觸控I/O裝置1012在GUI中將視覺輸出顯示給使用者。該視覺輸出可包括文字、圖形、視訊及其任何組合。該視覺輸出中之一些或全部可對應於使用者介面物件。觸控I/O裝置1012形成自使用者接收觸摸輸入之觸敏式表面。觸控I/O裝置1012及觸控螢幕控制器1032(連同在媒體1001中的任何關聯模組及/或指令集)偵測及追蹤在觸控I/O裝置1012上的觸摸或接近觸摸(及觸摸的任何移動或釋放)，且將偵測到之觸摸輸入轉換為與圖形物件(諸如一或多個使用者介面物件)之互動。在裝置1012作為觸控螢幕實施之狀況中，使用者可直接與觸控螢幕上所顯示之圖形物件互動。或者，在裝置1012作為除觸控螢幕(例如，觸控板)以外的觸控裝置來實施之狀況中，使用者可間接地與圖形物件互動，該等圖形物件顯示於作為I/O裝置1014實施的獨立顯示螢幕上。
    在觸控I/O裝置1012為觸控螢幕之實施例中，該觸控螢幕可使用LCD(液晶顯示)技術、LPD(發光聚合物顯示)技術、OLED(有機LED)或OEL(有機電致發光)，但在其他實施例中可使用其他顯示技術。
    觸控I/O裝置1012可基於使用者的觸摸輸入以及所顯示內容之狀態及/或計算系統之狀態來提供回饋。可以光學方式(例如，光信號或顯示出之影像)、機械方式(例如，觸覺回饋、觸摸回饋、力回饋或其類似者)、電方式(例如，電刺激)、嗅覺方式、聲學方式(例如，嗶嗶聲或其類似者)，或其類似者或其任何組合，且以可變或非可變之方式來傳輸回饋。
    系統1000亦包括用於給各種硬體組件供電之電力系統1044，且可包括電力管理系統、一或多個電源、再充電系統、電力故障偵測電路、電力轉換器或換流器、電力狀態指示器及通常與攜帶型裝置的電力之產生、管理及分配相關聯之任何其他組件。
    在一些實施例中，周邊介面1016、一或多個處理單元1018及記憶體控制器1020可在單一晶片(諸如處理系統1004)上實施。在一些其他實施例中，可在獨立的晶片上實施該等組件。本發明可係關於用於執行本文中所描述的操作中之一或多者的設備。此設備可經特別建構以用於所需目的，或此設備可包含一通用電腦，該電腦藉由儲存於該電腦中之電腦程式選擇性地啟動或重組態。此類電腦程式可儲存於機器(例如，電腦)可讀儲存媒體中，諸如(但不限於)任何類型之碟片，包括軟碟、光碟、CD-ROM及磁光碟、唯讀記憶體(ROM)、隨機存取記憶體(RAM)、可抹除式可程式化ROM(EPROM)、電可抹除式可程式化ROM(EEPROM)、快閃記憶體、.磁性或光學卡或適宜儲存電子指令之任何類型的媒體，該等媒體各自耦接至匯流排。
    機器可讀媒體包括用於以機器(例如，電腦)可讀之形式儲存或傳輸資訊的任何機構。舉例而言，機器使用機器可讀媒體來儲存程式碼及資料及進行通信(於內部及經由網路與其他裝置進行)，該機器可讀媒體諸如機器儲存媒體(例如，磁碟、光碟、隨機存取記憶體、唯讀記憶體、快閃記憶體裝置、相變記憶體)。
    在前述說明書中，已參考本發明之具體例示性實施例描述了本發明。顯然，在不偏離如下列申請專利範圍中闡明的本發明之更廣泛精神及範疇之情況下，可對本發明進行各種修改。因此，應按說明性意義而非限制性意義來看待本說明書及諸圖。
    200‧‧‧粗糙運動路徑
    220‧‧‧平滑運動路徑
    300‧‧‧分解圖
    320‧‧‧圖框
    330‧‧‧圖框子集
    400‧‧‧影像
    402‧‧‧中央區
    403‧‧‧周邊區
    404‧‧‧周邊區
    410‧‧‧待俘獲之物體
    601‧‧‧速度分量
    701‧‧‧速度分量
    801‧‧‧速度分量
    900‧‧‧無線裝置
    901‧‧‧天線系統
    902‧‧‧數位及/或類比RF收發器
    903‧‧‧數位處理系統
    904‧‧‧儲存裝置
    905‧‧‧輸入裝置
    905A‧‧‧麥克風
    906‧‧‧顯示裝置
    906A‧‧‧背光
    907‧‧‧電池
    908‧‧‧音訊變換器
    909‧‧‧媒體處理系統
    910‧‧‧感測器
    940‧‧‧運動或定向偵測器/運動估計裝置
    957‧‧‧唯讀記憶體
    959‧‧‧影像感測器
    960‧‧‧影像處理單元
    963‧‧‧成像透鏡
    1000‧‧‧系統
    1001‧‧‧電腦可讀媒體
    1003‧‧‧通信匯流排或信號線
    1004‧‧‧處理系統
    1006‧‧‧輸入/輸出(I/O)子系統
    1008‧‧‧RF電路
    1010‧‧‧音訊電路
    1012‧‧‧觸控I/O裝置
    1014‧‧‧其他I/O裝置
    1016‧‧‧周邊介面
    1018‧‧‧處理單元
    1020‧‧‧記憶體控制器
    1022‧‧‧作業系統
    1024‧‧‧通信模組/指令集
    1026‧‧‧觸摸處理模組/指令集
    1028‧‧‧圖形模組/指令集
    1030‧‧‧應用程式/指令集
    1032‧‧‧觸控I/O裝置控制器/觸控螢幕控制器
    1034‧‧‧輸入控制器
    1036‧‧‧外部埠
    1038‧‧‧影像穩定模組
    1039‧‧‧捲動快門校正模組
    1040‧‧‧運動估計裝置
    1044‧‧‧電力系統
    1050‧‧‧音訊揚聲器
    1052‧‧‧麥克風
    1060‧‧‧影像處理單元/影像俘獲單元
    1061‧‧‧影像感測器
    1063‧‧‧透鏡
    1110‧‧‧分量ωxVx
    1120‧‧‧分量ωyVy
    1130‧‧‧分量ωzVz
    1140‧‧‧加總像素速度向量V
    1210‧‧‧(tm-t0)
    1220‧‧‧加總像素速度向量V
    1300‧‧‧參考影像
    1302‧‧‧停車標誌
    1310‧‧‧影像
    1312‧‧‧停車標誌
    1320‧‧‧影像
    1322‧‧‧停車標誌
    1330‧‧‧影像
    1332‧‧‧停車標誌
    圖1繪示在本發明之一實施例中穩定藉由影像俘獲裝置俘獲的影像(例如，影像序列、視訊)的電腦實施方法100之流程圖。
    圖2繪示在本發明之一實施例中的影像俘獲裝置之運動路徑的建構。
    圖3繪示在本發明之一實施例中將應用於圖框的子集之分解圖的圖框重新取樣。
    圖4繪示在本發明之一實施例中的影像400之實例。
    圖5繪示在本發明之一實施例中之藉由影像俘獲裝置俘獲的影像(例如，影像序列、視訊)的捲動快門校正之電腦實施方法500之流程圖。
    圖6至圖8繪示在本發明之一實施例中的經預先計算之速度分量(例如，Vx、Vy及Vz)。
    圖9繪示在本發明之一實施例中的無線影像俘獲裝置，其包括無線通信及俘獲影像之能力。
    圖10為本發明之一實施例之系統1000的方塊圖。
    圖11繪示在本發明之一實施例中將每一經預先計算的像素速度之加權總和進行加總，其中權重對應於每一維度的旋轉速度值。
    圖12繪示在本發明之一實施例中基於加總像素速度向量V 1220及(tm-t0)1210來產生位移圖。
    圖13A至圖13D繪示在本發明之一實施例中的用於展示捲動快門校正之影像序列。
    圖14及圖15繪示在本發明之一實施例中的影像俘獲裝置之瞬時旋轉。
    权利要求:
    Claims (22)
    [1] 一種用以執行藉由一影像俘獲裝置俘獲的影像之一捲動快門校正的電腦實施方法，該方法包含：利用該影像俘獲裝置之一攝影機的校準資料來將該攝影機的一影像感測器之一影像平面中的影像座標轉變為一方向向量；基於該校準資料來判定經預先計算之像素速度分量；藉由該影像俘獲裝置來俘獲一影像序列；及針對每一影像基於該等經預先計算的像素速度分量之一加總來估計一加總像素速度。
    [2] 如請求項1之方法，其中該等經預先計算的像素速度分量係在俘獲該影像序列之前進行預先計算。
    [3] 如請求項1之方法，其中判定該等經預先計算的像素速度分量包含：自該校準資料來建構像素速度圖。
    [4] 如請求項3之方法，其中針對每一影像基於該等經預先計算的像素速度分量之該加總來估計該加總像素速度包含：將每一經預先計算的像素速度的一加權總和進行加總，其中權重對應於每一維度的旋轉速度值。
    [5] 如請求項4之方法，其進一步包含：對每一影像重新取樣以產生一新影像來執行該捲動快門校正。
    [6] 如請求項4之方法，其進一步包含：藉由一運動估計裝置來判定在三個維度上的運動資料；及基於該運動資料來判定該等旋轉速度值。
    [7] 如請求項6之方法，其中該運動估計裝置進一步包含一陀螺儀、一加速度計，或其任何組合。
    [8] 一種含有可執行電腦程式指令之電腦可讀媒體，該等可執行電腦程式指令在由一資料處理系統執行時使得該系統執行一方法，該方法包含：利用具有一影像感測器的該系統之校準資料來將該影像感測器之一影像平面中的二維像素座標轉變為一方向向量；基於該校準資料來判定像素速度分量；藉由該系統俘獲一影像序列；藉由該系統之一運動估計裝置來判定所俘獲影像之運動資料；及針對每一影像基於該等像素速度分量及對應運動資料來估計一加總像素速度。
    [9] 如請求項8之電腦可讀媒體，其中該等像素速度分量包含在俘獲該影像序列之前計算之經預先計算的速度分量。
    [10] 如請求項8之電腦可讀媒體，其中判定該等像素速度分量包含：自該校準資料來建構像素速度圖。
    [11] 如請求項8之電腦可讀媒體，其中針對每一影像基於該等經預先計算的像素速度分量之該加總來估計該加總像素速度包含：將每一經預先計算的像素速度的一加權總和進行加總，其中權重對應於每一維度的旋轉速度值。
    [12] 如請求項11之電腦可讀媒體，其進一步包含：對每一影像重新取樣以產生一新影像來執行一捲動快門校正。
    [13] 如請求項12之電腦可讀媒體，其中使用二元內插對每一影像重新取樣以產生一新影像係基於一當前影像及該加總像素速度。
    [14] 如請求項8之電腦可讀媒體，其中該運動估計裝置進一步包含一陀螺儀、一加速度計，或其任何組合。
    [15] 一種影像俘獲系統，其包含：一捲動快門影像感測器，其用以感測影像；一儲存裝置，其耦接至該影像感測器，該儲存裝置用以儲存所俘獲之影像；一運動估計裝置，其用以偵測運動資料；及一處理系統，其耦接至該儲存裝置及該運動估計裝置，該處理系統經組態以執行一自動捲動快門校正機制，該自動捲動快門校正機制基於該影像感測器的一影像平面中之像素位置與該等像素位置在一座標空間中的對應光線之間的一關係來利用校準資料，以基於該校準資料來判定像素速度分量；以及基於該等像素速度分量之一加總針對每一影像估計一加總像素速度。
    [16] 如請求項15之系統，其中該等像素速度分量包含在感測該等影像之前計算之經預先計算的速度分量。
    [17] 如請求項15之系統，其中判定該等像素速度分量包含：自該校準資料來建構像素速度圖。
    [18] 如請求項17之系統，其中針對每一影像基於該等像素速度分量之該加總來估計該加總像素速度包含：將每一經預先計算的像素速度之一加權總和進行加總，其中權重對應於每一維度的旋轉速度值。
    [19] 如請求項18之系統，其進一步包含：對每一影像重新取樣以產生一新影像。
    [20] 如請求項19之系統，其中對每一影像重新取樣以產生一新影像係基於一當前影像及該加總像素速度。
    [21] 如請求項15之系統，其中該運動估計裝置進一步包含一陀螺儀、一加速度計，或其任何組合。
    [22] 如請求項18之系統，其中該處理系統經組態以基於該運動資料來判定每一維度之該旋轉速度值。
    类似技术:
    公开号 | 公开日 | 专利标题
    TWI533692B|2016-05-11|使用影像穩定校正捲動快門
    TWI464707B|2014-12-11|用於影像穩定之方法及系統
    AU2014203801B2|2015-07-30|Image capture device having tilt and/or perspective correction
    US20160042572A1|2016-02-11|Interactive three dimensional displays on handheld devices
    US9516223B2|2016-12-06|Motion-based image stitching
    US20150304652A1|2015-10-22|Device orientation correction method for panorama images
    CN104737205B|2017-08-25|自适应尺度及/或重力估计
    US20100002015A1|2010-01-07|Orientation-following display apparatus, orientation-following display method, and orientation-following display program
    TW201101105A|2011-01-01|Method and apparatus for determining a user input from inertial sensors
    JP2014199964A|2014-10-23|撮像装置および画像処理装置
    US8964040B2|2015-02-24|High dynamic range image registration using motion sensor data
    EP2447915A1|2012-05-02|Real time three-dimensional menu/icon shading
    RU2758460C1|2021-10-28|Оконечное устройство и способ стабилизации видеоизображения
    CN111010476A|2020-04-14|一种图像显示方法、装置、终端和可读存储介质
    CN111897429A|2020-11-06|图像显示方法、装置、计算机设备及存储介质
    JP2008072322A|2008-03-27|携帯情報端末、及びコンテンツ情報の取得／操作方法、並びにこの方法のプログラム
    CN112150554A|2020-12-29|画面显示方法、装置、终端和存储介质
    同族专利:
    公开号 | 公开日
    US20140320681A1|2014-10-30|
    US8823813B2|2014-09-02|
    JP5374619B2|2013-12-25|
    CN102821252A|2012-12-12|
    EP2533517B1|2019-09-18|
    CN102821252B|2015-05-20|
    EP2533517A1|2012-12-12|
    AU2012203318B2|2014-10-02|
    AU2012203318A1|2012-12-20|
    KR101376936B1|2014-03-20|
    US9602725B2|2017-03-21|
    WO2012170199A1|2012-12-13|
    KR20120135488A|2012-12-14|
    JP2012253778A|2012-12-20|
    TWI533692B|2016-05-11|
    US20120307084A1|2012-12-06|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    TWI568257B|2013-09-26|2017-01-21|蘋果公司|用於串流中捲動快門補償之系統、方法、非暫時性電腦可讀儲存媒體|EP0682449B1|1988-09-09|2003-01-02|Canon Kabushiki Kaisha|Automatic image stabilization device|
    JP3505199B2|1992-06-30|2004-03-08|株式会社リコー|ビデオカメラジッタ補正装置、データ圧縮装置、データ伸長装置、データ圧縮方法及びデータ伸長方法|
    US5717611A|1993-10-08|1998-02-10|Nikon Corporation|Slight motion detecting device|
    US5627905A|1994-12-12|1997-05-06|Lockheed Martin Tactical Defense Systems|Optical flow detection system|
    EP1071285A1|1999-07-19|2001-01-24|Texas Instruments Inc.|Vertical compensation in a moving camera|
    DE102004049676A1|2004-10-12|2006-04-20|Infineon Technologies Ag|Verfahren zur rechnergestützten Bewegungsschätzung in einer Vielzahl von zeitlich aufeinander folgenden digitalen Bildern, Anordnung zur rechnergestützten Bewegungsschätzung, Computerprogramm-Element und computerlesbares Speichermedium|
    US7509038B2|2005-09-29|2009-03-24|Seiko Epson Corporation|Determining maximum exposure time to limit motion blur during image capture|
    WO2007045714A1|2005-10-21|2007-04-26|Nokia Corporation|A method and a device for reducing motion distortion in digital imaging|
    JP2008028500A|2006-07-19|2008-02-07|Sony Corp|画像処理装置、方法、およびプログラム|
    US8068140B2|2006-08-07|2011-11-29|Avago Technologies General Ip Pte. Ltd.|Still image stabilization suitable for compact camera environments|
    US7714892B2|2006-11-08|2010-05-11|Avago Technologies Ecbu Ip Pte. Ltd.|Systems, devices and methods for digital camera image stabilization|
    US7796872B2|2007-01-05|2010-09-14|Invensense, Inc.|Method and apparatus for producing a sharp image from a handheld device containing a gyroscope|
    US9160897B2|2007-06-14|2015-10-13|Fotonation Limited|Fast motion estimation method|
    US7817187B2|2007-06-27|2010-10-19|Aptina Imaging Corporation|Image blur correction using a secondary camera|
    US8896712B2|2007-07-20|2014-11-25|Omnivision Technologies, Inc.|Determining and correcting for imaging device motion during an exposure|
    AU2007254595B2|2007-12-20|2011-04-07|Canon Kabushiki Kaisha|Constellation detection|
    US8054335B2|2007-12-20|2011-11-08|Aptina Imaging Corporation|Methods and system for digitally stabilizing video captured from rolling shutter cameras|
    DE112009000101T5|2008-01-04|2010-11-11|3M Innovative Properties Co., St. Paul|Globale Kamerawegoptimierung|
    US8040382B2|2008-01-07|2011-10-18|Dp Technologies, Inc.|Method and apparatus for improving photo image quality|
    TWI381719B|2008-02-18|2013-01-01|Univ Nat Taiwan|穩定全幅式視訊之方法|
    US7978222B2|2008-03-01|2011-07-12|Avago Technologies Ecbu Ip Pte. Ltd.|Systems and methods for image stabilization|
    US8102428B2|2008-08-28|2012-01-24|Adobe Systems Incorporated|Content-aware video stabilization|
    JP4915423B2|2009-02-19|2012-04-11|ソニー株式会社|画像処理装置、フォーカルプレーン歪み成分算出方法、画像処理プログラム及び記録媒体|
    JP4915424B2|2009-02-19|2012-04-11|ソニー株式会社|画像処理装置、カメラモーション成分算出方法、画像処理プログラム及び記録媒体|
    WO2010116367A1|2009-04-07|2010-10-14|Nextvision Stabilized Systems Ltd|Continuous electronic zoom for an imaging system with multiple imaging devices having different fixed fov|
    US8208746B2|2009-06-29|2012-06-26|DigitalOptics Corporation Europe Limited|Adaptive PSF estimation technique using a sharp preview and a blurred image|
    US8508605B2|2009-10-14|2013-08-13|Csr Technology Inc.|Method and apparatus for image stabilization|
    US8264553B2|2009-11-12|2012-09-11|Microsoft Corporation|Hardware assisted image deblurring|
    US8358359B2|2010-01-21|2013-01-22|Microsoft Corporation|Reducing motion-related artifacts in rolling shutter video information|
    US8531535B2|2010-10-28|2013-09-10|Google Inc.|Methods and systems for processing a video for stabilization and retargeting|
    WO2012064106A2|2010-11-12|2012-05-18|Samsung Electronics Co., Ltd.|Method and apparatus for video stabilization by compensating for view direction of camera|
    US8648919B2|2011-06-06|2014-02-11|Apple Inc.|Methods and systems for image stabilization|US8866920B2|2008-05-20|2014-10-21|Pelican Imaging Corporation|Capturing and processing of images using monolithic camera array with heterogeneous imagers|
    US9131155B1|2010-04-07|2015-09-08|Qualcomm Technologies, Inc.|Digital video stabilization for multi-view systems|
    US8878950B2|2010-12-14|2014-11-04|Pelican Imaging Corporation|Systems and methods for synthesizing high resolution images using super-resolution processes|
    US8542933B2|2011-09-28|2013-09-24|Pelican Imaging Corporation|Systems and methods for decoding light field image files|
    EP3869797A1|2012-08-21|2021-08-25|FotoNation Limited|Method for depth detection and correction in images captured using array cameras|
    WO2014068779A1|2012-11-05|2014-05-08|株式会社モルフォ|画像処理装置、画像処理方法、画像処理プログラム及び記録媒体|
    US9071756B2|2012-12-11|2015-06-30|Facebook, Inc.|Systems and methods for digital video stabilization via constraint-based rotation smoothing|
    US8866912B2|2013-03-10|2014-10-21|Pelican Imaging Corporation|System and methods for calibration of an array camera using a single captured image|
    US9578259B2|2013-03-14|2017-02-21|Fotonation Cayman Limited|Systems and methods for reducing motion blur in images or video in ultra low light with array cameras|
    US9445003B1|2013-03-15|2016-09-13|Pelican Imaging Corporation|Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information|
    GB201312892D0|2013-07-18|2013-09-04|Omg Plc|Still image capture with exposure control|
    KR20160037972A|2013-07-24|2016-04-06|더 리전트 오브 더 유니버시티 오브 캘리포니아|카메라 모션 추정 및 정정 방법|
    CN105723697B8|2013-09-16|2020-10-13|英特尔公司|用于相机和光源同步的方法、装置、设备及存储介质|
    WO2015058154A2|2013-10-20|2015-04-23|Oahu Group, Llc|Method and system for determining object motion|
    WO2015074078A1|2013-11-18|2015-05-21|Pelican Imaging Corporation|Estimating depth from projected texture using camera arrays|
    US9456134B2|2013-11-26|2016-09-27|Pelican Imaging Corporation|Array camera configurations incorporating constituent array cameras and constituent cameras|
    KR102016551B1|2014-01-24|2019-09-02|한화디펜스 주식회사|위치 추정 장치 및 방법|
    CN104954631B|2014-03-25|2018-02-27|腾讯科技（深圳）有限公司|一种视频处理方法、装置和系统|
    JP6374228B2|2014-06-11|2018-08-15|ソニーセミコンダクタソリューションズ株式会社|画像処理装置、画像処理方法、およびプログラム|
    US10230925B2|2014-06-13|2019-03-12|Urthecast Corp.|Systems and methods for processing and providing terrestrial and/or space-based earth observation video|
    GB201412818D0|2014-07-18|2014-09-03|Omg Plc|Minimisation of blur in still image capture|
    KR102194237B1|2014-08-29|2020-12-22|삼성전자주식회사|깊이 영상 촬영 장치 및 깊이 정보 획득 방법|
    US10062411B2|2014-12-11|2018-08-28|Jeffrey R. Hay|Apparatus and method for visualizing periodic motions in mechanical components|
    US9704266B2|2014-12-11|2017-07-11|Rdi, Llc|Non-contacting monitor for bridges and civil structures|
    GB2523253B|2015-01-23|2017-04-12|Visidon Oy|Image processing method|
    US20160234522A1|2015-02-05|2016-08-11|Microsoft Technology Licensing, Llc|Video Decoding|
    US10871561B2|2015-03-25|2020-12-22|Urthecast Corp.|Apparatus and methods for synthetic aperture radar with digital beamforming|
    KR20180030773A|2015-04-17|2018-03-26|포토네이션 케이맨 리미티드|어레이 카메라들을 이용한 고속 비디오 캡처 및 심도 추정을 수행하기 위한 시스템 및 방법|
    US9942474B2|2015-04-17|2018-04-10|Fotonation Cayman Limited|Systems and methods for performing high speed video capture and depth estimation using array cameras|
    CA2990063A1|2015-06-16|2017-03-16|King Abdulaziz City Of Science And Technology|Efficient planar phased array antenna assembly|
    EP3353711A1|2015-09-23|2018-08-01|Datalogic USA, Inc.|Imaging systems and methods for tracking objects|
    US10955546B2|2015-11-25|2021-03-23|Urthecast Corp.|Synthetic aperture radar imaging apparatus and methods|
    CN105577984A|2015-12-27|2016-05-11|西南技术物理研究所|复合mems-imu的电子稳像装置|
    CN105590302B|2016-02-05|2018-06-12|中国科学院国家空间科学中心|一种用于图像传感器标定的干涉条纹畸变矫正方法|
    DE102016104731A1|2016-03-15|2017-09-21|Connaught Electronics Ltd.|Verfahren zum Detektieren eines Rolling-Shutter-Effekts in Bildern eines Umgebungsbereichs eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug|
    US10356343B2|2016-03-18|2019-07-16|Raytheon Company|Methods and system for geometric distortion correction for space-based rolling-shutter framing sensors|
    US10506163B2|2016-06-10|2019-12-10|Invensense, Inc.|Systems and methods for synchronizing sensor data|
    WO2018125712A1|2016-12-30|2018-07-05|Datalogic Usa, Inc.|Self-checkout with three dimensional scanning|
    JP6761786B2|2017-08-10|2020-09-30|本田技研工業株式会社|天井地図作成方法、天井地図作成装置及び天井地図作成プログラム|
    US10545215B2|2017-09-13|2020-01-28|Google Llc|4D camera tracking and optical stabilization|
    CN108124102B|2017-12-28|2020-10-13|北京小米移动软件有限公司|图像处理方法、装置及计算机可读存储介质|
    CN108462838B|2018-03-16|2020-10-02|影石创新科技股份有限公司|一种全景视频防抖方法、装置及便携式终端|
    TWI701946B|2018-03-30|2020-08-11|香港商科科串流股份有限公司|影片優化處理系統及方法|
    WO2020085874A1|2018-10-25|2020-04-30|Samsung Electronics Co., Ltd.|Method and apparatus for dynamic image capturing based on motion information in image|
    US11132586B2|2018-10-29|2021-09-28|Nec Corporation|Rolling shutter rectification in images/videos using convolutional neural networks with applications to SFM/SLAM with rolling shutter images/videos|
    TWI734050B|2018-11-20|2021-07-21|遠創智慧股份有限公司|車輛識別方法與系統以及物件識別方法與系統|
    KR20210143345A|2019-04-17|2021-11-29|엘지전자 주식회사|영상 보정 방법 및 장치|
    US10939042B1|2019-05-07|2021-03-02|Zoox, Inc.|Simulated rolling shutter image data|
    CN113132612A|2019-12-31|2021-07-16|华为技术有限公司|一种图像稳像处理方法、终端拍摄方法、介质及系统|
    WO2021192714A1|2020-03-24|2021-09-30|ソニーセミコンダクタソリューションズ株式会社|レンダリングシステム及び自動運転検証システム|
    法律状态:
    优先权:
    申请号 | 申请日 | 专利标题
    US13/154,389|US8823813B2|2011-06-06|2011-06-06|Correcting rolling shutter using image stabilization|
    [返回顶部]