台湾专利TW201301203A 全景處理

专利PDF首页>>台湾专利

专利附录

专利说明

权利要求

类似技术

同族专利

引用文献

法律状态

优先权

专利摘要:
本發明係關於用於在手持型個人電子器件中執行全景攝影處理技術之器件、方法及電腦可讀媒體。可使用幾個通用化步驟來執行本文中所描述之全景攝影處理技術：1.)自電子器件之影像感測器之影像串流獲取影像資料；2.)將該影像資料之按比例調整之預覽版本即時地顯示於該器件之顯示器上；3.)對該所獲取影像資料執行「運動過濾」；4.)產生未由「運動過濾」程序濾除之影像之部分的全解析度版本及較低解析度版本；5.)實質上同時將全解析度影像部分及較低解析度影像部分兩者拼接在一起以建立全景場景；及6.)實質上同時地將較低解析度影像部分之經拼接版本發送至器件之顯示器上的預覽區及將全解析度影像部分之經拼接版本儲存至記憶體。
公开号:TW201301203A
申请号:TW101115416
申请日:2012-04-30
公开日:2013-01-01
发明作者:Nikhil Bhogal；Frank Doepke
申请人:Apple Inc；
IPC主号:G06T3-00

专利说明:
全景處理
本發明係關於用於改良即時全景攝影處理之技術。
本申請案係有關代理人案號為P10712US1(119-0224US)、P10713US1(119-0225US)、P10714US1(119-0226US)及P10715US1(119-0227US)之共同讓渡申請案，該等申請案中之每一者皆於2011年5月17日申請，且其全文特此以引用之方式併入。
所揭示實施例大體而言係關於全景攝影。更具體言之，所揭示實施例係關於用於改良具有影像感測器之手持型個人電子器件之即時全景攝影處理的技術。
全景攝影可大體上定義為用於攝取具有細長視域之影像的攝影技術。展示近似於或大於人眼之視域(例如，約160°寬×75°高)之視域的影像可稱作「全景」。因此，全景影像大體上具有2：1或大於2：1之縱橫比，此意謂影像之寬度為其高度的至少兩倍(或相比而言，在垂直全景影像之狀況中，高度為寬度的至少兩倍)。在一些實施例中，全景影像可甚至涵蓋高達360度之視域，亦即，「全旋轉」全景影像。
存在與拍攝視覺上吸引人之全景影像相關聯之許多挑戰。此等挑戰包括攝影問題，諸如：由在整個全景場景上之照明條件之差異所引起的在判定適當曝光設定時的困難；由全景場景內之物件之運動所引起的在整個影像上之接縫的模糊；及視差問題，亦即，由連續攝取影像中物件在全景場景中之視位移或視位置之差異所引起的問題，視位移或視位置之差異係歸因於攝影機圍繞除其透視中心(COP)之外的軸線的旋轉。COP可被視為攝影機所檢視到之視線會聚的點。COP有時亦稱作「入射光瞳」。取決於攝影機之透鏡設計，攝影機之光軸上的入射光瞳位置可在透鏡系統後、在透鏡系統內或甚至在透鏡系統前。通常需要某一量之預攝取實驗以及將可旋轉三腳架配置與攝影機滑動總成一起使用，以確保攝影機在攝取全景場景期間圍繞其COP旋轉。此類型之準備及計算在手持型個人電子器件及特用全景影像攝取之領域中並非為所要的。
與拍攝視覺上吸引人之全景影像相關聯之其他挑戰包括後處理問題，諸如：適當地對準用以建構總全景影像之各種影像；在用以建構總全景影像之各種影像的重疊區之間進行融合；選擇不使全景相片之重要部分在攝影方面失真的影像投影校正(例如，矩形投影、圓柱形投影、麥卡托(Mercator)投影)；及校正隨後攝取之影像之間的透視改變。
另外，在全景掃視期間追蹤他或她的進展對攝影師而言可為挑戰，該追蹤有可能導致攝影機之視域在掃視期間逐漸向上或向下漂移(在水平全景掃視之狀況中)。一些先前技術全景攝影系統在已攝取構成影像以後很久且常常藉由使用昂貴之後期處理軟體來組合該等構成影像以建立所得全景影像。若所攝取之構成影像之涵蓋證明為不足以組合所得全景影像，則使用者無可依賴。迄今為止，全景攝影系統尚不能夠向使用者提供有意義之全景影像預覽，且不能夠同時在全景掃視期間產生全景影像之全解析度版本，使得全景影像之全解析度版本實質上在使用者完成全景掃視的同時已準備好用於儲存及/或檢視。
因此，需要用以改良諸如行動電話、個人資料助理(PDA)、攜帶型音樂播放器、數位相機以及膝上型及平板型電腦系統之手持型個人電子器件上的全景相片之攝取及處理的技術。藉由使用對所攝取影像之全解析度部分及較低解析度部分兩者操作之分離圖形處理管線，諸如本文中所描述之彼等技術的較有效全景攝影處理技術可用以按照對於使用者而言無縫且直觀之方式達成視覺上吸引人之全景攝影結果及有意義之全景預覽影像。
本文中所揭示之全景攝影技術經設計以在全景場景正由手持型個人電子器件攝取時處置該等全景場景之處理，同時在全景影像攝取期間仍將有用之全景預覽影像提供給使用者。可使用幾個通用化步驟來執行本文中所描述之全景攝影技術：1.)自電子器件之影像感測器之影像串流獲取影像資料(隨著使用者在整個全景場景上水平移動器件，此影像串流可呈連續攝取之影像圖框的形式)；2.)將該影像資料之按比例調整之預覽版本即時地顯示於該器件之顯示器上；3.)對該所獲取影像資料執行「運動過濾」(例如，使用自嵌入於手持型個人電子器件中之位置感測器傳回的資訊來通知該影像資料之處理)；4.)產生未由該「運動過濾」程序濾除之影像之部分(例如，「狹縫(slit)」或「圖塊(slice)」)的全解析度及較低解析度版本；5.)同時將全解析度影像「狹縫」或「圖塊」及較低解析度影像「狹縫」或「圖塊」兩者拼接在一起以建立全景場景。該拼接程序可涉及(例如)連續處理之影像「狹縫」或「圖塊」之間的對準、幾何校正及/或重疊區中之影像資料的融合；及6.)實質上同時地將較低解析度影像「狹縫」或「圖塊」之經拼接版本發送至器件之顯示器上的全景預覽區及將全解析度影像「狹縫」或「圖塊」之經拼接版本儲存至記憶體。歸因於影像投影校正、透視校正、對準及其類似操作，所得經拼接之全解析度全景影像可具有不規則形狀。因此，可在最終儲存之前視情況將所得經拼接之全景影像裁剪至矩形形狀(若有此需要)。下文將更詳細描述此等通用步驟中之每一者。 1.影像獲取
一些現代攝影機之影像感測器可以30個圖框/秒(fps)之速率(亦即，每約0.03秒一個圖框)來攝取影像圖框。在此高影像攝取速率且在給定使用者所拍攝之平均全景相片之水平移動速率的情況中，由影像感測器攝取之許多影像資料為冗餘的，亦即，與隨後或先前攝取之影像圖框中之影像資料重疊。實際上，如下文將進一步詳細描述，在一些實施例中，在每一影像圖框被攝取之後僅留存其狹窄「狹縫」或「圖塊」可為有利的。在一些實施例中，狹縫可僅包含影像圖框之中心12.5%。只要連續攝取之影像狹縫之間留存有足夠量之重疊(所需重疊量可取決於待用以將影像拼接在一起之影像對位演算法的能力，其中需要較小重疊量來限制所需處理量，同時仍產生令人滿意之影像對準)，本文中所描述之全景攝影技術便仍能夠建立視覺上合意之全景結果，同時由於大量不必要及/或冗餘的資料可被捨棄，因此操作效率增加。現代影像感測器可攝取低動態範圍(LDR)影像及高動態範圍(HDR)影像兩者，且本文中所描述之技術可應用於每一者。 2.按比例調整之預覽
現代影像攝取個人電子器件的使用者已變得習慣於具有當前正由器件攝取之影像之實況、全圖框預覽。藉由將自器件之影像感測器傳回之資料按比例減小至器件之顯示器的解析度及沿分離圖形處理管線之第一部分發送此資料，器件之使用者可保持知曉器件之當前視域，且能夠即時地對攝影機設定及/或全景掃視之方向、速率等進行任何必要調整。按比例調整預覽影像允許實質上同時沿分離圖形處理管線發送用於其他影像資料之更多處理頻寬以用於組合成所得全景影像及/或全景影像預覽。 3.運動過濾
當前在手持型個人電子器件上之特用全景影像產生期間要面對之一個問題為，保持實際上用於全景影像之產生的資料量與器件之處理能力能夠處置之資料量一致。藉由使用攝影機運動基於先前圖框對位、加速度改變及來自器件內及以其他方式與器件通信之嵌入式位置感測器(例如，陀螺計及/或加速度計)的攝影機旋轉資訊之改變的試誤法，有可能「濾除」原本歸因於缺少攝影機位置之足夠改變而產生僅冗餘影像資料的影像狹縫。此過濾並不需要密集計算且減小了傳遞至全景影像處理常式之較需要密集計算之部分上之影像狹縫量。運動過濾亦減小全景影像處理常式之記憶體使用量。 4.影像劃分
如上文參考「運動過濾」所論述，因為藉由以(例如)15個圖框/秒(fps)或30 fps之圖框速率操作的影像感測器攝取之大量冗餘資料，所以可自全景攝影程序丟棄來自影像感測器之影像串流的許多圖框，同時仍提供對所攝取全景場景之足夠涵蓋。另外，本發明者已令人驚訝地發現，對經選擇以由「運動過濾器」進行額外處理的影像圖框中之每一者的僅一部分(例如，每一選定影像圖框之中心部分)操作可減少或完全消除一些光學假影，諸如，桶形或枕形失真、透鏡陰影、漸暈等(其愈接近於所攝取影像之邊緣則愈顯著)。另外，對每一選定影像圖框之僅一部分操作針對全景攝影程序產生較小記憶體使用量，此可在組合全解析度全景影像時變得重要，如下文將進一步論述。在一些實施例中，此影像部分可大約包含影像圖框之中心12.5%，且在本文中稱作影像「狹縫」或「圖塊」。 5.影像拼接
根據本文中所描述之一實施例，經選擇以包括於所得全景影像中之影像狹縫中的每一者可隨後經對位(亦即，對準)、在重疊區中融合且與其他選定影像部分拼接在一起，從而產生所得全景影像部分。可將選定影像圖框部分置放至可判定影像之間的重疊區的組合緩衝器中，且可根據融合公式(例如，線性、多項式或α融合公式)將重疊區中之影像像素資料融合成最終所得影像區中。在兩個連續攝取之影像部分之間進行融合試圖隱藏圖框之間的小差異，但亦可具有使彼區域中之影像模糊之後果。根據本文中所揭示之一實施例，拼接程序可實質上同時對全解析度影像「狹縫」或「圖塊」及較低解析度影像「狹縫」或「圖塊」兩者進行以建立全景場景之兩個版本。 6.雙預覽管線
全景攝影程序可將較低解析度影像「狹縫」或「圖塊」之經拼接版本發送至器件之顯示器上的預覽區，且實質上同時將全解析度影像「狹縫」或「圖塊」之經拼接版本儲存至記憶體。藉由進行此操作，本文中所揭示之全景攝影程序的一實施例可向使用者提供有意義之全景影像預覽，且同時在全景掃視期間產生全景影像之全解析度版本，使得全景影像之全解析度版本實質上在使用者完成全景掃視的同時已準備好用於儲存及/或檢視。
因此，在本文中所描述之一實施例中，揭示一種影像處理方法，其包含：獲得一第一影像；在一第一時間將該第一影像之一第一按比例調整之版本顯示於一顯示器之一第一區中；將該第一影像之一中心部分的一全解析度版本儲存於一記憶體中；在該第一時間將該第一影像之該中心部分的一第二按比例調整之版本顯示於該顯示器之一第二區中；獲得一第二影像；在一第二時間用該第二影像之一第一按比例調整之版本替換該顯示器之該第一區中的該第一影像之該第一按比例調整之版本；將該第二影像之一中心部分的一全解析度版本與該第一影像之該中心部分的該全解析度版本拼接在一起以產生一第一所得經拼接影像，該第一影像之該中心部分及該第二影像之該中心部分共用一重疊區；將該第一所得經拼接影像儲存於該記憶體中；將該第一影像之該中心部分的該第二按比例調整之版本與該第二影像之該中心部分的一第二按比例調整之版本拼接在一起以產生一第二所得經拼接影像，該第一影像之該中心部分的該第二按比例調整之版本與該第二影像之該中心部分的該第二按比例調整之版本一起共用該重疊區；及在該第二時間將該第二所得經拼接影像顯示於該顯示器之該第二區中。
在本文中所描述之另一實施例中，揭示一種影像處理方法，其包含：接收由一攝影機攝取之影像之一串流，該攝影機與一器件通信，影像之該串流包含一全景場景；及針對每一所接收影像執行以下操作：沿一第一圖形管線發送表示該影像之資料之一第一部分以用於在該器件處產生及顯示該影像之一即時預覽；及判定是否對該影像進行過濾，及針對每一特定影像進行以下操作，其中判定將不對該影像進行過濾：沿一第二圖形管線發送表示該影像之資料之一第二部分以用於產生該影像之一全景預覽的一部分，其中該影像之該全景預覽之該所產生部分係拼接至該影像之該全景預覽，從而建立該影像之一所得全景預覽，且其中該影像之該所得全景預覽係即時地顯示於該器件處。
根據本文中所描述之各種實施例的用於手持型個人電子器件之全景攝影處理技術可直接藉由器件之硬體及/或軟體實施，因此使得此等穩固的全景攝影技術可容易地應用於具有適當位置感測器及處理能力的任何數目個電子器件，諸如，行動電話、個人資料助理(PDA)、攜帶型音樂播放器、數位相機，以及膝上型及平板型電腦系統。
本發明係關於用於在手持型個人電子器件中執行全景攝影處理技術的器件、方法及電腦可讀媒體。可使用幾個通用化步驟來執行本文中所描述之全景攝影處理技術：1.)自電子器件之影像感測器之影像串流獲取影像資料(隨著使用者在整個全景場景上水平移動器件，此影像串流可呈連續攝取之影像圖框的形式)；2.)將該影像資料之按比例調整之預覽版本即時地顯示於該器件之顯示器上；3.)對該所獲取影像資料執行「運動過濾」(例如，使用自嵌入於手持型個人電子器件中之位置感測器傳回的資訊來通知該影像資料之處理)；4.)產生未由該「運動過濾」程序濾除之影像之部分(例如，「狹縫」或「圖塊」)的全解析度及較低解析度版本；5.)實質上同時將全解析度影像「狹縫」或「圖塊」及較低解析度影像「狹縫」或「圖塊」兩者拼接在一起以建立全景場景；及6.)實質上同時地將較低解析度影像「狹縫」或「圖塊」之經拼接版本發送至器件之顯示器上的預覽區及將全解析度影像「狹縫」或「圖塊」之經拼接版本儲存至記憶體。
本文中所揭示之技術適用於具有光學感測器之任何數目個電子器件，諸如，數位相機、數位視訊攝影機、行動電話、個人資料助理(PDA)、攜帶型音樂播放器，以及膝上型及平板型電腦系統。
為清楚起見，本說明書中並未描述實際實施之所有特徵。當然，應瞭解，在任何此實際實施之開發中(如在任何開發計劃中)，必須作出眾多決策以達成開發者之特定目的(例如，符合系統相關及商務相關約束)，且此等目標將在實施間變化。應進一步瞭解，此開發努力可複雜且耗時的，但受益於本發明，對於一般熟習此項技術者而言將為常規任務。
在以下描述中，出於解釋之目的，闡述眾多特定細節，以便提供對本發明概念之透徹理解。作為描述之部分，可以方塊圖形式來展示一些結構及器件以便避免混淆本發明。此外，在本發明中所使用之語言已主要出於可讀性及指導目的而選擇，且可能並非為了描繪或限定發明性標的物而選擇，訴諸於申請專利範圍對於判定此發明性標的物而言係有必要的。在本說明書中對「一實施例」之參考意謂，結合實施例描述之特定特徵、結構或特性包括於本發明之至少一實施例中，且對「一實施例」之多次參考不應理解為全部指代同一實施例。
現參看圖1，展示根據一實施例之用於全景攝影之系統100。如圖1中所描繪之系統100可在邏輯上分為三個單獨層。按照在邏輯上組織全景攝影系統之功能的方式簡單地呈現此等層。實務上，各種層可在同一器件內或遍及多個器件而分佈。或者，在一些實施例中，一些層可能根本不存在。
首先，將描述攝影機層120。攝影機層120包含具有一或多個影像感測器之個人電子器件122，該一或多個影像感測器能夠攝取(例如)呈個別影像圖框128之影像串流或視訊串流形式的影像資料串流126。在一些實施例中，可藉由器件122之影像感測器以30 fps之速率攝取影像。如影像串流126中之影像圖框128中所展示，隨著器件122於整個全景場景上水平移動，樹物件130已由器件122攝取。圖1中之實線箭頭表示影像資料之移動。
接下來，概括地描述全景處理層160。如上文所提及，系統100可具有自攝影機層120接收影像串流128作為輸入之全景處理模組162。全景處理模組162可較佳駐留於在器件122之作業系統中執行的應用程式之層級處。全景處理模組162可執行諸如以下各者之任務：影像對位、幾何校正、對準及「拼接」或融合。最後，全景處理模組162可視情況在將最終全景影像發送至儲存層180以供永久或臨時儲存於儲存單元182中之前裁剪最終全景影像。儲存單元182可包含(例如)一或多種不同類型之記憶體，例如，快取記憶體、ROM及/或RAM。
如上文所提及，執行全景攝影程序之器件可具有特定位置感測器。位置感測器可包含(例如)允許計算攝影機器件在圖框間之旋轉改變的MEMS迴轉儀，或諸如超緊密低功率三軸線性加速度計的MEMS加速度計。加速度計可包括感測元件及積體電路(IC)介面，該積體電路(IC)介面能夠經由串列介面提供器件之所量測加速度。與執行全景攝影程序之器件通信的運動過濾器模組可自器件之位置感測器接收輸入。自位置感測器接收之此資訊可接著由運動過濾器模組使用，以判定將需要影像串流126中之哪些影像圖框128來高效地建構所得全景場景。在一些實施例中，運動過濾器可僅保持由器件122之影像感測器所攝取的每約三個影像圖框128中的一者，因此將該程序之記憶體使用量減小了三分之二。藉由以智慧且高效之方式消除冗餘影像資料(例如，藉由自器件122之位置感測器所接收之位置資訊驅動)，運動過濾器模組可能能夠濾除足夠量之無關影像資料，使得全景處理層160接收具有理想重疊之影像圖框，且能夠即時地對影像資料之高解析度及/或低解析度版本執行全景處理，從而在全景影像即時地被組合的同時，視情況將全景影像顯示至器件122之顯示螢幕。
現參看圖2，以流程圖形式展示根據一實施例的用於在位置感測器之輔助下建立全景影像的高階說明性程序200。首先，包含一或多個影像感測器及一或多個位置感測器之電子器件(例如，手持型個人電子器件)使用其影像感測器中之一或多者攝取影像資料，其中該所攝取之影像資料可採用影像圖框之影像串流形式(步驟202)。接下來，對所獲取之影像資料執行運動過濾(步驟204)，例如，使用攝影機之位置感測器以輔助運動過濾決策。一旦已建立經運動過濾之影像串流，程序200便可試圖在來自影像串流的連續攝取之影像圖框之間執行影像對位(步驟206)。如在以引用之方式併入上文中的具有代理人案號P10714US1(119-0226US)之美國專利申請案中進一步詳細解釋，影像對位程序206可流線化且經由使用自器件內之位置感測器所接收的資訊而使其更高效。接下來，可對所攝取之影像資料執行任何必要的幾何校正(步驟208)。對所攝取之影像圖框之幾何校正的需要可由(例如)在連續攝取之影像圖框之間的攝影機移動或旋轉而引起，攝影機移動或旋轉可改變攝影機之透視且在攝影機不圍繞其COP點旋轉之情況中導致視差錯誤。接下來，全景影像程序200可執行所獲取影像資料之「拼接」及/或融合(步驟210)。若剩餘較多影像資料待被附加至所得全景影像(步驟212)，則程序200可返回至步驟202且執行整個程序200以獲取待處理且附加至全景影像之下一影像圖框。替代地，若在步驟212處未剩餘其他影像資料，則可視情況裁剪最終影像(步驟214)及/或將其儲存於某一形式之揮發性或非揮發性記憶體中(步驟216)。亦應注意，步驟202(影像獲取步驟)可實際上在全景影像攝取程序期間連續地發生，亦即，與步驟204至210之執行同時發生。因此，圖2僅意欲達成說明目的，且並不暗示攝取影像資料之動作為在步驟204至210之執行期間停止的離散事件。影像獲取繼續，直至攝影機器件之使用者指示需要停止全景影像攝取程序或當攝影機器件用完分配給該程序之空閒記憶體的步驟212為止。
既然已系統性且程序性地描述了高階全景成像程序200，便更詳細地關注在影像攝取器件自身中之位置感測器的輔助下高效且有效地建立全景相片的程序以及對所攝取影像之全解析度部分及較低解析度部分兩者操作之分離圖形處理管線兩者。
現轉至圖3，展示根據一實施例的如由電子器件308攝取之例示性全景場景300。如圖3中所展示，全景場景300包含一系列建築工程，該等建築工程包含城市之地平線。城市地平線為常常需要在全景相片中攝取之廣視域場景的一實例。理想地，全景相片可大致以人眼抓取場景(亦即，以接近180度之視域)之方式描繪場景。如圖3中所展示，全景場景300包含160度之視域。
以「x」標記之軸線306表示在全景場景300之攝取期間攝影機器件308之定向移動之軸線。如圖3中所展示，攝影機器件308在給定時間間隔t₁至t₅內相對於x軸向右平移，從而在攝影機器件308沿其全景路徑移動的同時攝取全景場景300的連續影像。在其他實施例中，全景掃視可涉及攝影機器件繞軸線之旋轉，或繞軸線之攝影機旋轉與沿軸線之攝影機平移的結合。如由虛線型式之攝影機器件308所展示，在圖3中所說明之假設全景場景攝取期間，攝影機器件308在時間t₁將處於位置308₁，且接著在時間t₂將處於位置308₂等等，直至在時間t₅到達位置308₅，此時，將完成全景路徑且攝影機器件308之使用者304將指示該器件停止攝取全景場景300之連續影像。
影像圖框310₁至310₅表示在圖3中所說明之假設全景場景攝取期間由攝影機器件308在相應時間及位置攝取的影像圖框。亦即，影像圖框310₁對應於由攝影機器件308在位置308₁及時間t₁攝取的影像圖框。注意到，結合使用者304與正攝取之全景場景300之間的距離，在位置308₁之攝影機器件308之視域(標記為302₁)指示可在單一影像圖框310中攝取之全景場景的量。在傳統全景攝影中，攝影師可在數個不同設定位置處拍攝全景場景之一系列個別照片，從而試圖獲得全景場景之完整涵蓋同時仍允許鄰近相片之間的足夠重疊，使得鄰近相片可(例如)使用在電腦或攝影機器件自身上執行之後處理軟體來對準並「拼接」在一起。在一些實施例中，需要鄰近照片之間的足夠量之重疊，使得後處理軟體可判定如何使鄰近照片彼此對準，從而使得鄰近照片可接著拼接在一起並視情況在其重疊區中進行融合以建立所得全景場景。如圖3中所展示，個別圖框310顯現與鄰近影像圖框之約25%之重疊。在一些實施例中，取決於正使用之攝影機器件及影像對位演算法的記憶體及處理約束，將需要鄰近影像圖框之間的較多重疊。
在攝影機器件308為視訊攝取器件之狀況中，攝影機可能能夠每秒攝取30個或30個以上圖框。如下文將更詳細解釋，在此攝取速率，許多影像資料為冗餘的，且使得鄰近影像之間的重疊遠多於拼接軟體需要用來建立所得全景影像之重疊。因而，藉由位置感測器輔助之全景攝影技術，器件可能能夠智慧且高效地判定哪些所攝取之影像圖框可用於建立所得全景影像且哪些所攝取之影像圖框可作為過度冗餘而被捨棄。
現參看圖4，以流程圖形式展示根據一實施例之用於執行全景攝影的位置感測器輔助之運動過濾的說明性程序204。圖4提供上文參看圖2描述之運動過濾步驟204的更多細節。首先，自電子器件(例如，手持型個人電子器件)的影像感測器獲取影像圖框，且出於運動過濾之目的將該影像圖框指定為「當前影像圖框」(步驟400)。接下來，(例如)使用該器件之陀螺計或加速度計來獲取位置資料(步驟402)。此時，若尚未使自加速度計及/或陀螺計獲取之位置資料與所獲取之影像圖框即時(亦即，時間同步)相關，則程序204可能需要進行此相關。因為攝影機器件之影像感測器及位置感測器可具有不同取樣速率及/或具有不同資料處理速率，所以可能重要的是，精確地知曉位置感測器資料之給定集合與哪一(些)影像圖框有關。在一實施例中，程序204可使用第一系統中斷作為參考點以使影像資料與位置資料同步，且接著依賴於運作之各種位置感測器之取樣速率的知識來使影像資料與位置資料保持恰當時間同步。在另一實施例中，週期性系統中斷可用以更新或維持同步資訊。
接下來，運動過濾程序204可使用位置感測器資料(以及來自影像對位程序206之回饋)來判定當前影像圖框與先前分析之影像圖框之間的旋轉角(步驟406)。舉例而言，運動過濾程序204可藉由以下操作來計算旋轉角：對先前攝取之影像圖框之間隔的旋轉角進行積分；及計算當前影像圖框之平均旋轉角。在一些實施例中，可查閱「查找表」(LUT)。在此實施例中，LUT可具有各種旋轉量之項目，該等旋轉量在該等項目中與可自所得全景影像之組合濾除之數個影像有關。若當前影像圖框之旋轉角已超出旋轉臨限值(步驟408)，則程序204可進行至圖2中所說明之程序流程圖的步驟206以執行影像對位(步驟410)。若在步驟408替代地判定對於當前影像圖框而言尚未超出旋轉臨限量，則可捨棄當前影像圖框(亦即，自所得全景影像之組合濾除)(步驟412)，且程序204可返回至步驟400以獲取下一所攝取之影像圖框，此時，程序204可重複運動過濾分析以判定對於所得全景相片是否值得保留下一圖框。換言之，藉由運動過濾，所捨棄之影像圖框並非恰好為每第三個圖框或每第五個圖框；實情為，藉由運動過濾模組計算哪些影像圖框將很可能提供所得經組合全景影像之全涵蓋來判定待捨棄之影像圖框。
現轉至圖5A，展示根據一實施例之如由電子器件308攝取的例示性全景場景300，該電子器件以恆定速率在整個場景上水平移動。圖5A說明可在整個全景場景上之恆定速率全景掃視期間由運動過濾器模組作出的例示性決策。如圖5A中所展示，全景掃視在器件位置308_START處開始且在位置308_STOP處結束。表示器件308之全景掃視之路徑的平行於軸線306之虛線以「(dx/dt>0，d²x/dt²=0)」標記，以指示，在該器件正以某一速率移動時，該器件之速率在全景掃描期間並不改變。
在圖5A之例示性實施例中，器件308正以一圖框速率(例如，30個圖框/秒)攝取視訊影像串流500。因而，且舉例而言，如圖5A中所展示，持續2.5秒之掃視將攝取75個影像圖框502。影像圖框502以範圍為502₁至502₇₅之下標來標記，以指示在全景場景300之全景掃視期間攝取影像圖框的次序。如自該批所攝取之影像圖框502可瞭解，後處理軟體將需要影像圖框之僅相異子集以組合所得全景相片。藉由智慧地消除冗餘資料，全景攝影程序200可在器件308上較平穩地執行，從而甚至允許器件308在攝取全景場景的同時即時地提供預覽並組合所得全景相片。
可選擇所攝取之影像圖框以包括於所得全景相片之組合中的頻率可取決於許多因素，包括：器件308之視域302；攝影機器件308與正攝取之全景場景300之間的距離；以及攝影機器件308水平移動之速率及/或加速度。在圖5A之例示性實施例中，運動過濾模組已判定，需要影像圖框502₂、502₂₀、502₃₈、502₅₆及502₇₄以包括於所得全景相片之建構中。換言之，在圖5A之實例中，約每第18個所攝取之影像圖框將包括於所得全景相片之建構中。如下文參看圖5B將瞭解，由運動過濾器模組選擇以包括之影像圖框之間攝取的影像圖框之數目可大於或小於18，且可基於(例如)掃視期間之攝影機器件308之速率、掃視期間之加速度或減速度及全景掃視期間之攝影機器件308之旋轉而在整個全景掃視期間實際上改變。
如圖5A中所展示，在鄰近選定影像圖框之間存在約25%之重疊。在一些實施例中，取決於正使用之攝影機器件及影像對位演算法的記憶體及處理約束，將需要選定鄰近影像圖框之間的較多重疊。如下文參看圖6將更詳細描述，在每秒足夠多圖框之攝取速率，可藉由分析每一所攝取之影像圖框之僅「狹縫」或「圖塊」而非整個所攝取之影像圖框而在全景相片程序200中達成更高效率。
現轉至圖5B，展示根據一實施例之如由電子器件308攝取的例示性全景場景300，該電子器件以非恆定速率在整個場景上水平移動。圖5B說明可在整個全景場景上之非恆定速率全景掃視期間由運動過濾器模組作出的例示性決策。如圖5B中所展示，全景掃視在器件位置308_START處開始且在位置308_STOP處結束。表示器件308之全景掃視之路徑的平行於軸線306之虛線以「(dx/dt>0，d²x/dt²≠0)」標記，以指示，該器件正以某一非零速率移動，且該器件之速率沿全景路徑而改變。
在圖5B之例示性實施例中，器件308正以一圖框速率(例如，30個圖框/秒)攝取視訊影像串流504。因而，且舉例而言，如圖5B中所展示，持續2.1秒之掃視將攝取63個影像圖框506。影像圖框506以範圍為506₁至506₆₃之下標來標記，以指示在全景場景300之全景掃視期間攝取影像圖框的次序。
在圖5B之例示性實施例中，運動過濾模組已判定，需要506₂、506₈、506₂₆、506₄₄及506₆₂以包括於所得全景相片之建構中。換言之，由運動過濾器模組選擇之影像圖框之間攝取的影像圖框之數目可基於(例如)掃視期間之攝影機器件308之速率、掃視期間之加速度或減速度及全景掃視期間之攝影機器件308之旋轉而在整個全景掃視期間改變。
如圖5B中所展示，器件308之移動在全景掃視之前四分之一期間較快(比較在全景掃視開始時之虛線中的較大虛線與全景掃視結束時之虛線中的較小虛線)。因而，運動過濾器模組已判定，在選擇影像圖框506₂之後，至攝影機器件308已攝取恰好六個後續影像圖框之時，攝影機在整個全景場景300上已存在足夠移動(歸因於攝影機器件之旋轉、平移或每一者之結合)，因此必須選擇影像圖框506₈以包括於所得全景相片中。在攝取影像圖框506₈之後，全景掃視期間之攝影機器件308之移動已減慢至較類似於上文參看圖5A所描述之全景掃視之步調的等級。因而，運動過濾器模組可再次判定，攝取每第18個圖框將提供全景場景之足夠涵蓋。因此，影像圖框506₂₆、506₄₄及506₆₂經選擇以包括於所得全景相片之建構中。藉由即時地對攝影機器件308之運動作出反應，全景攝影程序200可智慧且高效地選擇影像資料以發送至全景攝影程序200的計算上較昂貴之對位與拼接部分。換言之，發生運動過濾之動作之速率可直接與在影像攝取期間正使器件加速及/或旋轉的速率相關。
如上文所提及，現代影像感測器能夠以相當高之攝取速率(例如，30個圖框/秒)攝取相當大之影像(例如，八百萬像素之影像)。給定平均全景相片之水平移動速率，此等影像感測器能夠在極短時間量內產生極大量之資料，但未必進行處理。許多所產生之此影像資料具有連續攝取之影像圖框之間的大量重疊。因此，本發明者已認識到，對每一選定影像圖框之僅一部分(例如，影像圖框之「狹縫」或「圖塊」)進行操作可達成較大效率。在一較佳實施例中，狹縫可包含每一影像圖框之中心12.5%。
現轉至圖6，展示根據一實施例之影像「狹縫」或「圖塊」604。在圖6中，已經由標記為602₁至602₄之選定影像圖框之序列攝取到全景場景600。如上文關於運動過濾所論述，標記為602₁至602₄之選定影像圖框可表示達成全景場景600之部分的全涵蓋所需要之影像圖框。跡線606指示全景場景600之對應於第一所攝取之影像圖框602₁的部分。每一所攝取之影像圖框602之中心部分604表示將用於建構所得全景相片之選定影像狹縫或圖塊。如圖6中所展示，影像狹縫包含影像圖框之約中心12.5%。影像圖框602之影線區域可同樣地作為其他所攝取之影像資料之過度冗餘而被捨棄。根據本文中所描述之一實施例，標記為604₁至604₄之選定影像狹縫中的每一者可隨後對準，拼接在一起，且在其重疊區中融合，從而產生所得全景影像部分608。部分608表示全景場景之在四個影像狹縫604₁至604₄中所攝取的區。另外，本發明者已令人驚訝地發現，對經選擇以由運動過濾器進行額外處理的影像圖框中之每一者之僅一部分(例如，每一選定影像圖框之中心部分)操作可減少或完全消除一些光學假影，諸如，桶形或枕形失真、透鏡陰影、漸暈等(其愈接近於所攝取影像之邊緣則愈顯著)。另外，對每一選定影像圖框之僅數個部分操作針對全景攝影程序200產生較小瞬時記憶體使用量，此可在組合全解析度全景影像時變得重要，如下文將進一步論述。
如在位置感測器輔助之全景攝影之一實施例中所應用，現將描述高階影像對位程序206。在具有代理人案號P10714US1(119-0226US)之美國專利申請案中進一步詳細解釋關於影像對位程序的其他細節，該案以引用之方式併入上文中。
因此，概括而言，對位程序206可獲取待對位之兩個影像(或影像狹縫)，且接著將每一影像分為複數個片段。除了影像資訊以外，程序206亦可獲取對應於待對位之影像圖框的位置資訊。經由使用涉及(例如)特徵偵測演算法或交叉相關演算法之影像對位演算法，可針對影像之每一片段計算搜尋向量。可將片段搜尋向量定義為表示將需要應用於來自第一影像之片段以給出其在第二影像中之位置之變換的向量。一旦已計算了搜尋向量，程序206便可考慮自器件之位置感測器獲取的位置資訊，且丟棄經計算之搜尋向量與所獲取之位置資料不一致的片段之任何搜尋向量。亦即，程序206可捨棄與由位置資訊指示之移動方向相反或實質上相反的任何搜尋向量。舉例而言，若位置資訊指示攝影機在連續影像圖框之間已向右旋轉且影像中之物件向右移動(亦即，與給定攝影機移動時將預期之方向相反)，或甚至攝影機在一個所攝取影像與下一所攝取影像間保持靜止，則程序206可判定特定片段表示離群值或其他無用搜尋向量。可接著自總影像對位計算丟棄與給定位置感測器資訊時所預期之運動相反的片段搜尋向量。
現轉至圖7，說明根據一實施例之位置資訊輔助之特徵偵測。在圖7中，將第一圖框700說明及標記為「圖框1」，且將第二圖框750說明及標記為「圖框2」。圖框1表示在攝影機向右水平移動期間緊接或幾乎緊接在圖框2之前幾乎攝取之影像。因而，該影像中之靜止物件的預期移動相對於該影像之觀察者將向左。因此，與攝影機運動方向相反的局部主體運動將向右(或在物件正以與攝影機相同之相對速度移動的情況中甚至顯露為靜止的)。當然，局部主體運動可在任何數目個方向上、處於任何速度且遍及該影像而定位。作出之重要觀測為，局部主體運動並不根據連續攝取之影像之間的大部分運動，且因此將阻礙影像對位計算而非輔助影像對位計算。
現更詳細地檢查位於圖框1及圖框2中的五個例示性特徵(編號為1至5)的搜尋向量。特徵1及2對應於全景場景中之建築物中之一者的邊緣或角落。如在圖框2中所展示，此等兩個特徵在圖框之間已在向左方向上移動。在給定向右之攝影機運動方向的情況中，此為所預期移動。特徵3同樣表示靜止特徵(例如，樹)，在給定攝影機運動之方向的情況中，特徵3在圖框之間已在所預期方向上移動。特徵4及5對應於接近鳥之翼尖的邊緣。在攝取全景場景的同時，鳥可能正在攝影機運動之方向上飛翔，因此，針對特徵4及5而計算之搜尋向量指向右，且與特徵1、2及3的方向相反。此類型之局部主體運動可使影像對位判定惡化，此係因為局部主體運動實際上並不表明自圖框1至圖框2之總平移向量。因而，且使用自攝取全景場景之器件中之位置感測器接收的提示，可自影像對位判定捨棄此等特徵(或更準確言之，圍繞此等特徵的影像資料之區)。
現將轉向用於全景攝影之影像拼接程序的大體概述的論述。影像拼接程序在具有代理人案號P10715US1(119-0227US)之美國專利申請案中進一步予以詳細解釋，該案以引用之方式併入上文中。首先，拼接程序210獲取待拼接在一起之兩個或兩個以上影像圖框，且將該等影像圖框置放於(例如)組合緩衝器中以便對該等圖框操作。此時，在全景攝影程序200中，視需要且如上文根據各種實施例所描述，可能已對該兩個影像進行運動過濾、對位、幾何校正等。
在一些全景攝影後期處理軟體系統中，拼接程序210之部分包含在兩個連續攝取之影像圖框之間的重疊區中進行融合，以試圖隱藏該等圖框之間的小差異。程序210可根據任何數目個合適的融合公式來在影像之間的重疊區中融合影像資料。舉例而言，可根據α融合方案或簡單線性或多項式融合函數基於正經融合之像素距相關原始影像之中心的距離來在整個重疊區上融合影像資料。最後，可將所得經拼接影像(包含先前影像、當前影像及經融合之重疊區)儲存至攝影機器件自身上或其他處之記憶體。
現參看圖8，展示根據先前技術之例示性經拼接全景影像800。圖9中所展示之全景影像800包含來自三個相異影像之影像資料：影像A、影像B及影像C。每一影像之輪廓以粗黑線展示，且每一影像之範圍由具有相應影像標記的波形括號表示。另外，影像中之重疊區亦由具有相應標記(「A/B重疊」及「B/C重疊」)之波形括號展示。在全景影像800中自左向右移動，存在包含僅來自影像A之影像資料的區(以「A」標記)，接著為包含來自影像A及B兩者之融合影像資料的重疊區(以「A/B」標記)，接著為包含僅來自影像B之影像資料的區(以「B」標記)，接著為包含來自影像B及C兩者之融合影像資料的重疊區(以「B/C」標記)，且最後為包含僅來自影像C之影像資料的區(以「C」標記)。
現參看圖9，展示根據一實施例之包含影像狹縫的例示性經拼接全景影像900。圖9中所展示之全景影像900包含來自九個相異影像之影像資料：狹縫A至狹縫I。注意到，在影像800及900中攝取相同量之全景場景，但包含影像狹縫之全景影像900含有來自較大數目個大小較小之構成影像部分的資訊。如上文所提及，自瞬時記憶體使用量觀點及處理觀點兩者來看，使用影像狹縫可提供改良。
現參看圖10，以流程圖形式展示根據一實施例之全景攝影處理技術。首先，程序1000以自影像感測器之影像串流獲取下一影像開始(步驟1002)。該程序可接著將該影像圖框之按比例調整之預覽版本即時地顯示於器件之顯示器上，使得使用者知曉攝影機器件之當前視域範圍(步驟1004)。此時，程序1000可將影像資料饋入運動過濾模組且執行上文參看圖4所描述之運動過濾程序204(步驟1006)。對於每一所攝取之影像圖框而言，可作出關於保留抑或捨棄該影像圖框的決策(步驟1008)。若在步驟1008處捨棄影像(例如，歸因於冗餘)，則程序1000可返回至步驟1002且自影像串流獲取下一影像圖框，因此該下一影像圖框可同樣經預覽且由運動過濾器模組進行分析。若在步驟1008處替代地判定該影像圖框為所得全景影像所要的以便充分涵蓋全景場景，則程序1000可進行以產生影像部分(步驟1010)。在一實施例中，該影像部分包含全解析度影像「狹縫」或「圖塊」。在一些實施例中，該影像部分可包含影像圖框之中心象限。
此時，在程序1000中，影像資料可沿著兩個單獨路徑行進。沿著一條路徑，程序1000進行至步驟1012，其中可產生影像部分之較低解析度版本。當前影像部分之此較低解析度版本可接著與任何先前組合之較低解析度影像部分拼接在一起，以便形成較低解析度全景影像預覽(步驟1014)。在每一傳入之較低解析度影像部分與增長之全景影像拼接在一起的同時，可將所得全景預覽影像發送至器件之顯示器以向使用者提供當前正被攝取之全景影像的即時或幾乎即時之進展指示(步驟1016)。在一些實施例中，增長之全景影像預覽可疊覆於具有上文在步驟1004中參考之按比例調整之預覽版本的器件顯示器上。
返回步驟1010，全解析度影像部分資料可行進所沿之第二路徑進行至步驟1018。在一些實施例中，影像資料可實質上同時沿著兩條路徑(亦即，自步驟1010至步驟1012及1018)行進。在步驟1018處，程序1000可將全解析度影像部分資料影像與任何先前組合之全解析度影像部分拼接在一起，以便建立全解析度全景影像。在每一傳入之全解析度影像部分與增長之全景影像拼接在一起的同時，可將所得全景影像儲存至器件之記憶體(揮發性或非揮發性)，使得當使用者已完成全景掃視時，所得全解析度全景影像已組合、儲存並準備好供使用者檢視或進行其他操縱(步驟1020)。藉由將全影像圖框之按比例調整之單獨版本即時地發送至器件之顯示器，且同時使用運動過濾且對影像部分執行拼接，本文中所描述之全景攝影程序200可向使用者提供包括關於正攝取之全景場景之即時進展回饋的無縫使用者體驗，且同時實質上即時地執行影像拼接，即時影像拼接為先前被認為需要過多密集處理而使用手持型個人電子器件難以達成的技能。
現參看圖11A，展示根據一實施例之即時全景預覽影像1102。如圖11A中所展示，在已自時間t₁持續至t₅的沿x軸306之全景掃視中涉及器件308。在時間t₅，器件308之視域由箭頭1108表示。因而，將全景場景300在器件308之視域1108內的部分作為全螢幕預覽影像1100而顯示於器件308之顯示器上。除全螢幕預覽影像1100以外，全景預覽影像1102亦疊覆於器件308之顯示器上。全景預覽影像1102表示已由器件在時間t₁與t₅之間攝取的整個組合之全景影像。如上文參看圖10所提及，在一些實施例中，全景預覽影像1102可包含來自由器件308之影像感測器攝取之影像圖框的複數個經拼接之較低解析度影像部分。同時，在向使用者顯示較低解析度全景預覽影像的同時，影像部分之全解析度版本可藉由器件中之處理器「在場景後」組合且拼接在一起。全景預覽視窗1104表示全景預覽影像1102之對應於當前正顯示之預覽影像1100的部分。箭頭1106指定(僅出於說明目的)全景掃視之方向，且因此指定全景預覽影像增長之方向。若使用者在全景掃視期間使攝影機器件之移動方向反向或以其他方式涵蓋已攝取場景之部分，則運動過濾模組將判定此資料冗餘且跳過處理步驟206至210。
現參看圖11B，展示根據一實施例之用於全景攝影的例示性分離圖形處理管線1150。攝影機層120(參看圖1首先介紹)在管線1150之頂部處。如藉由攝影機器件308之影像感測器攝取的例示性全解析度影像之表示在攝影機層內。在圖11B之實例中，全解析度影像具有1,024像素寬×768像素高的例示性大小。實務上，影像感測器可攝取更大之影像(例如，八百萬像素之影像)，其可具有諸如3,456像素寬×2,304像素高之尺寸。在圖11B中，沿著分離圖形處理管線將例示性全解析度影像發送至樣本緩衝器處理器(SBP)1152，其中處理管線上之一條路徑產生按比例調整之影像以供在器件顯示器上預覽，且另一條路徑將影像資料發送至運動過濾模組142。可展示用於預覽之按比例調整之影像具有512像素寬×384像素高之尺寸，但原始影像感測器資料可根據適用於器件之顯示器大小及顯示器解析度的任何因數而按比例調整。按比例調整之預覽影像可由SBP 1152直接發送至器件308以作為預覽影像1100即時地顯示。
可根據上文參看圖4所描述之運動過濾常式來處理發送至運動過濾模組142之影像資料之部分。當運動過濾器模組判定需要將給定影像圖框包括於所得全景影像中時，分離圖形處理管線可產生全解析度影像「狹縫」或「圖塊」。如圖11B中所展示，全解析度狹縫具有256像素寬×768像素高之尺寸。換言之，該全解析度之高度與影像感測器所攝取之全解析度影像之高度相同，但寬度僅為後者寬度的四分之一。在其他實施例中，狹縫可更窄，例如，寬度為所攝取之全解析度影像之寬度的八分之一。一旦已由SBP 1152建立全解析度狹縫，便可將包含該全解析度狹縫之影像資料之部分發送至全景處理層160。
在全景處理層160處，可實質上同時執行進行兩個單獨之拼接程序。在一拼接程序中，可將全解析度狹縫與先前接收並拼接之全解析度狹縫拼接在一起。可接著將所得全解析度全景影像儲存於儲存層180之儲存器182中。在另一拼接程序中，可產生狹縫之較低解析度版本。如圖11B中所展示，狹縫之較低解析度版本具有26像素寬×77像素高之尺寸。換言之，較低解析度狹縫之寬度為全解析度狹縫的十分之一且其高度為全解析度狹縫的十分之一。因而，較低解析度狹縫可與先前接收並拼接之較低解析度狹縫拼接在一起，且以全景預覽影像1102之形式即時地顯示至器件。歸因於用於全景預覽影像之較低解析度影像狹縫之相對小的大小，此處理可在實質上比全解析度拼接程序低之處理能力進行。藉由對影像狹縫進行操作，程序200可能能夠處置特用全景掃視(亦即，無預定義之開始及停止時間的全景掃視)，同時仍提供展示整個全景掃視之全景預覽影像且在場景後進行全解析度全景影像建立。
現參看圖12，展示根據一實施例之用於全景攝影的說明性分離圖形處理管線系統1200。如在上文參看圖1所描述之全景攝影系統中，攝影機器件122具有能夠攝取(例如)呈個別影像圖框128之影像串流或視訊串流形式的影像資料串流126的一或多個影像感測器。如圖12中所展示，器件122亦包含位置感測器124。位置感測器124可包含(例如)允許計算攝影機器件在圖框間之旋轉改變的MEMS迴轉儀，或能夠經由串列介面提供器件之所量測加速度的MEMS加速度計。如影像串流126中之影像圖框128中所展示，在器件122於整個全景場景上水平移動的同時，樹物件130已由器件122攝取。圖12中之實線箭頭表示影像資料之移動，而虛線箭頭表示描述實際影像資料之後設資料或其他資訊的移動。
接下來，將描述樣本緩衝器處理(SBP)層1152。SBP層1152可包含自器件122之位置感測器124接收輸入146的運動過濾器模組142。自位置感測器124接收之此資訊由運動過濾器模組142使用，以作出影像串流126中之哪些影像圖框128將用以建構所得全景場景的判定。如藉由檢查例示性經運動過濾之影像串流144可瞭解，運動過濾器僅保留器件122之影像感測器所攝取的每約三個影像圖框128中之一者。藉由以智慧且高效之方式(例如，藉由自器件122之位置感測器124接收之位置資訊驅動)來消除冗餘影像資料，運動過濾器模組142可能能夠濾除足夠量之冗餘影像資料，使得全景處理層160接收具有理想或幾乎理想重疊之影像圖框，且因此能夠即時地對影像資料之高解析度及/或低解析度版本執行全景處理，從而在即時地組合全景影像1102之同時視情況將全景影像1102之預覽顯示至與器件122通信之顯示螢幕1204。
如上文所提及，全景處理層160具有自SBP層1152接收經運動過濾之影像串流144作為輸入的全景處理模組162。全景處理模組162可較佳駐留於在器件122之作業系統中執行的應用程式之層級處。如上文參看圖10、圖11A及圖11B所描述，全景處理模組162可執行多個任務，諸如：以實質上同時之方式對全解析度影像部分及較低解析度影像部分兩者進行影像對位、幾何校正、對準、拼接及融合。
如上文所論述，可以全景影像預覽疊覆1102之形式直接將較低解析度全景影像預覽發送至顯示器層1202，全景影像預覽疊覆1102可即時或幾乎即時地顯示於顯示器1204上。全解析度全景影像可同樣藉由全景處理模組162組合。最後，當使用者已指示其已完成攝取全景影像，全景處理模組162可視情況在將最終全景影像發送至儲存器層180以供永久或臨時儲存於儲存單元182中之前裁剪最終全景影像。因為使用本文中所描述之技術提高了效率，所以在組合全景影像的同時，可即時地儲存全景影像及/或將全景影像顯示於器件上。此類型之記憶體靈活性亦可允許使用者在運作中定義全景掃視之開始點及停止點，從而甚至實現大於360度之全景旋轉。
全景處理模組162亦可將回饋影像對位資訊164提供至運動過濾器模組142，以允許運動過濾器模組142作出關於使器件位置移動與影像串流中之連續影像圖框之間的重疊量相關的更準確決策。此資訊回饋可允許運動過濾器模組142更高效地選擇用於置放至經運動過濾之影像串流144中的影像圖框。此回饋程序亦在具有代理人案號P10714US1(119-0226US)之美國專利申請案中進一步詳細地解釋，該案以引用之方式併入上文中。
現參看圖13，展示根據說明性實施例的具有顯示器之代表性電子器件1300(例如，攝影機器件308)的簡化功能方塊圖。電子器件1300可包括處理器1316、顯示器1320、近接感測器/周圍光感測器1326、麥克風1306、音訊/視訊編碼解碼器1302、揚聲器1304、通信電路1310、位置感測器1324、影像感測器與相關聯攝影機硬體1308、使用者介面1318、記憶體1312、儲存器件1314及通信匯流排1322。處理器1316可為任何合適的可程式化控制器件，且可控制許多功能之操作，諸如，影像後設資料之產生及/或處理以及由電子器件1300執行的其他功能。處理器1316可驅動顯示器1320，且可自使用者介面1318接收使用者輸入。嵌入式處理器(諸如，具有ARM^® v7-A架構之Cortex^® A8)提供可用於進行所揭示技術之通用且強健之可程式化控制器件。(CORTEX^®及ARM^®為英國ARM Limited Company之註冊商標。)
儲存器件1314可儲存媒體(例如，影像及視訊檔案)、軟體(例如，用於在器件1300上實施各種功能)、偏好資訊、器件設定檔資訊及任何其他合適資料。儲存器件1314可包括用於有形地記錄影像資料及程式指令之一或多個儲存媒體，包括(例如)硬碟機、諸如ROM之永久記憶體、諸如RAM之半永久記憶體，或快取記憶體。程式指令可包含以任何所要語言(例如，C或C++)編碼之軟體實作。
記憶體1312可包括可用於執行器件功能之一或多個不同類型之記憶體。舉例而言，記憶體1312可包括快取記憶體、ROM及/或RAM。通信匯流排1322可提供資料傳送路徑，以用於將資料傳送至至少儲存器件1314、記憶體1312及處理器1316、自其傳送資料及在其間傳送資料。使用者介面1318可允許使用者與電子器件1300互動。舉例而言，使用者輸入器件1318可採用各種形式，諸如，按鈕、小鍵盤、撥號盤、旋轉輕觸式操控輪或觸控式螢幕。
在一實施例中，個人電子器件1300可為能夠處理並顯示諸如影像及視訊檔案之媒體的電子器件。舉例而言，個人電子器件1300可為諸如以下各者之器件：行動電話、個人資料助理(PDA)、攜帶型音樂播放器、監視器、電話、膝上型電腦、桌上型電腦及平板型電腦，或其他合適個人器件。
較佳及其他實施例之前述描述並非意欲限制或限定由本申請者設想之本發明概念之範疇或適用性。作為一項實例，儘管本發明著重於手持式個人電子器件，但應瞭解，本發明之教示可應用於其他實施方案，諸如傳統數位相機。為了揭示本文所包含的本發明概念，本申請者需要所有專利權由附加申請專利範圍給予。因此，希望附加申請專利範圍包括最大程度地落入隨附申請專利範圍或其等效物之範疇內的所有修改及變更。
100‧‧‧全景攝影系統
120‧‧‧攝影機層
122‧‧‧個人電子器件/攝影機器件
126‧‧‧影像資料之串流/影像串流
128‧‧‧影像圖框
130‧‧‧樹物件
142‧‧‧運動過濾模組/運動過濾器模組
144‧‧‧經運動過濾之影像串流
146‧‧‧輸入
160‧‧‧全景處理層
162‧‧‧全景處理模組
164‧‧‧回饋影像對位資訊
180‧‧‧儲存層
182‧‧‧儲存單元/儲存器
200‧‧‧全景攝影程序/全景影像程序/全景成像程序
204‧‧‧運動過濾程序
206‧‧‧影像對位程序
210‧‧‧拼接程序
300‧‧‧全景場景
302‧‧‧視域
302₁‧‧‧攝影機之視域
304‧‧‧攝影機器件之使用者
306‧‧‧x軸
308‧‧‧電子器件/攝影機器件
308₁‧‧‧位置
308₂‧‧‧位置
308₃‧‧‧位置
308₄‧‧‧位置
308₅‧‧‧位置
308_START‧‧‧器件位置
308_STOP‧‧‧位置
310‧‧‧影像圖框
310₁‧‧‧影像圖框
310₂‧‧‧影像圖框
310₃‧‧‧影像圖框
310₄‧‧‧影像圖框
310₅‧‧‧影像圖框
500‧‧‧視訊影像串流
502‧‧‧影像圖框
502₁‧‧‧影像圖框
502₂‧‧‧影像圖框
502₂₀‧‧‧影像圖框
502₃₈‧‧‧影像圖框
502₅₆‧‧‧影像圖框
502₇₄‧‧‧影像圖框
502₇₅‧‧‧影像圖框
504‧‧‧視訊影像串流
506‧‧‧影像圖框
506₁‧‧‧影像圖框
506₂‧‧‧影像圖框
506₈‧‧‧影像圖框
506₂₆‧‧‧影像圖框
506₄₄‧‧‧影像圖框
506₆₂‧‧‧影像圖框
506₆₃‧‧‧影像圖框
600‧‧‧全景場景
602‧‧‧影像圖框
602₁‧‧‧選定影像圖框/第一所攝取之影像圖框
602₂‧‧‧選定影像圖框
602₃‧‧‧選定影像圖框
602₄‧‧‧選定影像圖框
604‧‧‧影像「狹縫」或「圖塊」/所攝取之影像圖框之中心部分
604₁‧‧‧影像狹縫
604₂‧‧‧影像狹縫
604₃‧‧‧影像狹縫
604₄‧‧‧影像狹縫
606‧‧‧跡線
608‧‧‧所得全景影像部分
700‧‧‧第一圖框
750‧‧‧第二圖框
800‧‧‧經拼接全景影像
900‧‧‧經拼接全景影像
1000‧‧‧全景攝影處理程序
1102‧‧‧即時全景預覽影像/全景影像預覽疊覆
1104‧‧‧全景預覽視窗
1106‧‧‧箭頭
1108‧‧‧箭頭/視域
1110‧‧‧全螢幕預覽影像/當前被顯示之預覽影像/預覽影像
1150‧‧‧分離圖形處理管線
1152‧‧‧樣本緩衝器處理器(SBP)/樣本緩衝器處理(SBP)層
1200‧‧‧分離圖形處理管線系統
1202‧‧‧顯示層
1204‧‧‧顯示螢幕/顯示器
1300‧‧‧個人電子器件
1302‧‧‧音訊/視訊編碼解碼器
1304‧‧‧揚聲器
1306‧‧‧麥克風
1308‧‧‧具有相關聯攝影機硬體之影像感測器
1310‧‧‧通信電路
1312‧‧‧記憶體
1314‧‧‧儲存器件
1316‧‧‧處理器
1318‧‧‧使用者介面/使用者輸入器件
1320‧‧‧顯示器
1322‧‧‧通信匯流排
1324‧‧‧位置感測器
1326‧‧‧近接感測器/周圍光感測器
A‧‧‧影像/狹縫
B‧‧‧影像/狹縫
C‧‧‧影像/狹縫
D‧‧‧狹縫
E‧‧‧狹縫
F‧‧‧狹縫
G‧‧‧狹縫
H‧‧‧狹縫
I‧‧‧狹縫
t₁‧‧‧時間間隔/時間
t₂‧‧‧時間間隔/時間
t₃‧‧‧時間間隔
t₄‧‧‧時間間隔
t₅‧‧‧時間間隔/時間
圖1說明根據一實施例之用於全景攝影的系統。
圖2說明根據一實施例之用於在位置感測器之輔助下建立全景影像的程序。
圖3說明根據一實施例之如藉由電子器件攝取的例示性全景場景。
圖4說明根據一實施例之用於執行全景攝影的位置感測器輔助之運動過濾的程序。
圖5A說明根據一實施例之如藉由電子器件攝取的一例示性全景場景，該電子器件以恆定速率在整個場景上水平移動。
圖5B說明根據一實施例之如藉由電子器件攝取的一例示性全景場景，該電子器件以非恆定速率在整個場景上水平移動。
圖6說明根據一實施例的影像部分(亦即，影像「狹縫」或「圖塊」)。
圖7說明根據一實施例之利用特徵偵測的影像對位技術。
圖8說明根據先前技術的例示性經拼接影像。
圖9說明根據一實施例之包含影像狹縫的例示性經拼接影像。
圖10說明根據一實施例之呈流程圖形式的全景攝影處理技術。
圖11A說明根據一實施例的即時全景預覽影像。
圖11B說明根據一實施例之用於全景攝影的例示性分離圖形處理管線。
圖12說明根據一實施例之用於全景攝影的分離圖形處理管線系統。
圖13說明具有顯示器之代表性電子器件的簡化功能方塊圖。
120‧‧‧攝影機層
142‧‧‧運動過濾模組/運動過濾器模組
160‧‧‧全景處理層
180‧‧‧儲存層
182‧‧‧儲存單元/儲存器
308‧‧‧電子器件/攝影機器件
1102‧‧‧即時全景預覽影像/全景影像預覽疊覆
1150‧‧‧分離圖形處理管線
1152‧‧‧樣本緩衝器處理器(SBP)/樣本緩衝器處理(SBP)層

权利要求:
Claims (26)
[1] 一種影像處理方法，其包含：獲得一第一影像；在一第一時間將該第一影像之一第一按比例調整之版本顯示於一顯示器之一第一區中；將該第一影像之一中心部分的一全解析度版本儲存於一記憶體中；在該第一時間將該第一影像之該中心部分的一第二按比例調整之版本顯示於該顯示器之一第二區中；獲得一第二影像；在一第二時間用該第二影像之一第一按比例調整之版本替換該顯示器之該第一區中的該第一影像之該第一按比例調整之版本；將該第二影像之一中心部分的一全解析度版本與該第一影像之該中心部分的該全解析度版本拼接在一起以產生一第一所得經拼接影像，該第一影像之該中心部分及該第二影像之該中心部分共用一重疊區；將該第一所得經拼接影像儲存於該記憶體中；將該第一影像之該中心部分的該第二按比例調整之版本與該第二影像之該中心部分的一第二按比例調整之版本拼接在一起以產生一第二所得經拼接影像，該第一影像之該中心部分的該第二按比例調整之版本與該第二影像之該中心部分的該第二按比例調整之版本一起共用該重疊區；及在該第二時間將該第二所得經拼接影像顯示於該顯示器之該第二區中。
[2] 如請求項1之方法，其中該獲得一第一影像之動作包含：藉由一影像感測器攝取一場景之一全解析度影像；及將該全解析度影像儲存於一記憶體中。
[3] 如請求項1之方法，其中該將該第一影像之一第一按比例調整之版本顯示於一顯示器之一第一區中的動作包含：將該第一影像之一第一按比例調整之版本顯示於一影像攝取器件之一預覽顯示器之一第一區中。
[4] 如請求項1之方法，其中該將該第一影像之一中心部分的一全解析度版本儲存於一記憶體中的動作包含：將該第一影像之約12.5%儲存於該記憶體中。
[5] 如請求項1之方法，其中該第一所得經拼接影像及該第二所得經拼接影像係實質上同時產生。
[6] 一種可藉由一可程式化控制器件讀取之程式儲存器件，其包含儲存於其上以用於使該可程式化控制器件執行如請求項1之方法的指令。
[7] 如請求項6之程式儲存器件，其進一步包含儲存於其上以用於使該可程式化控制器件執行如請求項5之方法的指令。
[8] 一種電子器件，其包含：記憶體；一影像感測器；一位置感測器；一顯示器，其以通信方式耦接至該記憶體；及一可程式化控制器件，其以通信方式耦接至該記憶體、該顯示器、該位置感測器及該影像感測器，其中該記憶體包括用於使該可程式化控制器件執行如請求項1之方法的指令。
[9] 如請求項8之器件，其中該記憶體進一步包括用於使該可程式化控制器件執行如請求項5之方法的指令。
[10] 一種影像處理方法，其包含：接收由一影像感測器攝取之影像之一串流，該影像感測器與一器件通信，影像之該串流包含一全景場景；及針對每一所接收之影像執行以下操作：沿一第一圖形管線發送表示該影像之資料之一第一部分以用於在該器件處產生及顯示該影像之一即時預覽；及判定是否對該影像進行過濾，且針對每一特定影像執行以下操作，其中判定將不對該影像進行過濾：沿一第二圖形管線發送表示該影像之資料之一第二部分以用於產生該影像之一全景預覽的一部分，其中該影像之該全景預覽的該所產生部分係拼接至該影像之一現有全景預覽，從而建立該影像之一所得全景預覽，且其中該影像之該所得全景預覽係即時地顯示於該器件處。
[11] 如請求項10之方法，其中對一特定影像進行過濾之該判定係至少部分基於在該器件處所接收之位置資訊。
[12] 如請求項10之方法，其中該影像之該即時預覽及該影像之該全景預覽係同時顯示於一顯示器上。
[13] 如請求項10之方法，其中該影像之該全景預覽係疊覆於該影像之該即時預覽上。
[14] 如請求項10之方法，其中該第二部分包含該影像之約12.5%。
[15] 如請求項14之方法，其中該第二部分進一步包含該影像之約中心12.5%。
[16] 如請求項10之方法，其進一步包含：藉由該第二圖形管線產生該場景之一全景影像之一部分；及將該全景影像之該所產生部分附加至該場景之該全景影像，其中該場景之該全景影像具有比該影像之該全景預覽高的解析度。
[17] 如請求項16之方法，其進一步包含將該場景之該全景影像儲存至記憶體。
[18] 如請求項16之方法，其中該全景影像之該所產生部分具有實質上等於攝影機之全解析度的一解析度。
[19] 如請求項16之方法，其中該場景之該全景影像具有實質上等於該攝影機之該全解析度的一解析度。
[20] 如請求項16之方法，其中該即時預覽包含該影像之一按比例調整之版本。
[21] 如請求項20之方法，其中該即時之該按比例調整之版本具有實質上等於該器件之一顯示器之解析度的一解析度。
[22] 如請求項16之方法，其中該影像之該全景預覽的該所產生部分具有實質上小於該影像之一解析度。
[23] 一種可藉由一可程式化控制器件讀取之程式儲存器件，其包含儲存於其上以用於使該可程式化控制器件執行如請求項10之方法的指令。
[24] 如請求項23之程式儲存器件，其進一步包含儲存於其上以用於使該可程式化控制器件執行如請求項16之方法的指令。
[25] 一種電子器件，其包含：記憶體；一影像感測器；一位置感測器；一顯示器，其以通信方式耦接至該記憶體；及一可程式化控制器件，其以通信方式耦接至該記憶體、該顯示器、該位置感測器及該影像感測器，其中該記憶體包括用於使該可程式化控制器件執行如請求項10之方法的指令。
[26] 如請求項25之器件，其中該記憶體進一步包括用於使該可程式化控制器件執行如請求項16之方法的指令。

类似技术:

公开号 | 公开日 | 专利标题

TWI460682B|2014-11-11|全景處理

TWI539809B|2016-06-21|用於全景攝影之定位感測器輔助之影像對位方法及用於其之程式儲存器件及電子器件

JP6678122B2|2020-04-08|画像処理装置、画像処理方法及び画像処理プログラム

US9088714B2|2015-07-21|Intelligent image blending for panoramic photography

US8957944B2|2015-02-17|Positional sensor-assisted motion filtering for panoramic photography

US9762794B2|2017-09-12|Positional sensor-assisted perspective correction for panoramic photography

JP5659305B2|2015-01-28|画像生成装置および画像生成方法

JP2016096571A|2016-05-26|撮像装置

JP5659304B2|2015-01-28|画像生成装置および画像生成方法

JP5769813B2|2015-08-26|画像生成装置および画像生成方法

JP5865388B2|2016-02-17|画像生成装置および画像生成方法

JP2010263656A|2010-11-18|撮像装置及び撮像方法

JP4356621B2|2009-11-04|撮像装置及び撮像方法

KR20120012201A|2012-02-09|파노라마 사진 촬영 방법

US9712750B2|2017-07-18|Display control device and associated methodology of identifying a subject in an image

US20170111574A1|2017-04-20|Imaging apparatus and imaging method

WO2017112800A1|2017-06-29|Macro image stabilization method, system and devices

WO2019205083A1|2019-10-31|一种3d影像拍摄方法、3d拍摄设备及存储介质

JP2004128588A|2004-04-22|撮像装置

JP2006295329A|2006-10-26|画像処理装置、撮像装置、画像処理方法

JPWO2018225804A1|2020-04-09|画像表示装置、画像表示方法、及び画像表示プログラム

JP2011010010A|2011-01-13|画像再生装置及び撮像装置

同族专利:

公开号 | 公开日

US20120293607A1|2012-11-22|

AU2012256370B2|2016-01-14|

AU2012256370A1|2013-10-10|

TWI460682B|2014-11-11|

WO2012158287A1|2012-11-22|

CN103534727A|2014-01-22|

EP2710549A1|2014-03-26|

引用文献:

公开号 | 申请日 | 公开日 | 申请人 | 专利标题

US5237413A|1991-11-19|1993-08-17|Scientific-Atlanta, Inc.|Motion filter for digital television system|

US6304284B1|1998-03-31|2001-10-16|Intel Corporation|Method of and apparatus for creating panoramic or surround images using a motion sensor equipped camera|

IL139995A|2000-11-29|2007-07-24|Rvc Llc|System and method for spherical stereoscopic photographing|

US7324137B2|2004-01-29|2008-01-29|Naomichi Akizuki|System for automatically generating continuous developed still image from video image of inner wall of tubular object|

US7389181B2|2004-08-31|2008-06-17|Visre, Inc.|Apparatus and method for producing video drive-by data corresponding to a geographic location|

EP1854282B1|2004-11-05|2019-02-27|Briefcam Ltd.|Method and system for spatio-temporal video warping|

TWI268455B|2004-11-23|2006-12-11|Premier Image Tech Corporation|Auto-focusing method of digital imaging system and automatic analysis and determination method thereof employing a geometric figure with a specific design and corresponding algorithm to convert a time-domain space into a frequency-domain space to quantitize a test result|

US7839429B2|2005-05-26|2010-11-23|Hewlett-Packard Development Company, L.P.|In-camera panorama stitching method and apparatus|

US7424218B2|2005-07-28|2008-09-09|Microsoft Corporation|Real-time preview for panoramic images|

US20070081081A1|2005-10-07|2007-04-12|Cheng Brett A|Automated multi-frame image capture for panorama stitching using motion sensor|

JP4845817B2|2007-06-14|2011-12-28|富士フイルム株式会社|撮像装置，レンズユニット，撮像方法及び制御プログラム|

EP2018049B1|2007-07-18|2013-05-01|Samsung Electronics Co., Ltd.|Method of assembling a panoramic image and camera therefor|

JP5598672B2|2008-05-20|2014-10-01|日本電気株式会社|撮影装置および携帯型情報処理端末および撮影装置のモニタ表示方法およびプログラム|

US8134589B2|2008-07-17|2012-03-13|Eastman Kodak Company|Zoom by multiple image capture|

JP4656216B2|2008-09-04|2011-03-23|ソニー株式会社|撮像装置、画像処理装置、画像処理方法、プログラム及び記録媒体|US9769354B2|2005-03-24|2017-09-19|Kofax, Inc.|Systems and methods of processing scanned data|

US9576272B2|2009-02-10|2017-02-21|Kofax, Inc.|Systems, methods and computer program products for determining document validity|

US9767354B2|2009-02-10|2017-09-19|Kofax, Inc.|Global geographic information retrieval, validation, and normalization|

US9485495B2|2010-08-09|2016-11-01|Qualcomm Incorporated|Autofocus for stereo images|

US9762794B2|2011-05-17|2017-09-12|Apple Inc.|Positional sensor-assisted perspective correction for panoramic photography|

KR101784176B1|2011-05-25|2017-10-12|삼성전자주식회사|영상 촬영 장치 및 그 제어방법|

US9438889B2|2011-09-21|2016-09-06|Qualcomm Incorporated|System and method for improving methods of manufacturing stereoscopic image sensors|

GB2496418A|2011-11-10|2013-05-15|Esaturnus|Ultra low latency video communication.|

US10146795B2|2012-01-12|2018-12-04|Kofax, Inc.|Systems and methods for mobile image capture and processing|

US9165187B2|2012-01-12|2015-10-20|Kofax, Inc.|Systems and methods for mobile image capture and processing|

US8988578B2|2012-02-03|2015-03-24|Honeywell International Inc.|Mobile computing device with improved image preview functionality|

US10306140B2|2012-06-06|2019-05-28|Apple Inc.|Motion adaptive image slice selection|

US9275460B2|2012-10-17|2016-03-01|Google Inc.|Reference orientations for viewing panoramic images|

US9398264B2|2012-10-19|2016-07-19|Qualcomm Incorporated|Multi-camera system using folded optics|

CN104010207B|2013-02-27|2018-10-12|联想有限公司|一种数据处理方法、被控设备与控制设备|

US9355312B2|2013-03-13|2016-05-31|Kofax, Inc.|Systems and methods for classifying objects in digital images captured using mobile devices|

US9042674B2|2013-03-15|2015-05-26|Digitalglobe, Inc.|Automated geospatial image mosaic generation|

KR102058857B1|2013-04-08|2019-12-26|삼성전자주식회사|촬영 장치 및 촬영 제어 방법|

US9407797B1|2013-04-17|2016-08-02|Valve Corporation|Methods and systems for changing duty cycle to reduce judder effect|

US20140316841A1|2013-04-23|2014-10-23|Kofax, Inc.|Location-based workflows and services|

CN105518704A|2013-05-03|2016-04-20|柯法克斯公司|检测和分类使用移动设备采集的视频中对象的系统和方法|

EP2994025A1|2013-05-05|2016-03-16|Trax Technology Solutions Pte Ltd.|System and method of monitoring retail units|

US9350916B2|2013-05-28|2016-05-24|Apple Inc.|Interleaving image processing and image capture operations|

US9384552B2|2013-06-06|2016-07-05|Apple Inc.|Image registration methods for still image stabilization|

US9262684B2|2013-06-06|2016-02-16|Apple Inc.|Methods of image fusion for image stabilization|

US9832378B2|2013-06-06|2017-11-28|Apple Inc.|Exposure mapping and dynamic thresholding for blending of multiple images using floating exposure|

US9491360B2|2013-06-06|2016-11-08|Apple Inc.|Reference frame selection for still image stabilization|

US10178373B2|2013-08-16|2019-01-08|Qualcomm Incorporated|Stereo yaw correction using autofocus feedback|

US20150071547A1|2013-09-09|2015-03-12|Apple Inc.|Automated Selection Of Keeper Images From A Burst Photo Captured Set|

US9208536B2|2013-09-27|2015-12-08|Kofax, Inc.|Systems and methods for three dimensional geometric reconstruction of captured image data|

US20150130799A1|2013-11-12|2015-05-14|Fyusion, Inc.|Analysis and manipulation of images and video for generation of surround views|

JP2016538783A|2013-11-15|2016-12-08|コファックス，インコーポレイテッド|モバイル映像データを用いて長尺文書の合成画像を生成するためのシステムおよび方法|

EP3001247B1|2013-12-13|2019-09-11|Huawei Device Co., Ltd.|Method and terminal for acquiring panoramic image|

US20150193909A1|2014-01-09|2015-07-09|Trax Technology Solutions Pte Ltd.|Method and device for panoramic image processing|

US20150207988A1|2014-01-23|2015-07-23|Nvidia Corporation|Interactive panoramic photography based on combined visual and inertial orientation tracking|

US10387996B2|2014-02-02|2019-08-20|Trax Technology Solutions Pte Ltd.|System and method for panoramic image processing|

US9383550B2|2014-04-04|2016-07-05|Qualcomm Incorporated|Auto-focus in low-profile folded optics multi-camera system|

US9374516B2|2014-04-04|2016-06-21|Qualcomm Incorporated|Auto-focus in low-profile folded optics multi-camera system|

US9972121B2|2014-04-22|2018-05-15|Google Llc|Selecting time-distributed panoramic images for display|

US9934222B2|2014-04-22|2018-04-03|Google Llc|Providing a thumbnail image that follows a main image|

US10402777B2|2014-06-18|2019-09-03|Trax Technology Solutions Pte Ltd.|Method and a system for object recognition|

US10013764B2|2014-06-19|2018-07-03|Qualcomm Incorporated|Local adaptive histogram equalization|

US9541740B2|2014-06-20|2017-01-10|Qualcomm Incorporated|Folded optic array camera using refractive prisms|

US9294672B2|2014-06-20|2016-03-22|Qualcomm Incorporated|Multi-camera system using folded optics free from parallax and tilt artifacts|

US9549107B2|2014-06-20|2017-01-17|Qualcomm Incorporated|Autofocus for folded optic array cameras|

US9386222B2|2014-06-20|2016-07-05|Qualcomm Incorporated|Multi-camera system using folded optics free from parallax artifacts|

US9819863B2|2014-06-20|2017-11-14|Qualcomm Incorporated|Wide field of view array camera for hemispheric and spherical imaging|

KR102206244B1|2014-08-27|2021-01-22|엘지전자 주식회사|디스플레이 디바이스 및 그 제어 방법|

US9760788B2|2014-10-30|2017-09-12|Kofax, Inc.|Mobile document detection and orientation based on reference object characteristics|

US9832381B2|2014-10-31|2017-11-28|Qualcomm Incorporated|Optical image stabilization for thin cameras|

CN104601954B|2015-01-13|2017-11-07|广州杰赛科技股份有限公司|一种全景图像拼接装置、方法及监控系统|

US9626589B1|2015-01-19|2017-04-18|Ricoh Co., Ltd.|Preview image acquisition user interface for linear panoramic image stitching|

US9594980B1|2015-01-19|2017-03-14|Ricoh Co., Ltd.|Image acquisition user interface for linear panoramic image stitching|

CN104635933B|2015-02-26|2018-10-30|华为技术有限公司|一种图像切换的方法和装置|

US10582125B1|2015-06-01|2020-03-03|Amazon Technologies, Inc.|Panoramic image generation from video|

US10242285B2|2015-07-20|2019-03-26|Kofax, Inc.|Iterative recognition-guided thresholding and data extraction|

US10467465B2|2015-07-20|2019-11-05|Kofax, Inc.|Range and/or polarity-based thresholding for improved data extraction|

US10033928B1|2015-10-29|2018-07-24|Gopro, Inc.|Apparatus and methods for rolling shutter compensation for multi-camera systems|

KR20170053273A|2015-11-06|2017-05-16|삼성전자주식회사|컨텐츠 표시 방법 및 이를 구현한 전자 장치|

US10419666B1|2015-12-29|2019-09-17|Amazon Technologies, Inc.|Multiple camera panoramic images|

US10198838B2|2016-03-31|2019-02-05|Qualcomm Incorporated|Geometric work scheduling with dynamic and probabilistic work trimming|

US9779296B1|2016-04-01|2017-10-03|Kofax, Inc.|Content-based detection and three dimensional geometric reconstruction of objects in image and video data|

JP2017212698A|2016-05-27|2017-11-30|キヤノン株式会社|撮像装置、撮像装置の制御方法およびプログラム|

US10398976B2|2016-05-27|2019-09-03|Samsung Electronics Co., Ltd.|Display controller, electronic device, and virtual reality device|

US10200608B1|2016-07-25|2019-02-05|360fly, Inc.|Panoramic image processing system, camera, and method therefor using multiple image processors|

CN106254940B|2016-09-23|2019-11-01|北京疯景科技有限公司|播放全景内容的方法及装置|

CA2949383A1|2016-11-22|2018-05-22|Square Enix, Ltd.|Image processing method and computer-readable medium|

CN108156484B|2016-12-05|2022-01-14|奥多比公司|利用自适应速率分配优先处理基于图块的虚拟现实视频流|

CN106791390B|2016-12-16|2022-02-11|上海传英信息技术有限公司|广角自拍实时预览方法及用户终端|

CN108234929A|2016-12-21|2018-06-29|昊翔电能运动科技有限公司|无人机中的图像处理方法和设备|

CN108513119A|2017-02-27|2018-09-07|阿里巴巴集团控股有限公司|图像的映射、处理方法、装置和机器可读介质|

US10887600B2|2017-03-17|2021-01-05|Samsung Electronics Co., Ltd.|Method and apparatus for packaging and streaming of virtual realitymedia content|

CN111510782A|2017-04-28|2020-08-07|华为技术有限公司|视频播放方法、虚拟现实设备、服务器及计算机存储介质|

EP3404913B1|2017-05-16|2019-11-06|Axis AB|A system comprising a video camera and a client device and a method performed by the same|

US20190034864A1|2017-07-25|2019-01-31|Bossa Nova Robotics Ip, Inc.|Data Reduction in a Bar Code Reading Robot Shelf Monitoring System|

CN109600543B|2017-09-30|2021-01-22|京东方科技集团股份有限公司|用于移动设备拍摄全景图像的方法以及移动设备|

US10997946B2|2017-10-18|2021-05-04|Valve Corporation|Display with adjustable duty cycle for individual color channels|

US10803350B2|2017-11-30|2020-10-13|Kofax, Inc.|Object detection and image cropping using a multi-detector approach|

CN108765281A|2018-04-23|2018-11-06|Oppo广东移动通信有限公司|一种生成缩略图的方法、装置以及计算机存储介质|

法律状态:
2020-08-11| MM4A| Annulment or lapse of patent due to non-payment of fees|

优先权:

申请号 | 申请日 | 专利标题

US13/109,875|US20120293607A1|2011-05-17|2011-05-17|Panorama Processing|

[返回顶部]