• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:
    本發明描述用於實施用於色彩平衡之「選擇性灰界」方法的方法、器件及電腦可讀媒體。該等所揭示技術涉及使用經雜訊最佳化之選擇準則，且更特定而言在一些實施例中在計算白平衡增益時使用經雜訊最佳化加權表中之對應值之間的內插。所估計的場景勒克斯位準可提供預期場景雜訊位準之一有價值指示項。本文中所描述之該等影像處理技術可由一影像擷取器件或執行一使用者層級軟體應用程式的一通用處理器(例如，個人電腦)來執行。該等所描述色彩平衡技術可由一電腦系統中之專用或通用硬體、通用應用軟體或軟體與硬體之一組合來實施。
    公开号:TW201320774A
    申请号:TW101135654
    申请日:2012-09-27
    公开日:2013-05-16
    发明作者:ying-jun Bai；Xue-Mei Zhang；David Kuo
    申请人:Apple Inc；
    IPC主号:H04N9-00
    专利说明:
    使用雜訊最佳化準則以計算場景白色點
    本發明大體上係關於色彩平衡領域。更特定而言但非限制，本發明係關於用於藉由使用雜訊最佳化選擇準則來改良自動白平衡(AWB)演算法之效能的技術。 相關申請案之交叉參考
    本申請案主張2011年10月12日申請之美國臨時專利申請案第61/546,146號之優先權，該案之全文特此以引用方式併入。
    色彩平衡可被看作對影像中色彩之強度的全域調整。色彩平衡之一目標為以儘可能忠實於特定色彩在擷取影像之實際實體場景中所顯現的方式呈現特定色彩(例如，中性白)。在正確地呈現中性白色之狀況下，該程序常常被稱為「白平衡」。多數數位相機的色彩平衡及色彩校正決策至少部分基於場景施照體的類型。舉例而言，與白色紙張在直接日光下將顯現之色彩相比較，其在螢光照明下將顯現不同色彩。待執行之色彩校正的類型可由知曉所擷取影像之場景施照體的數位相機使用者手動地指定，或可使用多種AWB演算法中之一或多者來程式地設定。
    可藉由評估由具有對一組已知光源之已知回應的相機影像感測器擷取之一或多個影像來估計場景之「白色點」。相機對施照體之回應可藉由以下方程式來特徵化：Cwhite=S*P， (方程式1)其中P代表光源之一組發光光譜分佈(spectral power distribution)，S為相機之光譜敏感度，且Cwhite為相機之回應向量。換言之，相機之回應將為光源之特定類型以及相機之特定光譜回應兩者的函數。
    在真實世界成像中，相機之回應亦為在場景中自物件表面反射之光的函數。此關係可被描述為：Cobjects=S*R*P， (方程式2)其中R代表物件表面之光譜反射率。
    AWB演算法處置之基本問題為試圖在已知回應及相機敏感度(S)且未知場景中之物件表面(R)的情況下自藉由未知光源(P)引起的所擷取影像解析場景光源白色點。
    已在學術界且在業界中研究了多種不同方法，以僅從影像資料解析估計場景白色點方面的不確定性。最基本之「灰界」AWB演算法對真實世界中之物件表面反射率分佈進行了大膽假設，亦即，整個場景之色彩將最終平均至灰色以便對解進行約束。其他公佈的方法包括：一種型式的貝氏(Bayesian)估計，其對表面反射率及施照體分佈進行較小心且更具原則性的模型化以達到較好估計；「相關性決定色彩(color by correlation)」演算法，其利用在不同施照體下影像色度的獨特分佈以進行其施照體估計；及甚至一類自場景中之鏡面或微鏡面反射資訊導出白色點值的演算法。
    然而，在工業實踐中，歸因於實施簡易性及不錯的穩定性，多數風行白平衡方法仍係鬆散地基於經修改灰界方法的彼等方法。可存在此方法之許多變化，但多數變化涉及：首先選擇可能來自由似真光源照明之中性表面的像素回應之子集；及接著假設此等像素之平均色度可能表示場景中之真實白色/灰色的色彩。此類方法在本文中將被稱為「選擇性灰界」演算法。
    此選擇性灰界方法的最大限制正是使得原始灰界方法不切實際的限制，亦即，對「可能灰色」之像素回應實際上確實平均至灰色的假設。根據模型化對常見施照體下典型物件表面反射率之相機回應，已判定，此假設時常被違反。例如，視每一使用情境的施照體及表面分佈而定，一些「可能灰色」之像素回應相較於其他像素回應更可能為灰色的，亦即，一些像素回應相較於其他像素回應攜載更多關於實際白色點的資訊。可將加權方案用以不同地處理此等像素回應以便改良白色點估計準確度。一旦選擇了所擷取影像之「可能灰色」之像素的子集，便可將場景之白色點計算為此等像素值的加權總和：r=sum(R*W)/sum(W)；g=sum(G*W)/sum(W)；b=sum(B*W)/sum(W)， (方程式3)其中W指代權重向量，且R、G、B為像素色彩向量。
    僅需要調整兩個通道以獲取影像白平衡，該兩個通道通常為r及b通道：R'=(g/r)R；B'=(g/b)B； (方程式4)其中R及R'為白平衡調整之前及之後的紅色通道回應，且B及B'為白平衡調整之前及之後的藍色通道回應。
    因而，需要使用一改良之「選擇性灰界」方法提供影像中的更準確白平衡的技術。藉由在計算白平衡增益時智慧地對似真中性像素值進行加權，可更準確地計算白色點。
    本發明係關於用於實施用於色彩平衡之更有效「選擇性灰界」方法的器件及電腦可讀媒體。本文中所描述之技術涉及使用經雜訊最佳化之選擇準則，且更特定而言在一些實施例中在計算白平衡增益時使用經雜訊最佳化加權查找表(亦即，「加權表」)之間的內插。所估計的場景勒克斯位準可提供預期場景雜訊位準之一有價值指示項。本文中所描述之相機影像處理技術可由一影像擷取器件或以一通用PC軟體應用程式格式來執行。本文中所描述之色彩平衡技術可由一電腦系統中之專用或通用硬體、通用應用軟體或軟體與硬體之一組合來實施。
    如在[先前技術]章節中所描述，AWB演算法之一關鍵目標為識別所擷取影像中之似真「白色」像素以便計算場景白色點，且接著產生彼等所選擇像素值的提供該場景白色點之一更準確估計的一切合實際的統計量。
    除一場景之組成上的變化外，「像素係灰色之機率」亦受感測器特性(尤其是感測器之光譜敏感度及雜訊性質)影響。舉例而言，當感測器雜訊位準在低光條件下為高時，在較亮照明下不太可能來自灰色表面的像素回應可在該等低光條件下很好地變為白色點統計量的一良好貢獻因子。本文中所描述之該等技術的一目標為基於所估計感測器雜訊位準模型化此等變化，以便以一提供白色點之實際估計量的原則性方式來產生一組像素統計量，而非貿然假設「可能灰色」之像素的平均值實際上對應於真實灰色。
    本發明之一態樣提議基於影像在廣泛範圍之影像擷取條件下之雜訊特性的一系列白色像素選擇準則。此等所謂的「雜訊最佳化」選擇準則可以多種形式來體現，例如，經由公式、經由二元選擇準則(亦即，一像素「經考慮」抑或「不經考慮」)，或經由一查找表(例如，在一些實施例中以可被看作一加權遮罩的加權表之形式來體現)，或任何其他適用形式。此等準則可基於模型化對不同施照體之相機回應及特定成像感測器之雜訊特性來公式化。該組白色點選擇準則可針對每一相機影像感測器進行預先計算，且儲存在影像擷取器件自身中或以應用軟體格式儲存。在現場使用中，可自諸如曝光持續時間及感測器增益的影像擷取參數估計每一所擷取影像之特定雜訊位準，該等特定雜訊位準接著被用以判定使用儲存於器件或應用軟體中之多組白色點選擇準則中的哪(些)組白色點選擇準則。
    因此，在本文中所描述之一實施例中，揭示一種可由一可程式化控制器件讀取之非暫時性程式儲存器件，該非暫時性程式儲存器件包含儲存於上面之用於使得該可程式化控制器件進行以下操作的指令：將影像像素資料儲存於一記憶體中，其中自藉由一影像感測器擷取的一影像獲得該影像像素資料；將該影像像素資料變換成在一色彩空間上的一組影像像素值；估計該影像之一雜訊位準；至少部分基於該所估計雜訊位準來識別值之一雜訊最佳化加權表，其中該雜訊最佳化加權表中的每一值具有一對應影像像素值；使每一影像像素值與其對應雜訊最佳化加權表值相乘以產生經雜訊加權之影像像素資料；及將該經雜訊加權之影像像素資料儲存於該記憶體中。
    在本文中所描述之另一實施例中，揭示一種可由一可程式化控制器件讀取之非暫時性程式儲存器件，該非暫時性程式儲存器件包含儲存於上面之用於使得該可程式化控制器件進行以下操作的指令：將影像像素資料儲存於一記憶體中，其中自藉由一影像感測器擷取的一影像獲得該影像像素資料；估計該影像之一雜訊性質；至少部分基於該所估計雜訊性質識別一雜訊最佳化像素選擇準則；將該雜訊最佳化像素選擇準則應用至該影像像素資料以產生經加權之影像像素資料；及將該經加權之影像像素資料儲存於該記憶體中。
    在本文中所描述之又一實施例中，揭示一種可由一可程式化控制器件讀取之非暫時性程式儲存器件，該非暫時性程式儲存器件包含儲存於上面之用於使得該可程式化控制器件進行以下操作的指令：將影像像素資料儲存於一記憶體中，其中自藉由一影像感測器擷取的一影像獲得該影像像素資料；估計該影像之一勒克斯位準；至少部分基於該所估計勒克斯位準，藉由在複數個預先儲存之雜訊最佳化加權表中之對應值之間進行內插而識別一雜訊最佳化加權表；將該雜訊最佳化加權表應用至該影像像素資料以產生經雜訊加權之影像像素資料；及使用該經雜訊加權影像像素資料來計算該影像像素資料之一白色點。
    根據本文中所描述之各種實施例的用於AWB之新穎及改良技術易於適用於具有適當影像感測器的許多電子影像擷取器件，諸如行動電話、個人資料助理(PDA)、攜帶型音樂播放器、數位相機，以及膝上型及平板電腦系統。
    專利或申請案檔案含有至少一彩色圖式。在接到請求且已支付必要費用後，專利局將提供本專利或專利申請公開案的具有彩色圖式之複本。
    本發明描述用於實施用於色彩平衡之「選擇性灰界」方法的方法、器件及電腦可讀媒體。該等所揭示技術涉及使用經雜訊最佳化之選擇準則，且更特定而言在一些實施例中在計算白平衡增益時使用經雜訊最佳化加權表中之對應值之間的內插。所估計的場景勒克斯位準可提供預期場景雜訊位準之一有價值指示項。本文中所描述之該等影像處理技術可由一影像擷取器件或一執行使用者層級軟體應用程式的通用處理器(例如，個人電腦)來執行。該等所描述色彩平衡技術可由一電腦系統中之專用或通用硬體、通用應用軟體或軟體與硬體之一組合來實施。
    為了清楚起見，本說明書中並未描述實際實施之所有特徵。當然，應瞭解，在任何此實際實施之開發中(如在任何開發專案中)，必須作出眾多決策以達成開發者之特定目標(例如，符合系統相關及商務相關的約束)，且此等目標將在實施間不同。應進一步瞭解，此開發努力可能為複雜且耗時的，但對於受益於本發明的一般熟習此項技術者而言仍將為常規任務。
    在以下描述中，出於解釋之目的，闡述眾多特定細節，以便提供對本發明概念之透徹理解。作為描述之部分，一些結構及器件可能以方塊圖形式來展示以便避免混淆本發明。此外，在本發明中所使用之語言已主要被選擇以達成可讀性及指導目的，且可能並非為描繪或限定本發明主體而選擇，有必要依靠申請專利範圍來判定此發明主體。在本說明書中對「一項實施例」或「一實施例」之提及意謂：結合實施例描述之特定特徵、結構或特性包括於本發明之至少一實施例中，且對「一項實施例」或「一實施例」之多次提及不應理解為必定皆指代同一實施例。
    首先轉至圖1A，為了解釋目的而展示用於校正對人眼敏感度之相機回應的感知模型。基本地，相機之影像感測器將具有對越過影像感測器敏感於的整個波長頻譜之入射光的特性回應100。正被擷取之場景亦可由不同類型之施照體來照明，該等施照體可對場景中之色彩被再生並由人眼感知到的方式產生影響。因此，可基於不同施照體類型來使用不同最佳化102，諸如色彩平衡。
    若影像感測器之敏感度與在人眼之可見範圍上的人眼敏感度相同，則可能不需要除色彩平衡外的進一步色彩校正；然而，若影像感測器之敏感度與人眼敏感度在人類視覺之特定範圍上不同，則亦可將諸如應用色彩校正矩陣(CCM)的進一步色彩校正用於影像感測器擷取之資料，以確保人眼對色彩之感知104儘可能忠實於真實世界場景色彩。
    現轉至圖1B，為了解釋目的而展示用於執行色彩校正之抽象及概念性影像處理管線145。首先，由影像感測器擷取場景106。自影像感測器輸出呈RGB原始資料格式的資料108。接著，計算場景白色點，且對所擷取影像感測器資料執行白平衡演算法110以判定R、G或B通道中之任一者的增益是否需要進行調整，以使得將白色像素呈現為白色的。可使用多種可能白平衡演算法中的任一者，諸如灰界演算法、選擇性灰界演算法，或經加權累加器演算法。接著，視施照體之類型而定，可將進一步的色彩校正112(例如，CCM)應用至影像資料。CCM中之值可為場景白色點及場景勒克斯位準兩者的函數。因此，具有相同白色點之兩個影像可具有大不相同之CCM。一旦影像資料已按需要進行了色彩平衡及色彩校正，便可將(例如)呈sRGB(亦即，標準RGB)形式之輸出資料發送至所要顯示器件114。
    在瞭解此框架後，[實施方式]之剩餘部分將論述可經使用並應用至來自元件108之原始像素資料以使得白色點計算及色彩平衡程序110將更有效的技術。具體而言，本文中所論述之技術將係關於用於(例如)經由使用加權表來產生雜訊最佳化選擇準則並對雜訊最佳化選擇準則進行內插的影像處理技術。
    現轉至圖2，展示根據一項實施例之用於利用雜訊最佳化加權表執行色彩校正的改良之影像處理管線150。與展示於圖1B中之影像處理管線145相比較，改良之影像處理管線150具有在元件108處之原始資料接收與元件110處之白色點計算及色彩平衡之執行之間的標示為「自RGB值產生直方圖並與雜訊最佳化加權表相乘」的元件109。現將在下文中進一步詳細描述經由使用雜訊最佳化權重表對原始像素資料之變換109。
    根據一些實施例，可由一系列數學變換來定義影像像素資料直方圖累積於之色彩空間或「色度空間」，以便賦予該空間特定形狀或導致強制實現其他所要性質。另外，變換參數可經最佳化以適應於特定感測器之光譜敏感度。在下文描述之實例中，色度空間將為色比空間。可使用任何所要色彩空間，諸如直接色比空間(straight color ratio)(例如，R/G比B/G)。 建構「雜訊最佳化加權表」
    如上文所提及，影像感測器雜訊可以RGB原始資料形式(亦即，未準備好顯示之COLan未經處理之線性RGB信號)自影像感測器進入影像處理管線150。現轉至圖3，更詳細地展示用於產生待應用至影像像素資料之「雜訊最佳化加權表」的程序流程109。
    為了將輸入信號自三個色彩維度(亦即，紅色、綠色及藍色)縮減為兩個色彩維度，可將RGB信號轉換成色度值。如本文中所使用，色度將指代色彩的獨立於色彩之照度(亦即，亮度)的品質之客觀規格。一旦不再考慮照度，便可由兩個變數(有時稱為x及y)來定義色彩之剩餘分量。此情形為有用的，此係由於此情形允許將色度空間映射至2D曲線，在該2D曲線中所有現有色彩皆可由色度空間中之x-y座標位置唯一地識別。此等色度值可接著累積於在色度空間中產生之2D直方圖中(元件116)。色彩值之直方圖可在程序流程109處經接收(亦即，由某外部程序建構)，或可在程序流程109內經建構。
    接著，程序流程109可試圖估計場景雜訊位準(元件118)。如上文所提及，所估計場景雜訊位準可證明在建構適當加權表方面為有價值的。各種擷取條件可影響影像之雜訊位準，該等擷取條件包括：感測器之完全井容量(full well capacity)、感測器讀取資訊、感測器類比增益、場景勒克斯位準及感測器量化等。接著，程序流程109可識別對應於所估計場景雜訊位準的一或多個加權表(元件120)。在一些實施例中，可儲存代表性加權表，其中每一代表性加權表對應於複數個預定勒克斯位準中的特定一者。接著，一旦已估計出了給定影像之場景勒克斯位準，程序109便可在最接近地對應於所估計場景勒克斯位準之所儲存代表性加權表中的對應值之間進行內插，以便產生針對給定影像之所估計場景勒克斯(且因此雜訊)位準進行了定製的經內插加權表(元件122)。在一些此等實施例中，經雜訊加權表中的每一值可用於內插計算中，儘管使用表中之每一值並非嚴格必要的。在又其他實施例中，若足夠儲存空間及處理能力為可用的，則元件120及122可由基於所估計場景雜訊位準而「即時」分析地計算加權表的單一步驟替換，而非在預先儲存之加權表之間進行內插。最終，可接著使(例如)呈2D影像直方圖形式的影像資料與經雜訊加權表中之對應值相乘來產生一組經雜訊加權之影像像素資料，亦即，可能針對給定感測器及所估計雜訊位準產生場景之更準確白色點計算的一組經加權值(元件124)。經雜訊加權影像像素資料可接著被傳遞至所要AWB演算法110'以藉由任何所要方法計算場景白色點。在一些實施例中，AWB演算法110'可僅僅包含假設剩餘的經雜訊加權影像像素資料平均為灰色的演算法，亦即「選擇性灰界」方法。在其他實施例中，如上文所論述，可使用更複雜之AWB演算法。
    在一些實施例中，可將影像雜訊感測器模型用以產生代表性加權表，其中每一代表性加權表對應於特定雜訊位準。根據一項實施例，例示性影像感測器雜訊模型可表達如下：Vn=(C/K * Ga+V1 * Ga2+V2)* K2， (方程式5)其中Vn為與特定像素回應C相關聯之雜訊方差，K為感測器之轉換增益，Ga為擷取時之類比增益，且V1及V2分別為獨立於增益之雜訊源(kT/C，源極隨耦器、放大器輸入雜訊)的方差及依附於增益之雜訊源(電子及量化雜訊)的方差。
    給出以上方程式5中之雜訊模型，且假設加成性雜訊本質，對施照體之相機回應可被表達如下：C=S*P+n， (方程式6)其中n為雜訊向量，且S及P係如上文在[先前技術]章節中所描述。
    假設雜訊項n之(簡化得多之)正常分佈N[0,Vn]，則自以上方程式1，可將特定像素回應C之分佈表達為：N[S*P,Vn]。在給定特定施照體P的情況下，可接著易於以此方式計算獲取特定相機回應之可能性。使用用於在給定特定施照體之情況下判定給定像素之回應之機率的以上方程式，可產生對應於特定雜訊位準之各種代表性加權表的值。
    為了自相機回應資料獲取更準確之白色點估計，可使用給定相機回應及所估計雜訊位準之情況下白色點之機率分佈，亦即D(P | C,n)。可藉由使用上述相機及雜訊模型，針對處於不同光位準之每一施照體且在不同場景表面組成之情況下編譯相機回應之可能性(亦即，L(C | P,R,n))來計算此機率分佈D，從而導致可被表達如下之機率分佈D：D(P | C,n)=L(C | P,R,n)* D(P,R)/D(C) (方程式7)
    一旦以此方式模型化每一白色點之相對機率，便可使用多種可能統計量來形成像素選擇及權重準則。作為一實例，可使用所有相機回應C之線性加權總和來估計白色點，其中對於D(P | C,n)低於特定臨限值之相機回應，使權重強制為零，且在給定真實世界中之物件表面反射率分佈之情況下，計算其他非零權重以反映像素係白色表面的相對可能性。
    自以上方程式，可看出，在不同雜訊位準下白色點之機率分佈歸因於(例如)雜訊分佈N[0,Vn]的差異而可彼此大不相同。圖4及圖5分別展示在兩個不同場景勒克斯位準(亦即，極低勒克斯位準及室內照明勒克斯位準)下根據上述方法所計算的白色點之機率分佈。直方圖中之較亮色彩對應於落於色度空間中之該位置處的給定像素對應於白色表面之較大可能性，而直方圖中之較暗色彩對應於落於色度空間中之該位置處的給定像素對應於白色表面之較小可能性。基於展示於圖4及圖5中之兩個分佈之間的差異，可推斷出，在不同雜訊位準下，應使用不同選擇準則來選擇要包括於AWB計算中的像素，且應使用不同統計量將此等像素值組合成白色點估計。
    現轉至圖4，在色比色度空間中說明作為遮罩之例示性極低勒克斯雜訊最佳化加權表130連同常見施照體白色點160。僅供參考，平均室內照明範圍為100勒克斯至1,000勒克斯，且平均室外日光為約50,000勒克斯。如上文所描述，藉由估計場景勒克斯，可推斷出一組可能之照明源的類型，且接著可推斷出此光源之已知可能白色值的範圍(亦即，圖4中之非黑色區域)。舉例而言，在低勒克斯位準下，遮罩中之非黑色區域將需要為相對大的，此係由於可能之照明源之集合為較大的，而在極高勒克斯位準下，已知可能白色值之範圍可為相對較小的，例如，密切地限制於日光白色點區域。如圖4中所說明，在極低勒克斯位準下，在幾乎整個例示性色度空間上之機率分佈可為非黑色的(亦即，在任何非黑色位置處的像素皆具有出現於此位置處之像素可能係來自白色表面的至少某一機率，其中對應於較高加權值之較亮色彩儲存於加權表中的對應位置處)。此情形反映如下事實：在低勒克斯位準下預期有大量雜訊，且因此在此低照明位準下難以自場景白色點之計算捨棄任何像素(或至少完全捨棄任何像素)。
    圖5說明在展示於圖4中之色度空間中呈遮罩形式之例示性常規室內照明勒克斯雜訊最佳化加權表140連同常見施照體白色點160。與圖4相比較，在展示於圖5中之勒克斯位準下的機率分佈在色度空間之大得多的部分上為黑色的。在圖5中，機率分佈之非黑色區域更嚴密地限制於常見施照體白色點160的區。此情形反映如下事實：即使在常規室內照明位準下，亦可預期有較小雜訊，且因此在計算場景白色點時可更安全地捨棄或至少很大程度上忽視(亦即，賦予較低權重)並非位於常見施照體範圍內或並非接近常見施照體範圍的像素。
    作為更直觀地說明使用以所估計雜訊位準為條件之多個選擇準則的必要之另一實例，假設AWB演算法在[R/G,B/G]器件色比空間中起作用，且在低雜訊擷取條件(諸如日光)下藉由以下兩個方程式來描述白色像素選擇準則。
    Th1<R/G<Th2 Th3<B/G<Th4 (方程式8)
    歸因於雜訊引入之不確定性，對於高雜訊擷取(亦即，在諸如在夜間於室外的低光下擷取之影像)而言，挑選白色像素之準則可簡單地為具有較寬容許度△的在方程式8中表達的以上準則，該容許度△係經由成像感測器之雜訊模型來計算。舉例而言：Th1-△1<R/G<Th2+△2 Th3-△3<B/G<Th4+△4 (方程式9)
    額外容許度△1至△4反映如下事實：像素值之雜訊對像素係白色像素之可能性引入額外不確定性，因此當雜訊較高時，為了計算場景之白色點將考慮更多像素。
    在以上說明性實例中，若將線性權重總和模型用以計算最終白色點，且若對經由以上準則選擇之所有像素賦予統一權重，則較高雜訊(亦即，低光)場景之白色點將係：r=sum(R+△R)/(n+△n)；g=sum(G+△G)/(n+△n)；b=sum(B+△B)/(n+△n)。 (方程式10)其中△R、△G、△B為表示加入計算之額外像素的向量，且n及△n分別表示加入計算之像素的原始數目及在高雜訊情境下加入計算之像素的額外數目。
    因此，可看出，相較於當影像雜訊位準改變時並不相應地適應性地調整白色像素選擇準則的AWB解決方案，考慮所擷取影像中之雜訊改變將導致統計上更準確且穩定之解決方案。
    如上文所提及，歸因於一些實施中固有之限制，針對每一可能的估計雜訊位準分析地計算中性像素選擇準則可能並不可能。在此等情形下，可能僅存在所儲存中性像素選擇準則的有限選擇。此等準則可(例如)對應於在真實世界中使用影像擷取器件之環境中可能存在的稀疏取樣之雜訊位準或勒克斯位準。在此等狀況下，雜訊相關像素選擇準則可能並非基於分析公式，儘管實際上雜訊特性係連續過程。在此等狀況下，對於落於稀疏取樣之雜訊位準之間的任何雜訊位準，可使用所儲存選擇準則之間的內插來計算該雜訊位準的對應白色像素選擇準則。
    舉例而言，選擇準則可以諸如查找表(LUT)陣列之數值形式存在，其中每一LUT元件對應於雜訊位準向量N。對於具有雜訊位準n之輸入影像而言，可在對應於兩個鄰近經取樣雜訊位準(例如，Ni-1及Ni)的兩個LUT元件之間線性內插得到白色像素選擇準則(若n係在此等兩個雜訊位準之間)。若影像雜訊n小於最小經取樣雜訊位準，則可使用最小雜訊位準之像素選擇準則。相同情形可應用於大於最大經取樣雜訊位準之估計雜訊位準，亦即，可使用最大雜訊位準之像素選擇準則。
    現轉至圖6，更詳細地說明根據一項實施例的用於產生經內插雜訊最佳化加權表153的程序。曲線155表示跨越曲線之水平軸線之所估計場景勒克斯與跨越曲線之垂直軸線之所估計雜訊之間的例示性關係。如曲線155中所展示，隨著所估計場景勒克斯增加，所估計雜訊位準以基本上漸近之方式降低。例如，低光條件156對應於預先儲存之低光加權表130(參見圖4)，且中等範圍(mid-range)光條件157對應於預先儲存之中等範圍加權表140(參見圖5)。進一步至水平軸線右側，日光條件158對應於預先儲存之日光加權表150。應注意，日光加權表150中之非黑色區域甚至更嚴密地限制於對應於日光之常見施照體範圍。在圖6之說明性實施例中，展示三個預先儲存之加權表，但在其他實施例中，當然可存在較大數目個預先儲存之加權表以便對可能之場景勒克斯值之範圍恰當地取樣。
    如圖6中所展示，所估計場景勒克斯位準159(由曲線上之大星號所說明)落於對應於低光照明條件156及中等範圍照明條件157之預先儲存加權表的位準之間。因此，可經由合適內插運算152(例如，線性或對數內插)來產生經內插加權表153，以便產生更適合於具有所估計場景勒克斯位準159之當前場景的經內插加權表153。在此實施例中，可接著將影像像素資料直方圖116應用至新產生之經內插加權表153中的值(例如，與新產生之經內插加權表153中的值相乘)以便產生一組經雜訊加權之影像像素資料，例如，雜訊最佳化影像像素資料直方圖154。此雜訊最佳化影像像素資料直方圖154可接著由所要AWB演算法利用以計算更準確之場景白色點。
    應注意，檢索及使用多個最佳化白色像素選擇及加權準則以改良AWB效能並不限於基於所估計影像雜訊位準。其可基於與影像之雜訊性質相關的任何實體或數值品質，例如，場景勒克斯、感測器類比增益等。
    亦應注意，可經由線性內插或任何其他適當非線性內插方法來進行用以計算並未儲存之雜訊位準的加權準則的內插方法。
    亦應注意，本文中已描述之雜訊模型為說明性且例示性的。具有合理工程化基礎之任何適當雜訊模型皆可用於模型化用途。
    現參看圖7，展示根據說明性實施例之具有顯示器200的代表性電子器件(例如，電子影像擷取器件200)之簡化功能方塊圖。電子器件200可包括：處理器216、顯示器220、近接感測器/環境光感測器226、麥克風206、音訊/視訊編解碼器202、揚聲器204、通信電路210、位置感測器224(例如，加速度計或陀螺計)、具有相關聯相機硬體之影像感測器208、使用者介面218、記憶體212、儲存器件214，及通信匯流排222。處理器216可為任何合適可程式化控制器件，且可控制許多功能之操作，諸如，影像資料之產生及/或處理，以及由電子器件200執行的其他功能。處理器216可驅動顯示器220，且可自使用者介面218接收使用者輸入。嵌入式處理器提供可用於進行所揭示技術之通用且強固的可程式化控制器件。
    儲存器件214可儲存媒體(例如，影像及視訊檔案)、軟體(例如，用於在器件200上實施各種功能)、偏好資訊、器件設定檔資訊及任何其他合適資料。儲存器件214可包括用於有形地記錄影像資料及程式指令之一或多個儲存媒體，包括(例如)硬碟機、諸如ROM之永久記憶體、諸如RAM之半永久記憶體，或快取記憶體。程式指令可包含以任何所要語言(例如，C或C++)編碼並組織成一或多個程式模組的軟體實施。
    記憶體212可包括可用於執行器件功能之一或多個不同類型之記憶體。舉例而言，記憶體212可包括快取記憶體、ROM及/或RAM。通信匯流排222可提供用於向、自至少儲存器件214、記憶體212及處理器216傳送資料或在各者之間傳送資料的資料傳送路徑。使用者介面218可允許使用者與電子器件200互動。舉例而言，使用者輸入器件218可採用多種形式，諸如，按鈕、小鍵盤、撥號盤、滾輪或觸控式螢幕。
    在一項實施例中，個人電子器件200可為能夠處理並顯示諸如影像及視訊檔案之媒體的電子器件。舉例而言，個人電子器件200可為諸如以下各者之器件：行動電話、個人資料助理(PDA)、攜帶型音樂播放器、監視器、電視、膝上型電腦、桌上型電腦及平板電腦，或其他合適個人器件。
    較佳及其他實施例之前述描述並非意欲限制或約束由申請人設想之發明性概念之範疇或適用性。作為一實例，儘管本發明集中於手持式個人電子影像擷取器件，但應瞭解，本發明之教示可適用於其他實施，諸如傳統數位相機。作為揭示本文中所含有的發明性概念的交換，申請者期望獲得由附加申請專利範圍給予的所有專利權。因此，意欲附加申請專利範圍最大限度地包括屬於以下申請專利範圍或其等效物之範疇內的所有修改及變更。
    100‧‧‧特性回應
    102‧‧‧不同最佳化
    104‧‧‧人眼對色彩之感知
    106‧‧‧影像感測器擷取場景
    108‧‧‧元件
    109‧‧‧元件/程序流程
    110‧‧‧元件
    110'‧‧‧AWB演算法
    112‧‧‧色彩校正
    114‧‧‧呈sRGB(亦即，標準RGB)形式之輸出資料經發送至所要顯示器件
    116‧‧‧元件
    118‧‧‧元件
    120‧‧‧元件
    122‧‧‧元件
    124‧‧‧元件
    130‧‧‧例示性極低勒克斯雜訊最佳化加權表/低光加權表
    140‧‧‧例示性常規室內照明勒克斯雜訊最佳化加權表/中等範圍加權表
    145‧‧‧抽象及概念性影像處理管線
    150‧‧‧改良之影像處理管線/日光加權表
    152‧‧‧內插運算
    153‧‧‧經內插雜訊最佳化加權表
    154‧‧‧雜訊最佳化影像像素資料直方圖
    155‧‧‧曲線
    156‧‧‧低光條件
    157‧‧‧中等範圍光條件
    158‧‧‧日光條件
    159‧‧‧所估計場景勒克斯位準
    160‧‧‧常見施照體白色點
    200‧‧‧電子器件
    202‧‧‧音訊/視訊編解碼器
    204‧‧‧揚聲器
    206‧‧‧麥克風
    208‧‧‧影像感測器
    210‧‧‧通信電路
    212‧‧‧記憶體
    214‧‧‧儲存器件
    216‧‧‧處理器
    218‧‧‧使用者介面
    220‧‧‧顯示器
    222‧‧‧通信匯流排
    224‧‧‧位置感測器
    226‧‧‧近接感測器/環境光感測器
    圖1A說明用於校正對人眼敏感度的相機回應的感知模型。
    圖1B說明用於執行色彩校正之抽象且概念性影像處理管線。
    圖2說明根據一項實施例之用於利用雜訊最佳化加權表執行色彩平衡及校正的改良之影像處理管線。
    圖3更詳細地說明根據一項實施例之用於產生雜訊最佳化加權表的程序。
    圖4說明根據一項實施例之在色比色度空間中呈遮罩形式之例示性低勒克斯位準雜訊最佳化加權表連同常見施照體白色點。
    圖5說明根據一項實施例之在色比色度空間中呈遮罩形式之例示性室內勒克斯位準雜訊最佳化加權表連同常見施照體白色點。
    圖6說明根據一項實施例之用於產生經內插雜訊最佳化加權表的程序。
    圖7說明具有顯示器及影像感測器之代表性電子器件的簡化功能方塊圖。
    108‧‧‧元件
    109‧‧‧元件/程序流程
    110'‧‧‧AWB演算法
    116‧‧‧元件
    118‧‧‧元件
    120‧‧‧元件
    122‧‧‧元件
    124‧‧‧元件
    150‧‧‧改良之影像處理管線/日光加權表
    权利要求:
    Claims (25)
    [1] 一種可由一可程式化控制器件讀取之非暫時性程式儲存器件，該非暫時性程式儲存器件包含儲存於上面之用於使得該可程式化控制器件進行以下操作的指令：將影像像素資料儲存於一記憶體中，其中自藉由一影像感測器擷取的一影像獲得該影像像素資料；將該影像像素資料變換成在一色彩空間上的一組影像像素值；估計該影像之一雜訊位準；至少部分基於該所估計雜訊位準來識別值之一雜訊最佳化加權表，其中該雜訊最佳化加權表中的每一值具有一對應影像像素值；使每一影像像素值與其對應雜訊最佳化加權表值相乘以產生經雜訊加權之影像像素資料；及將該經雜訊加權之影像像素資料儲存於該記憶體中。
    [2] 如請求項1之非暫時性程式儲存器件，其進一步包含用於使得該可程式化控制器件至少部分基於該經雜訊加權之影像像素資料計算該色彩空間中的該影像像素資料之一場景白色點的指令。
    [3] 如請求項2之非暫時性程式儲存器件，其進一步包含用於使得該可程式化控制器件使用該所計算場景白色點以使該影像像素資料色彩平衡的指令。
    [4] 如請求項1之非暫時性程式儲存器件，其中用於使得該可程式化控制器件估計該影像之一雜訊位準的該等指令包含：用於使得該可程式化控制器件估計該影像之一勒克斯位準的指令。
    [5] 如請求項1之非暫時性程式儲存器件，其中用於使得該可程式化控制器件估計該影像之一雜訊位準的該等指令包含：用於使得該可程式化控制器件判定該影像感測器之一類比增益的指令。
    [6] 如請求項1之非暫時性程式儲存器件，其中用於使得該可程式化控制器件識別值之該雜訊最佳化加權表的該等指令包含：用於使得該可程式化控制器件在複數個預先儲存之雜訊最佳化加權表中的對應值之間進行內插的指令。
    [7] 如請求項6之非暫時性程式儲存器件，其中用於使得該可程式化控制器件在複數個預先儲存之雜訊最佳化加權表中之對應值之間進行內插的該等指令包含：用於使得該可程式化控制器件在該複數個預先儲存之雜訊最佳化加權表中之兩者中的對應值之間執行一線性或非線性內插的指令。
    [8] 如請求項6之非暫時性程式儲存器件，其中該複數個預先儲存之雜訊最佳化加權表中的每一者對應於一雜訊位準。
    [9] 如請求項6之非暫時性程式儲存器件，其中該複數個預先儲存之雜訊最佳化加權表中的每一者對應於一勒克斯位準。
    [10] 一種裝置，其包含：一影像感測器；一可程式化控制器件；耦接至該可程式化控制器件及該影像感測器的一記憶體，其中指令儲存於該記憶體中，該等指令用於使得該可程式化控制器件進行以下操作：自藉由該影像感測器擷取之一影像獲得影像像素資料；估計該影像之一雜訊性質；至少部分基於該所估計雜訊性質識別一雜訊最佳化加權表；及將該雜訊最佳化加權表應用至該影像像素資料以產生經雜訊加權之影像像素資料。
    [11] 如請求項10之裝置，其進一步包含用於使得該可程式化控制器件進行以下操作的指令：將該經雜訊加權影像像素資料發送至一自動白平衡(AWB)程式模組。
    [12] 如請求項10之裝置，其進一步包含用於使得該可程式化控制器件計算該影像像素資料之一白色點的指令。
    [13] 如請求項12之裝置，其中用於使得該可程式化控制器件計算一白色點的該等指令進一步包含：用於使得該可程式化控制器件使用該經雜訊加權影像像素資料的指令。
    [14] 如請求項13之裝置，其進一步包含用於使得該可程式化控制器件根據該所計算白色點使該影像像素資料色彩平衡的指令。
    [15] 如請求項10之裝置，其中用於使得該可程式化控制器件識別該雜訊最佳化加權表的該等指令包含：用於使得該可程式化控制器件在預先儲存於該記憶體中之複數個雜訊最佳化加權表中的對應值之間進行內插的指令。
    [16] 如請求項15之裝置，其中該複數個預先儲存之雜訊最佳化加權表中的每一者對應於一雜訊位準。
    [17] 一種可由一可程式化控制器件讀取之非暫時性程式儲存器件，該非暫時性程式儲存器件包含儲存於上面之用於使得該可程式化控制器件進行以下操作的指令：將影像像素資料儲存於一記憶體中，其中自藉由一影像感測器擷取的一影像獲得該影像像素資料；估計該影像之一雜訊性質；至少部分基於該所估計雜訊性質識別一雜訊最佳化像素選擇準則；將該雜訊最佳化像素選擇準則應用至該影像像素資料以產生經加權之影像像素資料；及將該經加權之影像像素資料儲存於該記憶體中。
    [18] 如請求項17之非暫時性程式儲存器件，其進一步包含用於使得該可程式化控制器件計算一場景白色點的指令。
    [19] 如請求項18之非暫時性程式儲存器件，其中用於使得該可程式化控制器件計算該場景白色點的該等指令進一步包含：用於使得該可程式化控制器件使用該經加權影像像素資料的指令。
    [20] 如請求項17之非暫時性程式儲存器件，其中用於使得該可程式化控制器件識別該雜訊最佳化像素選擇準則的該等指令包含：用於使得該可程式化控制器件在複數個預先儲存之雜訊最佳化加權表中的對應值之間進行內插的指令。
    [21] 如請求項17之非暫時性程式儲存器件，其中用於使得該可程式化控制器件識別該雜訊最佳化像素選擇準則的該等指令包含：用於使得該可程式化控制器件識別一個二元選擇準則的指令。
    [22] 如請求項20之非暫時性程式儲存器件，其中該複數個預先儲存之雜訊最佳化加權表中的每一者對應於一雜訊位準。
    [23] 一種可由一可程式化控制器件讀取之非暫時性程式儲存器件，該非暫時性程式儲存器件包含儲存於上面之用於使得該可程式化控制器件進行以下操作的指令：將影像像素資料儲存於一記憶體中，其中自藉由一影像感測器擷取的一影像獲得該影像像素資料；估計該影像之一勒克斯位準；至少部分基於該所估計勒克斯位準，藉由在複數個預先儲存之雜訊最佳化加權表中之對應值之間進行內插而識別一雜訊最佳化加權表；將該雜訊最佳化加權表應用至該影像像素資料以產生經雜訊加權之影像像素資料；及使用該經雜訊加權影像像素資料來計算該影像像素資料之一白色點。
    [24] 如請求項23之非暫時性程式儲存器件，其中用於使得該可程式化控制器件進行內插的該等指令進一步包含：用於使得該可程式化控制器件在該複數個預先儲存之經雜訊最佳化加權表中之兩者中的對應值之間執行一線性或非線性內插計算的指令。
    [25] 如請求項23之非暫時性程式儲存器件，其中該複數個預先儲存之雜訊最佳化加權表中的每一者對應於一勒克斯位準。
    类似技术:
    公开号 | 公开日 | 专利标题
    TWI538522B|2016-06-11|使用雜訊最佳化準則以計算場景白色點
    US9826149B2|2017-11-21|Machine learning of real-time image capture parameters
    US11049473B2|2021-06-29|Apparatuses and methods for analyzing image gradings
    CN102724400B|2015-08-05|图像处理设备及其控制方法
    US8965120B2|2015-02-24|Image processing apparatus and method of controlling the same
    JP2009265678A|2009-11-12|周辺状態に合わせた画像補正のための方法およびシステム
    US10530995B2|2020-01-07|Global tone mapping
    RU2496250C1|2013-10-20|Устройство и способ обработки изображения
    JP6891882B2|2021-06-18|画像処理装置、および画像処理方法、並びにプログラム
    US9307213B2|2016-04-05|Robust selection and weighting for gray patch automatic white balancing
    TW201516963A|2015-05-01|用以產生高動態範圍影像之系統及其方法
    EP3566203B1|2021-06-16|Perceptually preserving scene-referred contrasts and chromaticities
    JP6611543B2|2019-11-27|画像処理装置、画像処理方法、およびプログラム
    WO2019104047A1|2019-05-31|Global tone mapping
    US20130093914A1|2013-04-18|Transformations and White Point Constraint Solutions for a Novel Chromaticity Space
    WO2018175337A1|2018-09-27|Perceptually preserving scene-referred contrasts and chromaticities
    JP2009004966A|2009-01-08|撮像装置
    CN110022469B|2021-03-02|图像处理方法、装置、存储介质及电子设备
    US20130093915A1|2013-04-18|Multi-Illuminant Color Matrix Representation and Interpolation Based on Estimated White Points
    KR102369148B1|2022-03-02|이미지 캡처 방법 및 시스템
    CN113538223A|2021-10-22|噪声图像生成方法、装置、电子设备及存储介质
    同族专利:
    公开号 | 公开日
    CA2790539A1|2013-04-12|
    CA2790539C|2016-10-11|
    AU2012227169A1|2013-05-02|
    EP2582125B1|2018-12-26|
    CN103051905B|2015-04-08|
    US20130093916A1|2013-04-18|
    AU2012227169B2|2015-02-19|
    CN103051905A|2013-04-17|
    KR20130039670A|2013-04-22|
    US8780225B2|2014-07-15|
    TWI538522B|2016-06-11|
    WO2013055492A1|2013-04-18|
    KR101429352B1|2014-08-11|
    JP2013085254A|2013-05-09|
    JP5632890B2|2014-11-26|
    EP2582125A1|2013-04-17|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    US6236763B1|1997-09-19|2001-05-22|Texas Instruments Incorporated|Method and apparatus for removing noise artifacts in decompressed video signals|
    US6965702B2|2002-02-27|2005-11-15|Eastman Kodak Company|Method for sharpening a digital image with signal to noise estimation|
    US7102669B2|2002-04-02|2006-09-05|Freescale Semiconductor, Inc.|Digital color image pre-processing|
    US7116838B2|2002-10-25|2006-10-03|Eastman Kodak Company|Enhancing the tonal and spatial characteristics of digital images using selective spatial filters|
    JP3861808B2|2002-12-25|2006-12-27|ソニー株式会社|撮像装置|
    KR100965880B1|2003-09-29|2010-06-24|삼성전자주식회사|영상의 잡음 제거 방법|
    US7728880B2|2004-06-25|2010-06-01|Qualcomm Incorporated|Automatic white balance method and apparatus|
    CA2616875A1|2004-07-30|2006-02-02|Algolith Inc.|Apparatus and method for adaptive 3d artifact reducing for encoded image signal|
    KR101092539B1|2005-02-18|2011-12-14|삼성전자주식회사|화이트 밸런스를 자동 조정하는 영상장치 및 그의 화이트밸런스 조정 방법|
    KR101303660B1|2007-10-01|2013-09-04|삼성전자주식회사|잡음제거를 고려한 선명도 향상 방법 및 장치 그리고 잡음가중치 계산 방법 및 장치|
    US8175378B2|2007-11-15|2012-05-08|Marvell World Trade Ltd.|Method and system for noise management for spatial processing in digital image/video capture systems|
    JP4465002B2|2007-11-16|2010-05-19|オリンパス株式会社|ノイズ低減システム、ノイズ低減プログラム及び撮像システム。|
    JP5166860B2|2007-12-28|2013-03-21|キヤノン株式会社|画像処理装置及び方法、及び撮像装置|
    US8274583B2|2009-06-05|2012-09-25|Apple Inc.|Radially-based chroma noise reduction for cameras|TWI473429B|2011-04-29|2015-02-11|Ememory Technology Inc|晶片上的電源輸入輸出介面|
    US9413981B2|2012-10-19|2016-08-09|Cognex Corporation|System and method for determination and adjustment of camera parameters using multi-gain images|
    EP2739049A1|2012-11-29|2014-06-04|Axis AB|Method and system for generating real-time motion video|
    US9530342B2|2013-09-10|2016-12-27|Microsoft Technology Licensing, Llc|Ambient light context-aware display|
    EP2950058B1|2014-05-28|2018-03-28|Axis AB|Calibration data in a sensor system|
    US9424628B2|2014-06-19|2016-08-23|Microsoft Technology Licensing, Llc|Identifying gray regions for auto white balancing|
    EP3206130B1|2014-07-01|2018-01-31|Axis AB|Methods and devices for finding settings to be used in relation to a sensor unit connected to a processing unit|
    US9794540B2|2015-04-17|2017-10-17|Google Inc.|Hardware-based convolutional color correction in digital images|
    US9336582B1|2015-04-17|2016-05-10|Google Inc.|Convolutional color correction|
    CN108804992A|2017-05-08|2018-11-13|电子科技大学|一种基于深度学习的人群统计方法|
    JP2019220766A|2018-06-15|2019-12-26|キヤノン株式会社|画像処理装置|
    JP2019220768A|2018-06-15|2019-12-26|キヤノン株式会社|画像処理装置|
    US20200226720A1|2019-01-14|2020-07-16|Nvidia Corporation|Weighted normalized automatic white balancing|
    CN114009148A|2019-04-30|2022-02-01|昕诺飞控股有限公司|亮度分布确定|
    法律状态:
    优先权:
    申请号 | 申请日 | 专利标题
    US201161546146P| true| 2011-10-12|2011-10-12||
    US13/348,192|US8780225B2|2011-10-12|2012-01-11|Use of noise-optimized selection criteria to calculate scene white points|
    [返回顶部]