![]() 影像處理方法,影像處理系統及顯示裝置
专利摘要:
本發明的一個方式提供一種影像處理方法,包括如下步驟:將目標影像分為目標物區域和背景區域;算出目標物區域的平均顏色的灰階;利用平均顏色的灰階算出目標物區域的反色的灰階;以及利用目標影像的反色的灰階和背景區域的灰階算出處理影像的背景區域的灰階。 公开号:TW201304512A 申请号:TW101121745 申请日:2012-06-18 公开日:2013-01-16 发明作者:Hikaru Tamura;Toshiki Hamada 申请人:Semiconductor Energy Lab; IPC主号:G06T1-00
专利说明:
影像處理方法,影像處理系統及顯示裝置 本發明係關於一種影像處理方法及一種影像處理系統。 大至電視接收機等的大型顯示裝置,小至行動電話等的小型顯示裝置,各種各樣的顯示裝置已在市場上普及。由於對附加價值更高的產品的需求,顯示裝置得到不斷的開發。近年來,為了能夠再現更具有真實感的影像,已開發出能夠進行三維顯示的顯示裝置。 作為人將物體識別為立體的生理學上的原因,可以舉出雙眼視差、輻輳、焦點調節、運動視差、像大小、空間配置、明暗差異或陰影等。 在顯示裝置中,作為三維顯示方法大多使用利用雙眼視差的方式。作為利用雙眼視差的方式,例如可以舉出使用用來分離左眼所觀察的影像和右眼所觀察的影像的專用眼鏡的方式。此外,作為不使用專用眼鏡的方式,可以舉出對顯示部追加用來分離左眼所觀察的影像和右眼所觀察的影像的結構(視差阻擋、雙凸透鏡、微透鏡陣列等),來能夠以裸眼觀察到三維顯示的方式(專利文獻1等)。 [專利文獻1]日本專利申請公開第2005-258013號公報 因為在如上所述的顯示方式中,需要對顯示部追加結構(視差阻擋等)或使用專用眼鏡,所以導致顯示裝置的製造成本及耗電量的增加。 於是,本發明的一個方式的目的之一是提供一種提高全彩色的二維影像的立體感或縱深感的簡便的影像處理方法。或者,本發明的一個方式的目的之一是提供一種提高全彩色的二維影像的立體感或縱深感的影像處理系統,而不具有特別的結構。 當影像所包括的目標物和背景的色調的差異小時,人將該影像識別為平面。此外,與此相反,當影像所包括的目標物和背景的色調的差異大時,人獲得該影像的立體感或縱深感。 注意,在本說明書中,將影像中的想要強調或想要使其清晰的部分稱為“目標物”,而將該影像所包括的目標物之外的部分稱為“背景”。 於是,作為將難以得到立體感或縱深感的影像變換為容易得到立體感或縱深感的影像的方法,本發明人想到一種方法,其中使用色輪上的位於與目標物的平均顏色相反的一側(充分遠離的位置)的顏色(反色或補色)顯示背景。注意,在本說明書中,目標物的平均顏色(也稱為目標物區域的平均顏色)是指構成目標物區域的所有像素的平均顏色。 注意,在本說明書中,將目標影像中的構成目標物的多個像素(像素群)稱為“目標物區域”,而將目標影像中的構成背景的多個像素(像素群)稱為“背景區域”。 換言之,本發明的一個方式是一種影像處理方法,包括如下步驟:將構成目標影像的所有像素區分為目標物區域和背景區域的第一步驟;求出該目標物區域的平均顏色,並根據該平均顏色求出反色的第二步驟;以及對構成該背景區域的所有像素以一定比例分別賦予該反色的第三步驟。 此外,本發明的一個方式是一種影像處理方法,包括如下步驟:當使用RGB彩色模型來表示時,將構成以(N+1)灰階表示的目標影像的所有像素區分為目標物區域和背景區域的第一步驟;根據包括在該目標物區域中的所有像素的顏色算出平均顏色(R1,G1,B1),並根據該平均顏色(R1,G1,B1)算出以(N-R1,N-G1,N-B1)表示的反色(R2,G2,B2)的第二步驟;以及對包括在該背景區域中的像素(x,y)的顏色(Rxy,Gxy,Bxy)以一定比例分別賦予該反色(R2,G2,B2),並算出處理影像中的背景區域的像素(x,y)的顏色(R' xy,G' xy,B' xy)的以算式1表示的第三步驟。 (R' xy ,G' xy ,B' xy )=(kR xy +(1-k)R 2,kG xy +(1-k)G 2,kB xy +(1-k)B 2)其中0(k(1………(1) 注意,在本說明書中,將藉由對目標影像進行本發明的一個方式的影像處理而得到的影像稱為處理影像。 在上述影像處理方法中,當算式(1)中的k為0.2以上且0.8以下時,該影像處理的效果好,所以是較佳的。 在上述影像處理方法中,較佳為在該第三步驟之後進行作為第四步驟的珈馬校正處理、對比度強調處理、銳化處理或輪廓強調處理。 藉由進行第四步驟,可以使處理影像中的目標物更為清晰或更能對其進行強調。 此外,本發明的一個方式是一種具備藉由上述影像處理方法形成處理影像的處理部的影像處理系統。另外,該影像處理系統也可以具備顯示該處理影像的顯示部或具備儲存該處理影像的記憶部。 本發明的一個方式可以提供一種提高全彩色的二維影像的立體感或縱深感的簡便的影像處理方法。或者,本發明的一個方式還可以提供一種提高全彩色的二維影像的立體感或縱深感的影像處理系統,而不具有特別的結構。 參照圖式對實施方式及實施例進行詳細說明。但是,本發明不侷限於以下說明,而所屬技術領域的普通技術人員可以很容易地理解一個事實就是其方式及詳細內容在不脫離本發明的宗旨及其範圍的情況下可以被變換為各種各樣的形式。因此,本發明不應該被解釋為僅侷限在以下所示的實施方式及實施例所記載的內容中。注意,在下面說明的發明結構中,在不同的圖式中共同使用相同的元件符號來表示相同的部分或具有相同功能的部分,而省略反復說明。 [實施方式1] 在本實施方式中,參照圖1至圖4D以及圖6A說明本發明的一個方式的影像處理方法及影像處理系統。 本發明的一個方式的影像處理系統具備可以利用本發明的一個方式的影像處理方法形成處理影像的處理部。作為本發明的一個方式的影像處理系統,例如可以舉出如下裝置等:顯示裝置以及記憶體裝置,所述顯示裝置包括該處理部及顯示從該處理部輸出的影像資料的顯示部;所述記憶體裝置包括該處理部及儲存從該處理部輸出的影像資料的記憶部。在本實施方式中,作為本發明的一個方式的影像處理系統,以圖1所示的顯示裝置100為例進行說明。 《顯示裝置100》 圖1所示的顯示裝置100包括顯示部101及處理部102。 〈顯示部101〉 顯示部101具備顯示從處理部102輸出的影像資料的功能。顯示部101顯示二維影像。顯示部101顯示靜態影像或由多個影像構成的動態影像。 作為顯示部101,例如可以使用液晶顯示裝置、電致發光顯示裝置、電漿顯示器等。顯示部101由具有多個像素120的像素部121、掃描線驅動電路122及信號線驅動電路123等構成。 在像素部121中像素120配置為矩陣狀。各像素120與掃描線125及信號線126電連接。由此,各像素120與掃描線驅動電路122及信號線驅動電路123電連接。 根據從處理部102輸入的影像資料決定各像素120的顏色。用來選擇進行顯示的像素120的信號由掃描線驅動電路122輸入到掃描線125,並且影像資料由信號線驅動電路123輸入到信號線126。被選擇的像素120進行顯示。 〈處理部102〉 處理部102具有如下功能,即從讀取的目標影像中抽出目標物並將該目標物區分為由構成目標物的像素群而成的目標物區域和由其他像素群而成的背景區域。此外,還具有對背景區域所包括的像素進行影像處理而形成處理影像的功能。 處理部102包括運算處理部111、資料記憶部112、控制部113、輸入側介面部114以及輸出側介面部115等。 在運算處理部111中,進行影像資料的運算處理等各種運算處理。例如,包括CPU(Central Processing Unit:中央處理器)、影像處理用運算電路等。 資料記憶部112包括儲存用來在處理部102中進行影像處理的資料的各種儲存電路。例如,資料記憶部112包括運算處理部111進行運算處理的電腦程式;儲存影像處理用濾波器的資料及查找表等的ROM(Read Only Memory:唯讀記憶體);儲存運算處理部111所算出的運算結果的RAM(Random Access Memory:隨機存取記憶體);以及儲存輸入到處理部102的影像資料的儲存電路等。 控制部113包括用來控制處理部102的電路的電路。例如,控制部113包括控制資料記憶部112的資料的寫入的寫入控制電路以及控制該資料的讀出的讀出控制電路等。 在輸入側介面部114中,與外部設備進行信號的收發,以從連接到處理部102的外部設備提取影像資料等資料10。該外部設備只要是輸出影像資料的設備即可,例如可以舉出照相機等的影像拍攝裝置或再現儲存在硬碟、DVD等的儲存介質中的影像資料的影像再現裝置等。 為了在處理部102中處理影像資料,該影像資料需要是數位資料。例如,當需要在處理部102中處理類比資料的影像資料時,在輸入側介面部114中設置A/D轉換電路(類比-數位轉換電路),即可。 在輸出側介面部115中,為了對顯示部101輸出影像資料11,與顯示部101進行信號的收發。 例如,當需要對顯示部101輸出類比影像信號時,在輸出側介面部115設置D/A轉換電路(數位-類比轉換電路),即可。 《影像處理方法》 說明本發明的一個方式的影像處理方法。圖2A、2B、圖3、圖6A示出在圖1所示的處理部102中執行的影像處理方法的流程圖。 本實施方式的影像處理方法包括:將構成目標影像的所有像素區分為目標物區域和背景區域的第一步驟(圖2A所示的步驟A1);求得該目標物區域的平均顏色並根據該平均顏色求得反色的第二步驟(圖2A所示的步驟A2);以及對構成該背景區域的所有像素以一定比例賦予該反色的第三步驟(圖2A所示的步驟A3)。 在受到本發明的一個方式的影像處理的處理影像中,因為與目標影像相比,目標物的顏色的色調和背景的顏色的色調的位置彼此遠離,所以當觀察者看到該處理影像時,可以對目標物和背景感受到縱深感。換言之,該處理影像比目標影像更有立體感和縱深感。 〈第一步驟A1:區分為目標物區域和背景區域〉 首先,將目標影像的像素區分為目標物區域和背景區域。對於將目標影像的像素區分為目標物區域和背景區域的方法沒有特別的限制。 在本發明的一個方式中,將由目標物及背景而成的全彩色的二維影像的目標影像和包括該背景的一部分的影像(表示為比較影像)之間的差異為閾值以上(或大於閾值)的區域區分為目標物區域,將低於閾值(或閾值以下)的區域區分為背景區域。該閾值只要是能夠區分目標物區域和背景區域的值即可。只要將影像處理者判斷為適合於區分目標物區域和背景區域的值用作閾值即可。 明確而言,目標影像既可以是照片等靜態影像,又可以從構成動態影像的多個圖框影像中選擇。 此外,作為比較影像,可以使用在與目標影像相同或大致相同的焦點條件下拍攝的與目標影像不同的影像。當使用多個比較影像時,比較影像也可以包括含有在目標影像中的目標物。因此,當除了將照片等靜態影像用作比較影像之外,將構成動態影像的多個圖框影像中之一用作目標影像時,作為比較影像也可以從其前後的影像中選擇。 接著,明確地說明目標影像和比較影像的差異的算出方法。 圖3示出本實施方式的第一步驟A1的詳細內容(步驟B1至步驟B6)。 [步驟B1:目標影像及比較影像的讀取] 在步驟B1中,在處理部102讀取目標影像及比較影像。讀取的目標影像及比較影像的資料被寫入到資料記憶部112中。可以將目標影像及比較影像分別從外部設備輸入到處理部102中。此外,也可以將預先儲存在資料記憶部112中的影像用作比較影像。 在本實施方式中說明將靜態影像分別用於目標影像及比較影像的情況。本實施方式中的目標影像(圖4A)是由目標物和背景而成的影像,且比較影像(圖4B)是僅由該背景而成的影像(在與目標影像相同的焦點條件下拍攝的只有背景的影像,即不包括目標物的影像)。 另外,在實施方式2中詳細地描述從構成動態影像的多個圖框影像中選擇目標影像及比較影像的例子。 [步驟B2:總計值及處理計數值的復位] 在後面的步驟中,分別求出目標影像中的目標物區域的所有像素的RGB的每一個的灰階值的總和作為總計值Sum(R)、Sum(G)、Sum(B)。此外,求出目標物區域的像素的總數作為處理計數值counter。在此,當總計值Sum(R)、Sum(G)、Sum(B)及處理計數值counter是0之外的值時,將它們分別設定為0。當已經為0時,可以省略該步驟。另外,在進行步驟B1之前,也可以進行步驟B2。 [步驟B3:像素(x,y)是否是目標物區域的像素?] 在步驟B3中,針對比較影像的像素(x,y)和目標影像的像素(x,y)的每一個的色彩要素,判斷灰階值的差異的絕對值是否是閾值以上。圖6A示出步驟B3的詳細內容(步驟B3-1至步驟B3-3)。 像素(x,y)的資料包括用來特定某一種顏色的資料。當顯示部101採用由R(紅)、G(綠)、B(藍)的三種色彩要素表現一種顏色的結構時,影像資料的最小單位的像素(x,y)的資料分別具有R、G、B的每一個的灰階值。另外,色彩要素也可以使用RGB之外的顏色。例如,也可以由黃色(yellow)、青色(cyan)、洋紅色(magenta)構成。 在本實施方式中,像素(x,y)的資料由R、G、B的三種顏色(三種色彩要素)的灰階值構成。 另外,為了從目標影像更準確地抽出目標物區域,也可以在對目標影像或/及比較影像進行影像處理之後形成掩模影像。作為這種影像處理,有平均化處理、使用水平方向的線形一次微分濾波器的濾波器處理、邊緣檢測處理以及使用中值濾波器處理等的雜訊去除處理等。 {步驟B3-1:△R(x,y)、△G(x,y)、△B(x,y)的算出} 在步驟B3中,首先算出三個差異值△R(x,y)、△G(x,y)、△B(x,y)。在此,差異值△R(x,y)是比較影像的像素(x,y)的R的灰階值和目標影像的像素(x,y)的R的灰階值之間的差異的絕對值,差異值△G(x,y)是比較影像的像素(x,y)的G的灰階值和目標影像的像素(x,y)的G的灰階值之間的差異的絕對值,並且差異值△B(x,y)是比較影像的像素(x,y)的B的灰階值和目標影像的像素(x,y)的B的灰階值之間的差異的絕對值。 {步驟B3-2:αR(x,y)、αG(x,y)、αB(x,y)的決定} 接著,分別判斷差異值△R(x,y)、△G(x,y)、△B(x,y)是否是閾值(Rth,Gth,Bth)以上。 當差異值為閾值以上時,將灰階判定值設定為1。當差異值低於閾值時,將灰階判定值設定為0。換言之,當△R(x,y)Rth時,紅色的灰階判定值αR(x,y)=1,並且當△R(x,y)<Rth時,紅色的灰階判定值αR(x,y)=0。綠色、藍色的情況也是同樣的,根據差異值△G(x,y)、△B(x,y)是閾值Gth、Bth以上或低於Gth、Bth而決定其灰階判定值αG(x,y)、αB(x,y)為“1”或“0”。 在此,使用兩個影像(目標影像和比較影像)之間的各色彩要素的灰階值的變化量辨別像素(x,y)是否是目標物區域的像素。閾值(Rth,Gth,Bth)是用來區別像素(x,y)是包括在目標物區域中還是包括在背景區域中的灰階值的變化量的閾值。可以獨立地分別決定閾值Rth、Gth、Bth。 {步驟B3-3:差異判定值D(x,y)的決定} 接著,判斷RGB的灰階判定值的總和是否是2以上。當αR(x,y).αG(x,y).αB(x,y)2時,將像素(x,y)的差異判定值D(x,y)設定為1,並且當αR(x,y).αG(x,y).αB(x,y)<2時,將像素(x,y)的差異判定值D(x,y)設定為0。 在此,雖然作為決定差異判定值D(x,y)的值的條件,採用RGB的灰階判定值的總和為2以上的條件,但是既可以採用該總和為1以上的條件,又可以採用該總和等於3的條件。 [步驟B4-1:當判斷目標影像的像素(x,y)為目標物區域的像素時] 在步驟B3中,當差異判定值D(x,y)=1時,該目標影像的像素(x,y)被判斷為目標物區域的像素。此外,掩模影像的像素(x,y)顯示白色(步驟B4-1a)。 再者,在步驟B3中,當差異判定值D(x,y)=1時,分別對總計值Sum(R)、Sum(G)、Sum(B)加上目標影像的像素(x,y)的RGB的灰階值,且對處理計數值counter加上1(步驟B4-1b)。藉由進行步驟B4-1b,在後面的步驟B6中算出目標物區域的反色。 [步驟B4-2:當判斷目標影像的像素(x,y)為背景區域的像素時] 在步驟B3中,當差異判定值D(x,y)=0時,該目標影像的像素(x,y)被判斷為背景區域的像素。此外,掩模影像的像素(x,y)顯示黑色。 [步驟B5:是否已經對所有像素的灰階值的差異進行了判斷?] 直到在目標影像中的所有像素中,算出比較影像的像素和各色彩要素的灰階值之間的差異的絕對值並判斷該差異的絕對值是否是閾值以上,反復執行步驟B3至B5。 [步驟B6:掩模影像的形成] 藉由在所有像素中決定掩模影像的顏色(黑色或白色),形成圖4C所示的掩模影像。圖4C所示的掩模影像是由目標物區域(白色顯示區域)和背景區域(黑色顯示區域)而成的2值的影像。藉由形成圖4C所示的掩模影像,目標影像被區分為目標物區域和背景區域。另外,也可以在步驟B6之前進行下述步驟A2。 藉由上述步驟B1至步驟B6,第一步驟A1結束。 〈第二步驟A2:目標物區域的平均顏色及反色的算出〉 接著,算出目標物區域的平均顏色及反色。 在第二步驟A2中,藉由求出在第一步驟A1中被區分為目標物區域的所有像素的顏色的平均,算出目標物區域的平均顏色,然後根據該平均顏色算出反色。 (平均顏色) 藉由步驟B4-1b的處理,求出目標影像中的目標物區域的所有像素的RGB的每一個的灰階值的總和作為總計值Sum(R)、Sum(G)、Sum(B)。此外,求出目標物區域的像素的總數作為處理計數值counter。在步驟A2中,藉由分別用處理計數值counter除總計值Sum(R)、Sum(G)、Sum(B),算出目標物區域的平均顏色,該平均顏色是構成目標影像的目標物區域的所有像素的平均的顏色。在此,將目標物區域的像素的(N1)灰階中的R、G、B的灰階值的平均值表示為R1、G1、B1,且將平均顏色表示為(R1,G1,B1)。 另外,平均顏色也可以是目標影像的目標物區域中的所有像素的RGB的每一個的灰階值的中值。下面示出該中值的算出方法。 首先,在步驟B4-1b中,分別儲存目標物區域中的所有像素的RGB的灰階值,並求出目標物區域的像素的總數作為處理計數值counter。而且,在步驟A2中求出處理計數值counter的1/2的值M。此外,以昇冪或降冪重新排列RGB的灰階值,並將第M值分別設定為R1、G1、B1。另外,當處理計數值counter為奇數時,可以將第(M+0.5)值或第(M-0.5)值設定為目標物區域的平均顏色。或者,可以將第(M+0.5)值或第(M-0.5)值的平均值設定為目標物區域的平均顏色。 (反色) 再者,根據目標物區域的平均顏色算出目標物區域的平均顏色的反色。可以以(N-R1,N-G1,N-B1)表示平均顏色(R1,G1,B1)的反色,而以其為反色(R2,G2,B2)。 另外,如下述實施例1所示,當在以(N+1)灰階表示的目標影像中,作為構成目標物區域的所有像素的平均顏色的目標物的平均顏色(R1,G1,B1)及該目標物的平均顏色的反色(R2,G2,B2)滿足算式(2)、(3)時,可以藉由本發明的一個方式的影像處理方法,得到特別有立體感或縱深感的處理影像。 △1-2=|R 1+G 1+B 1-(R 2+G 2+B 2)|………(2) 〈第三步驟A3:對背景區域賦予反色〉 接著,對構成背景區域的所有像素以一定比例分別賦予藉由第二步驟A2算出的反色。 明確而言,使用藉由第一步驟A1得到的掩模影像,對判定為背景區域的像素的像素(x,y)以一定比例賦予藉由第二步驟A2得到的反色。另外,不對判定為目標物區域的像素的像素(x,y)賦予該反色。 圖2B示出第三步驟A3的詳細內容(步驟B7至步驟B10)。 [步驟B7:掩模影像的像素(x,y)是否顯示黑色?] 在步驟B7中,判斷掩模影像的像素(x,y)是黑色顯示還是白色顯示。當掩模影像的像素(x,y)是黑色顯示時,進入步驟B8-1的處理,而當掩模影像的像素(x,y)是白色顯示時,進入步驟B8-2的處理。 [步驟B8-1:當掩模影像的像素(x,y)是黑色顯示時] 當掩模影像的像素(x,y)是黑色顯示(像素(x,y)是背景區域的像素)時,處理影像的像素(x,y)的顏色取決於目標影像的像素(x,y)的顏色及反色。明確而言,可以使用目標影像的像素(x,y)的顏色(Rxy,Gxy,Bxy)及反色(R2,G2,B2)以算式(1)表示處理影像的背景區域的像素(x,y)的顏色(R' xy,G' xy,B' xy)。 (R' xy ,G' xy ,B' xy )=(kR xy +(1-k)R 2,kG xy +(1-k)G 2,kB xy +(1-k)B 2)其中0(k(1………(1) 特別是,當算式(1)中的k是0.2以上且0.8以下時影像處理的效果好,所以是較佳的。 [步驟B8-2:當掩模影像的像素(x,y)是白色顯示時] 當掩模影像的像素(x,y)是白色顯示(像素(x,y)是目標物區域的像素)時,處理影像的像素(x,y)的顏色是目標影像的像素(x,y)的顏色。 [步驟B9:是否已經決定了所有像素的顏色?] 直到決定處理影像的所有像素的顏色反復執行步驟B7至B9。 [步驟B10:處理影像的輸出] 藉由對所有像素決定處理影像的顏色,形成圖4D所示的處理影像。如上所述,藉由對目標影像進行本發明的一個方式的影像處理,可以得到處理影像。 也可以對藉由本發明的一個方式的影像處理方法得到的處理影像,進一步進行影像處理。明確而言,也可以在圖2B中的步驟B10之後進行該影像處理。 作為這種影像處理,可以舉出反銳化掩模處理等的銳化處理、強調對比度的對比度轉換處理(對比度強調處理)、珈馬校正處理或輪廓強調處理等。這種影像處理具有使目標物清晰或將目標物強調的效果。 例如,珈馬校正處理是根據輸出影像的珈馬值(表示影像的灰階的回應特性的數值)校正影像的灰階的處理。由此,在顯示部中可以顯示如實地反映從處理部輸出的處理影像的資訊的影像。 此外,對比度轉換處理是使顏色的明暗的差異變化的處理。藉由相對於處理之前的像素的灰階值,使處理之後的像素的灰階值的圖表的斜率變化,可以使顏色的明暗的差異變化。為了強調對比度,可以使該圖表的斜率大於1。例如,當處理之前的像素的灰階值x為0至50時,藉由進行處理之後的像素的灰階值y為0至100(y=2x,圖表的斜率為2)的處理1或處理之後的像素的灰階值y為0至150(y=3x,圖表的斜率為3)的處理2,可以增加顏色的明暗的差異。特別是,圖表的斜率越大,明暗的差異也越大(處理2的明暗的差異比處理1大)。 在如上所述的藉由使用本發明的一個方式的影像處理方法得到的處理影像中,因為與目標影像相比,在色輪上目標物的顏色和背景的顏色的位置彼此遠離,所以當觀察者看到該處理影像時,對目標物和背景感受到縱深感。因此,在本發明的一個方式中,可以從目標影像得到比該目標影像更有立體感或縱深感的處理影像。 [實施方式2] 在本實施方式中,參照圖5及圖6B說明與實施方式1不同的一種影像處理方法,該影像處理方法包括:從構成動態影像的多個圖框影像選擇目標影像及比較影像並將構成目標影像的所有像素區分為目標物區域和背景區域的第一步驟;求出該目標物區域的平均顏色並根據該平均顏色求出反色的第二步驟;以及對構成該背景區域的所有像素以一定比例賦予該反色的第三步驟。 在構成動態影像的多個圖框影像中,在連續的兩個圖框影像中有影像變化的部分。在本實施方式中,在圖框影像中將動態變化為某個閾值以上(或大於某個閾值)的部分作為“目標物”,而將其他部分作為“背景”。 當目標影像是構成動態影像的多個圖框影像中之一時,例如可以以與該目標影像連續的圖框影像為比較影像。明確而言,可以以與目標影像fa在時間上連續的圖框影像fa-1或圖框影像fa+1為比較影像。此外,比較影像不侷限於與該目標影像連續的圖框影像。因此,作為目標影像fa的比較影像,也可以使用圖框影像fa-j或圖框影像fa+j(j是自然數)。 在本實施方式中,作為目標影像及比較影像從構成動態影像的多個圖框影像中選擇而使用,下面詳細地描述其處理與實施方式1不同的步驟。明確而言,說明圖2A所示的第一步驟A1。 圖5示出本實施方式的第一步驟A1的詳細內容(步驟C1至C6)。另外,第二步驟A2及第三步驟A3可以參照實施方式1。 [步驟C1:目標影像及比較影像的讀取] 在步驟C1中,在處理部102讀取目標影像及比較影像。讀取的目標影像及比較影像的資料被寫入到資料記憶部112中。在本實施方式中,讀取三個圖框影像fa-1、fa、fa+1(讀取比較影像fa-1、比較影像fa+1以及目標影像fa)。 [步驟C2:總計值及處理計數值的復位] 在此,當總計值Sum(R)、Sum(G)、Sum(B)及處理計數值counter是0之外的值時,將它們設定為0。當已經為0時,可以省略該步驟。另外,在進行步驟C1之前,也可以進行步驟C2。 [步驟C3:像素(x,y)是否是目標物區域的像素?] 在步驟C3中,分別對比較影像fa-1的像素(x,y)和目標影像fa的像素(x,y)的色彩要素,判斷灰階值的差異的絕對值是否是閾值以上。並且,分別判斷比較影像fa+1的像素(x,y)和目標影像fa的像素(x,y)的RGB的每一個的灰階之間的差異的絕對值是否是閾值以上。圖6B示出步驟C3的詳細內容。 在本實施方式中,像素(x,y)的資料由R、G、B的三種顏色的灰階值構成。 {步驟C3-1a:△R1(x,y)、△G1(x,y)、△B1(x,y)的算出} 根據比較影像fa-1及比較影像fa算出三個差異值△R1(x,y)、△G1(x,y)、△B1(x,y)。在此,差異值△R1(x,y)是比較影像fa-1的像素(x,y)的R的灰階值和目標影像fa的像素(x,y)的R的灰階值之間的差異的絕對值,差異值△G1(x,y)是比較影像fa-1的像素(x,y)的G的灰階值和目標影像fa的像素(x,y)的G的灰階值之間的差異的絕對值,並且差異值△B1(x,y)是比較影像fa-1的像素(x,y)的B的灰階值和目標影像fa的像素(x,y)的B的灰階值之間的差異的絕對值。 {步驟C3-2a:αR1(x,y)、αG1(x,y)、αB1(x,y)的決定} 接著,分別判定差異值△R1(x,y)、△G1(x,y)、△B1(x,y)是否是閾值(Rth,Gth,Bth)以上。 當差異值為閾值以上時,將灰階判定值設定為1。當差異值低於閾值時,將灰階判定值設定為0。換言之,當△R1(x,y)Rth時,紅色的灰階判定值αR1(x,y)=1,並且當△R1(x,y)<Rth時,紅色的灰階判定值αR1(x,y)=0。綠色、藍色的情況也同樣,根據差異值△G1(x,y)、△B1(x,y)是閾值Gth、Bth以上還是低於Gth、Bth而決定其灰階判定值αG1(x,y)、αB1(x,y)為“1”或“0”。 {步驟C3-3a:差異判定值D1(x,y)的決定} 接著,判定RGB的灰階判定值的總和是否是2以上。當αR1(x,y)+αG1(x,y)+αB1(x,y)2時,將像素(x,y)的差異判定值D1(x,y)設定為1,當αR1(x,y)+αG1(x,y)+αB1(x,y)<2時,將差異判定值D1(x,y)設定為0。 在此,雖然作為決定差異判定值D1(x,y)的值的條件,採用RGB的灰階判定值的總和為2以上的條件,但是既可以採用該總和為1以上的條件,又可以採用該總和等於3的條件。 {步驟C3-1b:△R2(x,y)、△G2(x,y)、△B2(x,y)的算出} 同樣地,根據比較影像fa+1及比較影像fa算出三個差異值△R2(x,y)、△G2(x,y)、△B2(x,y)。在此,差異值△R2(x,y)是比較影像fa+1的像素(x,y)的R的灰階值和目標影像fa的像素(x,y)的R的灰階值之間的差異的絕對值,差異值△G2(x,y)是比較影像fa+1的像素(x,y)的G的灰階值和目標影像fa的像素(x,y)的G的灰階值之間的差異的絕對值,並且差異值△B2(x,y)是比較影像fa+1的像素(x,y)的B的灰階值和目標影像fa的像素(x,y)的B的灰階值之間的差異的絕對值。 {步驟C3-2b:αR2(x,y)、αG2(x,y)、αB2(x,y)的決定} 接著,分別判斷差異值△R2(x,y)、△G2(x,y)、△B2(x,y)是否是閾值(Rth,Gth,Bth)以上,並決定灰階判定值αR2(x,y)、灰階判定值αG2(x,y)、αB2(x,y)為“1”或“0”。 {步驟C3-3b:差異判定值D2(x,y)的決定} 接著,判斷RGB的灰階判定值的總和是否是2以上。當αR2(x,y)+αG2(x,y)+αB2(x,y)2時,將像素(x,y)的差異判定值D2(x,y)設定為1,當αR2(x,y)+αG2(x,y)+αB2(x,y)<2時,將差異判定值D2(x,y)設定為0。 {步驟C3-4:差異判定值D1(x,y)的決定} 而且,判斷差異判定值D1(x,y)和D2(x,y)的兩者是否都是“1”。當差異判定值D1(x,y)和D2(x,y)的兩者都是“1”時,進入步驟C4-1(C4-1a)。當差異判定值D1(x,y)和D2(x,y)中的至少一方不是1時,進入步驟C4-2。 [步驟C4-1:當目標影像的像素(x,y)是目標物區域的像素時] 在步驟C3-4中,當判斷差異判定值D1(x,y)和D2(x,y)兩者都是“1”(差異判定值D1(x,y)=1且D2(x,y)=1)時,掩模影像的像素(x,y)顯示白色(步驟C4-1a)。另外,該目標影像的像素(x,y)可以說是目標物區域的像素。 再者,在步驟C3-4中,當判斷差異判定值D1(x,y)和D2(x,y)都是1”時,對總計值Sum(R)、Sum(G)、Sum(B)分別加上目標影像的像素(x,y)的RGB的灰階值,且對處理計數值counter加上1(步驟C4-1b)。藉由進行步驟C4-1b,可以在後面的步驟C6中算出目標物區域的平均顏色及反色。 [步驟C4-2:當目標影像的像素(x,y)是背景區域的像素時] 在步驟C3-4中,當判斷差異判定值D1(x,y)和D2(x,y)中的至少一方不是“1”時(差異判定值D1(x,y)=0或/及D2(x,y)=0),掩模影像的像素(x,y)顯示黑色。此外,該目標影像的像素(x,y)可以說是背景區域的像素。 [步驟C5:是否已經對所有像素的灰階值的差異進行了判斷?] 直到在目標影像中的所有像素中,算出比較影像的像素和各色彩要素的灰階值之間的差異的絕對值並判斷該差異的絕對值是否是閾值以上,反復執行步驟C3至C5。 [步驟C6:掩模影像的形成] 藉由在所有像素中決定掩模影像的顏色(黑色或白色),形成掩模影像。掩模影像是由目標物區域(白色顯示區域)和背景區域(黑色顯示區域)而成的2值的影像。藉由形成掩模影像,目標影像被區分為目標物區域和背景區域。另外,也可以在步驟C6之前進行第二步驟A2。 藉由上述步驟C1至步驟C6,本實施方式的第一步驟A1結束。 然後,進行實施方式1所說明的第二步驟A2之後的處理,即可。 如本實施方式所示,在本發明的一個方式的影像處理方法中,從構成動態影像的多個圖框影像中選擇目標影像及比較影像。 [實施例1] 在本實施例中,參照圖7A-1、7A-2、7B-1、7B-2、7C-1、7C-2、7D-1和7D-2以及圖8A至8C說明採用本發明的一個方式的影像處理方法製造的處理影像。 表1示出結構例子1至4的進行本發明的一個方式的影像處理之前的影像中的目標物區域的平均顏色(R1,G1,B1)、反色(R2,G2,B2)及△1-2。 在本實施例中,該平均顏色是目標物區域所包括的所有像素的256灰階中的RGB的每一個的灰階值的平均值。 另外,△1-2滿足算式(2)。 △1-2=|R 1+G 1+B 1-(R 2+G 2+B 2)|………(2) (結構例子1) 圖7A-1示出進行本發明的一個方式的影像處理之前的影像(目標影像),圖7A-2示出進行本發明的一個方式的影像處理之後的影像(處理影像)。 此外,圖8A所示的掩模影像是一種2值的影像,其中用白色顯示結構例子1的目標影像中的目標物區域,並用黑色顯示結構例子1的目標影像中的背景區域。 (結構例子2) 圖7B-1示出進行本發明的一個方式的影像處理之前的影像(目標影像),而圖7B-2示出進行本發明的一個方式的影像處理之後的影像(處理影像)。 此外,圖8A所示的掩模影像是一種2值的影像,其中用白色顯示結構例子2的目標影像中的目標物區域,並用黑色顯示結構例子2的目標影像中的背景區域。 (結構例子3) 圖7C-1示出進行本發明的一個方式的影像處理之前的影像(目標影像),而圖7C-2示出進行本發明的一個方式的影像處理之後的影像(處理影像)。 此外,圖8B所示的掩模影像是一種2值的影像,其中用白色顯示結構例子3的目標影像中的目標物區域,並用黑色顯示結構例子3的目標影像中的背景區域。 (結構例子4) 圖7D-1示出進行本發明的一個方式的影像處理之前的影像(目標影像),而圖7D-2示出進行本發明的一個方式的影像處理之後的影像(處理影像)。 此外,圖8C所示的掩模影像是一種2值的影像,其中用白色顯示結構例子4的目標影像中的目標物區域,並用黑色顯示結構例子4的目標影像中的背景區域。 在結構例子1至4中的處理影像中,可以在算式(4)中使用目標影像的像素(x,y)的顏色(Rxy,Gxy,Bxy)及反色(R2,G2,B2)表示背景區域中的像素(x,y)的顏色(R' xy,G' xy,B' xy)。在本實施例中,如算式(4)所示,將算式(1)中的k的值設定為0.5。目標影像的背景區域中的像素的顏色和反色的比例越近於1:1,目標影像的背景的資訊越可以不消失,而得到影像處理的效果好的處理影像。 (R' xy ,G' xy ,B' xy )=(0.5R xy +0.5R 2,0.5G xy +0.5G 2,0.5B xy +0.5B 2)………(4) 根據本實施例示出了藉由對目標影像進行本發明的一個方式的影像處理方法,可以得到比該目標影像更有立體感及縱深感的處理影像。 特別是,可以知道本發明的一個方式的影像處理方法對結構例子1至3特別有效。並且,還發現結構例子1至3都滿足算式3。因此,本發明的一個方式的影像處理方法的效果好的以(N+1)灰階表示的目標影像滿足算式(3)。例如,在以256灰階表示的目標影像中,當△1-2大於0且是612以下時,本發明的一個方式的影像處理方法的效果好。 10‧‧‧資料 11‧‧‧影像資料 100‧‧‧顯示裝置 101‧‧‧顯示部 102‧‧‧處理部 111‧‧‧運算處理部 112‧‧‧資料記憶部 113‧‧‧控制部 114‧‧‧輸入側介面部 115‧‧‧輸出側介面部 120‧‧‧像素 121‧‧‧像素部 122‧‧‧掃描線驅動電路部 123‧‧‧信號線驅動電路部 125‧‧‧掃描線 126‧‧‧信號線 在圖式中:圖1是示出本發明的一個方式的影像處理系統的圖;圖2A及2B是示出本發明的一個方式的影像處理方法的圖;圖3是示出本發明的一個方式的影像處理方法的圖;圖4A至4D是根據本發明的一個方式的影像處理方法的影像的圖;圖5是示出本發明的一個方式的影像處理方法的圖;圖6A及6B是示出本發明的一個方式的影像處理方法的圖;圖7A-1、7A-2、7B-1、7B-2、7C-1、7C-2、7D-1以及7D-2是根據實施例1的圖;圖8A至8C是根據實施例1的圖。
权利要求:
Claims (19) [1] 一種影像處理方法,包括如下步驟:將目標影像分為目標物區域和背景區域;算出目標物區域的平均顏色的灰階值;使用平均顏色的灰階值算出目標物區域的反色的灰階值;以及使用反色的灰階值及目標影像的背景區域的灰階值算出處理影像的背景區域的灰階值。 [2] 根據申請專利範圍第1項之影像處理方法,其中目標影像和處理影像都是全彩色影像。 [3] 根據申請專利範圍第1項之影像處理方法,其中處理影像的目標物區域的灰階值與目標影像的目標物區域的灰階值相同。 [4] 根據申請專利範圍第1項之影像處理方法,其中多個像素被分為包括在目標物區域中的第一像素和包括在背景區域中的第二像素。 [5] 根據申請專利範圍第1項之影像處理方法,還包括如下步驟:進行珈馬校正處理、對比度強調處理、銳化處理或輪廓強調處理。 [6] 一種影像處理系統,包括:根據申請專利範圍第1項之影像處理方法製造處理影像的處理部。 [7] 一種影像處理方法,包括如下步驟:將目標影像分為目標物區域和背景區域,其中目標影像以(N+1)灰階表示;算出目標物區域的平均顏色的灰階值,其中(R1,G1,B1)表示平均顏色的灰階值;利用算式(R2,G2,B2)=(N-R1,N-G1,N-B1)算出目標物區域的反色的灰階值,其中(R2,G2,B2)表示反色的灰階值;以及利用算式(R'xy,G'xy,B'xy)=(kRxy+(1-k)R2,kGxy+(1-k)G2,kBxy+(1-k)B2)算出處理影像的背景區域的灰階值,其中(R'xy,G'xy,B'xy)表示處理影像的背景區域的像素(x,y)的灰階值,(Rxy,Gxy,Bxy)表示目標影像的背景區域的像素(x,y)的灰階值,並且0<k<1。 [8] 根據申請專利範圍第7項之影像處理方法,其中△1-2表示|R1+G1+B1-(R2+G2+B2)|,並且△1-2滿足0<△1-2 .2.4N的關係。 [9] 根據申請專利範圍第7項之影像處理方法,其中k是0.2至0.8。 [10] 根據申請專利範圍第7項之影像處理方法,其中處理影像的目標物區域的像素(x,y)的灰階值與目標影像的目標物區域的像素(x,y)的灰階值相同。 [11] 根據申請專利範圍第7項之影像處理方法,其中多個像素被分為包括在目標物區域中的第一像素和包括在背景區域中的第二像素。 [12] 根據申請專利範圍第7項之影像處理方法,還包括如下步驟:進行珈馬校正處理、對比度強調處理、銳化處理或輪廓強調處理。 [13] 一種影像處理系統,包括:根據申請專利範圍第7項之影像處理方法製造處理影像的處理部。 [14] 一種包括處理部和顯示部的顯示裝置,該處理部包括:用來將目標影像分為目標物區域和背景區域的單元,其中目標影像以(N+1)灰階表示;用來算出目標物區域的平均顏色的灰階值的單元,其中(R1,G1,B1)表示平均顏色的灰階值;用來利用算式(R2,G2,B2)=(N-R1,N-G1,N-B1)算出目標物區域的反色的灰階值的單元,其中(R2,G2,B2)表示反色的灰階值;以及用來利用算式(R'xy,G'xy,B'xy)=(kRxy+(1-k)R2,kGxy+(1-k)G2,kBxy+(1-k)B2)算出處理影像的背景區域的灰階值的單元,其中(R'xy,G'xy,B'xy)表示處理影像的背景區域的像素(x,y)的灰階值,(Rxy,Gxy,Bxy)表示目標影像的背景區域的像素(x,y)的灰階值,並且0<k<1,其中,顯示部包括用來顯示處理影像的多個像素。 [15] 根據申請專利範圍第14項之顯示裝置,其中△1-2表示|R1+G1+B1-(R2+G2+B2)|,並且△1-2滿足0<△1-2 .2.4N的關係。 [16] 根據申請專利範圍第14項之顯示裝置,其中k是0.2至0.8。 [17] 根據申請專利範圍第14項之顯示裝置,其中處理影像的目標物區域的像素(x,y)的灰階值與目標影像的目標物區域的像素(x,y)的灰階值相同。 [18] 根據申請專利範圍第14項之顯示裝置,其中多個像素被分為包括在目標物區域中的第一像素和包括在背景區域中的第二像素。 [19] 根據申請專利範圍第14項之顯示裝置,其中處理部還包括:用來進行珈馬校正處理、對比度強調處理、銳化處理或輪廓強調處理的單元。
类似技术:
公开号 | 公开日 | 专利标题 TWI571100B|2017-02-11|影像處理方法,影像處理系統及顯示裝置 CN105814875B|2020-12-01|选择用于立体成像的相机对 JP5327524B2|2013-10-30|画像処理装置、画像処理方法、およびプログラム JP6147275B2|2017-06-14|立体画像処理装置、立体画像処理方法、及びプログラム JP4395789B2|2010-01-13|画像処理装置、撮像装置、画像処理方法およびプログラム EP2416582A1|2012-02-08|Video processing device, video processing method, and computer program KR101690297B1|2016-12-28|영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치 CN101873509B|2013-03-27|消除深度图序列背景和边缘抖动的方法 JP2020536327A|2020-12-10|単一のカメラを使用した深度の推定 JP5918915B2|2016-05-18|カラーフィルタを有するセンサを用いて、改善されたカラー画像を作成するための方法およびデバイス KR20130008555A|2013-01-22|3d 디스플레이 장치에서 3차원 영상을 시각화하는 방법 및 3d 디스플레이 장치 US20130106841A1|2013-05-02|Dynamic depth image adjusting device and method thereof JP2015162718A|2015-09-07|画像処理方法、画像処理装置及び電子機器 JP6128748B2|2017-05-17|画像処理装置及び方法 KR20120019164A|2012-03-06|2d-3d 영상 변환 방법 및 이를 이용한 입체 영상 표시장치 CN102655600B|2014-10-29|立体影像显示方法 CN102404583A|2012-04-04|三维影像的深度加强系统及方法 TWI503788B|2015-10-11|還原尺寸重調景深圖框爲原始景深圖框的方法、裝置及系統 US10277879B2|2019-04-30|3D system including rendering with eye displacement TW201306562A|2013-02-01|用於改善三維顯示品質的方法 KR20070116329A|2007-12-10|이미지 센서의 렌즈 셰이딩 보정장치 및 보정방법 CN105450909B|2019-12-24|一种信息处理方法及电子设备 CN106600573B|2020-07-14|一种图像处理方法 US10148932B2|2018-12-04|3D system including object separation CN101977281B|2012-11-28|用于3d图像显示的抖动方法
同族专利:
公开号 | 公开日 TWI571100B|2017-02-11| US20130004063A1|2013-01-03| WO2013005592A1|2013-01-10| US8849060B2|2014-09-30| KR101932069B1|2018-12-24| JP6002469B2|2016-10-05| JP2013033463A|2013-02-14| KR20140051223A|2014-04-30| CN103650488B|2016-04-20| CN103650488A|2014-03-19|
引用文献:
公开号 | 申请日 | 公开日 | 申请人 | 专利标题 JP2941829B2|1988-12-23|1999-08-30|キヤノン株式会社|画像処理方法| JP2756326B2|1989-12-18|1998-05-25|キヤノン株式会社|画像処理方法及び装置| DE19619090A1|1996-04-30|1997-11-13|Cfb Gmbh|Vorrichtung und Verfahren zur Erzeugung eines Kompositbildes| JPH1023241A|1996-06-28|1998-01-23|Brother Ind Ltd|階調キャラクタ出力装置| JPH10200883A|1997-01-14|1998-07-31|Toshiba Corp|被写体の監視表示装置| US6198835B1|1998-01-08|2001-03-06|Xerox Corporation|Image input device and method for providing scanning artifact detection| JPH11308610A|1998-04-02|1999-11-05|Daewoo Electronics Co Ltd|映像信号適応的符号化装置| US6546052B1|1998-05-29|2003-04-08|Canon Kabushiki Kaisha|Image processing apparatus and method, and computer-readable memory| JP2004118442A|2002-09-25|2004-04-15|Nec Corp|画像色補正装置、画像色補正方法ならびに画像色補正用プログラム| JP2004228948A|2003-01-23|2004-08-12|Seiko Epson Corp|画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法| JP4189328B2|2004-01-16|2008-12-03|セイコーエプソン株式会社|画像処理装置、画像表示装置、画像処理方法および画像処理プログラム| JP2005258013A|2004-03-11|2005-09-22|Sharp Corp|表示パネルおよび表示装置| JP2006001952A|2004-06-15|2006-01-05|Takiron Co Ltd|柄入り樹脂板及びその製造方法| DE102004061507B4|2004-12-21|2007-04-12|Siemens Ag|Verfahren zur Korrektur von Inhomogenitäten in einem Bild sowie bildgebende Vorrichtung dazu| JP4205053B2|2004-12-27|2009-01-07|シャープ株式会社|画像処理装置| JP4506616B2|2005-08-25|2010-07-21|セイコーエプソン株式会社|画像表示装置、画像処理方法およびプログラム| EP2087466B1|2006-11-21|2020-06-17|Koninklijke Philips N.V.|Generation of depth map for an image| TWI323434B|2006-11-30|2010-04-11|Ind Tech Res Inst|Method of object segmentation for video| US8014581B2|2007-02-06|2011-09-06|Siemens Medical Solutions Usa, Inc.|3D segmentation of the colon in MR colonography| JP5160547B2|2007-08-15|2013-03-13|株式会社リバック|画像処理装置、画像処理方法、及び画像処理プログラム、並びに撮像装置| KR101515031B1|2007-11-20|2015-04-24|가부시키가이샤 한도오따이 에네루기 켄큐쇼|액정 표시장치 및 이 액정 표시장치의 화상 표시방법| KR101552475B1|2007-11-22|2015-09-11|가부시키가이샤 한도오따이 에네루기 켄큐쇼|화상 처리 방법, 화상 표시 시스템, 및 컴퓨터 프로그램| US8687918B2|2008-03-05|2014-04-01|Semiconductor Energy Laboratory Co., Ltd.|Image processing method, image processing system, and computer program| JP5180916B2|2008-06-25|2013-04-10|株式会社半導体エネルギー研究所|画像処理システム、及び画像処理方法| JP2010152521A|2008-12-24|2010-07-08|Toshiba Corp|画像立体化処理装置及び方法| KR101547556B1|2009-02-06|2015-08-26|삼성전자주식회사|이미지 표시 방법 및 장치| JP2012215852A|2011-03-25|2012-11-08|Semiconductor Energy Lab Co Ltd|画像処理方法、表示装置|US10142680B2|2015-12-16|2018-11-27|Gracenote, Inc.|Dynamic video overlays| CN106028022A|2016-05-27|2016-10-12|京东方科技集团股份有限公司|一种立体图像制作方法和设备| JP6780444B2|2016-10-27|2020-11-04|富士ゼロックス株式会社|画像処理装置、表示装置、画像処理方法、画像処理システムおよびプログラム| CN109994037B|2017-12-29|2021-12-14|杭州海康威视系统技术有限公司|生成电子地图的方法、装置、终端及存储介质| TWI712909B|2018-04-17|2020-12-11|和碩聯合科技股份有限公司|輔助臉部辨識的防僞方法及系統|
法律状态:
优先权:
[返回顶部]
申请号 | 申请日 | 专利标题 JP2011147047||2011-07-01|| 相关专利
Sulfonates, polymers, resist compositions and patterning process
Washing machine
Washing machine
Device for fixture finishing and tension adjusting of membrane
Structure for Equipping Band in a Plane Cathode Ray Tube
Process for preparation of 7 alpha-carboxyl 9, 11-epoxy steroids and intermediates useful therein an
国家/地区
|