• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:
    本發明係關於一種用於編碼對應於原始輸入視訊圖框之一序列之數位視訊資料之方法。該方法包括：將一第一原始輸入視訊圖框編碼為一INTER圖框；將該INTER圖框解碼並重新建構為一參考圖框；產生包括來自一第二原始輸入視訊圖框及該參考圖框二者之資訊之一INTRA輸入圖框；及將該INTRA輸入圖框編碼為一INTRA圖框。本發明亦係關於一種數位視訊編碼器系統，其用於藉由使用INTRA模式及INTER模式編碼原始輸入視訊圖框之一序列編碼對應於原始輸入視訊圖框之該序列之數位視訊資料。
    公开号:TW201304555A
    申请号:TW101116727
    申请日:2012-05-10
    公开日:2013-01-16
    发明作者:Stefan Lundberg
    申请人:Axis Ab；
    IPC主号:H04N19-00
    专利说明:
    用於編碼數位視訊資料之方法及數位視訊編碼器系統
    本發明係關於一種用於藉由使用INTRA模式及INTER模式編碼原始輸入視訊圖框之一序列編碼對應於原始輸入視訊圖框之該序列之數位視訊資料之方法及數位視訊編碼器系統。
    在現代數位視訊編碼器系統中，使用兩個主要模式來壓縮視訊信號：INTRA模式及INTER模式。在該INTRA模式中，藉由採用一單一影像之一給定通道中像素之空間冗餘度經由轉換編碼來編碼照度通道及色度通道。採用不同圖框之間之時間冗餘度之INTER模式依賴於一運動補償技術，該運動補償技術藉由編碼像素自一圖框至另一圖框之運動由一或多個先前解碼圖框預測一圖框。在INTER模式中，該照度通道及該色度通道共用相同的運動描述。
    通常，將待編碼之一圖框分割為個別壓縮並編碼之獨立區塊(巨集區塊或像素區塊)。在INTER模式中，該等區塊之各者被指派一或若干運動向量，且藉由根據運動向量組自過去及/未來圖框移位像素區塊來建構對圖框之一預測。最後，以類似於該INTRA模式之一方式藉由轉換編碼來編碼待編碼之圖框之間之距離及其運動補償預測(稱為殘留信號)。
    在MPEG術語中，該INTRA模式對應於I圖框，而該INTER模式對應於P及B圖框。該INTER模式之編碼效率大大高於該INTRA模式之編碼效率，此係因為該INTER模式利用時間預測：由運動補償形成之預測中含有信號之大部分，且殘留信號具有小於原始信號之一能量。因為INTRA圖框之編碼僅依賴於其等自身空間冗餘度，所以可獨立於任何其他圖像解碼INTRA圖框(而INTER圖框之情況卻並非如此)，且因此將INTRA圖框週期性插入於一位元串流中。一INTRA圖框可為一場景變化圖框(置於對應於其中時間冗餘度不可用之一場景變化之一新圖框群組之開始)或一刷新圖框(置於其中一些時間冗餘度可用之其他位置中)。
    INTRA及INTER圖框展現出不同編碼假影，此係因為基礎編碼方法不同。貫穿一均齊視訊序列，後續INTER圖框之品質及假影趨於穩定。然而，若編碼一INTRA刷新圖框，則全部之前假影歸因於INTER編碼而被擦除，且新假影歸因於INTRA編碼而被突然引入。因此，視訊品質在INTRA刷新圖框處相消，導致(此處稱為)一閃爍效應(flashing effect)，於文獻中亦使用閃變(flickering)效應及抽取效應(pumping effect)。當編碼假影變得相當明顯時，尤其在低運動序列中及在中等或低位元率處可見該閃爍效應。
    存在用於減小此閃爍效應之各種方法及裝置。在以下參考文獻中揭示一些實例：US20007/0230574、US2007/0081591及US2008/0025397。
    早期方法之缺點係：在額外壓縮回合方面所需的增加計算量。本發明係關於一種用於減小閃爍效應而不增加額外的壓縮回合之替代方法及裝置。
    鑑於上文，本發明之一目的係為解決或至少減小一或若干上述缺點。一般而言，藉由所附獨立技術方案達成上述目的。
    特定言之，根據本發明之一第一態樣，提呈一種用於編碼對應於原始輸入視訊圖框之一序列之數位視訊資料之方法。該方法包括：將一第一原始輸入視訊圖框編碼為一INTER圖框；將該INTER圖框解碼並重新建構為一參考圖框；產生包括來自一第二原始輸入視訊圖框及該參考圖框二者之資訊之一INTRA輸入圖框；及將該INTRA輸入圖框編碼為一INTRA圖框。
    該方法有利於促進減小該閃爍效應而不增加額外壓縮回合。此有利結果之一原因係：來自一先前編碼INTER圖框以及來自一原始輸入圖框二者之資訊係用以產生待編碼為一INTRA圖框之一輸入圖框，且因此該先前編碼INTER圖框中存在之任何編碼假影將至少部分存在於新編碼INTRA圖框中，且因此該閃爍效應將會減小。此外，本方法並不變更或改變ISO/MPEG家族(MPEG-1、MPEG-2、MPEG-4)之視訊編碼標準及ITU-H.26X家族(H.261、H.263及擴展、H.264)之視訊建議。
    該方法可進一步包括將該第二原始輸入圖框分為子區域；及對於該第二原始輸入圖框之每一子區域，判定該第二原始輸入視訊圖框之子區域中之一運動位準。
    來自該第二原始輸入圖框之資訊與用於產生對應於該第二原始輸入圖框之一子區域之該INTRA輸入圖框之一子區域之該參考圖框之資訊之比率可能係基於該第二原始輸入圖框之該對應子區域中識別之運動位準。為此，可自該等原始輸入圖框提取高運動位準之INTRA輸入圖框之區域之資訊，而可自該參考圖框提取低運動位準之INTRA輸入圖框之區域之資訊。
    使用唯一來自該第二原始輸入視訊圖框之資訊可產生該INTRA輸入圖框之一第一子區域。
    使用唯一來自該參考圖框之資訊可產生該INTRA輸入圖框之一第二子區域。
    使用來自該第二原始輸入視訊圖框及該參考圖框二者之資訊可產生該INTRA輸入圖框之一第三子區域。
    該方法可進一步包括依一第一量化值主要基於來自該第二原始輸入視訊圖框之資訊編碼該INTRA輸入圖框之一區域，且依一第二量化值主要基於來自該參考圖框之資訊編碼該INTRA輸入圖框之一區域，其中該第二量化值不同於該第一量化值。因此，使用高於低運動位準或無運動位準之區域之品質可編碼高運動位準之區域。
    該INTER圖框可為一P圖框或一B圖框，且該INTRA圖框可為一I圖框。
    根據本發明之另一態樣，提呈一種電腦可讀記錄媒體，其上已記錄用於當在具有處理能力之一裝置上執行時實施上述方法之一程式。
    根據本發明之又另一態樣，提呈一種數位網路攝影機，該數位網路攝影機經配置以執行記錄在電腦可讀記錄媒體上之程式。
    根據本發明之一進一步態樣，提呈一種數位視訊編碼器系統，該數位視訊編碼器系統用於藉由使用INTRA模式及INTER模式編碼原始輸入視訊圖框之一序列編碼對應於原始輸入視訊圖框之該序列之數位視訊資料。該數位視訊編碼器系統包括：一編碼器模組，其經配置以將輸入圖框處理為一INTRA圖框或一INTER圖框；一解碼器模組，其經配置以解碼藉由該編碼器編碼之INTRA圖框或該INTER圖框；一運動補償模組，其經配置以使用來自該解碼器模組之資訊以將編碼圖框重新建構為一參考圖框；及一INTRA輸入圖框建構模組，其經配置以使用來自一原始輸入視訊圖框之資訊以及來自一先前編碼並重新建構之參考圖框之資訊產生一INTRA輸入圖框，其中當該編碼器模組編碼一INTRA圖框時，其經配置以使用藉由該INTRA輸入圖框建構模組建構之INTRA輸入圖框。
    該數位視訊編碼器系統可進一步包括一運動偵測模組，其經配置以偵測該原始輸入視訊圖框之子區域中之一運動位準，其中該INTRA輸入圖框建構模組經配置以基於原始輸入圖框之該對應子區域中識別之運動位準藉由該運動偵測模組決定來自該原始輸入圖框之資訊與來自用以產生對應於該原始輸入圖框之一子區域之該INTRA輸入圖框之一子區域之參考圖框之資訊之比率。
    該數位視訊編碼器系統可實施於一監視攝影機中。
    現在將參考展示本發明之實施例之隨附圖式更詳細地描述本發明之此及其他態樣。該等圖式不應被詮釋為使本發明限制為特定實施例；相反該等圖式係用於解釋並理解本發明。貫穿該等圖式，相同的元件符號指代相同的元件。
    本發明係關於一種用於編碼對應於圖框之一原始序列之數位視訊資料之數位視訊編碼器系統及方法。
    在下列描述中，為解釋之目的，陳述特定術語以提供對本發明之一徹底理解。然而，熟習此項技術者將明白實踐本發明無需此等特定細節。例如，已參考ISO/MPEG家族(MPEG-1、MPEG-2、MPEG-4)之視訊編碼標準及參考ITU-H.26X家族(H.261、H.263及擴展、H.264)之視訊建議描述本發明。然而，相同技術可容易應用於其他類型的視訊編碼標準。
    在現代數位視訊編碼系統中，使用兩個主要模式來壓縮視訊圖框之一視訊串流之一視訊信號：INTRA模式及INTER模式。在INTRA模式中，藉由採用一單一圖框之一給定通道中像素之空間冗餘度經由轉換編碼來編碼照度通道及色度通道。採用不同圖框之間之時間冗餘度之INTER模式依賴於一運動補償技術，該運動補償技術藉由編碼像素自一圖框至另一圖框之運動由一(或多個)先前解碼圖框預測一圖框。在INTER模式中，該照度通道及該色度通道共用相同的運動描述。
    通常，將待編碼之一圖框分割為個別壓縮並編碼之獨立區塊(巨集區塊或像素區塊)。在INTER模式中，該等區塊之各者被指派一或若干個運動向量。藉由根據運動向量組自過去及/未來圖框移位像素區塊來建構對圖框之一預測。最後，以類似於該INTRA模式之一方式藉由轉換編碼來編碼待編碼之圖框之間之差(稱為殘留信號)及其運動補償預測。
    在不參考任何過去或未來圖框之情況中，根據該INTRA模式編碼之視訊圖框被稱為I圖框。根據該INTER模式編碼之視訊圖框自身經單向預測之圖框(稱為P圖框且參考為一INTRA圖框或INTER圖框之一過去或未來圖框予以編碼)或經雙向預測之圖框(稱為B圖框且參考兩個或兩個以上的過去或未來圖框予以編碼)。
    INTRA圖框包括場景變化圖框(置於對應於其中時間冗餘度不可用之一場景變化之一新圖框群組之開始)或刷新圖框(置於其中一些時間冗餘度可用之其他位置中)。
    圖1圖解如此項技術中熟知之一典型的數位視訊編碼裝置100之一高階方塊圖。該數位視訊編碼裝置100接收視訊圖框之一輸入視訊串流。藉由一離散餘弦轉換(DCT)模組112處理每一視訊圖框。如上提及，可獨立(一INTRA圖框)或參考來自接收自一運動評估模組140之其他圖框(一INTER圖框)之資訊處理每一圖框。接著，一量化器(Qu)模組114量化來自該離散餘弦轉換模組112之資訊。該離散餘弦轉換模組112及該量化器模組114構成一編碼器模組110。最後，接著用一熵編碼器(E)模組150編碼所量化視訊圖框以產生一編碼位元串流。該熵編碼器(E)模組150可(例如)使用一可變長度編碼(VLC)系統或算術編碼(CABAC)。
    因為參考其他鄰近視訊圖框定義一INTER圖框編碼視訊圖框，所以該數位視訊編碼器100需要產生一複本：在編碼假影不可避免之情況中每一解碼圖框在該數位視訊解碼器之解碼程序後將如何出現才可正確地編碼INTER圖框。因此，該數位視訊編碼器100之下部實際上係一數位視訊解碼器模組120。具體言之，一逆量化器(Qu-1)模組122反向視訊圖框資訊之量化，且一逆離散餘弦轉換(DCT-1)模組124反向該視訊圖框資訊之離散餘弦轉換。在藉由該逆離散餘弦轉換(DCT-1)模組124重新建構DCT係數後，一運動補償模組130將使用該資訊連同運動向量，以重新建構接著用作下一個圖框之運動評估之參考圖框之編碼圖框。
    接著可使用解碼視訊圖框來編碼相對於該解碼視訊圖框中之資訊定義之INTER圖框(P圖框或B圖框)。具體言之，一運動補償(MC)模組130及一運動評估(ME)模組140係用以判定運動向量並產生用以編碼INTER圖框之微分值。該運動評估(ME)模組140一般包含用於在產生所需微分值時所使用之最後一個解碼影像之一複本之記憶體構件。
    促進使用預測INTRA編碼巨集區塊之H.264(MPEG-4部分10)方法。若以INTRA模式編碼一區塊或巨集區塊，則基於相同影像內先前編碼並重新建構之區塊形成一預測區塊。在編碼之前自當前區塊減去此預測區塊。因此，一INTRA預測模組係H.264編碼解碼器之一基本部分，因為該INTRA預測模組自像素值(照度及色度)相鄰區塊減小藉由預測像素值而編碼之資料量。在圖1中，藉由INTRA預測(IP)模組105實施INTRA預測方法。
    INTRA圖框及INTER圖框展現出不同編碼假影，此係因為基礎編碼方法不同。貫穿一均齊視訊序列，後續INTER圖框之品質及假影趨於穩定。然而，若編碼一INTRA刷新圖框，則全部之前假影歸因於INTER編碼而被擦除，且新假影歸因於INTRA編碼而被突然引入。因此，視訊品質在INTRA刷新圖框處相消，導致(此處稱為)一閃爍效應，於文獻中亦使用閃變效應及抽取效應。當編碼假影變得相當明顯時，尤其在低運動序列中及在中等或低位元率處可見該閃爍效應。
    因此，待解決之一問題係減小歸因於編碼INTRA圖框及INTER圖框時不同的編碼假影所致之閃爍效應。存在用於減小此閃爍效應之各種方法及裝置。在以下參考文獻中揭示一些實例：US20007/0230574、US2007/0081591及US2008/0025397。本發明係針對一種用於減小該閃爍效應之替代方法及裝置。總之本發明係基於以下各者：
    ●參見上文，根據正常方法編碼視訊圖框之一序列中(其中先前INTER圖框不可用)之第一INTRA圖框。對於該第一INTRA圖框，將不會見到閃爍效應。
    ●根據以下各者編碼作為刷新圖框而引入之即將來臨的INTRA圖框：
    ○識別包括運動之當前原始輸入圖框之子區域。作為一非限制性實例，可藉由(例如)比較當前輸入圖框與一或多個先前(或可能未來)原始輸入圖框進行此識別。替代地，作為一又非限制性實例，可藉由比較該當前原始輸入圖框與場景之當前狀態之一背景模型進行此識別。
    ○判定包括運動之每一子區域的運動位準。
    ○產生稱為一INTRA輸入圖框之一新輸入圖框以取代該原始輸入圖框。該INTRA輸入圖框之資料內容係來自該當前原始輸入圖框之資料與來自一參考圖框(自一先前編碼圖框予以重新建構)之資料之一混合，其中通常使用來自最後一個參考圖框之資料。可主要自該等原始輸入圖框提取高位準運動之子區域之INTRA輸入圖框資訊，而可主要自該參考圖框提取無運動或低位準運動之子區域之資訊。在一特定子區域中，自該原始輸入圖框提取之資訊與自該參考圖框提取之資訊之比率係基於該特定子區域之所判定的運動位準。
    ○將包括來自該原始輸入圖框及該參考圖框二者之資訊/資料之INTRA輸入圖框編碼為一INTRA圖框。
    ○視需要，針對與無運動位準或低運動位準區域相比較高運動位準之區域，用不同品質來編碼該INTRA輸入圖框。
    ○視需要，對此特定INTRA圖框停用任何環路內解區塊濾波器(若使用H.264，則可能存在)。
    圖2圖解根據本發明之一數位視訊編碼器系統200之一實施例之一高階方塊圖。該數位視訊編碼器系統200經配置以編碼對應於原始輸入視訊圖框之一序列之數位視訊資料。更精確言之，該數位視訊編碼器系統200經配置以使用INTRA模式及INTER模式編碼原始輸入視訊圖框之該序列。
    該數位視訊編碼器系統200包括一INTRA預測(IP)模組105、一編碼器模組110、一解碼器模組120、一運動補償模組130、一運動評估(ME)模組140及一熵編碼器(E)模組150，全部此等模組亦存在於如圖1中圖解之先前技術編碼器系統中。此外，現在，已在該編碼器系統之輸入處增加一INTRA輸入圖框建構(IIFC)模組160及一運動偵測(MD)模組170。因此，該INTRA輸入圖框建構(IIFC)模組160及該運動偵測(MD)模組170形成根據本發明之數位視訊編碼器系統200之一預編碼程序階段。
    根據本發明之一實施例，該數位視訊編碼器系統200實施於一監視攝影機中。
    該INTRA預測(IP)模組105經配置以在INTRA模式中自像素值(照度及色度)相鄰區塊減小藉由預測像素值而編碼之資料量。
    該編碼器模組110包括一離散餘弦轉換(DCT)模組112及一量化器(Qu)模組114。該DCT模組112經配置以使用一離散餘弦轉換以INTRA輸入圖框或INTER輸入圖框之形式轉換輸入資料。該量化器模組114經配置以量化來自該DCT模組112之資訊。當該數位視訊編碼器系統200係處於INTRA模式中時，該編碼器模組110經配置以將INTRA輸入圖框處理為INTRA圖框。當該數位視訊編碼器系統200係處於INTER模式中時，該編碼器模組110經配置以將INTER輸入圖框處理為INTER圖框。
    該熵編碼器模組150經配置以藉由編碼自該編碼器模組110輸出之量化視訊圖框產生一編碼位元串流。該熵編碼器(E)模組150可(例如)使用一可變長度編碼(VLC)系統或算術編碼(CABAC)。
    如上提及，因為參考其他鄰近視訊圖框定義一INTER圖框編碼視訊圖框，所以該數位視訊編碼器200需要產生一複本：在編碼假影不可避免之情況中每一解碼圖框在該數位視訊解碼器之解碼程序後將如何出現才可正確地編碼INTER圖框。因此，該解碼器模組120經配置以解碼藉由該編碼器模組110編碼之INTRA圖框或INTER圖框。該解碼器模組120包括一逆量化器(Qu-1)模組122及一逆離散餘弦轉換(DCT-1)模組124。該逆量化器(Qu-1)模組122經配置以反向來自該編碼器模組110之視訊圖框資訊之量化。該逆離散餘弦轉換(DCT-1)模組124經配置以反向來自該編碼器模組110之視訊圖框資訊之離散餘弦轉換。
    該運動補償模組130經配置以使用來自該解碼器模組120之資訊以將編碼圖框重新建構為一參考圖框。即，在藉由該逆離散餘弦轉換(DCT-1)模組124重新建構DCT係數後，該運動補償模組130將使用該資訊連同運動向量，以重新建構該編碼圖框。在INTER模式中，重新建構圖框係用作下一個圖框之運動評估之參考圖框。
    該運動評估(ME)模組140係用以判定運動向量並產生用以編碼INTER圖框之微分值。
    目前的系統係根據本發明之類似於如(例如)圖1中圖解之一習知數位視訊編碼器系統之數位視訊編碼器系統200。
    根據本發明之數位視訊編碼器系統200之新特徵係該INTRA輸入圖框建構模組160及該運動偵測模組170。
    該運動偵測模組170經配置以偵測一原始輸入視訊圖框之子區域中之一運動位準。該運動偵測模組170及其功能將在下文予以更詳細地論述。
    該INTRA輸入圖框建構(IIFC)模組160經配置以使用來自一原始輸入視訊圖框之資訊以及來自一編碼並重新建構之參考圖框之資訊產生一INTRA輸入圖框。當正處於INTRA模式中時，該數位視訊編碼器系統200經配置以使用該INTRA輸入資訊以編碼一INTRA圖框。此外，該INTRA輸入圖框建構模組160經配置以決定來自該原始輸入圖框之資訊與來自用以產生對應於該原始輸入之一子區域之該INTRA輸入圖框之一子區域之參考圖框之資訊之比率。該決定係基於該原始輸入圖框之該對應子區域中藉由該運動偵測模組170識別之運動位準。視訊圖框之一序列中存在若干用於偵測運動之方法/演算法。下文將解釋一些非限制性實例。
    用於運動偵測之一簡單演算法比較當前原始輸入圖框(或該當前原始輸入圖框之子區域)與另一原始輸入圖框(或該另一原始輸入圖框之子區域)，且簡單地計數相異的像素數目。替代地，該演算法可比較該當前原始輸入圖框(或該當前原始輸入圖框之子區域)與場景之當前狀態之一背景模型(或該場景之當前狀態之背景模型之子區域)。接著可使每一子區域中之運動位準關聯於相異的若干像素。
    現在將描述用於運動偵測以及用於更新如藉由一攝影機擷取之場景之當前狀態之一背景模型之一更複雜的演算法。
    為促進對程序之理解，描述反覆背景模型更新程序之一反覆。因此，該程序係關於有時候在一初始反覆後執行之一反覆。即使一初始反覆之間存在一些區別(主要係關於設定初始值)，熟習此項技術者可容易自下列描述實施該初始反覆。此外，每次擷取一新圖框/影像時或依一定期間隔，可執行該背景模型更新。因此，下列程序係描述擷取一新圖框/影像後之情況，且因此當已執行該背景模型更新程序之一反覆時返回至圖框/影像擷取程序。因為熟習此項技術者熟習該圖框/影像擷取程序，所以本文並未描述該圖框/影像擷取程序。
    在一給定瞬間或背景模型反覆，已擷取關於時間之新圖框/影像資料。此時攝影機之記憶體包含：
    - 最近擷取之圖框/影像資料，- 先前反覆中產生之一背景模型之資料，- 表示先前反覆中識別之每一物件之資料。表示一物件之資料包括一運動向量、表示該物件之一影像及圍封該影像之一劃界框。
    - 表示描述該先前反覆中識別之可能物件像素之一前景影像之資料。
    該背景模型更新程序可存取此資料。
    接著開始該背景模型更新並產生一運動映圖(motion map)。該運動映圖係自當前擷取之圖框/影像資料予以產生，且指示該圖框/影像之像素正在運動。
    接著對每一物件使用速度向量及當前圖框/影像資料之擷取與先前圖框/影像資料之擷取之間之時間差來預測每一識別物件之影像視圖內之一新位置。
    接著藉由(例如)觀察每一物件之劃界框及影像將該運動映圖分段為匹配現有物件之片段。藉由計算匹配得分來執行此匹配。藉由比較區段與藉由一物件劃界框界定之每一區域之間及/或區段與每一物件影像之間之重疊及距離來計算該等匹配得分。接著基於該匹配結果解析該等物件並將該等物件編譯為物件之傳播、合併、分割、刪除或產生。
    在分段後，更新該等物件以覆蓋來自該運動映圖之匹配片段。接著藉由更新區域(非藉由該等物件之劃界框圍封之一區域)中之背景模型繼續該程序。基於來自該背景模型之當前值及新值藉由取代對應像素或藉由調整當前像素執行該背景模型之此等區域之更新。
    接著清除表示來自先前反覆之情景影像之資料，且藉由比較該背景模型與所擷取之圖框/影像對包含物件之區域計算新值。基於新前景影像及運動映圖，接著用新運動向量、表示該物件之一新影像及圍封該物件之新影像之一新劃界框更新該等物件。
    當已更新該等物件時，藉由更新定位於每一劃界框內之像素精細地調諧該背景模型。所更新之像素係劃界框內非所識別物件之部分之像素，且基於當前值及新值藉由憑藉取代對應像素或憑藉調整當前像素判定該背景模型之對應像素之值來執行該更新。因此已更新該背景模型且該程序返回至該圖框/影像擷取程序。
    為判定此情況中之運動，將計算該新影像與舊影像之間之區別，其中在此情況中該背景模型係用作該舊影像。
    在US2010/0080477中，描述用於視訊運動偵測之又另一方法。根據此方法，將一視訊序列之一系列影像組合為具有X、Y及t之頂點之一影像體積。將該影像體積在(X,t)或(Y,t)平面予以分層(slice)中、用一時空濾波器及臨限值過濾，以減小資料量。接著一搜尋演算法沿搜尋線在一子組視訊序列中進行搜尋以定位運動。可藉由識別不平行於任何頂點之線來識別運動。靜態主體及照明變化作為平行於該等頂點之線出現。因此，可區分真實運動與照明變化。為判定此情況中之運動，將使用隨著移動而偵測到之若干像素。
    可對整個像素計算旨在減小INTRA刷新圖框閃爍之運動位準之值，但更通常地是，該值係每一子區域(可將該影像分為該每一子區域)之一區域值。
    一實例將係：針對運動檢查影像之每一子區域(例如，僅小至9個像素)，且每一個別像素係用1標記運動或用0標記無運動。增加此等值來賦予一「子區域之運動總和」。此導致該子區域內之「最大運動」係9(若全部像素運動)且「最小運動」係0。接著「子區域之運動位準」將被計算為：「子區域之運動總和」/「最大運動」。
    作為使用基於單一像素之子區域之一替代，可使用求像素區塊中之運動值之平均值來減小運動位準。
    可設想產生此等子區域、其等之運動值及其等之運動位準之若干其他方法。
    此外，可基於來自相鄰子區域之「子區域運動位準」之間之一計算內插來最佳化該「子區域運動位準」。此內插可為線性或非線性且可能旨在賦予較輪廓鮮明的物件邊界。
    一旦判定每一子區域的運動位準，則可立即建立來自原始輸入圖框之資料/資訊與來自參考圖框之資料/資訊之比率。由此可產生INTRA輸入圖框之對應子區域。例如：若運動位準高於一第一臨限值，則唯一來自原始輸入視訊圖框之資料/資訊用於產生INTRA輸入圖框之對應子區域；若運動位準低於一第二臨限值，則唯一來自參考圖框之資料/資訊用於產生INTRA輸入圖框之對應子區域；且若運動位準小於該第一臨限值且大於該第二臨限值，則來自原始輸入圖框及參考圖框二者之資料/資訊用於產生INTRA輸入圖框之對應子區域。對於最後的情況，當來自原始輸入圖框及參考圖框二者之資料/資訊用於產生INTRA輸入圖框之對應子區域時，來自原始輸入圖框之資料/資訊與來自參考圖框之資料/資訊之比率可能係基於特定子區域中之運動位準。
    如先前提及，可視需要，針對無運動位準或低運動位準之區塊相比較運動位準較高之區塊，用一不同品質來編碼INTRA輸入圖框。通常，將用一較高品質(即，較低量化值)編碼具有高運動之區塊。
    然而，其上定義上文提呈之「子區域運動位準」值之子區域與由視訊編碼器使用之區塊相比較，在大小及位置二者方面可充分不同。若一子區域標記為具有一高運動位準，則編碼程序中應用一不同品質編碼之區塊因此並不明顯。
    一種解決方法可能係：亦基於「子區域運動位準」計算一「區塊運動位準」。一編碼區塊之編碼品質可取決於此「區塊運動位準」，例如，藉由定義在應改變品質值時定義之臨限值。較高編碼品質通常將更好地編碼運動，且一較低編碼品質將產生一更均勻的編碼品質。
    本發明亦係關於一種用於編碼對應於原始輸入視訊圖框之一序列之數位視訊資料之方法。現在將參考圖3更詳細地論述該發明方法之一實施例。
    取決於編碼模式，使用INTRA模式或INTER模式編碼原始輸入圖框。
    在步驟300根據常規的INTRA圖框編碼方法編碼視訊圖框之一序列中之第一圖框(其中先前INTRA圖框或INTER圖框不可用)，即，在不參考任何過去或未來圖框之情況中編碼該圖框，且藉由採用一單一圖框之一給定通道中像素之空間冗餘度經由轉換編碼來編碼照度通道及色度通道。對於第一INTRA圖框，將不會見到閃爍效應。在步驟305將該第一INTRA圖框解碼並重新建構為用於產生後續INTER圖框之一參考圖框。
    在步驟310使用常規的(參見上文)INTER模式編碼將原始輸入圖框之該序列中接下來的一或多個原始輸入視訊圖框編碼為INTER圖框。在步驟315將每一INTER圖框解碼並重新建構為用於產生後續INTER圖框或在產生一INTRA輸入圖框(步驟325)時用作輸入資料之一參考圖框。
    根據以下各者編碼作為刷新圖框引入之即將來臨的INTRA圖框：將當前原始輸入圖框之子區域分為子區域且在步驟320判定該當前原始輸入圖框之每一子區域的運動位準。在步驟325產生稱為一INTRA輸入圖框之一新輸入圖框以取代該原始輸入圖框。該INTRA輸入圖框之資料內容係來自該當前原始輸入圖框之資料與來自一參考圖框之資料之一混合。在步驟315中自一先前解碼圖框重新建構此參考圖框，該先前解碼圖框通常係所使用的最後一個參考圖框。對於INTRA輸入圖框，主要自該原始輸入圖框提取高運動位準之子區域之資料，而主要自該參考圖框提取無運動位準或低運動位準之子區域之資料。在一特定子區域中，自該原始輸入圖框提取之資訊與自該參考圖框提取之資訊之比率係基於該原始輸入圖框之特定子區域之所判定的運動位準。
    在步驟330將包括來自該原始輸入圖框及該參考圖框二者之資訊/資料之INTRA輸入圖框編碼為一INTRA圖框。視需要，針對與無運動位準或低運動位準之區域相比較高運動位準之區域，用不同品質(較高品質對應於較低量化值，較低品質對應於較高量化值)編碼該INTRA輸入圖框。下文中，在步驟335將所編碼INTRA圖框解碼並重新建構為用作待編碼之下一個圖框之一參考圖框之一參考圖框。待編碼之下一個圖框通常可為一INTER圖框(如圖3中所示之情況)、一INTRA場景變化圖框或另一INTRA刷新圖框。
    熟習此項技術者意識到本發明決不限於上文所述之態樣及實施例。
    例如，可以各種方式判定原始輸入圖框之子區域中之運動之偵測以及該等原始輸入圖框之各個子區域中運動位準值之產生。
    此外，歸因於所判定的運動位準以及歸因於受控於該方法/編碼器系統之使用者之因數，可改變來自一原始輸入圖框之資訊/資料與來自一參考圖框之資訊/資料之比率。
    此外，根據本發明之一實施例，該數位視訊編碼器系統中無須存在該INTRA預測(IP)模組105。
    此外，並非編碼視訊圖框之一序列中之全部刷新圖框(INTRA圖框)需要根據該發明方法而編碼。
    因此，隨附申請專利範圍之範疇內可能存在許多修改及變動。
    100‧‧‧數位視訊編碼器系統/位視訊編碼裝置/數位視訊編碼器
    105‧‧‧INTRA預測模組
    110‧‧‧編碼器模組
    112‧‧‧離散餘弦轉換模組
    114‧‧‧量化器模組
    120‧‧‧解碼器模組
    122‧‧‧逆量化器模組
    124‧‧‧逆離散餘弦轉換模組
    130‧‧‧運動補償模組
    140‧‧‧運動評估模組
    150‧‧‧熵編碼器模組
    160‧‧‧INTRA輸入圖框建構模組
    170‧‧‧運動偵測模組170
    200‧‧‧數位視訊編碼器系統
    Encoded Frame‧‧‧編碼圖框
    Input frames‧‧‧輸入圖框
    INTER Input frame‧‧‧INTER輸入圖框
    INTRA Input frame‧‧‧INTRA輸入圖框
    Reference frame‧‧‧參考圖框
    圖1圖解根據先前技術之一數位視訊編碼器系統之一高階方塊圖。
    圖2圖解根據本發明之一數位視訊編碼器系統之一實施例之一高階方塊圖。
    圖3係關於用於編碼數位視訊資料之方法之一實施例之一方塊圖。
    105‧‧‧INTRA預測模組
    110‧‧‧編碼器模組
    112‧‧‧離散餘弦轉換模組
    114‧‧‧量化器模組
    120‧‧‧解碼器模組
    122‧‧‧逆量化器模組
    124‧‧‧逆離散餘弦轉換模組
    130‧‧‧運動補償模組
    140‧‧‧運動評估模組
    150‧‧‧熵編碼器模組
    160‧‧‧INTRA輸入圖框建構模組
    170‧‧‧運動偵測模組170
    200‧‧‧數位視訊編碼器系統
    Encoded Frame‧‧‧編碼圖框
    Input frames‧‧‧輸入圖框
    INTER Input frame‧‧‧INTER輸入圖框
    INTRA Input frame‧‧‧INTRA輸入圖框
    Reference frame‧‧‧參考圖框
    权利要求:
    Claims (13)
    [1] 一種用於編碼對應於原始輸入視訊圖框之一序列之數位視訊資料之方法，其包括：將一第一原始輸入視訊圖框編碼為一INTER圖框，將該INTER圖框解碼並重新建構為一參考圖框，產生包括來自一第二原始輸入視訊圖框及該參考圖框二者之資訊之一INTRA輸入圖框，及將該INTRA輸入圖框編碼為一INTRA圖框。
    [2] 如請求項1之方法，其進一步包括：將該第二原始輸入圖框分為諸子區域，對於該第二原始輸入圖框之每一子區域，判定該第二原始輸入視訊圖框之子區域中之一運動位準。
    [3] 如請求項2之方法，其中來自該第二原始輸入圖框之資訊與用於產生對應於該第二原始輸入圖框之一子區域之該INTRA輸入圖框之一子區域之該參考圖框之資訊之比率係基於該第二原始輸入圖框之該對應子區域中識別之運動位準。
    [4] 如請求項3之方法，其中使用唯一來自該第二原始輸入視訊圖框之資訊產生該INTRA輸入圖框之一第一子區域。
    [5] 如請求項3或4之方法，其中使用唯一來自該參考圖框之資訊產生該INTRA輸入圖框之一第二子區域。
    [6] 如請求項3或4之方法，其中使用來自該第二原始輸入視訊圖框及該參考圖框二者之資訊產生該INTRA輸入圖框之一第三子區域。
    [7] 如請求項2、3或4之方法，其進一步包括依一第一量化值主要基於來自該第二原始輸入視訊圖框之資訊編碼該INTRA輸入圖框之一區域，且依一第二量化值主要基於來自該參考圖框之資訊編碼該INTRA輸入圖框之一區域，其中該第二量化值不同於該第一量化值。
    [8] 如請求項1、2、3或4之方法，其中該INTER圖框係一P圖框或一B圖框，且該INTRA圖框係一I圖框。
    [9] 一種電腦可讀記錄媒體，其上已記錄用於當在具有處理能力之一裝置上執行時實施如請求項1至8中任何一項之方法之一程式。
    [10] 一種數位網路攝影機，其經配置以執行記錄在如請求項9之該電腦可讀記錄媒體上之該程式。
    [11] 一種數位視訊編碼器系統，其用於藉由使用INTRA模式及INTER模式編碼原始輸入視訊圖框之一序列編碼對應於原始輸入視訊圖框之該序列之數位視訊資料，該數位視訊編碼器系統包括：一編碼器模組(110)，其經配置以將諸輸入圖框處理為一INTRA圖框或一INTER圖框，一解碼器模組(120)，其經配置以解碼藉由該編碼器編碼之該INTRA圖框或該INTER圖框，一運動補償模組(130)，其經配置以使用來自該解碼器模組(120)之資訊以將該經編碼圖框重新建構為一參考圖框，及一INTRA輸入圖框建構模組(160)，其經配置以使用來自一原始輸入視訊圖框之資訊以及來自一先前經編碼並重新建構之參考圖框之資訊產生一INTRA輸入圖框，其中當該編碼器模組(110)編碼一INTRA圖框時，其經配置以使用藉由該INTRA輸入圖框建構模組(160)建構之該INTRA輸入圖框，其特徵為該INTRA輸入圖框建構模組(160)經配置以使用來自一參考圖框藉由將一第一原始輸入視訊圖框編碼為一INTER圖框且此後將該INTER圖框重新建構為該參考圖框而形成之資訊及來自產生該INTRA輸入圖框之一第二原始輸入圖框之資訊。
    [12] 如請求項11之數位視訊編碼器系統，其進一步包括一運動偵測模組(170)，其經配置以偵測該原始輸入視訊圖框之子區域中之一運動位準，其中該INTRA輸入圖框建構模組(160)經配置以基於該原始輸入圖框之該對應子區域中識別之運動位準藉由該運動偵測模組(170)決定來自該原始輸入圖框之資訊與來自用以產生對應於該原始輸入圖框之一子區域之該INTRA輸入圖框之一子區域之參考圖框之資訊之比率。
    [13] 如請求項11至12中任何一項之數位視訊編碼器系統，其中該數位視訊編碼器系統實施於一監視攝影機中。
    类似技术:
    公开号 | 公开日 | 专利标题
    TWI477154B|2015-03-11|用於編碼數位視訊資料之方法及數位視訊編碼器系統
    US20160309192A1|2016-10-20|System and Method for Video Encoding Using Constructed Reference Frame
    US7068722B2|2006-06-27|Content adaptive video processor using motion compensation
    KR100751670B1|2007-08-23|화상 부호화 장치, 화상 복호 장치 및 화상 부호화 또는 복호화 방법
    US8649431B2|2014-02-11|Method and apparatus for encoding and decoding image by using filtered prediction block
    KR101342587B1|2013-12-17|조명변화 보상 움직임 예측 부호화 및 복호화 방법 및 장치
    US20100166073A1|2010-07-01|Multiple-Candidate Motion Estimation With Advanced Spatial Filtering of Differential Motion Vectors
    KR20090077062A|2009-07-14|화소 데이터의 적응형 잡음 필터링을 위한 방법 및 장치
    WO2011064673A1|2011-06-03|Method of and apparatus for encoding video frames, method of and apparatus for decoding video frames
    KR20100046202A|2010-05-06|이미지들을 처리하기 위한 방법 및 그 대응하는 전자 장치
    AU2013212013A1|2014-08-07|Object detection informed encoding
    US9565404B2|2017-02-07|Encoding techniques for banding reduction
    KR101968700B1|2019-04-12|디지털화된 이미지들의 시퀀스를 코딩하기 위한 방법
    US11212536B2|2021-12-28|Negative region-of-interest video coding
    KR100987921B1|2010-10-18|선택적 움직임 검색영역을 이용한 움직임 보상기법이 적용되는 동영상 압축부호화장치및 복호화 장치와 움직임 보상을 위한 선택적 움직임 검색영역 결정방법.
    US9699466B2|2017-07-04|Adaptive reference/non-reference frame determination for video encoding
    Wang et al.2016|The MPEG internet video-coding standard [Standards in a Nutshell]
    US9654775B2|2017-05-16|Video encoder with weighted prediction and methods for use therewith
    US20120106641A1|2012-05-03|Method for predicting a block of image data, decoding and coding devices implementing said method
    JP2006191287A|2006-07-20|画像符号化装置、画像符号化方法および画像符号化プログラム
    US20150249829A1|2015-09-03|Method, Apparatus and Computer Program Product for Video Compression
    JP2009290765A|2009-12-10|動画像復号装置、動画像復号方法及び動画像復号プログラムを記憶した記憶媒体
    KR100316787B1|2002-01-15|움직임 보상된 형상정보 부호화/복호화 방법및 장치
    KR20180068210A|2018-06-21|감시 시스템의 영상 재인코딩 시스템 및 이를 이용한 영상 재인코딩 방법
    JP2008245237A|2008-10-09|画像処理方法、画像処理装置およびそれを用いた撮像装置
    同族专利:
    公开号 | 公开日
    EP2536143A1|2012-12-19|
    JP5555741B2|2014-07-23|
    CN102833532A|2012-12-19|
    CN102833532B|2015-12-16|
    JP2013005437A|2013-01-07|
    US9332279B2|2016-05-03|
    US20120320979A1|2012-12-20|
    TWI477154B|2015-03-11|
    KR101528616B1|2015-06-12|
    KR20120139552A|2012-12-27|
    EP2536143B1|2015-01-14|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    WO1990010993A1|1989-03-16|1990-09-20|Fujitsu Limited|Video/audio multiplex transmission system|
    EP0631441B1|1993-06-22|2000-02-09|Canon Kabushiki Kaisha|Image processing apparatus|
    US5821986A|1994-11-03|1998-10-13|Picturetel Corporation|Method and apparatus for visual communications in a scalable network environment|
    JP3905969B2|1998-01-30|2007-04-18|株式会社東芝|動画像符号化装置および動画像符号化方法|
    US20040031052A1|2002-08-12|2004-02-12|Liberate Technologies|Information platform|
    WO2005117449A1|2004-05-25|2005-12-08|Koninklijke Philips Electronics N.V.|Method and device for encoding digital video data|
    EP1772016A2|2004-07-23|2007-04-11|Beach Unlimited LLC|Trickmodes and speed transitions|
    CN101091393B|2004-12-28|2012-03-07|日本电气株式会社|运动图像编码方法以及利用其的装置|
    CA2600750A1|2005-03-10|2006-09-21|Qualcomm Incorporated|Content adaptive multimedia processing|
    US7697783B2|2005-07-26|2010-04-13|Sony Corporation|Coding device, coding method, decoding device, decoding method, and programs of same|
    JP4528694B2|2005-08-12|2010-08-18|株式会社東芝|動画像符号化装置|
    US8614732B2|2005-08-24|2013-12-24|Cisco Technology, Inc.|System and method for performing distributed multipoint video conferencing|
    US8879856B2|2005-09-27|2014-11-04|Qualcomm Incorporated|Content driven transcoder that orchestrates multimedia transcoding using content information|
    KR100727994B1|2005-10-06|2007-06-14|삼성전자주식회사|깜박거림 현상 감소를 위한 동영상 프레임의 코딩 방법 및장치|
    JP4449915B2|2006-02-08|2010-04-14|ソニー株式会社|符号化装置、符号化方法およびプログラム、並びに、記録媒体|
    EP2017788A4|2006-05-09|2012-05-09|Pioneer Corp|SHIELD OBJECT VIDEO IMAGE IDENTIFICATION DEVICE AND METHOD|
    US8036270B2|2006-07-27|2011-10-11|Sharp Laboratories Of America, Inc.|Intra-frame flicker reduction in video coding|
    WO2008053746A1|2006-10-30|2008-05-08|Nippon Telegraph And Telephone Corporation|Procédé de génération d'informations de référence prédictives, procédé de codage et de décodage d'image dynamiques, leur dispositif, leur programme et support de stockage contenant le programme|
    KR100846802B1|2007-02-14|2008-07-16|삼성전자주식회사|동영상 프레임의 디코딩 방법 및 인코딩 방법|
    US9247285B2|2007-09-10|2016-01-26|The Directv Group, Inc.|Method and system for monitoring a content signal|
    KR101365597B1|2007-10-24|2014-02-20|삼성전자주식회사|영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법|
    DE102007060004B4|2007-12-13|2009-09-03|Siemens Ag|Verfahren und Vorrichtung zum Bestimmen einer Bildqualität|
    JP2009147751A|2007-12-14|2009-07-02|Sanyo Electric Co Ltd|画像処理装置、およびそれを搭載した撮像装置|
    WO2009091503A1|2008-01-17|2009-07-23|Thomson Licensing|Method for measuring flicker|
    US8121424B2|2008-09-26|2012-02-21|Axis Ab|System, computer program product and associated methodology for video motion detection using spatio-temporal slice processing|
    WO2010056310A1|2008-11-12|2010-05-20|Thomson Licensing|I-frame de-flickering for gop-parallel multi-thread video encoding|
    US20100238354A1|2009-03-18|2010-09-23|Shmueli Yaron|Method and system for adaptive noise reduction filtering|
    CN101742314B|2009-12-28|2012-06-27|北京工业大学|视频编码中纹理合成区域的选取方法及装置|US20160037167A1|2013-03-30|2016-02-04|Anhui Guangxing Linked-Video Communication Technology Co. Ltd|Method and apparatus for decoding a variable quality bitstream|
    EP2838268B1|2013-07-31|2019-02-20|Axis AB|Method, device and system for producing a merged digital video sequence|
    GB2525170A|2014-04-07|2015-10-21|Nokia Technologies Oy|Stereo viewing|
    EP3021579B1|2014-11-14|2016-10-12|Axis AB|Method and encoder system for encoding video|
    EP3200456A1|2016-01-28|2017-08-02|Axis AB|Video encoding method and video encoder system for temporal noise reduction|
    EP3340624B1|2016-12-20|2019-07-03|Axis AB|Encoding a privacy masked image|
    CN107155107B|2017-03-21|2018-08-03|腾讯科技（深圳）有限公司|视频编码方法和装置、视频解码方法和装置|
    CN108702510A|2017-10-31|2018-10-23|深圳市大疆创新科技有限公司|一种编码方法及装置|
    WO2019148320A1|2018-01-30|2019-08-08|SZ DJI Technology Co., Ltd.|Video data encoding|
    EP3713235A1|2019-03-19|2020-09-23|Axis AB|Methods and devices for encoding a video stream using a first and a second encoder|
    法律状态:
    优先权:
    申请号 | 申请日 | 专利标题
    EP11170154.6A|EP2536143B1|2011-06-16|2011-06-16|Method and a digital video encoder system for encoding digital video data|
    [返回顶部]