ビデオおよび奥行きの符号化

专利摘要:
様々なインプリメンテーションが開示されている。いくつかのインプリメンテーションは、ビデオ、および奥行きの符号化に関する。１つの方法は、画像に対するビデオ情報の成分を選択することを含む。動きベクトルは、画像に対する選択されたビデオ情報に対してまたは奥行き情報に対して特定される（１０１０、１０４０）。選択されたビデオ情報は、特定された動きベクトルに基づいて、符号化される（１０１５）。奥行き情報は、特定された動きベクトル（１０３５）に基づいて、符号化される。インジケータが生成され、選択されたビデオ情報、および奥行き情報が特定された動きベクトル（１０３０、１０５０）に基づいて、符号化されたことを示す。集合的に符号化されたビデオ情報、符号化された奥行き情報、および生成されたインジケータを含む一つ以上のデータ構造が生成される（１０６５、１０７０）。
公开号:JP2011509631A
申请号:JP2010542207
申请日:2008-12-18
公开日:2011-03-24
发明作者:イン，ペン；ティアン，ドン；パンディット，パーヴィン，ビバス
申请人:トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ；
IPC主号:H04N7-32

专利说明:

[0001] 本明細書には、コード体系に関する実施例が記載されている。さまざまな特定の実施例は、ビデオおよび奥行きの符号化に関する。]
背景技術

[0002] ［関連出願］
本出願は、２００８年１月１１日に出願の「ビデオおよび奥行きの符号化」と題する米国仮出願番号第６１／０１０８２３号の利益を享受する。そして、全ての目的に対し、この内容の全部は、本願明細書に引用され組み込まれたものとする。
［背景］
マルチビュービデオ符号化（ＭＶＣ）は、例えば、自由な視点、および三次元の（３Ｄ）ビデオ・アプリケーション（家庭用娯楽機器、および監視）を含む多種多様なアプリケーションに貢献するする主要技術であると広く認識されている。奥行きデータは、各々のビューに関連づけられてもよい。奥行きデータはビューの合成に役立つ。そして、これは付加的なビューの作成である。]
発明が解決しようとする課題

[0003] マルチビューアプリケーションにおいて、ビデオの量、および関係する奥行きデータは、巨大となり得る。かくして、例えば、奥行きデータを使用する現在の・ビデオ符号化技術の符号化効率の精密化、そして、独立のビューの同時放送を実行するのを支援するフレームワークの構築が必要とされる。]
課題を解決するための手段

[0004] ［概要］
一般の態様によれば、画像に対するビデオ情報の成分が選択される。動きベクトルが、選択されたビデオ情報に対し、または画像に対する奥行き情報に対して特定される。選択されたビデオ情報は、特定された動きベクトルに基づいて符号化される。奥行き情報は、特定された動きベクトルに基づいて符号化される。選択されたビデオ情報および奥行き情報が、特定された動きベクトルに基づいて、各々符号化されたことを示す、インジケータが生成される。符号化されたビデオ情報、符号化された奥行き情報、および生成されたインジケータを含む一つ以上のデータ構造が集合的に生成される。]
[0005] 他の一般の態様によれば、信号は、データ構造を含むようフォーマットされる。データ構造は、画像に対する符号化されたビデオ情報、画像に対する符号化された奥行き情報、およびインジケータを含む。インジケータは、符号化されたビデオ情報、および符号化された奥行き情報が、ビデオ情報に対し、または奥行き情報に対して特定された動きベクトルに基づいて符号化されたことを示す。]
[0006] 他の一般の態様によれば、画像のビデオ成分に対する符号化されたビデオ情報、画像に対する符号化された奥行き情報、および、符号化されたビデオ情報と符号化された奥行き情報とが、ビデオ情報に対し、または奥行き情報に対して特定された動きベクトルに基づいて符号化されたかを示すインジケータ、を含むデータが受信される。動きベクトルは、符号化されたビデオ情報、および符号化された奥行き情報を復号化するときに使用するために生成される。符号化されたビデオ情報は、画像のための復号化されたビデオ情報を生成するために、生成された動きベクトルに基づいて復号化される。そして、符号化された奥行き情報は、画像に対する復号化された奥行き情報を生成するために、生成された動きベクトルに基づいて復号化される。]
[0007] 一つ以上のインプリメンテーションの詳細は、添付の図面、および下記の説明に記載する。あるインプリメンテーションが１つの特定の方法に記載されている場合であっても、さまざまな方法によって構成されてもよく、実施されてもよいことは明らかである。例えば、インプリメンテーションは、方法として実行されてもよく、または装置（例えば、一組のオペレーションを実行するように構成された装置または一組のオペレーションを実行するための命令を記憶している装置）として実施されてもよい。あるいは信号に表現されてもよい。他の態様、および特徴は、添付の図面、および請求項に基づいて記載された以下の詳細な説明から明らかになる。]
図面の簡単な説明

[0008] ８つのビューを備えるマルチビュービデオ符号化システムの符号化構造のインプリメンテーションの図である。
３つのビューを有する奥行きコード体系を加えたマルチビュービデオの符号化構造のインプリメンテーションの図である。
ビューｉの奥行きデータの予測のインプリメンテーションのブロック図である。
マルチビュー・ビデオコンテンツ、および奥行きを符号化するための符号化器のインプリメンテーションのブロック図である。
マルチビュー・ビデオコンテンツ、および奥行きを復号化するための復号化器のインプリメンテーションのブロック図である。
ビデオ送信機のインプリメンテーションのブロック図である。
ビデオ受信器のインプリメンテーションのブロック図である。
ビュー、および奥行きデータの順序付けのインプリメンテーションの図である。
ビュー、および奥行きデータの順序付けの他のインプリメンテーションの図である。
符号化プロセスのインプリメンテーションのフローチャートである。
符号化プロセスの他のインプリメンテーションのフローチャートである。
符号化プロセスのさらにもう一つのインプリメンテーションのフローチャートである。
復号化方法のインプリメンテーションのフローチャートである。
符号化プロセスの他のインプリメンテーションのフローチャートである。
符号化器の他のインプリメンテーションのブロック図である。
復号化方法の他のインプリメンテーションのフローチャートである。
復号化器の他のインプリメンテーションのブロック図である。]
[0009] ［詳細な説明］
少なくとも一つのインプリメンテーションにおいて、出願人は、マルチビュービデオに加えて奥行きのデータを符号化するフレームワークを提案する。加えて、出願人は、ビデオ、および奥行きデータを符号化するために、符号化効率を向上させるいくつかの方法を提案する。さらに、出願人は、奥行き信号が、他の奥行き信号の符号化だけでなく、ビデオ信号の符号化の効率を向上させるために使用し得るアプローチを解説する。]
[0010] 解決すべき多くの課題のうちの１つは、マルチビュー・ビデオシーケンスの効果的な符号化である。マルチビュー・ビデオシーケンスは、異なるビューの場所から同じ場面を撮った２つ以上のビデオシーケンスの一組である。マルチビュー・コンテンツの各々のビューに奥行きデータが関連づけられるため、一部分のマルチビュービデオ符号化アプリケーションのビデオおよび奥行きデータでも、その量は膨大なものとなり得る。かくして、奥行きデータを使用し、または独立ビューの同時放送を実行する現在のビデオ符号化の技術の符号化効率の向上に寄与するフレームワークの必要性が存在する。]
[0011] マルチビュー・ビデオソースは同じ場面のマルチビューを含むため、通常は、マルチビューイメージ間の高い相関関係が存在する。したがって、ビュー冗長性は、時間的冗長性に加えて利用されてもよく、かつ異なるビューの間でのビュー予測を実行することによって利用される。]
[0012] １つの実際的なシナリオにおいては、異質なカメラまたは完全に変調されていないカメラを使用し、多数のカメラを有するマルチビュー・ビデオシステムが作られている。多くのカメラを使用することは、復号化器の必要メモリが増大し、かつ複雑度も増加しうる。加えて、特定のアプリケーションは、一組のビューからいくつかのビューだけを復号化することを必要とする。その結果、出力のために必要とされないビューを完全に再構築することは必要ではない。]
[0013] 加えて、一部のビューは、奥行き情報だけを持っていてもよい。そして、関連づけられた奥行きデータを使用し、復号化器で合成される。奥行きデータは、また、中間的仮想ビューを生成するために使用されてもよい。]
[0014] 現在のＨ．２６４／ＡＶＣのマルチビュービデオ符号化拡張（以下「ＭＶＣ仕様」）は、ビデオデータだけに対する符号化を規定している。ＭＶＣ仕様は、符号化効率を向上するために、時間的、およびビュー間（ｉｎｔｅｒ−ｖｉｅｗ）依存を利用する。８つのビューを備えるマルチビュービデオ符号化システムに対し、ＭＶＣ仕様でサポートされる例示的な符号化構造１００が、図１に示されている。図１の矢印は、従属構造を示す。矢印は、参照用ピクチャから、参照用ピクチャに基づいて符号化される画像へポインティングしている。異なるビュー間の予測構造を示すために、高レベルの構文（ｓｙｎｔａｘ）が送られる。この構文は、表１に示されている。表１は、特に、インプリメンテーションに従って、ＭＶＣ仕様に基づいて設定されたシーケンス・パラメータを示す。] 図１
[0015] 更なる符号化効率を精密化するために、照度補償（ｉｌｌｕｍｉｎａｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）、およびモーション・スキップ・モードのようないくつかのツールが提案される。モーション・スキップ・ツールを以下に簡潔に説明する。]
[0016] ［マルチビュービデオ符号化のためのモーション・スキップ・モード］
モーション・スキップ・モードは、マルチビュービデオ符号化に対して符号化効率を精密化するために提案される。モーション・スキップ・モードは、少なくとも、動きの類似性が２つの隣接したビューの間に存在するというコンセプトに基づく。]
[0017] モーション・スキップ・モードは、同じ時間的瞬間（時刻）の隣接したビューの対応するマクロブロックから直接に、動き情報を推定する。すなわち、例えば、マクロブロックタイプ、動きベクトル、参照インデックス（ｒｅｆｅｒｅｎｃｅ ｉｎｄｉｃｅｓ）を推定する。この方法は、二つのステージに分けることができる。例えば、第１のステージで対応するマクロブロックを検索し、第２のステージで動き情報を取り出す。この実施例の第１の段階において、大域的視差ベクトル（ＧＤＶ：Ｇｌｏｂａｌ Ｄｉｓｐａｒｉｔｙ Ｖｅｃｔｏｒ）が、隣接したビューの画像の対応する位置を示すために使用される。この方法は、大域的視差ベクトルによって隣接したビューの対応するマクロブロックを設置する。大域的視差ベクトルは現在の画像、および隣接したビューの画像の間でマクロブロック・サイズのユニットにおいて測定されたものである。その結果、ＧＤＶはマクロブロック・サイズのユニットの大まかな（ｃｏａｒｓｅ）位置を示しているベクトルである。大域的視差ベクトルは、たとえばアンカー画像毎に、周期的に推定され復号化されてもよい。その場合、非アンカー画像の大域的視差ベクトルは、アンカー画像による最近の大域的視差ベクトルを使用して補間されてもよい。例えば、現在の画像ｃのＧＤＶは、ＧＤＶｃ ＝ｗ１＊ＧＤＶ１＋ｗ２＊ＧＤＶ２である。ここで、ｗ１およびｗ２は、現在の画像から、アンカー画像１および画像２までの、それぞれの距離の逆数に基づくものである。第二のステージにおいて、動き情報は隣接したビューの画像の対応するマクロブロックから得られる。そして、その動き情報は現在のマクロブロックに適用するために複製される。]
[0018] モーション・スキップ・モードは、現在のマクロブロックが、ジョイントマルチビュー・ビデオ・モデル（ＪＭＶＭ）において定義された、ベース・ビューに位置し、またはアンカー画像の画像に位置している場合、好ましくは、ディスエーブルとされる。なぜなら、隣接ビューからの画像は、インター予測方法のための他の方法に提示するために使用されるからである。すなわち、モーション・スキップ・モードについては、その動作の目的は、参照ビューから符号化モード／インター予測情報を借用することである。しかし、ベース・ビューは参照ビューを有しない。また、アンカー画像は、イントラ符号化されている。したがって、インター予測がなされていない。このため、これらのケースに対してＭＳＭをディスエーブルにすることが、好ましい。]
[0019] なお、ＪＭＶＭではＧＤＶｓが送信される点に注意すべきである。]
[0020] 復号化器にモーション・スキップ・モードを使用することを通知するために、新規なフラグｍｏｔｉｏｎ＿ｓｋｉｐ＿ｆｌａｇが、例えば、マルチビュービデオ符号化のためのマクロブロック・レイヤー構文のヘッダに含まれる。もし、ｍｏｔｉｏｎ＿ｓｋｉｐ＿ｆｌａｇが付与されている場合、現在のマクロブロックは、隣接したビューの対応するマクロブロックから、マクロブロックタイプ、動きベクトル、および参照インデックスを得る。]
[0021] ［ビデオデータとは別個に奥行きデータを符号化することについて］
ジョイントビデオチーム（ＪＶＴ）による作業における現在のマルチビュービデオ符号化仕様は、ビデオデータの符号化だけを規定している。その結果、奥行きを使用した中間のビュー（例えば、フリーな視点によるテレビ（ＦＴＶ）、没入型のメディア（イマーシブメディア：ｉｍｍｅｒｓｉｖｅ ｍｅｄｉａ）、および３Ｄテレコンファレンス）を生成することを必要とするアプリケーションは、完全にはサポートされていない。このフレームワークにおいては、再構築されたビューは、ビューの時間的予測に加えて、インタービュー（ビュー間）の参照として利用される。図１は、本発明の原理によるインプリメンテーションに従って、８つのビューを備えるマルチビュービデオ符号化システムに関する例示的な符号化構造１００を示す。] 図１
[0022] 少なくとも一つのインプリメンテーションにおいて、マルチビュービデオ符号化フレームワークにおいて奥行きを付け加えることを提案する。奥行き信号のためのフレームワークは、各々のビュービデオ信号に対して使用されるフレームワークに類似したものを使用してもよい。これは、奥行きをビデオデータの他の一組として扱い、かつビデオデータに対して使用されたツールと同一のセットを使用することによって実行することができる。図２は、本発明の原理のインプリメンテーションに従った３つのビューを有するマルチビュービデオと奥行きの符号化システム２００とを示す（上から下に、二つの行において、第１のビューのビデオおよび奥行き、次の二つの行で、第２のビューのビデオおよび奥行き、最後の二つの行で、第３のビューのビデオおよび奥行きが示されている）。] 図２
[0023] 実施例のフレームワークにおいて、ビデオ符号化ではなく奥行き符号化は、モーション・スキップ、およびビュー間予測に対する奥行きデータからの情報を使用する。この特定のインプリメンテーションをする意図は、ビデオ信号からそれぞれに奥行きデータを符号化することである。しかしながら、モーション・スキップ、およびビュー間予測は、それらがビデオ信号に適用されるのと類似した方式で、奥行き信号に適用されてもよい。符号化された奥行きデータの符号化効率を向上するために、ビューｉデータの奥行きは、例えば、他のビューｊの奥行きデータのビュー間予測および動き情報（モーション・スキップ・モード）、ビュー合成情報などのようなサイド情報ばかりでなく、ビューｉに対応する関連するビデオデータからのこれらのサイド情報を使用することを提案する。図３は、ビューｉの奥行きデータの予測３００を示す。Ｔ０、Ｔ１、およびＴ２は、異なる時刻に対応する。たとえば、ビューｉのビデオデータおよびビューｊの奥行きデータから、ビューｉの奥行きを予測する場合、同じ時刻から予測されることになるが、これは、単なる例示に過ぎない。他のシステムでは、いかなる時刻のデータを選択し使用してもよい。加えて、他のシステムおよびインプリメンテーションでは、ビューｉの奥行きデータを、さまざまなビューおよび時刻からの奥行きデータおよび／またはビデオデータからの情報を組み合わせて予測してもよい。] 図３
[0024] ビューｉに対する奥行きデータが、ビューｉからのビデオデータに関連する、動き、モードおよび他の予測情報を使用しているか、他のビューｊからのものを使用しているかを示すため、同様に構文要素を使用することを提案する。構文要素は、例えば、マクロブロック・レベルで信号として送られてもよく、かつ奥行きデータに帰属している現在のネットワーク抽象レイヤー（ＮＡＬ）ユニットで条件化される。もちろん、本発明の原理の精神を維持する限り、この種の送信は他のレベルでなされてもよい。]
[0025] インプリメンテーションに従って、表２は、モーション・スキップ・モードのためのマクロブロック・レイヤーの構文要素を示す。]
[0026] インプリメンテーションにおいて、例えば、表２において、ｄｅｐｔｈ＿ｄａｔａの構文は、以下のセマンティック（ｓｅｍａｎｔｉｃ）を有する：
ｄｅｐｔｈ＿ｄａｔａが０であることは、現在のマクロブロックが、現在のマクロブロックの動き予測に対する現在の奥行きデータに対応するビデオデータを使用しなければならないことを示す。]
[0027] ｄｅｐｔｈ＿ｄａｔａが１であることは、現在のマクロブロックが、動き予測のための従属構造（ｄｅｐｅｎｄｅｎｃｙ ｓｔｒｕｃｔｕｒｅ）に示される他のビューの奥行きデータに対応する奥行きデータを使用しなければならないことを示す。]
[0028] 加えて、奥行きデータ、およびビデオデータは、異なる解像度を有してもよい。一部のビューはサブサンプリングされたビデオデータを有してもよく、他のビューは、サブサンプリングされたそれらの奥行きデータ、またはそれらの両方を有してもよい。この場合、ｄｅｐｔｈ＿ｄａｔａフラグの解釈は参照用ピクチャの解像度に依存する。解像度が異なる場合においては、動き情報の抽出のためにＨ．２６４／ＡＶＣスタンダードにスケーラブルビデオ符号化（ＳＶＣ）の拡張を使用したのと同じ方法を使用してもよい。ＳＶＣにおいて、拡張レイヤーの解像度がベースレイヤの解像度の整数倍である場合、符号化器は、まず始めに、同じ解像度のアップサンプリングによって、動き、およびモードで、インター・レイヤー予測の実行を行うことを選択する。そして、動き補償をする。]
[0029] 参照用ピクチャ（奥行きまたはビデオ）が符号化されている現在の奥行き画像より低い解像度を有する場合、符号化器はその参照用ピクチャから、動き、およびモードを実行しないよう選択してもよい。]
[0030] 奥行き情報を復号化器に送信するための幾つかの方法がある。これらの方法のいくつかは、例示として以下説明する。なお、本発明の原理を維持する限り、奥行き情報を復号化器に送信することは、以下の方法に限られることはなく、他の方法を使用することができる。]
[0031] 図４は、本発明の原理のインプリメンテーションに従って、例示的なマルチビュービデオ符号化（ＭＶＣ）の符号化器４００を示す。符号化器４００において、コンバイナ４０５の出力は変換器４１０の入力に信号接続されている。変換器４１０の出力は、量子化器４１５の入力に信号接続されている。量子化器４１５の出力は、エントロピー符号化器４２０の入力、および逆量子化器４２５の入力に信号接続されている。逆量子化器４２５の出力は、逆変換器４３０の入力に信号接続されている。逆変換器４３０の出力は、コンバイナ４３５の第１の非反転入力に信号接続されている。コンバイナ４３５の出力は、イントラ予測手段４４５の入力、およびデブロッキングフィルタ４５０の入力に信号接続されている。デブロッキングフィルタ４５０の出力は、（ビューｉに対する）参照用ピクチャ記憶装置４５５に信号接続されている。参照用ピクチャ記憶装置４５５の出力は、動き補償器４７５の第一入力、およびモーション推定器４８０の第一入力に信号接続されている。モーション推定器４８０の出力は、動き補償器４７５の第２の入力に信号接続されている。（他のビューに対する）参照用ピクチャ記憶装置４６０の出力は、差異／照度推定器４７０の第一入力、および差違／照度補償器４６５に信号接続されている。差異／照度推定器４７０の出力は、差異／照度補償器４６５の第２の入力に信号接続されている。] 図４
[0032] エントロピー符号化器４２０の出力は、符号化器４００の出力として使われる。コンバイナ４０５の非反転入力は、符号化器４００の入力として使われ、かつ差異／照度推定器４７０の第２の入力、およびモーション推定器４８０の第２の入力に信号接続されている。スイッチ４８５の出力は、コンバイナ４３５の第２の非反転入力およびコンバイナ４０５の反転入力端子に信号接続されている。スイッチ４８５は、動き補償器４７５の出力に信号接続されている第一入力と、差異／照度補償器４６５の出力に信号接続されている第２の入力と、イントラ予測手段４４５の出力信号接続されている第３入力とを有する。]
[0033] モード決定モジュール４４０は、どの入力がスイッチ４８５によって選択されるかを制御するためのスイッチ４８５に接続された出力を有する。]
[0034] 図５は、本発明の原理のインプリメンテーションに従った例示的なマルチビュービデオ符号化（ＭＶＣ）復号化器を示す。復号化器５００において、エントロピー復号化器５０５の出力は逆量子化器５１０の入力に信号接続されている。逆量子化器の出力は、逆変換器５１５の入力に信号接続されている。逆変換器５１５の出力は、コンバイナ５２０の第１の非反転入力に信号接続されている。コンバイナ５２０の出力は、デブロッキングフィルタ５２５の入力、およびイントラ予測手段５３０の入力に信号接続されている。デブロッキングフィルタ５２５の出力は、（ビューｉに対する）参照用ピクチャ記憶装置５４０の入力に信号接続されている。参照用ピクチャ記憶装置５４０の出力は、動き補償器５３５の第一入力に信号接続されている。] 図５
[0035] （他のビューに対する）参照用ピクチャ記憶装置５４５の出力は、差異／照度補償器５５０の第一入力に信号接続されている。残差ビットストリームを受信するために、エントロピー複号器５０５の入力は、復号化器５００への入力として使われる。さらに、モード・モジュール５６０の入力は、スイッチ５５５に入力されるコントロール構文の受信を選択制御するための復号化器５００への入力として利用される。更に、動きベクトルを受信するために、動き補償器５３５の第２の入力は、復号化器５００の入力として使われる。また、差異／照度補償器５５０の第２の入力は、差異（ｄｉｓｐａｒｉｔｙ）ベクトル、および照度補償の構文を受信するために、復号化器５００への入力として使われる。]
[0036] スイッチ５５５の出力は、コンバイナ５２０の第２の非反転入力に信号接続されている。スイッチ５５５の第一入力は、差異／照度補償器５５０の出力に信号接続されている。スイッチ５５５の第２の入力は、動き補償器５３５の出力に信号接続されている。スイッチ５５５の第３入力は、イントラ予測手段５３０の出力に信号接続されている。モード・モジュール５６０の出力は、どの入力がスイッチ５５５によって選択されるかを制御するためのスイッチ５５５に信号接続されている。デブロッキングフィルタ５２５の出力は、復号化器の出力として使われる。]
[0037] 図６は、本発明の原理のインプリメンテーションに従ったビデオ伝送システム６００を示す。ビデオ伝送システム６００は、例えば、種々のメディア（例えば、衛星、ケーブル、電話線路または地上波による放送）のいずれかを用いる信号を送るためのヘッドエンド（ｈｅａｄ−ｅｎｄ）または伝送システムであってもよい。伝送は、インターネットまたはその他のネットワークを通じて提供されてもよい。] 図６
[0038] ビデオ伝送システム６００は、ビデオ、および奥行き情報を含むビデオコンテンツを生成し、かつ配信することが可能である。これは、ビデオおよび奥行き情報を含む符号化信号を生成することによって達成される。ビデオ伝送システム６００は、符号化器６１０、および符号化信号を送信することが可能な送信機６２０を有する。符号化器６１０は、ビデオ情報、および奥行き情報を受信し、かつこれらの信号から、符号化信号を生成する。符号化器６１０は、例えば、上述した符号化器３００であってもよい。]
[0039] 送信機６２０は、例えば、符号化された画像および／または情報を表す一つ以上のビットストリームを有するプログラム信号を送るのに適している。送信機の典型的な機能としては、例えば、誤り訂正符号化、信号データのインターリーブ、信号のエネルギーのランダム化、および一つ以上のキャリアに対する信号の変調が含まれる。送信機は、アンテナまたは、アンテナとのインターフェースを含んでもよい（図示せず）。]
[0040] 図７は、ビデオ受信側システム７００のインプリメンテーションの図を示す。ビデオ受信システム７００は、種々のメディア（例えば衛星、ケーブル、電話線路または地上波の放送）の信号を受信するように構成されてもよい。信号は、インターネットまたは一部の他のネットワークを通じて受信されてもよい。] 図７
[0041] ビデオ受信側システム７００は、例えば、携帯電話、コンピュータ、セットトップボックス、テレビまたは他のデバイスであって、符号化されたビデオを受信しかつ復号化されたビデオをユーザに対して表示し、または記憶するものであればよい。したがって、例えば、ビデオ受信側システム７００は、テレビのスクリーン、コンピュータ・モニタ、コンピュータ（記憶装置、処理装置または表示装置に対して）または一部の他の記憶装置処理またはディスプレイ装置に、のその出力を提供してもよい。]
[0042] ビデオ受信側システム７００は、ビデオ、および奥行き情報を含むビデオコンテンツの受信および処理が可能である。これは、ビデオ、および奥行き情報を含む符号化信号を受信することによって達成される。]
[0043] ビデオ受信側システム７００は、符号化信号を受信することが可能な受信器７１０（例えば本出願のインプリメンテーションに記載されている信号、および受信信号を復号化することが可能な復号化器７２０）を含む。]
[0044] 受信器７１０は、例えば、符号化された画像を表す複数のビットストリームを有するプログラム信号を受信するのに適していてもよい。典型的な受信器は、例えば変調されたかつ符号化されたデータ信号を受信し、そして、一つ以上のキャリアからデータ信号を復調し、そして、信号のエネルギーをデランダマイズし、信号のデータをデインターリーブし、かつ信号の誤り訂正と復号化する一つ以上の機能を実行する。受信器７１０は、アンテナ（図示せず）または、アンテナとのインターフェースを有してもよい。]
[0045] 復号化器７２０は、ビデオ情報、および奥行き情報を含むビデオ信号を出力する。復号化器７２０は、例えば、上述した復号化器４００であってもよい。]
[0046] ［実施例１］
奥行きは、ビューのビデオデータｉの後に関連づけられた奥行きデータが続くような形でビデオデータとインターリーブされる。図８は、ビューおよび奥行きデータの順序付け８００を示す。この場合、１つのアクセスユニットは、与えられた時刻での全てのビューに対してビデオおよび奥行きデータを含むこととなる。ネットワーク抽象レイヤー・ユニットに対してビデオおよび奥行きデータを区別するために、例えば高レベルで、構文要素を付け加えることを提案する。そして、これはスライスがビデオまたは奥行きデータのいずれに帰属するかを示す。この高水準構文は、ネットワーク抽象レイヤー・ユニット・ヘッダ、スライス・ヘッダ、シーケンス・パラメータ・セット（ＳＰＳ）、画像パラメータセット（ＰＰＳ）、補足的強調情報（ＳＥＩ：ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ）メッセージ、その他に存在してもよい。ネットワーク抽象レイヤー・ユニット・ヘッダに、この構文を付け加える一実施例を表３に示す。特に、インプリメンテーションに従って、表３は、ＭＶＣ仕様のためのネットワーク抽象レイヤー・ユニット・ヘッダを示す。] 図８
[0047] 実施例において例えば、表２に対応する構文要素ｄｅｐｔｈ＿ｆｌａｇは、以下のセマンティックを有してもよい
ｄｅｐｔｈ＿ｆｌａｇが０であることは、ネットワーク抽象レイヤー・ユニットがビデオデータを含むことを示す。]
[0048] ｄｅｐｔｈ＿ｆｌａｇが１であることは、ＮＡＬユニットが奥行きデータを含むことを示す。]
[0049] 他のインプリメンテーションは、符号化に関する他の標準に、または標準以外に対して適用されてもよい。インプリメンテーションは、ビデオおよび奥行きデータを組み立ててもよく、したがって、コンテンツの与えられたユニットに対し、奥行きデータはビデオデータに続くか、またはその逆でもよい。コンテンツのユニットは、例えば、与えられたビューからの一連の画像、与えられたビューからの単一の画像または与えられたビューからの画像のサブ画像の部分（例えばスライス、マクロブロックまたは下位マクロブロック部分）であってもよい。コンテンツのユニットは、例えば、与えられた時刻の全ての利用できるビューからの画像であってもよい。]
[0050] ［実施例２］
奥行きは、ビデオ信号から独立していてもよい。図９は、ビューおよび奥行きデータの他の順序付け９００を示す。表２の提案された高レベル構文変化は、この場合に適用されてもよい。他のインプリメンテーションでは、奥行きデータ、およびビデオデータを別に送るが、奥行きデータがビデオデータを有するビットストリームの一部として送られる点に留意する必要がある。インターリーブは、ビデオ、および奥行きが各々の時刻に対してインターリーブされるようなものであってもよい。] 図９
[0051] 奥行きがビデオデータとともにビットストリームの一部として送信されるため、実施例１および２は、奥行きデータのバンド内の伝送と捉えることができる。実施例２は、システムまたはアプリケーション層で結合され得る２つのストリーム（１つのビデオ、および１つの奥行き）を生成する。したがって実施例２は、ビデオおよび奥行きデータに対して、種々の異なる構成の複合ストリームを可能とする。２つの別々のストリームは異なって処理されもよい。更に、（ビデオデータのためのエラー訂正と比較して）奥行きデータが重要であるアプリケーションにおいて、例えば付加的なエラー訂正を奥行きデータに提供する。]
[0052] ［実施例３］
奥行きデータは、奥行きを使う能力をサポートしない特定のアプリケーションに対しては必要ではない。そのような場合、奥行きデータは、アウトオブバンドとされてもよい。これは、ビデオ、および奥行きデータが分離され、かついずれかの媒体で別々のチャネルを経由して送られることを意味する。奥行きデータは、この奥行きデータを使用してビュー合成を実行するアプリケーションに対してのみ必要である。その結果、奥行きデータがこの種のアプリケーションに対して受信器に到着しない場合であっても、アプリケーションは通常に機能してもよい。]
[0053] 例えば、奥行きデータが使用されたケースにおいて（ＦＴＶ、およびイマーシブ（ｉｍｍｅｒｓｉｖｅ）テレコンファレンスに制限されないが）、アプリケーションがタイムリな方法で奥行きデータを使用し得るように奥行きのデータの受信が保証されてもよい（これは、アウトオブバンドで送信される）。]
[0054] ［ビデオデータ成分としての奥行きデータの符号化］
ビデオ信号は、ビデオ符号化器に対する入力として、輝度、およびクロマ・データから構成されると見なせる。]
[0055] 第１の方式と異なり、奥行きマップをビデオ信号の付加的な成分と扱うことを提案する。入力として輝度およびクロマ・データに加えて奥行きマップを２６４／ＡＶＣに適応させることを提案する。本発明の原理の精神を維持する限りにおいて、このアプローチは、他の標準、ビデオ符号化器および／またはビデオ復号化器に適用されてもよいことは言うまでもない。特定のインプリメンテーションにおいて、ビデオ、および奥行きは、同じＮＡＬユニットにおいて存在する。]
[0056] ［実施例４］
クロマ成分と同様に、奥行きは、輝度成分以外の位置でサンプリングされてもよい。一実施例では、奥行きは、４：２：０、４：２：２および４：４：４でサンプリングされてもよい。Ｈ．２６４／ＡＶＣの４：４：４のプロファイルと同様に、奥行き成分はルマ／クロマ成分によってそれぞれに符号化されてもよく（独立モード）、またはルマ／クロマ成分と結合して符号化されてもよい（結合モード）。特徴を理解しやすくするために、一組のパラメータのシーケンスの変更態様が表４に示されている。表４は、特に、インプリメンテーションに従って、奥行きサンプリング・フォーマットを示すことが可能な、修正されたシーケンス・パラメータを示す。]
[0057] ｄｅｐｔｈ＿ｆｏｒｍａｔ＿ｉｄｃ構文要素のセマンティックは、以下の通りである。]
[0058] ｄｅｐｔｈ＿ｆｏｒｍａｔ＿ｉｄｃは、クロマ・サンプリング位置として、ルマサンプリングと関連して奥行きサンプリングを特定する。ｄｅｐｔｈ＿ｆｏｒｍａｔ＿ｉｄｃの値は０〜３（０および３を含む）の範囲である。ｄｅｐｔｈ＿ｆｏｒｍａｔ＿ｉｄｃがないときは、これは０に等しい（奥行きマップが示されていない）と推定される。ＳｕｂＷｉｄｔｈＤ、およびＳｕｂＨｅｉｇｈｔＤの変数は奥行きサンプリング・フォーマットに従い表５で示される。そして、それはｄｅｐｔｈ＿ｆｏｒｍａｔ＿ｉｄｃによって特定される。]
[0059] 本実施例において、ｄｅｐｔｈ＿ｆｏｒｍａｔ＿ｉｄｃ、およびｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃは同じ値でなければならず、かつ３に等しくない。したがって、奥行き復号化はクロマ成分を復号化することと類似している。予測モードを含む符号化モード、参照リスト・インデックス、参照インデックス、および動きベクトルは、全てクロマ成分から得られる。構文ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎは、奥行き変換係数がどのように符号化されるかを示すために拡張されなければならない。１つの例は、以下の式を使用することである。]
[0060] ＣｏｄｅｄＢｌｏｃｋＰａｔｔｅｒｎＤｅｐｔｈの値が０であることは、全ての奥行き変換係数レベルが０に等しいことを意味する。ＣｏｄｅｄＢｌｏｃｋＰａｔｔｅｒｎＤｅｐｔｈの値が１であることは、一つ以上の奥行きＤＣ変換係数レベルが非ゼロの値であり、すべての奥行きＡＣ変換係数レベルはゼロの値でなければならないことを意味する。ＣｏｄｅｄＢｌｏｃｋＰａｔｔｅｒｎＤｅｐｔｈの値が２であることは、０個以上の奥行きＤＣ変換係数レベルが非ゼロであり、かつ一つ以上の奥行きＡＣ変換係数レベルが非ゼロであることを意味する。奥行き残差は、表６のように符号化される。]
[0061] ［実施例５］
本実施例において、ｄｅｐｔｈ＿ｆｏｒｍａｔ＿ｉｄｃは３に等しい。すなわち、奥行きは輝度と同じ位置でサンプリングされる。符号化モードを含む予測モード、参照リスト・インデックス、参照インデックス、および動きベクトルは、全て輝度成分から得られる。構文ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎは、実施例４と同様に拡張されてもよい。]
[0062] ［実施例６］
実施例４、および５において、動きベクトルは、ルマ成分またはクロマ成分のどちらにでもセットできる。動きベクトルが奥行きデータに基づいて精密化されれば、符号化効率は精密化され得る。動き精密化ベクトルは、表７に示すように転送される。精密化は、公知の技術のいずれかを使用して実行され得る。]
[0063] 提案された構文のためのセマンティックは、以下の通りである：
ｄｅｐｔｈ＿ｍｏｔｉｏｎ＿ｒｅｆｉｎｅ＿ｆｌａｇは、動き精密化が現在のマクロブロックに対して使用可かどうかを示す。この値が１であることは、ルマ成分から複製した動きベクトルが精密化されることを意味する。他の場合は、動きベクトルの精密化は実行されない。]
[0064] ｄｅｐｔｈ＿ｍｏｔｉｏｎ＿ｒｅｆｉｎｅが現在のマクロブロックに設定された場合、ｍｏｔｉｏｎ＿ｒｅｆｉｎｅｍｅｎｔ＿ｌｉｓｔ０＿ｘ、ｍｏｔｉｏｎ＿ｒｅｆｉｎｅｍｅｎｔ＿ｌｉｓｔ０＿ｙがある場合は、これらは、ＬＩＳＴ１動きベクトルが、送信された精密化ブロックに付け加えられることを示す。]
[0065] ｄｅｐｔｈ＿ｍｏｔｉｏｎ＿ｒｅｆｉｎｅが現在のマクロブロックに設定された場合、ｍｏｔｉｏｎ＿ｒｅｆｉｎｅｍｅｎｔ＿ｌｉｓｔ１＿ｘ、ｍｏｔｉｏｎ＿ｒｅｆｉｎｅｍｅｎｔ＿ｌｉｓｔ１＿ｙがある場合は、これらは、ＬＩＳＴ１動きベクトルが。送信された精密化ブロックに付け加えられることを示す。]
[0066] 表の部分のうち、説明を加えた部分は、イタリック体で表中に書かれていることに留意すべきである。]
[0067] 図１０は、本発明の原理のインプリメンテーションに従って、ビデオ、および奥行き情報を符号化する方法１０００を示す。ステップＳ１００５（Ｓ１００５の「Ｓ」はステップでありオペレーションを表す。したがって、ステップ１００５と読む）において、ルマおよび／またはクロマと関連する奥行きサンプリングが、選択される。例えば、選択された奥行きサンプリングは、ルマサンプリング位置と同じかまたは異なってもよい。Ｓ１０１０で、動きベクトルＭＶ１が、ビデオ情報に基づいて生成される。Ｓ１０１５で、ビデオ情報が、動きベクトルＭＶ１を使用して符号化される。Ｓ１０２０で、ＭＶ１を使用して、奥行き符号化のレートひずみコストＲＤ１が算出される。] 図１０
[0068] Ｓ１０４０で、動きベクトルＭＶ２が、ビデオ情報に基づいて生成される。Ｓ１０４５で、ＭＶ１を使用して、奥行き符号化のレートひずみコストＲＤ１が算出される。]
[0069] Ｓ１０２５で、ＲＤ１がＲＤ２より小さいかどうかが判断される。その場合は、制御はＳ１０３０に移る。それ以外の場合は、Ｓ１０５０に移る。]
[0070] Ｓ１０３０で、ｄｅｐｔｈ＿ｄａｔａが０にセットされ、かつＭＶがＭＶ１にセットされる。Ｓ１０５０で、ｄｅｐｔｈ＿ｄａｔａは１にセットされ、かつＭＶはＭＶ２にセットされる。]
[0071] 「ｄｅｐｔｈ＿ｄａｔａ」はフラグと称してもよい。そして、どんな動きベクトルが使用されるかを示す。ｄｅｐｔｈ＿ｄａｔａが０に等しいことは、ビデオデータから動きベクトルを使用しなければならないことを意味する。すなわち、現在の奥行きデータに対応するビデオデータが、現在のマクロブロックの動き予測のために使用される。]
[0072] ｄｅｐｔｈ＿ｄａｔａが１に等しいことは、奥行きデータから動きベクトルを使用しなければならないことを意味する。すなわち、動き予測の従属構造（ｄｅｐｅｎｄｅｎｃｙ ｓｔｒｕｃｔｕｒｅ）に示されているように、他のビューの奥行きデータが現在のマクロブロックの動き予測に対して使用される。]
[0073] Ｓ１０３５で、奥行き情報が、ＭＶ（ｄｅｐｔｈ＿ｄａｔａは、ビットストリームにカプセル化されている）を使用して符号化される。Ｓ１０５５で、奥行きがインバンドで送信されることになっているか否かが判断される。その場合は、制御はＳ１０６０に移る。他の場合は、制御はＳ１０７５に移る。]
[0074] Ｓ１０６０で、奥行きがビデオ成分として扱われることになっているかが判断される。その場合は、制御はＳ１０６５に移る。他の場合は、制御はＳ１０７０に移る。]
[0075] Ｓ１０６５で、データ構造がビデオおよび奥行き情報を含むよう生成される。奥行き情報を（例えば第４の）ビデオ成分として扱い（例えば、ビデオおよび奥行き情報をインターリーブすることによってビューの中で奥行きデータｉをビューｉのビデオデータに続くようにする）、そして、ｄｅｐｔｈ＿ｄａｔａがデータ構造に含まれるようにする。ビデオ、および奥行きは、マクロブロック・レベルに符号化される。]
[0076] Ｓ１０７０で、データ構造がビデオおよび奥行き情報を含むよう生成される。奥行き情報がビデオ成分として扱われないようにし（例えば、ビデオ、および奥行き情報が各々の時刻に対してインターリーブされるように、ビデオ、および奥行き情報をインターリーブし）、ｄｅｐｔｈ＿ｄａｔａがデータ構造に含まれるようにする。]
[0077] Ｓ１０７５で、データ構造がビデオ情報を含むよう生成され、奥行き情報をデータ構造と分離して送るために奥行き情報は排除される。ｄｅｐｔｈ＿ｄａｔａは、データ構造に含まれてもよく、あるいは別個の奥行きデータであってもよい。データ構造と称するにせよ称さないにせよ、ビデオ情報は、フォーマット化されたデータの任意タイプに含まれてよい点に留意すべきである。更に、他のデータ構造が、奥行き情報を含むために生成されてもよい。奥行きデータは、アウトオブバンドで送られてもよい。ｄｅｐｔｈ＿ｄａｔａは、ビデオデータに（例えば、ビデオデータを含むデータ構造の中に）および／または奥行きデータに（例えば、奥行きデータを含むデータ構造の中に）含まれてもよい点に留意すべきである。]
[0078] 図１１は、本発明の原理のインプリメンテーションに従って、動きベクトル精密化（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｆｉｎｅｍｅｎｔ）を有するビデオおよび奥行き情報を符号化する方法を示す。Ｓ１１１０で、動きベクトルＭＶ１が、ビデオ情報に基づいて生成される。Ｓ１１１５で、ビデオ情報は、ＭＶ１を使用して（例えば、ビデオ情報と参照用ピクチャのビデオ情報との間の残差を特定することによって）符号化される。Ｓ１１２０で、奥行きを良好に符号化するために、ＭＶ１は、ＭＶ２に精密化される。動きベクトルを精密化する１つの例は、動きベクトルによって示されている領域周辺で、ローカライズされたサーチを行い、良好なマッチが見つかるかどうか判断することによって行える。] 図１１
[0079] Ｓ１１２５で、精密化インジケータが生成される。Ｓ１１３０で、精密化された動きベクトルＭＶ２が符号化される。例えば、ＭＶ２とＭＶ１との差が計算されてもよく、かつ符号化されてもよい。]
[0080] 一実施例では、精密化インジケータは、マクロブロック・レイヤーでセットされたフラグである。表７は、この種のフラグがどのように送信されるかを提供するために適用されてもよい。表７は、奥行きが四番目の次元として扱われたインプリメンテーションを示すために、既に述べたものである。しかしながら、表７は、これとは異なり、かつより幅広い対象に使用されてもよい。この場合、表７が使用されてもよく、構文に対して以下のセマンティックが（表７のために提案した構文に対するセマンティックに代えて）使用されてもよい。更に、表７の再利用のためのセマンティックで、ｄｅｐｔｈ＿ｍｏｔｉｏｎ＿ｒｅｆｉｎｅ＿ｆｌａｇが１にセットされた場合、符号化されたＭＶは、ビデオ信号からコピーしたものに対する精密化ベクトルとして表される。]
[0081] 表７の再利用のための、提案された構文間のセマンティックは、以下の通りである：
ｄｅｐｔｈ＿ｍｏｔｉｏｎ＿ｒｅｆｉｎｅ＿ｆｌａｇは、動き精密化が現在のマクロブロックに対してイネーブルかどうかを示す。この値が１であることは、ビデオ信号から複製した動きベクトルが精密化されることを意味する。他の場合は、動きベクトルの精密化は実行されない。]
[0082] ｄｅｐｔｈ＿ｍｏｔｉｏｎ＿ｒｅｆｉｎｅが現在のマクロブロックに対してセットされている場合、ｍｏｔｉｏｎ＿ｒｅｆｉｎｅｍｅｎｔ＿ｌｉｓｔ０＿ｘ、ｍｏｔｉｏｎ＿ｒｅｆｉｎｅｍｅｎｔ＿ｌｉｓｔ０＿ｙは、それが有るときには、ＬＩＳＴ０動きベクトルが、送信された精密化ベクトルに付け加えられることを示す。]
[0083] ｄｅｐｔｈ＿ｍｏｔｉｏｎ＿ｒｅｆｉｎｅが現在のマクロブロックに対してセットされている場合、ｍｏｔｉｏｎ＿ｒｅｆｉｎｅｍｅｎｔ＿ｌｉｓｔ１＿ｘ、ｍｏｔｉｏｎ＿ｒｅｆｉｎｅｍｅｎｔ＿ｌｉｓｔ１＿ｙは、それが有るときには、ＬＩＳＴ１動きベクトルが、送信された精密化ベクトルに付け加えられることを示す。]
[0084] 上述した表の部分は、イタリック体で表に示されている点に留意すべきである。]
[0085] Ｓ１１３５で、奥行き残差は、ＭＶ２を使用して符号化される。これは、Ｓ１１１５でビデオを符号化することに類似している。Ｓ１１４０で、データ構造は、精密化インジケータ（ビデオ情報および任意に奥行き情報）を含むよう生成される。]
[0086] 図１２は、本発明の原理のインプリメンテーションに従って、動きベクトル精密化、および差分を有するビデオ、および奥行き情報を符号化する方法を示す。Ｓ１２１０で、動きベクトルＭＶ１がビデオ情報に基づいて生成される。Ｓ１２１５で、ビデオ情報がＭＶ１を使用して符号化される。Ｓ１２２０で、適切に奥行きを符号化するために、ＭＶ１がＭＶ２に精密化される。Ｓ１２２５で、ＭＶ１がＭＶ２に等しいか否かが判断される。その場合は、制御はＳ１２３０に移る。他の場合は、制御はＳ１２５５に移る。] 図１２
[0087] Ｓ１２３０で、精密化インジケータは、０（ｆａｌｓｅ）にセットされる。]
[0088] Ｓ１２３５で、精密化インジケータが符号化される。Ｓ１２４０で、精密化インジケータが（Ｓ１２５５に基づき）ｔｒｕｅに設定された場合、動きベクトルの差が符号化される（ＭＶ２−ＭＶ１）。Ｓ１２４５で、奥行き残差がＭＶ２を使用して符号化される。Ｓ１２５０で、データ構造が精密化インジケータ（ビデオ情報および任意に奥行き情報）を含むよう生成される。]
[0089] Ｓ１２５５で、精密化インジケータが１（ｔｒｕｅ）に設定される。]
[0090] 図１３は、本発明の原理のインプリメンテーションに従って、ビデオおよび奥行き情報に対する復号化の方法を示す。Ｓ１３０２で、画像、画像に対する符号化された奥行き情報、およびｄｅｐｔｈ＿ｄａｔａインジケータ（この信号は、動きベクトルがビデオ情報か奥行き情報によって計算される場合に送られる）のビデオ成分の符号化されたビデオ情報を含む一つ以上のビットストリームが受信される。Ｓ１３０５で、画像のビデオ成分に対する符号化されたビデオ情報が抽出される。Ｓ１３１０で、画像に対する符号化された奥行き情報が、ビットストリームから抽出される。Ｓ１３１５で、ｄｅｐｔｈ＿ｄａｔａインジケータが解析される。Ｓ１３２０で、ｄｅｐｔｈ＿ｄａｔａが０に等しいか否かが判断される。その場合は、制御はＳ１３２５に移る。他の場合は、制御はＳ１３４０に移る。] 図１３
[0091] Ｓ１３２５で、動きベクトルＭＶがビデオ情報に基づいて生成される。]
[0092] Ｓ１３３０で、動きベクトルＭＶを使用してビデオ信号が復号化される。Ｓ１３３５で、奥行き信号が動きベクトルＭＶを使用して復号化される。Ｓ１３４５で、ビデオ、および奥行き情報を含む画像が出力される。]
[0093] Ｓ１３４０で、動きベクトルＭＶが奥行き情報に基づいて生成される。]
[0094] 精密化した動きベクトルが奥行き情報を符号化するために使用された場合、Ｓ１３３５の前に、精密化情報が抽出され、かつ精密化されたＭＶが生成される点に留意すべきである。それからＳ１３３５で、精密化したＭＶが利用され得る。]
[0095] 図１４に、方法１４００が示されている。方法１４００は、画像のためのビデオ情報の成分を選択するステップ（１４１０）を含む。成分は、例えば、輝度、クロミナンス、赤、緑または青であってもよい。] 図１４
[0096] 方法１４００は、選択されたビデオ情報のための動きベクトルまたは、画像のための奥行き情報を特定することを含む（１４２０）。オペレーション１４２０は、例えば、図１０のオペレーション１０１０、および１０４０に示されるように実行されてもよい。] 図１０
[0097] 特定された動きベクトルに基づいて、方法１４００は、選択されたビデオ情報（１４３０）、および奥行き情報（１４４０）を符号化することを含む。オペレーション１４３０、および１４４０は、例えば、それぞれ、図１０のオペレーション１０１５、および１０３５に示されているように、実行されてもよい。] 図１０
[0098] 方法１４００は、選択されたビデオ情報および奥行き情報が、特定された動きベクトルに基づいて符号化されたことを示すインジケータを生成することを含む（１４５０）。オペレーション１４５０は、例えば、図１０のオペレーション１０３０、および１０５０に記載されているように実行されてもよい。] 図１０
[0099] 方法１４００は、符号化されたビデオ情報（符号化された奥行き情報）と、生成されたインジケータ（１４６０）とを集合的に含む、一つ以上のデータ構造を生成するステップを有する。オペレーション１４６０は、例えば、図１０のオペレーション１０６５、および１０７０に記載されているように実行されてもよい。] 図１０
[0100] 図１５を参照すると、装置１５００（例えばＨ．２６４符号化器）が示されている。装置１５００の構造、およびオペレーションの実施例が示されている。装置１５００は、符号化されたビデオを受信するセレクタ１５１０を含む。セレクタ１５１０は、画像のためのビデオ情報の成分を選択し、かつ動きベクトル発生器１５３０、および符号化器１５４０に選択されたビデオ情報１５２０を提供する。セレクタ１５１０は、方法１４００のオペレーション１４１０を実行してもよい。] 図１５
[0101] 動きベクトル発生器１５３０は、また、画像に対する奥行き情報を受信し、かつ選択されたビデオ情報１５２０に対してまたは奥行き情報に対して動きベクトルを特定する。動きベクトル・ジェネレータ１５３０は、例えば、図４の動き予測ブロック４８０に類似した方法で作動してもよい。動きベクトル発生器１５３０は、方法１４００のオペレーション１４２０を実行してもよい。この動きベクトル発生器１５３０は、符号化器１５４０に動きベクトル１５５０を提供する。] 図４
[0102] 符号化器１５４０は、また、画像に対する奥行き情報を受信する。符号化器１５４０は、特定された動きベクトルに基づいて選択されたビデオ情報を符号化し、かつ特定された動きベクトルに基づいて奥行き情報を符号化する。符号化器１５４０は、生成器１５８０に符号化されたビデオ情報１５６０、および符号化された奥行き情報１５７０を提供する。符号化器１５４０は、例えば、図４のブロック４１０−４３５、４５０、４５５、および４７５に類似した方法で作動してもよい。他のインプリメンテーションは、例えば、ビデオ、および奥行きを符号化するために別々の符号化器を使用してもよい。符号化器１５４０は、方法１４００のオペレーション１４３０、および１４４０を実行してもよい。] 図４
[0103] 生成器１５８０は、選択されたビデオ情報、および奥行き情報が、特定された動きベクトルに基づいて符号化されたことを示すインジケータを生成する。生成器１５８０は、また、符号化されたビデオ情報、符号化された奥行き情報、および生成されたインジケータを集合的に含む一つ以上の（出力１５９０として示された）データ構造を生成する。生成器１５８０は、例えば、図４の符号化器４００のための出力ビットストリームを生成するエントロピー符号化ブロック４２０に類似した方法で作動してもよい。他のインプリメンテーションは、例えば、インジケータおよびデータ構造を生成するために、別々の生成器を使用してもよい。更に、インジケータは、例えば、動きベクトル発生器１５３０または符号化器１５４０によって生成されてもよい。生成器１５８０は、方法１４００のオペレーション１４５０、および１４６０を実行してもよい。] 図４
[0104] 図１６を参照すると、方法１６００が示されている。方法１６００は、データを受信するステップを含む（１６１０）。データは、画像のビデオ成分に対する符号化されたビデオ情報、画像に対する符号化された奥行き情報およびインジケータを含む。インジケータは、符号化されたビデオ情報および符号化された奥行き情報が、ビデオ情報に対して、または奥行き情報に対して特定された動きベクトルに基づいて符号化されたことを示す。インジケータは、動きベクトル・ソース・インジケータと称してもよい。例えば、ソースは、ビデオ情報か奥行き情報である。オペレーション１６１０は、例えば、図１３のオペレーション１３０２に示したように実行されてもよい。] 図１３ 図１６
[0105] 方法１６００は、符号化されたビデオ情報、および符号化された奥行き情報を復号化するための動きベクトルを生成することを含む（１６２０）。オペレーション１６２０は、例えば、図１３のオペレーション１３２５および１３４０に示したように実行されてもよい。] 図１３
[0106] 方法１６００は、生成された動きベクトルに基づいて符号化されたビデオ情報を復号化することを含む（１３３０）。そして、画像のための復号化されたビデオ情報を生成する（１６３０）。また、方法１６００は、生成された動きベクトルに基づいて符号化された奥行き情報を復号化することを含む（１３３５）。そして、画像のための復号化された奥行き情報を生成する（１６４０）。オペレーション１６３０、および１６４０は、例えば、それぞれ、図１３のオペレーション１３３０、および１３３５として示されているように実行されてもよい。] 図１３
[0107] 図１７を参照すると、例えばＨ．２６４復号化器の装置１７００が示されている。装置１７００の構造、およびオペレーションの実施例が提供される。装置１７００は、バッファ１７１０を含む。バッファ１７１０は、（１）画像のビデオ成分に対する符号化されたビデオ情報、（２）画像に対する符号化された奥行き情報、（３）符号化されたビデオ情報および符号化された奥行き情報がビデオ情報に対してまたは奥行き情報に対して特定された動きベクトルに基づいて符号化されたことを示すインジケータを含むデータを受信するように構成されている。バッファ１７１０は、例えば、図５の符号化された情報を受信するエントロピー復号化ブロック５０５に類似した方法で作動してもよい。バッファ１７１０は、方法１６００のオペレーション１６１０を実行してもよい。] 図１７ 図５
[0108] バッファ１７１０は、符号化されたビデオ情報１７３０、符号化された奥行き情報１７４０、およびインジケータ１７５０を、装置１７００に含まれる動きベクトル発生器１７６０に提供する。動きベクトル発生器１７６０は、符号化されたビデオ情報および符号化された奥行き情報を復号化するために、動きベクトル１７７０を生成する。動きベクトル発生器１７６０は、種々の方法動きベクトル１７７０を生成してもよい。たとえば、前に受信されたビデオおよび／または奥行きデータに基づいて、または前に受信されたビデオおよび／または奥行きデータに対してすでに生成された動きベクトルを複製することによって、動きベクトル１７７０を生成することを含んでもよい点に留意すべきである。動きベクトル発生器１７６０は、方法１６００のオペレーション１６２０を実行してもよい。動きベクトル発生器１７６０は、復号化器１７８０に動きベクトル１７７０を提供する。]
[0109] 復号化器１７８０は、また、符号化されたビデオ情報１７３０、および符号化された奥行き情報１７４０を受信する。復号化器１７８０は、画像のための復号化されたビデオ情報を提供するために生成された動きベクトル１７７０に基づいて符号化されたビデオ情報１７３０を復号化するように構成される。復号化器１７８０は、画像のために復号化された奥行き情報を生成するべく生成された動きベクトル１７７０に基づいて、符号化された奥行き情報１７４０を復号化するように更に構成される。復号化されたビデオ、および奥行き情報は、図１７の出力１７９０として示される。出力１７９０は、種々の方法、およびデータ構造でフォーマット化されてもよい。更に、復号化ビデオ、および奥行き情報は、出力として提供される必要はなく、他のフォーマット（例えばスクリーンの表示に適しているフォーマット）に変換されてもよい。復号化器１７８０は、例えば、受信されたデータを復号化する図５のブロック５１０−５２５、５３５、および５４０に類似した方法で作動してもよい。復号化器１７８０は、方法１６００のオペレーション１６３０および１６４０を実行してもよい。] 図１７ 図５
[0110] 以上のように、様々なインプリメンテーションが提供される。例えば、（１）奥行きデータの符号化に対する、ビデオデータの符号化からの使用情報、（２）ビデオデータの符号化に対する、奥行きデータの符号化からの使用情報、（３）ビデオのＹ、Ｕ、およびＶに加えて第４次元の（または付加的な）または成分としての符号化された奥行きデータ、および／または、（４）ビデオデータと別個の信号としての、奥行きデータの符号化、が挙げられる。加えて、この種のインプリメンテーションは、マルチビュービデオ符号化フレームワークの、他の標準の技術、または標準（例えば勧告、その他）を含まない技術に対して使用されてもよい。]
[0111] したがって特定の特徴、および態様を有する一つ以上のインプリメンテーションを提供している。なお、記載されているインプリメンテーションの特徴、および態様は、また、他のインプリメンテーションに適していてもよい。インプリメンテーションにおいては、送信情報として、様々な技術が利用できる、たとえば、ＳＥＩメッセージ、他の高水準構文、非高水準構文、アウトオブバンドの情報、データストリームのデータ、および潜在的なシグナリングを含むが、これに限らず種々の技術を使用している信号情報が含まれる。したがって、本願明細書において記載されているインプリメンテーションが特定の実施例に付随して記載されていても、特徴、およびコンセプトをこの種のインプリメンテーションまたは実施例に制限するようにこの種の説明を理解してはならない。]
[0112] 加えて、多くのインプリメンテーションは、符号化器、および復号化器のいずれかまたは両方にインプリメントされてもよい。]
[0113] 本発明の原理に係る、「一実施例」または「実施例」または「１つのインプリメンテーション」または「インプリメンテーション」の用語は、本発明の、原理の少なくとも一つが実施例に含まれることを意味する。したがって、「実施例において」、「一つの実施例において」または「一つのインプリメンテーションにおいて」または「インプリメンテーションにおいて」という用語は、明細書の全体にわたるさまざまな場所に現れる全てが、同じ実施例に必ずしも関連しているというわけではない。]
[0114] 「／」、「および／または」「少なくとも１つの」、という用語、たとえば、「Ａ／Ｂ」、「Ａおよび／またはＢ」「ＡおよびＤのうち少なくとも１つの」は、第１の選択肢Ａ、第２の選択肢Ｂ、または、ＡおよびＢの両方のいずれかを意味することは言うまでもない。更なる例としては、「Ａ、Ｂおよび／またはＣ」という言葉の意味は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢ、ＢおよびＣ、ＡおよびＣ、またはＡ、ＢおよびＣのいずれかを意味する。これは、さらに、多くの選択肢を使用した表現に拡張できる。]
[0115] 例えば、本願明細書において記載されているインプリメンテーションは、方法、装置またはソフトウェアプログラムでインプリメントされてもよい。インプリメンテーションが、例えば、方法だけとして説明されている単一のカテゴリの文脈でされているだけの場合であっても、説明された特徴のインプリメンテーションは、また、他の形式、例えば装置またはプログラムでインプリメントされてもよい。例えば、装置は、適切なハードウェア、ソフトウェア、およびファームウェアによってインプリメントされてもよい。]
[0116] 方法は例えば装置（例えばプロセッサ）によってインプリメントされてもよい。そして、それは一般の処理デバイスに関連する。そして、例えば、コンピュータ、マイクロプロセッサ、集積回路またはプログラマブル・ロジック・デバイスを含む。プロセッサは、通信装置、例えばコンピュータ、携帯電話、ポータブル／パーソナル携帯情報機器（ＰＤＡ）を有し、エンドユーザ間の情報の通信を容易にする他のデバイスを含む。]
[0117] 本願明細書において記載されているさまざまな方法、および特徴のインプリメンテーションは種々の異なる器材に表現されてもよい、または、アプリケーション、特に、例えば器材またはアプリケーションはデータの符号化、および復号化に関連する。装置の例としては、ビデオ・符号化器、ビデオ復号化器、ビデオ・コーデック、ウェブ・サーバ、セットトップボックス、ラップトップ、パソコン、携帯電話、ＰＤＡ、その他の通信装置を含む。器材には、モバイル装置が含まれ、あるいはモバイル装置にインストールされてもよい。]
[0118] 加えて、方法はプロセッサによって実行される命令によってインプリメントされてもよい。そして、例えば、この種の命令（および／またはインプリメンテーションによって生成されたデータ値）は集積回路、ソフトウェア・キャリアまたは例えば他の記憶装置（例えばハードディスク、コンパクト・ディスケット、ランダムアクセスメモリ（（ＲＡＭ）または読取り専用メモリ（ＲＯＭ））のようなプロセッサ可読な媒体に記憶されてもよい。命令は、プロセッサ可読な媒体に明白に記憶されたアプリケーションプログラムを形成してもよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェアまたはこれらの組合せであってもよい。例えば、命令は、オペレーティングシステム、個別のアプリケーションまたは両者の組合せであってもよい。例えば、プロセッサは、したがって、方法を実行するように構成されたデバイス、および方法を実行する命令を有するプロセッサ可読媒体を含むデバイスとして特徴付けられてもよい。]
[0119] 当業者に明らかなように、インプリメンテーションは、例えば、記憶されまたは送信されてもよい情報を伝送するためのフォーマット化された種々の信号を生成してもよい。情報は、例えば、方法を実行するための命令、または記載されているインプリメンテーションのうちの１つによって生成されたデータを含んでもよい。例えば、信号は、実施例の構文を書き込むかまたは読み込むことに対する規則のデータとしてフォーマット化されてもよく、あるいは、記載されている実施例によって書かれた実際の構文の値であってもよい。この種の信号は、例えば、（無線周波数の部分のスペクトルを使用する）電磁波として、またはベースバンド信号としてフォーマット化されてもよい。フォーマッティングは、例えば、データ列を符号化し、かつ符号化されたデータ列を有するキャリアを変調することを含んでもよい。信号が伝送する情報は、例えば、アナログまたはデジタル情報であってもよい。周知のように、信号は、有線あるいは無線の種々の異なるリンクを通じて送られてもよい。]
実施例

[0120] 多くのインプリメンテーションを述べた。もちろん、さまざまな修正がなされてもよいことが理解される。例えば、異なるインプリメンテーションの要素は、結合されてもよく、補充されてもよく、修正されてもよく、または、他のインプリメンテーションを生成するために取り除かれてもよい。加えて、当業者であれば、他の方法が開示されたそれらに対して代替されてもよいことを理解するであろう。この場合、少なくとも実質的に同じ方法で、結果として生じるインプリメンテーションは実質的に少なくとも同じ機能を実行し、インプリメンテーションが開示したように、実質的に少なくとも同じ結果を達成する。したがって、これら、および他のインプリメンテーションは、本出願によって考察され、かつ以下の請求項の範囲内である。]

权利要求:

請求項1
画像に対するビデオ情報の成分を選択するステップと；前記画像に対する、前記選択されたビデオ情報の、または奥行き情報の動きベクトルを特定するステップと；前記特定された動きベクトルに基づいて、前記選択されたビデオ情報を符号化するステップと；前記特定された動きベクトルに基づいて、前記奥行き情報を符号化するステップと；前記選択されたビデオ情報、および前記奥行き情報が前記特定された動きベクトルに基づいて、符号化されたことを示すインジケータを生成するステップと；前記符号化されたビデオ情報、前記符号化された奥行き情報、および前記生成されたインジケータを集合的に含む一つ以上のデータ構造を生成するステップと；を有する方法。
請求項2
前記特定された動きベクトルに基づいて、前記選択されたビデオ情報を符号化するステップは、前記選択されたビデオ情報と参照されたビデオ画像のビデオ情報との間の残差を特定するステップであって、前記参照ビデオ画像の前記ビデオ情報は、前記特定された動きベクトルによって示されているところのステップを有し、前記特定された動きベクトルに基づいて、前記奥行き情報を符号化するステップは、前記奥行き情報と参照奥行き画像の奥行き情報との間の残差を特定するステップであって、前記参照奥行き画像の奥行き情報は、前記特定された動きベクトルによって示されるところのステップを有する、請求項１記載の方法。
請求項3
前記動きベクトルを特定するステップは、前記選択されたビデオ情報の前記動きベクトルを特定するステップを有し、前記特定された動きベクトルに基づいて、前記選択されたビデオ情報を符号化するステップは、前記選択されたビデオ情報と参照ビデオ画像のビデオ情報との間の残差を特定するステップであって、前記参照ビデオ画像の前記ビデオ情報は前記特定された動きベクトルによって示されるところのステップを有し、かつ前記特定された動きベクトルに基づいて、前記奥行き情報を符号化するステップは、精密化した動きベクトルを生成するために前記特定された動きベクトルを精密化するステップと；前記奥行き情報と参照奥行き画像の前記奥行き情報との間の残差を特定するステップであって、参照奥行き画像の前記奥行き情報は、前記精密化した動きベクトルによって示されているところのステップと；を含む、請求項１記載の方法。
請求項4
前記特定された動きベクトルと前記精密化された動きベクトルとの差違を示す精密化インジケータを生成するステップと；前記精密化インジケータを前記生成されたデータ構造に含めるステップと；を更に有する請求項３記載の方法。
請求項5
前記画像は、フレームのマクロブロックである、請求項１記載の方法。
請求項6
前記画像の特定のスライスが前記選択されたビデオ情報または前記奥行き情報に帰属する指示を生成するステップを更に有し、前記データ構造は、前記特定のスライスに対する前記生成された指示を更に含む、請求項１記載の方法。
請求項7
前記指示は、少なくとも一つの高水準構文を使用して提供される、請求項６記載の方法。
請求項8
前記画像はマルチビュー・ビデオコンテンツに対応し、かつ前記画像の与えられたビューの前記奥行き情報が前記画像の前記与えられたビューの前記選択されたビデオ情報に続くように、前記データ構造は、前記画像の、前記奥行き情報および前記与えられたビューの前記選択されたビデオ情報をインターリーブすることによって生成される、請求項１記載の方法。
請求項9
前記画像はマルチビュー・ビデオコンテンツに対応し、かつ前記データ構造は、前記画像の与えられた時刻での与えられたビューの、前記奥行き情報および前記選択されたビデオ情報をインターリーブすることによって生成され、前記画像の前記与えられた時刻での、インターリーブされた奥行き情報および前記与えられたビューの前記選択されたビデオ情報は、前記画像の前記与えられた時刻での他のビューの、インターリーブされた奥行き情報および選択されたビデオ情報に先行するようにされる、請求項１記載の方法。
請求項10
前記画像はマルチビュー・ビデオコンテンツに対応し、かつ前記奥行き情報および前記選択されたビデオ情報が各々の時刻に対してビュー毎にインターリーブされるように、前記データ構造は、前記奥行き情報および前記選択されたビデオ情報をインターリーブすることによって生成される、請求項１記載の方法。
請求項11
前記画像はマルチビュー・ビデオコンテンツに対応し、かつマルチビューに対する奥行き情報およびマルチビューに対する選択されたビデオ情報が各々の時刻に対してインターリーブされるように、前記データ構造は前記奥行き情報、および前記選択されたビデオ情報をインターリーブすることによって生成される、請求項１記載の方法。
請求項12
前記データ構造は、前記選択されたビデオ情報の付加的な成分として前記奥行き情報を配置することによって生成され、前記選択されたビデオ情報が少なくとも一つのルマ成分、および少なくとも一つのクロマ成分を更に含む、請求項１記載の方法。
請求項13
前記奥行き情報、およびビデオ情報の前記選択された成分に対して同じサンプリングが使用される、請求項１記載の方法。
請求項14
ビデオ情報の前記選択された成分は、輝度成分または色成分である、請求項１３記載の方法。
請求項15
当該方法は、符号化器によって実行される、請求項１記載の方法。
請求項16
画像に対するビデオ情報の成分を選択するための手段と；前記画像に対する、前記選択されたビデオ情報の、または奥行き情報の、動きベクトルを特定するための手段と；前記特定された動きベクトルに基づいて、前記選択されたビデオ情報を符号化するための手段と；前記特定された動きベクトルに基づいて、前記奥行き情報を符号化するための手段と；前記特定された動きベクトルに基づいて、前記選択されたビデオ情報、および前記奥行き情報が符号化されたことを示すインジケータを生成する手段と；前記符号化されたビデオ情報、前記符号化された奥行き情報、および前記生成されたインジケータを集合的に含む一つ以上のデータ構造を生成するための手段と；を有する装置。
請求項17
画像に対するビデオ情報の成分を選択するための手順と；前記画像に対する、前記選択されたビデオ情報の、または奥行き情報の、動きベクトルを特定するための手順と；前記特定された動きベクトルに基づいて、前記選択されたビデオ情報を符号化するための手順と；前記特定された動きベクトルに基づいて、前記奥行き情報を符号化するための手順と；前記特定された動きベクトルに基づいて、前記選択されたビデオ情報、および前記奥行き情報が符号化されたことを示すインジケータを生成する手順と；前記符号化されたビデオ情報、前記符号化された奥行き情報、および前記生成されたインジケータを集合的に含む一つ以上のデータ構造を生成するための手順と；を含む命令をコンピュータに実行させるプログラム。
請求項18
画像に対するビデオ情報の成分を選択するための手順と；前記画像に対する、前記選択されたビデオ情報の、または奥行き情報の、動きベクトルを特定するための手順と；前記特定された動きベクトルに基づいて、前記選択されたビデオ情報を符号化するための手順と；前記特定された動きベクトルに基づいて、前記奥行き情報を符号化するための手順と；前記特定された動きベクトルに基づいて、前記選択されたビデオ情報、および前記奥行き情報が符号化されたことを示すインジケータを生成する手順と；前記符号化されたビデオ情報、前記符号化された奥行き情報、および前記生成されたインジケータを集合的に含む一つ以上のデータ構造を生成するための手順と；を少なくとも実行するように構成されたプロセッサを有する装置。
請求項19
画像に対するビデオ情報の成分を選択するためのセレクタと；前記画像に対する、前記選択されたビデオ情報の、または奥行き情報の、動きベクトルを特定するための動きベクトル発生器と；前記特定された動きベクトルに基づいて、前記選択されたビデオ情報を符号化するための、および、前記特定された動きベクトルに基づいて、前記奥行き情報を符号化するための符号化器と；前記特定された動きベクトルに基づいて、前記選択されたビデオ情報、および前記奥行き情報が符号化されたことを示すインジケータを生成するための、並びに、前記符号化されたビデオ情報、前記符号化された奥行き情報、および前記生成されたインジケータを集合的に含む一つ以上のデータ構造を生成するための生成器と；を有する装置。
請求項20
前記セレクタと、前記動きベクトル発生器と、前記符号化器と、前記生成器とを含む符号化器を有する、請求項１９記載の装置。
請求項21
画像に対する符号化されたビデオ情報と、前記画像に対する符号化された奥行き情報と、前記符号化されたビデオ情報および前記符号化された奥行き情報が前記ビデオ情報に対してまたは前記奥行き情報に対して特定された動きベクトルに基づいて符号化されていることを示すインジケータとを含むデータ構造を含むフォーマット化された信号。
請求項22
画像に対する符号化されたビデオ情報と、前記画像に対する符号化された奥行き情報と、前記符号化されたビデオ情報および前記符号化された奥行き情報が前記ビデオ情報に対してまたは前記奥行き情報に対して特定された動きベクトルに基づいて符号化されていることを示すインジケータとを含むデータ構造を記憶した、プロセッサ読み取り可能な媒体。
請求項23
画像に対する符号化されたビデオ情報と、前記画像に対する符号化された奥行き情報と、前記符号化されたビデオ情報および前記符号化された奥行き情報が前記ビデオ情報に対してまたは前記奥行き情報に対して特定された動きベクトルに基づいて符号化されていることを示すインジケータとを含むデータを受信するステップと；前記符号化されたビデオ情報、および前記符号化された奥行き情報を復号化するのに用いられる前記動きベクトルを生成するステップと；画像に対する復号化されたビデオ情報を生成するために、前記生成された動きベクトルに基づいて、前記符号化されたビデオ情報を復号化するステップと；画像に対する復号化された奥行き情報を生成するために、前記生成された動きベクトルに基づいて、前記符号化された奥行き情報を復号化するステップと；を有する方法。
請求項24
前記復号化されたビデオ情報および前記復号化された奥行き情報を含むデータ構造を生成するステップと；少なくとも一つの復号化のために、前記データ構造を記憶するステップと；少なくとも一部の前記画像を表示するステップと；を更に有する請求項２３記載の方法。
請求項25
受信されたデータ構造内において、前記画像の特定のスライスが前記符号化されたビデオ情報または前記符号化された奥行き情報に帰属することを示す、指示を受信するステップを更に有する請求項２３記載の方法。
請求項26
前記指示は、少なくとも一つの高水準構文を使用して提供される、請求項２５記載の方法。
請求項27
前記受信されたデータは、前記画像に付加されたビデオ成分として配置された前記符号化された奥行き情報と共に受信される、請求項２３記載の方法。
請求項28
当該方法は、復号化器によって実行される、請求項２３記載の方法。
請求項29
画像に対する符号化されたビデオ情報と、前記画像に対する符号化された奥行き情報と、前記符号化されたビデオ情報および前記符号化された奥行き情報が前記ビデオ情報に対してまたは前記奥行き情報に対して特定された動きベクトルに基づいて符号化されていることを示すインジケータとを含むデータを受信する手段と；前記符号化されたビデオ情報、および前記符号化された奥行き情報を復号化するのに用いられる前記動きベクトルを生成する手段と；画像に対する復号化されたビデオ情報を生成するために、前記生成された動きベクトルに基づいて、前記符号化されたビデオ情報を復号化する手段と；画像に対する復号化された奥行き情報を生成するために、前記生成された動きベクトルに基づいて、前記符号化された奥行き情報を復号化する手段と；を有する装置。
請求項30
画像に対する符号化されたビデオ情報と、前記画像に対する符号化された奥行き情報と、前記符号化されたビデオ情報および前記符号化された奥行き情報が前記ビデオ情報に対してまたは前記奥行き情報に対して特定された動きベクトルに基づいて符号化されていることを示すインジケータとを含むデータを受信する手順と；前記符号化されたビデオ情報、および前記符号化された奥行き情報を復号化するのに用いられる前記動きベクトルを生成する手順と；画像に対する復号化されたビデオ情報を生成するために、前記生成された動きベクトルに基づいて、前記符号化されたビデオ情報を復号化する手順と；画像に対する復号化された奥行き情報を生成するために、前記生成された動きベクトルに基づいて、前記符号化された奥行き情報を復号化する手順と；をコンピュータに実行させるための命令を含むプログラム。
請求項31
画像に対する符号化されたビデオ情報と、前記画像に対する符号化された奥行き情報と、前記符号化されたビデオ情報および前記符号化された奥行き情報が前記ビデオ情報に対してまたは前記奥行き情報に対して特定された動きベクトルに基づいて符号化されていることを示すインジケータとを含むデータ構造を受信する手順と；前記符号化されたビデオ情報、および前記符号化された奥行き情報を復号化するのに用いられる前記動きベクトルを生成する手順と；画像に対する復号化されたビデオ情報を生成するために、前記生成された動きベクトルに基づいて、前記符号化されたビデオ情報を復号化する手順と；画像に対する復号化された奥行き情報を生成するために、前記生成された動きベクトルに基づいて、前記符号化された奥行き情報を復号化する手順と；を少なくとも実行するために構成されたプロセッサを有する装置。
請求項32
画像に対する符号化されたビデオ情報と、前記画像に対する符号化された奥行き情報と、前記符号化されたビデオ情報および前記符号化された奥行き情報が前記ビデオ情報に対してまたは前記奥行き情報に対して特定された動きベクトルに基づいて符号化されていることを示すインジケータとを含むデータを受信するためのバッファと；前記符号化されたビデオ情報、および前記符号化された奥行き情報を復号化するのに用いられる前記動きベクトルを生成するための動きベクトル生成器と；画像に対する復号化されたビデオ情報を生成するために、前記生成された動きベクトルに基づいて、前記符号化されたビデオ情報を復号化するための、および、画像に対する復号化された奥行き情報を生成するために、前記生成された動きベクトルに基づいて、前記符号化された奥行き情報を復号化するための、復号化器と；を有する装置。
請求項33
前記復号化されたビデオ情報、および前記復号化された奥行き情報を含むデータ構造を生成するためのアセンブラ、を有する請求項３２記載の装置。
請求項34
前記バッファ、前記動きベクトル発生器、および前記復号化器を含む復号化器、を有する請求項３２記載の装置。
請求項35
画像に対する符号化されたビデオ情報と、前記画像に対する符号化された奥行き情報と、前記符号化されたビデオ情報および前記符号化された奥行き情報が前記ビデオ情報に対してまたは前記奥行き情報に対して特定された動きベクトルに基づいて符号化されていることを示すインジケータとを含む信号を受信しかつ復調するように構成された復調器と；復号化器であって：前記符号化されたビデオ情報、および前記符号化された奥行き情報の両者を復号化するために使用する前記動きベクトルを生成し；前記画像に対する復号化されたビデオ情報を生成するために、前記生成された動きベクトルに基づいて、前記符号化されたビデオ情報を復号化し；かつ復号化された奥行き情報を生成するために、前記生成された動きベクトルに基づいて、前記画像に対する前記符号化された奥行き情報を復号化する；ことを少なくとも実行するように構成された復号化器と；を有する装置。
請求項36
符号化器であって：画像に対するビデオ情報の成分を選択し、前記画像に対する、前記選択されたビデオ情報の、または奥行き情報の、動きベクトルを特定し、前記特定された動きベクトルに基づいて、前記選択されたビデオ情報を符号化し、前記特定された動きベクトルに基づいて、前記奥行き情報を符号化し、前記選択されたビデオ情報および前記奥行き情報が、前記特定された動きベクトルに基づいて、符号化されたことを示すインジケータを生成し、かつ前記符号化されたビデオ情報、前記符号化された奥行き情報、および前記生成されたインジケータを集合的に含む、一つ以上のデータ構造を生成する、ことを実行する符号化器と；前記データ構造を変調し、かつ送信するように構成された変調器と；を有する装置。