表示インタフェースを通じた立体画像データの輸送

专利摘要:
デジタル表示インタフェース40は、第１視聴覚装置10を第２視聴覚装置20に接続する。立体画像データは、表示インタフェース40を通じて送信される。立体画像データの成分は、多重化されて、画像データを伝える要素に挿入される。既存のdeep colorモードが、この目的のために再利用されることができる。立体画像データを特定する又は復号するのを助ける通知情報が、補助データを伝える要素中で伝達される。立体画像データは、画像データを伝えるデータ要素と補助データを伝えるデータ要素との間で分配されることができる。補助データを伝える要素は、水平又は垂直ブランキング期間において送信されることができ、HDMIデータアイランドパケットを有することができる。立体画像データは、補助データチャネルを通じて送信されることができる。補助データチャネルは、表示インタフェースのプライマリチャネルを伝達するために用いられるのと同じケーブルの一部、別個のケーブル又は無線リンクを形成することができる。
公开号:JP2011509558A
申请号:JP2010539000
申请日:2008-12-15
公开日:2011-03-24
发明作者:ニコル；ビー シェパード
申请人:コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ；
IPC主号:H04N13-04

专利说明:

[0001] 本発明は、立体画像の表示のための画像データの輸送に関連する。]
背景技術

[0002] 三次元画像(静止画像又は動画像)を表示するためのさまざまなスキームが知られている。一つの周知のスキームは、異なる光学偏波又は色(例えば赤及び緑)によって左眼及び右眼のために符号化された２つの画像を同時に表示する。観察者は、左及び右眼の前面にレンズを持つ特別な眼鏡を着用する。レンズは、その目に対して意図された画像のみを通すように配置され、すなわち、左眼はその眼に意図された画像のみを見る。他の立体表示技術は、左眼に意図された画像と右眼に意図された画像を順番に示す。ユーザは、表示される画像に同期してシャッターされる特別な眼鏡を着用し、左眼用のシャッターは左眼用の画像が表示されている期間に開かれ、右眼用のシャッターは右眼用の画像が表示されている期間に開かれる。]
[0003] 自動立体表示技術は、観察者が特別な眼鏡を着用する必要性を除去する。一つの既知のスキームは、ディスプレイ素子の前に取り付けられる複数の面を持つ傾斜したレンチキュラレンズを有するフラットパネルディスプレイを用いる。この種のディスプレイの例は、WO07/069195A2に記載されている。]
[0004] 歴史的に、三次元ディスプレイは、注文仕立ての高コスト表示装置を提供することが可能である専用アプリケーション(例えば医療撮像)又は長編映画公開に限られてきた。現在、消費者向け電子機器市場を含む、より広範囲の視聴者に立体視コンテンツを供給することに相当な関心が存在する。しかしながら、消費者向け電子機器環境において立体画像を供給することに関する問題は、従来のディスプレイ、及びディスプレイ又はプロジェクタをメディアプレーヤーに接続する表示インタフェースが、特に、従来の二次元画像の表示用に設計されていることである。]
[0005] 既存の表示インタフェースの範囲の中で立体画像データを伝達するスキームは、立体画像をレンダリングするために必要な付加的なデータを伝達するために、画像のアクティブな部分の一部を犠牲にする傾向があった。コーニンクレッカフィリップスエレクトロニクスN.V.によって開発されたWOWvxフォーマットは、表示フレーム全体を、異なるデータが伝達されることができる複数の個別の領域に分割する。フレーム全体は、並んで配置される２つのサブフレームに分割される。第１のサブフレームは二次元画像データを伝達し、そして第２のサブフレームは深さ情報を伝達する。ヘッダがフレームの左上のコーナの最初に加えられる。画像データは、表示インタフェースを通して通常の方法で伝達される。ディスプレイは、第２のサブフレームから深さデータを抽出して、第１のサブフレームの解像度を持つ三次元画像を作成する。この三次元画像は、ディスプレイの可視領域全体を占めるように「引き伸ばされる」ことができる。]
発明が解決しようとする課題

[0006] デジタルディスプレイ及びメディアプレーヤーは、デジタル表示インタフェース(例えばHigh Definition Multimedia Interface：HDM)をますます備えるようになっている。本発明は、デジタル表示インタフェース上で立体画像データを供給する他の態様を提供しようと試みる。]
課題を解決するための手段

[0007] 本発明の第１の態様は、第１視聴覚装置と第２視聴覚装置との間のデジタル表示インタフェースをサポートするために第１視聴覚装置において用いられるデジタル表示インタフェース部を提供し、当該インタフェース部は、
画像データを受け取るための入力部、
インタフェースを通じた輸送のためにデータをフォーマットするように配置されるフォーマッタを有し、
フォーマッタは、
フォーマッタが二次元画像のピクセルデータを伝達する第１データ要素のストリームを生成する第１モード、
フォーマッタが立体画像の成分の多重化された組み合わせを伝達する第２データ要素のストリームを生成する第２モード、
で動作可能である。]
[0008] この配置の利点は、立体画像データが、インタフェースの既存の容量を用いてデジタル表示インタフェースを通して伝達されることができることである。長所として、表示インタフェースが画像データのさまざまなカラー階調(例えば従来の24ビットカラーと同様に48ビットカラー)をサポートする場合、より多くのカラー階調データを輸送するために意図された大容量輸送モードは、多重化された立体画像データを伝達するために再利用されることができる。したがって、立体視データを伝達するための追加の容量はインタフェースから必要とされず、依然として立体視コンテンツのための良好なカラー階調を可能にする。表示インタフェースを定義する既存の規格に対する変更は殆ど或いは全く必要とされないことも利点である。それはさらに、ステレオ画像データを伝達するためにアクティブ画像領域の一部を犠牲にするスキームより大幅に高い解像度によって立体画像コンテンツが送信されることを可能にする。]
[0009] 長所として、第２データ要素は、第１データ要素より大きくない、好ましくは同じである容量を持つ。これは、インタフェースを定義する規格に対する最小限の変更によって、立体視データが伝達されることを可能にする。]
[0010] 「立体画像データ成分」という用語は、ユーザに対して立体視(又は自動立体視)表示を構成するためにデータを送信する任意のスキームを含むことが意図され、左眼画像データ及び右眼画像データを送信するスキーム、二次元画像データ及び画像深さデータを送信するスキーム、二次元画像データ、画像深さデータ及び画像中のどの物体が他の物体によって遮蔽されているかを示す遮蔽情報を送信するスキームを含む。]
[0011] 左眼及び右眼画像データを用いる立体画像の場合、フォーマッタは、左眼画像データを伝達するために第２データ要素の一部を用い、そして右眼画像データを伝達するために第２データ要素の他の部分を用いることができる。]
[0012] 二次元+深さデータを用いる立体画像の場合、フォーマッタは、二次元画像データを伝達するために第２データ要素の一部を用い、そして画像深さデータを伝達するために第２データ要素の他の部分を用いることができる。深さデータはさらに、水平又は垂直ブランキング期間内の期間のような、信号の他の部分において伝達されることができる。HDMIにおいて、データアイランドパケット(Data Island Packet)がこれらの期間内に伝達され、そして特定のデータアイランドパケットが、深さデータを伝達するものとして特定されることができる。]
[0013] 長所として、通知情報がインタフェースを通して送信されて、フォーマッタがどのモードを用いているかを特定し、更なる通知情報は、第２視聴覚装置(例えばディスプレイ又はプロジェクタ)が、そのフォーマットモードで送信される立体視データをレンダリングするための機能を持つかどうかを知らせることを可能にすることができる。]
[0014] High Definition Multimedia Interface(HDMI)において、通知は、画像データ間のデータアイランドの中で伝達されるパケットによって伝達されることができる。
立体視データを処理するシンク装置の機能は、HDMI Display Data Channel (DDC)チャネルを用いてインタフェース部の間で通知されることができ、機能データは、シンクにおけるExtended Display Identification Data(EDID)ROM中に記憶される。]
[0015] 本発明の関連態様は、視聴覚装置と他の視聴覚装置との間のデジタル表示インタフェースをサポートするために視聴覚装置において用いられるデジタル表示インタフェース部を提供し、当該インタフェース部は、
インタフェースからフォーマットされた画像データを受け取るための入力部、
画像データを抽出するように配置されるプロセッサ、
を有し、前記プロセッサは、
当該プロセッサが二次元画像のためのピクセル画像データを第１データ要素のストリームから抽出する第１モード、及び
プロセッサが立体画像の成分の多重化された組み合わせを伝達する第２データ要素のストリームから立体画像の成分を逆多重化する第２モード、
で動作可能である。]
[0016] 本発明の関連態様は、第１視聴覚装置と第２視聴覚装置との間のデジタル表示インタフェースを通じた輸送のために第１視聴覚装置のデジタル表示インタフェース部で画像データをフォーマット化する方法を提供し、当該方法は、
画像データを受け取り、
第１モードでは、二次元画像のピクセルデータを伝達する第１データ要素のストリームを生成することによって、第２モードでは、立体画像の成分の多重化された組み合わせを伝達する第２データ要素のストリームを生成することによって、インタフェースを通じた輸送のために画像データをフォーマットする。]
[0017] 本発明の関連態様は、視聴覚装置のデジタル表示インタフェース部において画像データを処理する方法を提供し、当該方法は、
インタフェースからフォーマットされた画像データを受け取り、
第１モードでは、二次元画像のためのピクセル画像データを第１データ要素のストリームから抽出することによって、第２モードでは、立体画像の成分の多重化された組み合わせを伝達する第２データ要素のストリームから立体画像の成分を逆多重化することによって、画像データを抽出する。]
[0018] 本発明の更なる態様は、第１視聴覚装置と第２視聴覚装置との間のデジタル表示インタフェースをサポートするために第１視聴覚装置に用いられるデジタル表示インタフェース部を提供し、当該インタフェース部は、立体画像データを受け取るための入力部、インタフェースを通じた輸送のためにデータをフォーマットするように配置されるフォーマッタを有し、フォーマッタは、インタフェースのプライマリ画像データトランスポートチャネルを通じて立体画像データの一部を送信し、補助データチャネルを通じて立体画像データの他の部分を送信するように動作可能である。]
[0019] インタフェース部は、立体視データがどのようにプライマリデータチャネルと補助データチャネルとの間で分配されるかについて特定する通知情報を、インタフェースを通して送信することができる。]
[0020] 長所として、立体画像データは二次元画像データ及び画像深さデータを有し、そしてフォーマッタは、補助データチャネルを通して深さデータを送信するように配置される。]
[0021] 補助データチャネルは、プライマリチャネルと同じケーブル内の別のライン、プライマリチャネルを伝達する第１ケーブルとは別の第２ケーブル又は無線リンクを含むことができる。]
[0022] 本発明の関連態様は、視聴覚装置と他の視聴覚装置との間のデジタル表示インタフェースをサポートするために視聴覚装置に用いられるデジタル表示インタフェース部を提供し、当該インタフェース部は、
インタフェースのプライマリ画像データトランスポートチャネル及び補助データチャネルに接続するための入力部、
インタフェースのプライマリ画像データトランスポートチャネルから立体画像データの一部を抽出し、補助データチャネルから立体画像データの他の部分を抽出するように配置されるプロセッサを有する。]
[0023] 本発明の関連態様は、第１視聴覚装置と第２視聴覚装置との間のデジタル表示インタフェースを通じて立体画像データを送信する方法を提供し、当該方法は、第１視聴覚装置において、
インタフェースを通じた輸送のための立体画像データを受け取り、
インタフェースのプライマリ画像データトランスポートチャネルを通じて立体画像データの一部を送信し、補助データチャネルを通じて立体画像データの他の部分を送信する。]
[0024] 本発明の関連態様は、視聴覚装置と他の視聴覚装置との間のデジタル表示インタフェースをサポートするために視聴覚装置において立体画像データを処理する方法を提供し、当該方法は、インタフェースのプライマリ画像データトランスポートチャネルから立体画像データの一部を抽出し、補助データチャネルから立体画像データの他の部分を抽出する。]
[0025] 本発明の更なる態様は、第１視聴覚装置と第２視聴覚装置との間のデジタル表示インタフェースをサポートするために第１視聴覚装置に用いられるデジタル表示インタフェース部を提供し、当該インタフェース部は、
立体画像データを受け取るための入力部、
ストリーム中の周期的な画像データを伝達するデータ要素及び補助データを伝達するデータ要素のストリームを生成するように配置されるフォーマッタ、
を有し、
立体画像データを復号するのに用いられる通知情報が、補助データ要素のうちの少なくとも１つにおいて伝達される。]
[0026] 立体画像データが左眼画像データ及び右眼画像データを有する場合、通知情報は、どのデータ要素が左眼画像データを伝達するか及びどのデータ要素が右眼画像データを伝達するかを特定することができる。左眼画像及び右眼画像がライン毎にインタリーブされる場合、通知情報は、インタリーブされたラインのペア毎に一度、送信されることができるが、フィールド又はフレーム毎に一度のような、より低い頻度で送信されることもできる。]
[0027] 立体画像データが二次元画像データ及び深さ情報を有する場合、通知情報は、深さ情報の伝送位置、量のうちの少なくとも一方を特定することができる。]
[0028] 長所として、立体画像データが複数の異なる可能なフォーマットを持つ場合、通知情報はフォーマットを特定する。立体画像データのためのフォーマットのうちの１つは、従来の二次元画像フォーマット内で立体画像データを符号化するスキームであることができる。]
[0029] 長所として、通知情報は水平又は垂直ブランキング期間中に伝達され、そしてHigh Definition Multimedia Interface(HDMI)では、通知情報はデータアイランドパケット中で送信されることができる。]
[0030] 本発明の関連態様は、視聴覚装置と他の視聴覚装置との間のデジタル表示インタフェースをサポートするために視聴覚装置に用いられるデジタル表示インタフェース部を提供し、当該インタフェース部は、
インタフェースから、ストリーム中の周期的な画像データを伝達するデータ要素及び補助データを伝達するデータ要素のストリームを受け取るための入力部を有し、
立体画像データを復号するために、補助データ要素のうちの少なくとも１つにおいて伝達される通知情報を用いる。]
[0031] 本発明の関連態様は、第１視聴覚装置と第２視聴覚装置との間のデジタル表示インタフェースを通じて立体画像データを送信する方法を提供し、当該方法は、第１視聴覚装置において、
立体画像データを受け取り、
ストリーム中の周期的な画像データを伝達するデータ要素及び補助データを伝達するデータ要素のストリームを生成し、
立体画像データを復号するのに用いられる通知情報は、補助データ要素のうちの少なくとも１つにおいて伝達される。]
[0032] 本発明の関連態様は、視聴覚装置のデジタル表示インタフェース部で立体画像データを処理する方法を提供し、当該方法は、
インタフェースから、ストリーム中の周期的な画像データを伝達するデータ要素及び補助データを伝達するデータ要素のストリームを受け取り、
立体画像データを復号するために補助データ要素のうちの少なくとも１つにおいて伝達される通知情報を用いる。]
[0033] 本発明の更なる態様は、第１視聴覚装置と第２視聴覚装置との間のデジタル表示インタフェースをサポートするために第１視聴覚装置に用いられるデジタル表示インタフェース部を提供し、当該インタフェース部は、
立体画像データ成分を受け取るための入力部、
ストリーム中の周期的な画像データを伝達するデータ要素及び補助データを伝達するデータ要素のストリームを生成するように配置されるフォーマッタ、
を有し、立体画像データは、画像データを伝達するデータ要素と補助データを伝達するデータ要素との間で分配される。]
[0034] 長所として、立体画像データ成分は、二次元画像データ及び画像深さデータであり、深さデータは、補助データを伝達するデータ要素中で伝達される。長所として、ストリームは、補助データを伝達するデータ要素中で伝達され、画像のどの部分に深さ情報が関連するかを特定する通知情報をさらに有する。]
[0035] 補助データを伝達するデータ要素は、水平又は垂直ブランキング期間(例えばHDMIデータアイランドパケット)中で送信される。]
[0036] 本発明の関連態様は、視聴覚装置と他の視聴覚装置との間のデジタル表示インタフェースをサポートするために視聴覚装置に用いられるデジタル表示インタフェース部を提供し、当該インタフェース部は、
インタフェースから、画像データを伝達するデータ要素及び補助データを伝達するデータ要素のストリームを受け取るための入力部、
画像データを伝達するデータ要素から立体画像データを抽出し、補助データを伝達するデータ要素から立体画像データの少なくとも一部を抽出するように配置されるプロセッサ、
を有する。]
[0037] 本発明の関連態様は、第１視聴覚装置と第２視聴覚装置との間のデジタル表示インタフェースを通して立体視データを送信する方法を提供し、当該方法は、第１視聴覚装置において、
立体画像データ成分を受け取り、
ストリーム中の周期的な画像データを伝達するデータ要素及び補助データを伝達するデータ要素のストリームを生成し、
画像データを伝達するデータ要素と補助データを伝達するデータ要素との間で立体画像データを分配する。]
[0038] 本発明の関連態様は、視聴覚装置のデジタル表示インタフェース部で立体画像データを処理する方法を提供し、当該方法は、
インタフェースから、画像データを伝達するデータ要素及び補助データを伝達するデータ要素のストリームを受け取り、
画像データを伝達するデータ要素から立体画像データを抽出し、補助データを伝達するデータ要素から立体画像データの少なくとも一部を抽出する。]
[0039] ここに記載される機能は、ソフトウェア、ハードウェア又はそれらの組み合わせで実施されることができる。本発明は、いくつかの別個の要素を有するハードウェアによって、そして適切にプログラムされたコンピュータによって、実施されることができる。したがって、本発明の更なる態様は、いずれかの方法を実施するためのソフトウェアを提供する。ソフトウェアは、電子メモリ装置、ハードディスク、光学ディスク又は他の機械読取り可能記憶媒体に記憶されることができる。ソフトウェアは、機械読取り可能キャリヤ上のコンピュータプログラムとして供給されることができ、又は、ネットワーク接続を介してAV装置にダウンロードされることができる。]
[0040] 本発明はさらに、表示インタフェースを通じた伝送のために、いずれかの方法の結果として生じる信号に及ぶ。]
[0041] 本発明のさまざまな態様の特徴は組み合わせられることができる。]
[0042] 本発明の実施の形態は、単に一例として、添付の図面を参照して記載される。]
図面の簡単な説明

[0043] ２つのＡＶ装置間で画像データを伝達するための表示インタフェース。
インタフェースの一端におけるフォーマット機能を示す図。
表示インタフェースを通して二次元画像データを送信する従来の態様を示す図。
表示インタフェースを通して立体画像データを送信する態様を示す図。
表示インタフェースを通して立体画像データを送信する態様を示す図。
HDMIビデオフレームのフォーマットを示す図。
補助データチャネルを含む表示インタフェースを示す図。]
実施例

[0044] 図1は、本発明が用いられることができる例示のシナリオを示す。図1において、デジタルＡＶコンテンツのソースを提供することが可能なＡＶ装置10が、デジタル表示インタフェース(DDI)40を介してディスプレイ(又はビデオプロジェクタ)20に接続される。装置10, 20中のインタフェース部12, 22は、インタフェース40をサポートして、インタフェース40を定義する規格によって必要とされる形式へ信号をフォーマットするような機能を提供する。ソース装置10は、ハードディスク、固体メモリ、光学ディスク又は任意の他の固定の若しくは着脱可能な記憶メディア若しくは装置のような記憶装置11から、デジタルＡＶコンテンツを読み出すことができる装置であることができる。装置10の例は、パーソナルビデオレコーダ(PVR)、光学ディスクプレーヤー(例えばDVDプレーヤー、HD-DVDプレーヤー又はBlu-ray(登録商標)プレーヤー)を含む。あるいは、装置10は、(放送チャネル、広帯域ネットワーク又は他の形式のネットワーク(例えばホームネットワーク)のような)配布チャネルからコンテンツを受け取るセットトップボックスの形式をとることができる。]
[0045] 立体(三次元)画像を表示するための様々な方法が存在する。インタフェースを通して三次元画像データを転送するための２つの主な方法は、人間の眼によって観察される左及び右のビューを表す２つの完全な別個の立体視画像を送信すること、並びに、ディスプレイの中で立体画像を生成するために用いられることができる関連する深さ情報を伴う通常の二次元画像を送信することである。第１の方法は、一般に、インタフェース上でのかなり大きな帯域幅(最大で二次元画像のために必要とされる帯域幅の２倍)を必要とするが、ディスプレイにおける処理をほとんど必要とせず、一方、第２の方法は、必要な帯域幅の増加はわずかでよいが、深さ情報を処理するためにディスプレイにおける何らかの高速リアルタイム処理を代償にする必要がある。]
[0046] 現在のデジタル表示インタフェース(例えばHDMI)は、非常に大きな帯域幅を提供する。これらのインタフェースは、帯域幅制限のために圧縮画像を転送しなければならない他の輸送メカニズム(例えばEthernet, USB,IEEE1394)と異なり、圧縮されていないピクセル情報を転送する。当初は、HDMIによって転送される画像は、8ビット/カラー/ピクセルに制限されていた(いわゆる"24ビットカラー")。バージョン1.3からのHDMIに対する改善は、10, 12及び16ビット/カラー/ピクセルを伝達するオプションによって(すなわち最大48ビットカラー)、HDMIが、ピクセルあたり、より多くのビットを伝達することを可能にした。HDMIは、Deep Color Pixel Packingモード(HDMI1.3a,セクション6.5.3)を記述し、まさに記載された、より多くのカラー階調を可能にする]
[0047] 本発明の一つの実施の形態によれば、立体画像データを輸送するためにDeep Colorモードが用いられる。立体画像データは、左画像データ+右画像データ、又は、二次元+深さデータであることができる。図2は、インタフェース部12内で使用されるフォーマット機能15を示す。フォーマッタ15は、複数の異なるモードのうちの１つで選択的に動作することができる。これは、入力のセット(二次元画像データ31、二次元+深さ画像データ32, 33、又は、左眼及び右眼画像データ34, 35)のうちの１つを処理のために選択して、インタフェース出力39に選択的に接続する(38)フォーマッタによって概略的に示される。フォーマッタ15は、従来の二次元画像データ31(例えば24ビットカラー画像データ31)を受け取ることができる。一般的に、これは、RGB又はコンポーネントビデオ(Y,Cr,Cb)フォーマットで受け取られる。立体画像データを受け取る場合、フォーマッタ15は、画像データ成分を多重化する(36, 37)。左眼/右眼画像データでは、左眼データ及び右眼データは、画像の左眼/右眼フレーム又はフィールド中の同じピクセルから一般的に取得されるが、ピクセルを組み合わせるための他のアルゴリズムも本発明の範囲内である。二次元画像+深さ情報では、二次元画像データは、一つのピクセル(例えばRGB又はコンポーネントビデオフォーマット)に一般的に対応し、深さ情報は、異なる形式をとることができ、二次元画像のピクセルに対して画像の異なる領域に対応することができる。フォーマッタ15は、三次元フォーマットのうちの１つのみ(例えばL+Rのみ又は2D+深さのみ)をサポートするか、又は、両方の三次元フォーマットタイプをサポートすることができる。]
[0048] 図3〜5は、画像データが多重化されることができるさまざまな異なる態様を示す。図3は従来の画像データを示す。HDMIでは、３つのカラー成分(R,G,B又はY,Cr,Cb)が、３つのTransition Minimised Differential Signaling(TMDS)チャネル41上で同時に送信される。TMDSは、データストリーム中の遷移の数の減少と同様におおよその直流バランスを維持するためにデータに適用されるラインレベル符号化を指す。各々のカラー成分は、標準的なカラー階調(例えば8ビット/カラー/ピクセル)又は拡張されたカラー階調(例えば16ビット/カラー/ピクセル)を用いて送信されることができる。図4は、立体視左眼/右眼データが多重化されることができる態様を示す。左眼データの成分(R,G,B又はY,Cr,Cb)は、各々のデータ伝達要素の第１部分において送信されて、その直後に右眼データの成分(R,G,B又はY,Cr,Cb)が続く。左眼及び右眼は両方とも、同じパケット、連続する画像データパケット又は連続する画像データパケットの部分の中で送信される。一例として、16ビット/カラー/ピクセルのモードが用いられる場合、ビット0-7は左画像Yデータを伝達することができ、ビット8-15は右画像Yデータを伝達する。HDMI 1.3aは現在、最高16ビット/カラー/ピクセルのカラー階調(48ビットカラー)を可能にする。図4は、２つの24ビットカラー画像が、インタフェースから必要とされる追加の容量なしで、既存の48ビットカラーモード内でどのように伝達されることができるかを示す。いうまでもなく、HDMI(及び他の)規格の将来の改訂は、より多いカラー階調を可能にするために帯域幅を拡張する可能性があり、これは、左眼画像及び右眼画像の各々がピクセル毎により多くのビットを使用することを可能にし、そしてより豊かな三次元画像を可能にする。]
[0049] 図5は、二次元画像データ+深さ情報を送信するためのスキームを示し、二次元データが最初に送信されて、その後に深さデータが続く。各々のカラー成分(R,G,B又はY,Cr,Cb)は、同じフォーマットに従う。図6において、パケットの容量は二次元データと深さ情報との間で等しく分割されるが、任意の他の分割が可能である。二次元データより大幅に少ない深さデータを送信することが可能な場合があり、それによって、二次元画像が広範囲にわたるカラーパレット及び/又は高解像度を用いることを可能にすることができる。深さ情報のいくつか又は全てを、水平及び垂直ラインブランキング間隔内で伝達される特定のHDMIデータアイランドパケット内のような、送信されるデータストリームの異なる部分において送信することも可能である。これは、特定のピクセルに直接属さない(例えば画像の領域に適用される)深さデータにとって、特に有用である。]
[0050] インタフェース部12は、画像データのフォーマットを示す(例えば、画像データが二次元、ステレオ(L+R)又はステレオ(2D+深さ)であるかどうかを示す)通知42を送信する。通知は、多重化スキームに関する詳細(例えば、多重化データを伝達するためにどのカラー階調モードが使用されているか、二次元データに割り当てられるデータ要素あたりのビットの数、及び、深さデータに割り当てられるデータ要素あたりのビットの数)を示すこともできる。この通知は、インタフェース40を通して送信されるデータ伝達要素にステレオデータがどのように割り当てられるかについてのフレキシビリティを可能にし、そして、表示されるべきコンテンツの要求に従って、深さ情報の量が動的に変更されることを可能にする。HDMIにおいて、データアイランドパケットは、水平及び垂直ラインブランキング期間において送信される。通知情報は、データアイランドパケットの中で首尾よく伝達されることができる。図6はHDMIビデオフレームのレイアウトを示し、ピクセルデータがTMDSチャネルを通して送信される領域61、水平ブランキング期間63及び垂直ブランキング期間を示す。データアイランドパケット64は、水平及び垂直ブランキング期間62, 63内に配置されるデータアイランド期間内で送信される。通知データは、一般制御パケット(General Control Packet)、補助ビデオInfoFrame(Auxiliary Video InfoFrame：AVI)パケット又はこの目的のために特に指定されるInfoFrameパケットにおいて伝達されることができる。ピクセルデータを伝達するデータ要素及びストリームの他の場所の両方において深さデータが伝達される場合、通知は、深さデータがどこで見いだされるか示すことができる。深さデータの量及び深さデータの位置は、画像の必要とされるカラー階調、解像度又は複雑度(例えば画像内の深さ情報の量)に応じて、画像の間又は画像のシーケンスの間に動的に変化することができる。]
[0051] ＡＶ装置20は、三次元画像をレンダリングするために適切な処理をデータに適用するプロセッサ21を含む。ユーザが別個の左及び右眼画像を同時に又は順次示される立体表示の場合、プロセッサ21は、別々の左眼/右眼画像を構成して、必要とされる時間でそれらを出力する(24)。順次式立体表示では、シャッターをつけられた眼鏡の動作を同期させるために更なる出力23が提供される。レンチキュラスクリーンを用いるディスプレイのような、自動立体視ディスプレイの場合、プロセッサ21は、自動立体視表示を生成するためにディスプレイ素子に対して出力される(24)ことが必要とされる画像データを構成する。インタフェース部22及びプロセッサ21は、立体画像データが送信されているかを決定するため、どの一般的な立体画像フォーマット(例えば左+右画像、二次元+深さ、アクティブ画像データ内で符号化されるステレオ)が用いられているかを決定するため、画像データがどのようにインタフェース上で符号化されているか、したがって、どの復号化スキームが受信機において用いられなければならないかについての更なる詳細を決定するために、インタフェースを通して送信される通知情報を用いる。これは、どのdeep colorモードが用いられているか、二次元と深さデータとの間のビット割当て、深さデータの伝送位置(例えば特定のデータアイランドパケット又は補助チャネル位置)に関する情報を含むことができる。]
[0052] ＡＶ装置10, 20間の更なる通知は、シンク装置20が、画像データを受け取って処理するための自身の機能を示すことを可能にする。機能情報は、二次元及びステレオ画像データを送信する各々のモードのための最大許容帯域幅を示すことができる。HDMIでは、シンク装置の機能は、Display Data Channel(DDC)チャネルを用いることができ、機能データは、シンクのExtended Display Identification Data (EDID) ROMに記憶される。]
[0053] インタフェースは、立体視データを送信するための他のスキームをサポートすることができる。第１の変形例は、順次伝達される２つの別々の完全な画像(例えば、完全な右画像及び後続の完全な左画像)を送信することである。左及び右の画像の指示は、画像データの位置に直接隣接して伝達される通知情報によって示されることができる(例えばHDMIデータアイランドパケット)。]
[0054] 第２の変形例は、インタリーブされた２つの画像のラインによって２つの別々の画像を送信することである。例えば、左画像の第１のラインが最初に送信されて、その後に右画像の第１のラインが続くなどである。]
[0055] 第３の変形例は、従来の方法で二次元画像を送信して、深さ情報を伝達するための専用の特定のデータアイランドパケットにおいて深さ情報を伝達することである。]
[0056] これらの変形例の各々において、画像データの位置に直接隣接して伝達される通知情報(例えばHDMIデータアイランドパケット)は、画像データが対応するものを示すことができる。第３の変形例では、通知情報は、深さデータが画像のどの部分に関連するかを特定することができる。上記したように、HDMIデータアイランドパケットは、一般制御パケット(General Control Packet)、補助ビデオInfoFrame(Auxiliary Video InfoFrame：AVI)パケット又はこの目的のために特に指定されるInfoFrameパケットであることができる。これらのパケット中の情報は、
用いられている現在の立体視方法(フィールド、ライン又はバイト)(上記参照)、
Deep Color Pixel Packingモードが三次元情報又はDeep Color Mode二次元画像を伝達するために用いられているか、
現在のフィールド、ライン又はバイトに対する左及び右画像のマッピング、
深さ情報を伝達するためにどれだけ多くのデータアイランドパケット/サブパケットが用いられているか、
他の立体画像データ成分の位置、
を特定することができる。]
[0057] 上記の実施の形態は、別々の立体画像成分が表示インタフェースを通じてどのように伝達されることができるかを示す。いくつかのアプリケーション、特にレンチキュラスクリーン上のディスプレイを対象としたアプリケーションでは、インタフェース部12で受け取られる画像は、立体視コンテンツによってすでに符号化されている。一例として、バックグラウンドセクションに記載されたWOWvx符号化画像は、従来の画像の別々の領域に既に埋め込まれた二次元画像、深さ情報及び/又は遮蔽情報を有する。一実施例において、二次元画像は、画像ピクセルの４分の１において伝達される(例えば画像中の全ラインの半分のラインの半分)。関連する深さ及び/又は遮蔽情報は、示される画像の他の４分の３において伝達される。この場合には、画像のラインは、それらが、全ての利用可能なラインに対して各々のラインの全てを占有する一つの二次元画像であるとして、HDMIリンクを通して伝達される。そのような三次元画像を特定するために、HDMIデータアイランドパケット(典型的には、General Control Packet、Auxiliary Video InfoFrame(AVI)パケット又は特に指定されたInfoFrame Packet)は、この方法を示す。このパケット中の情報は、
- 用いられている現在の立体視方法(例えば二次元+深さ)、
- ディスプレイによって必要とされるこの方法に関する任意の情報、
を特定する。]
[0058] シンクは、この方法を用いて送信された画像を特定して、それに応じて画像を処理する。シンクはさらに、それがこの方法をサポートすることを示す情報をEDID中で伝える。]
[0059] 前記説明では、立体画像データは、チャネル中の通常のデータを伝達する要素内に立体画像データを多重化することによって、又は、同じチャネルを通じて伝達される他のパケット(例えばデータアイランドパケット)の中で立体画像データの少なくとも一部を伝達することによって、インタフェースのチャネル(例えばHDMIトランスポートストリーム)を通じて伝達される。本発明の別の実施例は、関連する高速補助データリンク(例えばギガビットイーサネット、IEEE 1394又は高速無線リンク)を通じて、立体画像データの少なくともいくつかを伝える。通知情報は、どの情報がインタフェースのプライマリチャネルによって伝えられるか、及び、どれが関連する補助リンクによって伝えられるかを特定する。HDMIでは、通知情報は、データアイランドパケット中で伝達されることができる。同様の又は相補的な識別情報が、関連する高速補助リンク上で伝達されることもできる。シンクは、どの情報がどのリンク上で伝達されるかを特定するために受信されたデータアイランドパケットを使用し、そして表示又は処理のために必要なフォーマットで２つのデータストリームを組み合わせる。HDMI及び関連する補助リンクの特性に応じて、２つのストリーム中に含まれるデータを、それらの間の同時発生(synchronicity)を維持するために、バッファすることが必要な場合がある。前記の実施の形態を用いる一実施例において、補助リンクのための関連するワイヤはHDMIケーブル内に担持され、このオプションは、インタフェース部12, 22中のモジュール51, 52を接続する追加のライン50によって、図7に示される。他の実施の形態において、関連する補助リンクは、装置10, 20を接続する別のケーブル中に担持されるか、又は高速無線リンクによる。]
[0060] 開示された実施の形態に対する他のバリエーションは、請求された発明を実施する際に、図面、開示及び添付された請求の範囲の検討から、当業者によって理解され、成し遂げられることができる。請求の範囲において、「有する」「含む」などの用語は、他の要素又はステップを除外せず、単数形は複数を除外しない。単一のプロセッサ又は他のユニットが、請求の範囲に挙げられたいくつかのアイテムの機能を果たすことができる。特定の手段が相互に異なる従属請求項に記載されているとしても、利益を得るためにこれらの手段の組み合わせを用いることができないことを意味しない。請求の範囲における任意の参照符号は、範囲を制限するものとして解釈されてはならない。]

权利要求:

請求項1
第１視聴覚装置と第２視聴覚装置との間のデジタル表示インタフェースをサポートするために第１視聴覚装置に用いられるデジタル表示インタフェース部であって、画像データを受け取るための入力部、インタフェースを通じた輸送のためにデータをフォーマットするフォーマッタ、を有し、前記フォーマッタは、当該フォーマッタが、二次元画像のピクセルデータを伝達する第１データ要素のストリームを生成する第１モード、及び当該フォーマッタが、立体画像の成分の多重化された組み合わせを伝達する第２データ要素のストリームを生成する第２モード、で動作可能である、インタフェース部。
請求項2
第２データ要素が、第１データ要素以下の容量を持つ、請求項１に記載のインタフェース部。
請求項3
立体画像データ成分が、左眼画像データ及び右眼画像データである、請求項１又は請求項２に記載のインタフェース部。
請求項4
前記フォーマッタが、左眼画像データを伝達するために第２データ要素の一部を使用し、右眼画像データを伝達するために第２データ要素の他の部分を使用する、請求項３に記載のインタフェース部。
請求項5
前記フォーマッタが、左眼画像データ及び右眼画像データの対応するピクセルを第２データ要素に多重化する、請求項４に記載のインタフェース部。
請求項6
立体画像データ成分が、二次元画像データ及び画像深さデータである、請求項１又は請求項２に記載のインタフェース部。
請求項7
前記フォーマッタが、二次元画像データを伝達するために第２データ要素の一部を使用し、画像深さデータを伝達するために第２データ要素の他の部分を使用する、請求項６に記載のインタフェース部。
請求項8
前記フォーマッタが、二次元画像のピクセルを、画像の他の部分からの深さデータに多重化する、請求項７に記載のインタフェース部。
請求項9
前記フォーマッタがピクセル毎データを伝達する第３データ要素を生成する第３モードで前記フォーマッタが動作可能であり、第３データ要素は、第１データ要素及び第２データ要素の各々よりも小さい容量を持つ、請求項１から請求項８のいずれか一項に記載のインタフェース部。
請求項10
前記フォーマッタがどのモードを使用しているかを特定する通知情報を、インタフェースを通して送信する、請求項１から請求項９のいずれか一項に記載のインタフェース部。
請求項11
第２視聴覚装置の機能を特定する通知情報を、インタフェースを通して受け取る、請求項１から請求項１０のいずれか一項に記載のインタフェース部。
請求項12
前記インタフェースが、High Definition Multimedia Interface (HDMI)であり、前記通知情報が、画像データ間のデータアイランドパケット(Data Island Packet)中で送信される、請求項１０に記載のインタフェース部。
請求項13
前記インタフェースが、High Definition Multimedia Interface (HDMI)であり、第１モード及び第２モードが、ピクセルあたり２４ビット以上のカラーデータの容量を持つDeep Colorモードである、請求項１から請求項１２のいずれか一項に記載のインタフェース部。
請求項14
視聴覚装置と他の視聴覚装置との間のデジタル表示インタフェースをサポートするために前記視聴覚装置に用いられるデジタル表示インタフェース部であって、インタフェースからフォーマットされた画像データを受け取るための入力部、画像データを抽出するプロセッサ、を有し、前記プロセッサは、当該プロセッサが第１データ要素のストリームから二次元画像のためのピクセル画像データを抽出する第１モード、及び当該プロセッサが立体画像の成分の多重化された組み合わせを伝達する第２データ要素のストリームから立体画像の成分を逆多重化する第２モード、で動作可能である、インタフェース部。
請求項15
第１視聴覚装置と第２視聴覚装置との間のデジタル表示インタフェースを通じた輸送のために第１視聴覚装置のデジタル表示インタフェース部において画像データをフォーマットする方法であって、画像データを受け取り、第１モードでは、二次元画像のピクセルデータを伝達する第１データ要素のストリームを生成することによって、第２モードでは、立体画像の成分の多重化された組み合わせを伝達する第２データ要素のストリームを生成することによって、インタフェースを通じた輸送のために前記画像データをフォーマットする、方法。
請求項16
視聴覚装置のデジタル表示インタフェース部において画像データを処理する方法であって、インタフェースからフォーマットされた画像データを受け取り、第１モードでは、第１データ要素のストリームから二次元画像のためのピクセル画像データを抽出することによって、第２モードでは、立体画像の成分の多重化された組み合わせを伝達する第２データ要素のストリームから、立体画像の成分を逆多重化することによって、画像データを抽出する、方法。
請求項17
請求項１５又は請求項１６に記載の方法を実行するためのソフトウェア。
請求項18
請求項１５に記載の方法の結果として得られる信号。
請求項19
第１視聴覚装置と第２視聴覚装置との間のデジタル表示インタフェースをサポートするために第１視聴覚装置に用いられるデジタル表示インタフェース部であって、立体画像データを受け取るための入力部、インタフェースを通じた輸送のためにデータをフォーマットするフォーマッタ、を有し、前記フォーマッタは、インタフェースのプライマリ画像データトランスポートチャネルを通じて立体画像データの一部を送信し、補助データチャネルを通じて立体画像データの他の部分を送信するように動作可能である、インタフェース部。
請求項20
立体視データがプライマリデータチャネルと補助データチャネルとの間でどのように分配されるかを特定する通知情報を、インタフェースを通して送信する、請求項１９に記載のインタフェース部。
請求項21
立体画像データが二次元画像データ及び画像深さデータを有し、前記フォーマッタが、補助データチャネルを通して深さデータを送信する、請求項１９又は請求項２０に記載のインタフェース部。
請求項22
前記インタフェースがケーブル内の一セットのラインを有し、補助データチャネルが同じケーブル中の別個のラインを有する、請求項１９から請求項２１のいずれか一項に記載のインタフェース部。
請求項23
前記インタフェースが第１ケーブルを有し、補助データチャネルが第２ケーブルによって伝達される、請求項１９から請求項２１のいずれか一項に記載のインタフェース部。
請求項24
補助データチャネルが無線接続によって伝達される、請求項１９から請求項２１のいずれか一項に記載のインタフェース部。
請求項25
視聴覚装置と他の視聴覚装置との間のデジタル表示インタフェースをサポートするために前記視聴覚装置に用いられるデジタル表示インタフェース部であって、前記インタフェースのプライマリ画像データトランスポートチャネル及び補助データチャネルに接続するための入力部、前記インタフェースのプライマリ画像データトランスポートチャネルから立体画像データの一部を抽出し、補助データチャネルから立体画像データの他の部分を抽出するプロセッサ、を有するインタフェース部。
請求項26
第１視聴覚装置と第２視聴覚装置との間のデジタル表示インタフェースを通じて立体画像データを送信する方法であって、第１視聴覚装置において、前記インタフェースを通じた輸送のために立体画像データを受け取り、前記インタフェースのプライマリ画像データトランスポートチャネルを通じて立体画像データの一部を送信し、補助データチャネルを通じて立体画像データの他の部分を送信する、方法。
請求項27
視聴覚装置と他の視聴覚装置との間のデジタル表示インタフェースをサポートするために前記視聴覚装置において立体画像データを処理する方法であって、前記インタフェースのプライマリ画像データトランスポートチャネルから立体画像データの一部を抽出し、補助データチャネルから立体画像データの他の部分を抽出する、方法。
請求項28
第１視聴覚装置と第２視聴覚装置との間のデジタル表示インタフェースをサポートするために第１視聴覚装置に用いられるデジタル表示インタフェース部であって、立体画像データを受け取るための入力部、ストリーム中の周期的な画像データを伝達するデータ要素及び補助データを伝達するデータ要素のストリームを生成するフォーマッタ、を有し、立体画像データを復号するのに用いられる通知情報が、補助データ要素のうちの少なくとも１つにおいて伝達される、インタフェース部。
請求項29
立体画像データが、左眼画像データ及び右眼画像データを有し、通知情報が、どのデータ要素が左眼画像データを伝達し、どのデータ要素が右眼画像データを伝達するかを特定する、請求項２８に記載のインタフェース部。
請求項30
立体画像データが二次元画像データ及び深さ情報を有し、通知情報が、深さ情報の伝送位置及び量の少なくとも１つを特定する、請求項２８に記載のインタフェース部。
請求項31
立体画像データが複数の異なるフォーマットをとり、通知情報が当該フォーマットを特定する、請求項２８から請求項３０のいずれか一項に記載のインタフェース部。
請求項32
立体画像データのためのフォーマットの１つが、立体画像データを従来の二次元画像フォーマット内に符号化する、請求項３１に記載のインタフェース部。
請求項33
通知情報が、水平又は垂直ブランキング期間において伝達される、請求項２８から請求項３２のいずれか一項に記載のインタフェース部。
請求項34
前記インタフェースが、High Definition Multimedia Interface (HDMI)であり、通知情報がデータアイランドパケット(Data Island Packet)において送信される、請求項３３に記載のインタフェース部。
請求項35
視聴覚装置と他の視聴覚装置との間のデジタル表示インタフェースをサポートするために前記視聴覚装置に用いられるデジタル表示インタフェース部であって、ストリーム中の周期的な画像データを伝達するデータ要素及び補助データを伝達するデータ要素のストリームを、前記インタフェースから受け取るための入力部を有し、立体画像データを復号するために補助データ要素のうちの少なくとも１つにおいて伝達される通知情報を用いる、インタフェース部。
請求項36
第１視聴覚装置と第２視聴覚装置との間のデジタル表示インタフェースを通じて立体画像データを送信する方法であって、第１視聴覚装置において、立体画像データを受け取り、ストリーム中の周期的な画像データを伝達するデータ要素及び補助データを伝達するデータ要素のストリームを生成し、立体画像データの復号に用いられる通知情報が、補助データ要素のうちの少なくとも１つにおいて伝達される、方法。
請求項37
視聴覚装置のデジタル表示インタフェース部において立体画像データを処理する方法であって、ストリーム中の周期的な画像データを伝達するデータ要素及び補助データを伝達するデータ要素のストリームを、前記インタフェースから受け取り、立体画像データを復号するために補助データ要素のうちの少なくとも１つにおいて伝達される通知情報を使用する、方法。
請求項38
請求項３６又は請求項３７に記載の方法を実行するためのソフトウェア。
請求項39
請求項３６に記載の方法の結果として得られる信号。
請求項40
第１視聴覚装置と第２視聴覚装置との間のデジタル表示インタフェースをサポートするために第１視聴覚装置に用いられるデジタル表示インタフェース部であって、立体画像データ成分を受け取るための入力部、ストリーム中の周期的な画像データを伝達するデータ要素及び補助データを伝達するデータ要素のストリームを生成するフォーマッタ、を有し、立体画像データが、画像データを伝達するデータ要素と補助データを伝達するデータ要素との間で分配される、インタフェース部。
請求項41
立体画像データ成分が二次元画像データ及び画像深さデータであり、深さデータが補助データを伝達するデータ要素において伝達される、請求項４０に記載のインタフェース部。
請求項42
深さ情報が画像のどの部分に関連するかを特定する通知情報を、補助データを伝達するデータ要素内で伝達する、請求項４１に記載のインタフェース部。
請求項43
補助データを伝達するデータ要素が、水平又は垂直ブランキング期間において送信される、請求項４０から請求項４２のいずれか一項に記載のインタフェース部。
請求項44
前記インタフェースが、High Definition Multimedia Interface (HDMI)であり、通知情報がデータアイランドパケット(Data Island Packet)において送信される、請求項４３に記載のインタフェース部。
請求項45
視聴覚装置と他の視聴覚装置との間のデジタル表示インタフェースをサポートするために前記視聴覚装置に用いられるデジタル表示インタフェース部であって、画像データを伝達するデータ要素及び補助データを伝達するデータ要素のストリームを、前記インタフェースから受け取るための入力部、画像データを伝達するデータ要素から立体画像データを抽出し、補助データを伝達するデータ要素から立体画像データの少なくとも一部を抽出するプロセッサ、を有するインタフェース部。
請求項46
第１視聴覚装置と第２視聴覚装置との間のデジタル表示インタフェースを通して立体視データを送信する方法であって、第１視聴覚装置において、立体画像データ成分を受け取り、ストリーム中の周期的な画像データを伝達するデータ要素及び補助データを伝達するデータ要素のストリームを生成し、画像データを伝達するデータ要素と補助データを伝達するデータ要素との間で立体画像データを分配する、方法。
請求項47
視聴覚装置のデジタル表示インタフェース部において立体画像データを処理する方法であって、画像データを伝達するデータ要素及び補助データを伝達するデータ要素のストリームを、インタフェースから受け取り、画像データを伝達するデータ要素から立体画像データを抽出し、補助データを伝達するデータ要素から立体画像データの少なくとも一部を抽出する、方法。
請求項48
請求項４６又は請求項４７に記載の方法を実行するソフトウェア。
請求項49
請求項４６に記載の方法の結果として得られる信号。