符号化されたマルチメディアのデータストリームを継ぐ方法

专利摘要:
本発明は、エンコーダとデコーダの間を流れるデータストリームを継ぐ方法を提供する。この方法は、第１の符号化されたデータストリームにアクセスすることを含む。第１の符号化されたデータストリームは、デコーダと関連する第１のバッファのサイズに基づいて、エンコーダにより符号化される。またこの方法は、第１の符号化されたデータストリームを、デコーダと関連する第２のバッファのサイズに基づいて測定されたオフセットだけ遅らせることを含む。第２のバッファのサイズは、第１のバッファのサイズより大きい。さらにこの方法は、１つまたは複数の第２の符号化されたデータストリームを、遅らされた第１の符号化されたデータストリームに継ぐことを含む。
公开号:JP2011509640A
申请号:JP2010542300
申请日:2009-01-05
公开日:2011-03-24
发明作者:マシユーズ，キム・エヌ
申请人:アルカテル−ルーセント ユーエスエー インコーポレーテッド；
IPC主号:H04N7-26

专利说明:

[0001] 本発明は、概して通信システムに関し、より詳細には通信システムにおけるマルチメディアのデータストリームの伝送に関するものである。]
背景技術

[0002] デジタルマルチメディアが、映像および／または音声データの従来のアナログ伝送に代わる実行可能なものとなった。例えば、テレビジョン、ビデオオンデマンドなどのようなデジタルマルチメディアサービスを提供するために、インターネットプロトコルテレビ（ＩＰＴＶ）のようなパケットベースの技術が使用されることが可能である。通常のデジタルマルチメディア放送システムでは、一連の画像は画像のデジタル表現に変換される。デジタルデータは次に符号化されて、テレビジョンまたはコンピュータのような受信ユニットに伝送されるが、この受信ユニットは、いくつかの画像の受信した情報を格納するためのバッファを含んでおり、その後、画像を復号化して最終的に提示するために、符号化された情報をデコーダに提供する。送信機が多すぎるデジタルデータを受信ユニットに送信しようとする場合、デコーダのバッファはオーバーフローになる可能性があり、その結果データが失われ、画像が欠落する可能性が生じる。反対に、送信機が十分なデジタルデータを受信ユニットに送信しない場合、デコーダのバッファはアンダーフローになる可能性がある。アンダーフローは、デコーダを失速させ、１つまたは複数の画像の繰り返しを引き起こす。デコーダのバッファのオーバーフローおよびアンダーフローは、ユーザエクスペリエンスを低下させる可能性があるので、従来のデジタルマルチメディアシステムは、ビットレートに影響を与える各画像の符号化品質を変えて、デコーダのバッファレベルを選択された範囲内に維持しようとする。]
[0003] サービスプロバイダは、ユーザへ追加情報をブロードキャストするために、複数のデータストリームを合わせて継ぐことを希望する場合がある。例えば、サービスプロバイダは、サービスプロバイダが１人または複数のユーザに符号化されたデータストリームでブロードキャストしている、またはマルチキャストしている符号化されたマルチメディアコンテンツに、符号化された広告情報を継ぐことを希望する場合がある。１つのスプライシング技術は、マルチメディアデータストリームおよび広告データストリームを復号化することである。復号化されたデータストリームは、その後合わせて継がれ、その後受信ユニットへ伝送するために再び符号化されることが可能である。この手法は、継がれるデータストリームの中の情報が、デコーダのバッファレベルを選択された範囲内に維持するように選択されたビットレートで単一エンコーダによって符号化されるという利点を有する。このときバッファのオーバーフローおよび／またはアンダーフローは、適切なビットレートを選択することによって回避されることが可能である。しかしながらこの手法は、複数のデータストリームを復号化するための追加のハードウェアおよび／またはソフトウェアを必要とする。例えば、スプライサは、各データストリームに１つのデコーダ、復号化された２つのデータストリームを継ぐための映像スイッチ、および継がれたデータストリームを再び符号化するためのエンコーダを含むことがある。]
[0004] １つの代替的手法は、選択されたスプライスポイントで符号化されたデータストリームを合わせて単純に継ぐことである。この手法は、復号化されたデータストリームを合わせて継ぐ技術ほどハードウェアおよび／ソフトウェアを必要としないが、符号化されたデータストリームを合わせて単純に継ぐことは、デコーダのバッファのアンダーフローおよび／またはオーバーフローを招く可能性がある。例えば、符号化されたデータストリームは、復号化バッファの異なるモデルを使用して別々に符号化された可能性がある。復号化バッファのモデルは、一般に、マルチメディアストリーム内のエンコーダからデコーダへ定期的に伝送される最初の復号化バッファレベルを想定して、デコーダがストリームを復号化し始めるとき、デコーダがその復号化バッファの状態を適切に調整することができるようにする。しかしながら、実際には、第１のデータストリームを復号化することから生じる復号化バッファレベルを予測することは一般に不可能であるので、スプライスポイントにおける復号化バッファレベルは、ランダムにかつ予測不能に、想定される最初の復号化バッファレベルとは異なる。]
[0005] 図１Ａおよび図１Ｂは、２つのデータストリームが合わせて継がれる一実施形態に関して、復号化バッファレベル１００を時間の関数として概念的に示している。例示の実施形態では、復号化バッファレベルは上に向かって増大し、時間は左から右へ増大する。復号化バッファレベル１００が、最小バッファしきい値１０５を下回るとき、バッファのアンダーフローが発生し、復号化バッファレベル１００が最大バッファしきい値１１０を上回るとき、バッファのオーバーフローが発生する。第１のデータストリームと第２のデータストリームの間のスプライスポイントは、線１１５で示されている。第１のデータストリームのビットレートは、復号化バッファの第１のモデルおよび復号化バッファの占有量に基づいて決定され、これは、情報がバッファに到着する相対的なレートによって決定され、その後プレイアウトされる。したがって、復号化バッファは、スプライスポイント１１５の前にアンダーフローまたはオーバーフローにならない。] 図１Ａ 図１Ｂ
[0006] 図１Ａでは、スプライスポイント１１５は、復号化バッファレベル１００が、第２のデータストリームを符号化するために使用された第２のモデルによって想定される最初の復号化バッファレベルより低いときに発生する。第２のデータストリームを符号化するために使用されるビットレートは、第２のモデルおよび復号化バッファのサイズ（または占有量）に基づいて決定される。しかしながら、想定される最初の復号化バッファレベルは、実際の最初の復号化バッファレベルより高いので、第２のデータストリームを符号化するために使用されるエンコーダのビットレートは低すぎ、その結果、時間１２０、１２５、１３０において復号化バッファのアンダーフローが生じる。] 図１Ａ
[0007] 図１Ｂでは、スプライスポイント１１５は、復号化バッファレベル１００が第２のデータストリームを符号化するために使用された第２のモデルによって想定される最初の復号化バッファレベルより高いときに発生する。想定される最初の復号化バッファレベルは、実際の最初の復号化バッファレベルより高いので、第２のデータストリームを符号化するために使用されるエンコーダのビットレートは、したがって高すぎる。相対的に高いエンコーダのビットレートを適用する結果として、非常に多くの情報が伝送され、これは時間１３５、１４０、１４５において復号化バッファのオーバーフローを発生させる。] 図１Ｂ
[0008] 図２は、２つのデータストリームを合わせて継ぐことを示すタイミング図２００の第１の実施形態を概念的に示している。時間は、図２では左から右へ増大する。例示の実施形態では、タイミング図２００は、符号化されたデジタル情報の圧縮されたフレーム２０５、およびパケット２０５の中の符号化されたデジタル情報から形成され、その後ユーザに提示される圧縮されていないフレーム２１０を示している。矢印２１５は、圧縮されたフレームのパケット２０５と、これらのパケット２０５を使用して形成される、圧縮されていないフレーム２１０との関係を示している。明瞭にするために、１つのパケット、フレーム、および矢印だけが、それぞれ数字２０５、２１０、２１５で示されている。ユーザに音声および／または映像を提示するために使用されるマルチメディアデータストリームのような、第１の符号化されたデータストリーム２２０が提供され、サービスプロバイダが音声および／または映像の提示中にユーザに表示することを希望するマルチメディア広告コンテンツのような第２の符号化されたデータストリーム２２５と継がれることが可能である。] 図２
[0009] 例示の実施形態では、継がれたデータストリーム２３０は、第１の符号化されたデータストリーム２２０と第２の符号化されたデータストリーム２２５を連結することによって形成される。連結は、第１の符号化されたデータストリーム２２０の最後のパケットの終わりによって定められたスプライスポイント２３５で行われる。第２の符号化されたデータストリーム２２５の符号化は、スプライスポイント２３５におけるデコーダバッファの状態を考慮に入れない。したがって、パケット２４０は届くのが遅すぎ、逆方向を向いた矢印２５０で示すように、フレーム２４５を形成するために使用できない。この状態は、デコーダバッファにおけるアンダーフローの別の表現であり、すなわち、デコーダバッファは、パケット２４０が届く前にそのコンテンツのすべてをプレイアウトし、そこでフレーム２４５を形成するために復号化され、使用されるように利用できる情報がない。したがってフレーム２４５は、前のフレームの写しである、または不完全に形成されたフレームである可能性がある。]
[0010] 図３は、２つのデータストリームを合わせて継ぐことを示すタイミング図３００の第２の実施形態を概念的に示している。時間は、図３では左から右へ増大する。例示の実施形態では、タイミング図３００は、符号化されたデジタル情報のパケット３０５、およびパケット３０５の中の符号化されたデジタル情報から形成され、その後ユーザに提示されるフレーム３１０を示している。矢印３１５は、パケット３０５と、これらのパケット３０５を使用して形成されるフレーム３１０との間の関連を示している。明瞭にするために、１つのパケット、フレーム、および矢印だけが、それぞれ数字３０５、３１０、および３１５で示されている。ユーザに音声および／または映像を提示するために使用されるマルチメディアのデータストリームのような、第１の符号化されたデータストリーム３２０が提供され、サービスプロバイダが音声および／または映像の提示中にユーザに表示することを希望する場合があるマルチメディアの広告コンテンツのような、第２の符号化されたデータストリーム３２５と継がれることが可能である。] 図３
[0011] 例示の実施形態では、継がれたデータストリーム３３０は、第１の符号化されたデータストリーム３２０と第２の符号化されたデータストリーム３２５を連結することによって形成される。連結は、第１の符号化されたデータストリーム３２０の中の最後のパケットの終わりによって定められたスプライスポイント３３５で行われる。第２の符号化されたデータストリーム３２５の符号化は、スプライスポイント３３５におけるデコーダバッファの状態を考慮に入れないが、デコーダバッファの占有量は、予想よりも大きい。パケット３４０は、延長した矢印３５０で示すように、届くのが早すぎて、直ちに（または、選択された遅延時間内に）使用してフレーム３４５を形成することができない。この状態は、デコーダバッファにおけるオーバーフローの別の表現であり、すなわちデコーダバッファは、予想外に長い時間の間、パケット３４０に含まれる情報を格納しなければならない。したがって、その後受信されるパケットは、パケット３４０の情報が読み出されて、復号化されることが可能になる前に、デコーダバッファを満たす可能性がある。新しく受信された情報が拒絶される、または以前に受信された情報がデコーダバッファから押し出されるので、デコーダバッファの中の情報はこのとき失われる可能性がある。]
発明が解決しようとする課題

[0012] 本発明は、上述した問題の１つまたは複数の結果に取り組むことを目的とする。]
課題を解決するための手段

[0013] 以下は、本発明のいくつかの態様の基本的な理解を得られるように、本発明の平易な要約を示すものである。この要約は、本発明の包括的な概要ではない。本発明の主要な要素もしくは決定的な要素を断定すること、または本発明の範囲を明確に示すことを目的とするものではない。その唯一の目的は、後に述べるより詳細な説明への前置きとして、いくつかの概念を平易な形で示すことである。]
[0014] 本発明の１つの実施形態では、エンコーダとデコーダの間を流れるデータストリームを結合する方法を提供する。この方法は、第１の符号化されたデータストリームにアクセスすることを含む。第１の符号化されたデータストリームは、デコーダと関連する第１のバッファのサイズに基づいて、エンコーダにより符号化される。またこの方法は、デコーダと関連する第２のバッファのサイズに基づいて決定されたオフセットだけ第１の符号化されたデータストリームを遅らせることを含む。第２のバッファのサイズは、第１のバッファのサイズより大きい。さらにこの方法は、１つまたは複数の第２の符号化されたデータストリームを遅らされた第１の符号化されたデータストリームに継ぐことを含む。]
[0015] 本発明の別の実施形態では、エンコーダとデコーダの間を流れるデータストリームを結合するための方法を提供する。この方法は、第１の伝送レートで伝送される第１の符号化されたデータストリームにアクセスすることと、第２の伝送レートで伝送される少なくとも１つの第２の符号化されたデータストリームにアクセスすることとを含む。またこの方法は、第１の符号化されたデータスストリームの中のギャップの継続時間に基づいて第２の伝送レートを増大させることと、第２の符号化されたデータストリームを第１の符号化されたデータストリームの中のギャップに継ぐこととを含む。]
[0016] 本発明は、同じ参照符号が同じ要素を示す添付の図面と併せて行う次の説明を参照して、理解されることが可能である。]
図面の簡単な説明

[0017] ２つのデータストリームが合わせて継がれる一実施形態について、復号化バッファのレベルを時間の関数として概念的に示す図である。
２つのデータストリームが合わせて継がれる一実施形態について、復号化バッファのレベルを時間の関数として概念的に示す図である。
２つのデータストリームを合わせて継ぐことを示すタイミング図の第１の実施形態を概念的に示す図である。
２つのデータストリームを合わせて継ぐことを示すタイミング図の第２の実施形態を概念的に示す図である。
本発明による、マルチメディア通信システムの第１の例示的実施形態を概念的に示す図である。
本発明により、２次データストリームを１次データストリームに継ぐときに使用されることが可能であるタイミング調整を示すタイミング図を概念的に示す図である。
本発明により、２次データストリームを第１のデータストリームに継ぐときに使用されることが可能であるタイミング調整を示すタイミング図を概念的に示す図である。
本発明により、２次データストリームを第１のデータストリームに継ぐときに使用されることが可能であるタイミング調整を示すタイミング図を概念的に示す図である。
本発明により、２次データストリームを第１のデータストリームに継ぐときに使用されることが可能であるタイミング調整を示すタイミング図を概念的に示す図である。
本発明により、２次データストリームを１次データストリームに継ぐときに使用されることが可能である遅延を示すデコーダの遅延の図を概念的に示す図である。
本発明により、２次データストリームを１次データストリームに継ぐときに使用されることが可能である遅延を示すデコーダの遅延の図を概念的に示す図である。
本発明により、２次データストリームを１次データストリームに継ぐときに使用されることが可能である遅延を示すデコーダの遅延の図を概念的に示す図である。
本発明により、２次データストリームを１次データストリームに継ぐときに使用されることが可能である遅延を示すデコーダの遅延の図を概念的に示す図である。
本発明により、２次データストリームを１次データストリームに継ぐときに使用されることが可能である遅延を示すデコーダの遅延の図を概念的に示す図である。
本発明により、複数の２次データストリームを１次データストリームに継ぐときに使用されることが可能である遅延を示すデコーダの遅延の図を概念的に示す図である。]
実施例

[0018] 本発明は、様々な修正および代替形態が可能であるが、そのうちの特定の実施形態を図面に例として示し、本明細書で詳細に説明する。しかしながら、特定の実施形態についての本明細書の説明は、本発明を開示した特定の形態に限定しようとするものではなく、むしろ特許請求の範囲で定義される本発明の範囲内にあるあらゆる修正物、均等物、および代替物を包含しようとするものであることを理解されたい。]
[0019] 本発明の実例となる実施形態について以下に説明する。明瞭にするために、本明細書では実際の実施の特徴をすべて述べているわけではない。このような実際の実施形態の開発においては、開発者の特定の目標を達成するために、システム関連の制約およびビジネス関連の制約に従うなど、実施によって異なる数多くの実施時特有の決定をすべきであるということが当然理解される。さらに、このような開発努力は複雑で時間のかかるものであるが、しかしながらこの開示の恩恵を受ける当業者には定常的な取り組みであるということが理解される。]
[0020] 次に、添付の図を参照して本発明を説明する。単に説明の目的で、また当業者にはよく知られている詳細で本発明をわかりにくくしないように、図面では様々な構造、システム、および装置を概略的に示している。しかしながら、添付の図面は、本発明の説明的実施例を記載して説明するために含まれている。本明細書で使用する語および語句は、当業者によるこれらの語および語句の理解と一致する意味を有するものと理解され、解釈されたい。用語または語句の特別な定義、すなわち当業者によって理解される通常の従来通りの意味とは異なる定義は、本明細書でのこの用語または語句の一貫した使用に包含しないものとする。用語または語句が特別な意味、すなわち当業者によって理解されるもの以外の意味を有することを意図する範囲については、このような特別な定義を、この用語または語句に特別な定義を直接かつ明白に与える定義方法で、本明細書において明示的に説明する。]
[0021] 図４は、マルチメディア通信システム４００の第１の例示的実施形態を概念的に示している。例示の実施形態では、マルチメディア通信システムは、マルチメディアコンテンツを生成するために使用され、かつ生成されたコンテンツをマルチメディア通信システム４００に提供するマルチメディアソースデバイス４０５を含む。マルチメディアソースデバイス４０５は、（図４に示すように）アナログもしくはデジタルの映像記録装置、あるいは映像および／もしくは音声の入力を取り込む、または映像および／もしくは音声コンテンツを作成するために使用されるハードウェア、ファームウェア、および／もしくはソフトウェアのような、マルチメディアコンテンツを生成することができる他の装置であることが可能であり、例えば装置４０５は、アニメーションおよび関連する音声を作成するための装置であることが可能である。例示の実施形態では、マルチメディアソースデバイス４０５によって生成されたマルチメディアコンテンツは、１次コンテンツと呼ばれることがあり、映画、テレビ番組、ビデオオンデマンド、および／またはユーザもしくは加入者によって視聴可能である他のコンテンツからなる可能性がある。マルチメディアソースデバイス４０５によって生成されたマルチメディアコンテンツのデジタル表示が、エンコーダ４１０に提供されることが可能であり、このエンコーダが、このデジタル表示を符号化し、選択された伝送レートまたはデータレートでのネットワーク４１５を通じた最終的な伝送に備えることができる。] 図４
[0022] １つまたは複数のさらなるマルチメディアソースデバイス４２０もまた、ユーザに伝送するためのマルチメディアコンテンツを提供することが可能である。例えば、マルチメディアソースデバイス４２０は、マルチメディアソースデバイス４０５によって生成された１次コンテンツに挿入するためのマルチメディア広告コンテンツのような２次マルチメディアコンテンツを生成して提供するために使用されることが可能である。しかしながら、本開示の利益を得る当業者は理解するように、本発明は、ユーザによって要求される映画に広告コンテンツを継ぐことに限定されない。代替的実施形態では、本明細書に記載される技術は、任意の数の個々のマルチメディアデータストリームを挿入する、継ぐ、織り交ぜる（ｉｎｔｅｒｌａｃｅ）、あるいは他の場合は結合するために、使用されることが可能である。マルチメディアソースデバイス４２０によって生成されたマルチメディアコンテンツのデジタル表示は、１つまたは複数のエンコーダ４２５に提供されることが可能であり、この１つまたは複数のエンコーダがデジタル表示を符号化し、選択された伝送レートまたはデータレートでのネットワーク４３０を通じた最終的な伝送に備えることができる。]
[0023] マルチメディア通信システム４００は、エンコーダ４１０、４２５によって提供される、符号化されたマルチメディアデータストリームを結合するために使用されることが可能であるスプライサ４３５を含む。例えば、サービスプロバイダは、エンコーダ４１０によって提供される１次コンテンツ内に１つまたは複数のスプライスポイントを定めることができ、スプライサ４３５は、エンコーダ４２５によって提供される符号化されたマルチメディアコンテンツの一部を、スプライスポイントにおいて１次コンテンツに挿入することができる。例えば、１次コンテンツの中にギャップが形成されることが可能であり、エンコーダ４２５によって提供されるマルチメディアコンテンツの一部が、このギャップに継がれることが可能である。符号化された１次コンテンツおよび符号化された２次コンテンツを含む継がれたデータストリームは、その後ネットワーク４４５を介してデコーダ４４０に提供されることが可能である。デコーダ４４０は、提供された継ぎ済みデータストリームをデコーダのバッファ４５０に格納した後に、データを読み出し、これを使用して画像データをディスプレイ装置４５５に提供することができる。]
[0024] エンコーダ４１０、４２５は、デコーダのバッファ４５０のモデルを使用して、データストリームをどのように符号化するかを決定し、例えばマルチメディアソースデバイス４０５、４２０から受信されるデータストリームを符号化するために使用されるビットレートを選択する。例えば、エンコーダ４１０、４２５は、デコーダのバッファ４５０の想定されるサイズに基づいてデータストリームを符号化することができ、デコーダのバッファ４５０の占有量を推定する。デコーダのバッファに提供されるデータストリームをモデル化および／または符号化するための技術は、当業者には知られており、明瞭にするために、本発明に関連するデータストリームをモデル化するおよび／または符号化する態様についてのみ説明する。本発明による一実施形態では、エンコーダ４１０は、デコーダのバッファ４５０の実際のサイズとは異なるデコーダのバッファ４５０の想定されるサイズに基づいて、１次データストリームを符号化することができる。例えば、エンコーダ４１０は、デコーダのバッファ４５０のサイズが、デコーダのバッファ４５０の実際のサイズの３分の１であると想定するように構成されることが可能である。デコーダのバッファ４５０のサイズを少なく想定すると、マルチメディア通信システム４００に符号化されたデータストリームのタイミングを調整する自由を与えることができる。]
[0025] 例示の実施形態では、スプライサ４３５は、１次データストリームと２次データストリームの間で切り替えるために使用されるスイッチ４７０に連結された結合要素４６０を含んでいる。またスプライサ４３５は、エンコーダ４１０から受信される１次データストリームのタイミングを調整するために使用されるリタイミング要素４７５を含んでいる。１つの実施形態では、リタイミング要素４７５は、デコーダのバッファ４５０の想定されるサイズおよび／または実際のサイズに基づいて選択されることが可能であるオフセットだけ符号化された１次データストリームを遅らせるために使用される。例えば、リタイミング要素４７５は、符号化された１次データストリームの遅延の範囲が、デコーダのバッファ４５０の実際のサイズによって対応される遅延の範囲の中間点あたりに分散されるように、符号化された１次データストリームを遅らせることができる。例示の実施形態ではリタイミング要素４７５はスプライサ４３５の中に示されているが、本開示の利益を得る当業者には理解されるように、本発明はリタイミング要素４７５をこの位置に実装することに限定されない。代替的実施形態では、リタイミング要素４７５は、エンコーダ４１０、ネットワーク４１５のような他の位置に、またはデータストリームのパス沿いの独立型の要素として実装されることが可能である。]
[0026] 符号化された１次データストリームのタイミングを調整することにより、２次データストリームが１次データストリームに継がれるとき、デコーダのバッファ４５０のアンダーフローおよび／またはオーバーフローの可能性が減少する。第２のデータストリームは、デコーダのバッファ４５０のアンダーフローおよび／またはオーバーフローの可能性を減少させるように変更されることも可能である。例示の実施形態では、スプライサ４３５は、ネットワーク４３０によって提供されるデータストリームの伝送レートまたはデータレートを変更するために使用されることが可能である伝送レート要素４８０を含む。例えば、伝送レートは、ネットワーク４１５によって提供されるデータストリームの中の１つまたは複数のギャップによって決定される量だけ増大され、２次データストリームがこのギャップに継がれることが可能になるようにすることができる。１つの実施形態では、エンコーダ４２５は、１次データストリームを符号化するのに使用されるビットレートより低いビットレートで２次データストリームを符号化することができる。新しい符号化レートは、伝送レート要素４８０によって導入される伝送レートの変化を相殺するために使用されることが可能である。２次データストリームのタイミング基準は、２次データストリームが１次データストリームに継がれることが可能であるように調整されることも可能である。符号化された２次データストリームの伝送レート、ビットレートおよび／またはタイミング基準を調整することにより、２次データストリームが終了し、スプライサ４３５が１次データストリームに戻るとき、デコーダのバッファ４５０のアンダーフローおよび／またはオーバーフローの可能性を減少させることができる。]
[0027] 図５Ａ、図５Ｂ、図５Ｃ、および図５Ｄは、２次データストリームを１次データストリームに継ぐときに使用されることが可能であるタイミング調整を示すタイミング図５００、５０５、５１０、５１５を概念的に示している。時間は、図５Ａ−図５Ｄでは左から右へ増大する。例示の実施形態では、タイミング図５００、５０５、５１０、５１５は、符号化されたデジタル情報のパケット５２０、およびパケット５２０の中の符号化されたデジタル情報から形成され、その後ユーザに提示されるフレーム５２５を示している。矢印５３０は、パケット５２０と、これらのパケット５２０を使用して形成されるフレーム５２５との間の関連を示している。明瞭にするために、各図中の１つのパケット、フレーム、および矢印だけが、それぞれ数字５２０、５２５、５３０で示されている。] 図５Ａ 図５Ｂ 図５Ｃ 図５Ｄ
[0028] 図５Ａは、第１の符号化されたデータストリーム５３５および第２の符号化されたデータストリーム５４０の単純なスプライシングを示すタイミング図５００を概念的に示している。例えば、第１の符号化されたデータストリームは，音声および／または映像をユーザに提示するために使用されるマルチメディアデータストリームであることがあり、第２の符号化されたデータストリーム５４０は、サービスプロバイダが音声および／または映像の提示中にユーザに表示することを希望する場合があるマルチメディア広告コンテンツを含むことがある。例示の実施形態では、第１の符号化されたデータストリーム５３５および第２の符号化されたデータストリーム５４０は、データストリームを符号化するために異なるモデルが使用されているため、少なくとも部分的に領域５４５で重なり合う。図５Ａは、第１のデータストリーム５３５が終わる前に始まるように第２のデータストリーム５４０を示しているが、本開示の利益を得る当業者には理解されるように、実際の重なりは無作為である、および／または予測できない可能性がある。本発明による１つの実施形態では、第１の符号化されたデータストリーム５３５は、第２の符号化されたデータストリーム５４０との重なりを小さくし、スプライスポイントでバッファのオーバーフローおよび／またはアンダーフローが発生する可能性を減少させるために、選択された間隔だけ遅らせることができる。] 図５Ａ
[0029] 図５Ｂは、遅らされた第１の符号化されたデータストリーム５５０および第２の符号化されたデータストリーム５４０を継ぐことを示すタイミング図５０５を概念的に示している。例示の実施形態では、遅らされた第１の符号化されたデータストリーム５５０は、スプライスポイントにおける重なりを小さくするために、選択された間隔だけ遅らされている。一部の場合では、第１の符号化されたデータストリーム５５０に導入される遅延は、第２の符号化されたデータストリーム５４０が、第１の遅らされた符号化済みデータストリーム５４５の再開の頃に領域５５５において第１の符号化されたデータストリーム５５０と重なり合う可能性を増大させる可能性がある。この重なりは結果として、第１の遅らされた符号化済みデータストリーム５４５がエンコーダからデコーダへの伝送を再開するとき、デコーダのバッファのオーバーフローおよび／またはアンダーフローをもたらす可能性がある。したがって第２の符号化されたデータストリーム５４０の符号化のビットレートは、低減されることが可能である。例えば、第２の符号化されたデータストリーム５４０の符号化レートは、次の式により第１の符号化されたデータストリーム５４０に使用される符号化レート（本明細書ではネットワークレートと呼ばれる）に対して低減されることが可能である：] 図５Ｂ
[0030] この式では、Ｎはエンコーダによって想定されるデコーダ遅延の秒数であり、Ｄは継がれたマルチメディアコンテンツの継続時間である。１つの実施形態では、第２の符号化されたデータストリーム５４０に使用されるエンコーダレートは、ネットワークレートのおよそ９０％である。]
[0031] 図５Ｃは、遅らされた第１の符号化されたデータストリーム５５０およびより低い符号化レートで符号化された第２の符号化されたデータストリーム５６０を継ぐことを示すタイミング図５１０を概念的に示している。より低いレートで第２のデータストリーム５６０を符号化すると、符号化されたデータストリーム５６０の中の個々の圧縮されたフレームのサイズを縮小することができ、これはパケット間にタイミングギャップを導入することができる。しかしながら、これらのパケットのいくつかの部分は、第１の遅らされた符号化済みデータストリーム５４５が再び始まる頃、領域５５５において第１の符号化されたデータストリーム５５０とやはり重なることがある。この重なりは結果として、第１の遅らされた符号化済みデータストリーム５４５が、エンコーダからデコーダへの伝送を再開するとき、デコーダのバッファのオーバーフローおよび／またはアンダーフローをもたらす可能性がある。したがって、第２の符号化されたデータストリーム５６０は、より速いレートでこのデータストリームを伝送することによって調整され、第２の符号化されたデータストリーム５６０が、第１の遅らされた符号化済みデータストリーム５４５の中のギャップに「フィットする」ことが可能である。１つの実施形態では、第２のデータストリームに埋め込まれたタイミング基準が、伝送レートおよび／または符号化レートの変更に基づいて変更されることも可能である。例えば、第２の符号化されたデータストリーム５６０の中で圧縮されたデータを伝送するために使用されるプログラムクロック基準は、例えば第２の符号化されたデータストリーム５６０の中のパケット間の時間を減少させるために、変更されることが可能である。伝送レート、符号化レート、および／またはタイミング基準の調整または変更は、静的に、または例えばシステムの状態が変化していることを示すフィードバックに基づいて動的に行われることが可能である。] 図５Ｃ
[0032] 図５Ｄは、遅らされた第１の符号化されたデータストリーム５５０と、変更されたタイミング基準およびより速い伝送レートを使用してより低い符号化レートで符号化された第２の符号化されたデータストリーム５６５を継ぐことを示すタイミング図５１５を概念的に示している。例示の実施形態では、第２の符号化されたデータストリーム５６５の変更は、遅らされた第１の符号化されたデータストリーム５５０の中のギャップと完全にフィットすることを保証する。結果として、遅らされた第１の符号化されたデータストリーム５５０および第２の符号化されたデータストリーム５６５は、スプライスポイントまたは遅らされた第１の符号化されたデータストリーム５５０が伝送を再開するポイントで重ならない。結果として、デコーダのバッファのアンダーフローおよび／またはオーバーフローの可能性は、第１の符号化されたデータストリーム５５０を遅らせること、ならびに／または第２の符号化されたデータストリーム５６５により低い符号化レートおよび異なるタイミング基準を使用することによって、低減されるまたは排除されることが可能である。] 図５Ｄ
[0033] 図６Ａ、図６Ｂ、図６Ｃ、および図６Ｄは、２次データストリームを１次データストリームに継ぐときに使用される可能性がある遅延を示すデコーダの遅延図６００、６０５、６１０、６１５を概念的に示している。デコーダの遅延図６００、６０５、６１０、６１５では、時間は左から右へ増大し、その時間における伝送と関連する遅延は、図の下部から上部へ増大する。図の斜線領域は、関連するデコーダの中の実際のバッファのサイズによって対応される遅延を示し、この場合、３Ｎ秒に設定されている。Ｎの値は、設計上の選択を元にするものである。しかしながら、使用されることが可能である１つの一般的なＮの値は、Ｎの値＝１秒であり、したがって実際のデコーダのバッファに対応される遅延は３秒となる。本開示の利益を得る当業者には理解されるように、バッファのサイズが、バッファによって対応されることが可能である、関連する遅延を決定する。バッファのサイズを増大させると、バッファによって対応される遅延のサイズが増大し、バッファのサイズを縮小すると、バッファによって対応される遅延のサイズが縮小する。] 図６Ａ 図６Ｂ 図６Ｃ 図６Ｄ
[0034] 図６Ａは、時間の関数としてエンコーダによって使用される遅延６２０を示す、デコーダの遅延図６００を示している。遅延６２０は、第１のデータストリームを符号化するためにエンコーダによって使用されるビットレートに対応し、これはデコーダのバッファの想定されるサイズに基づいて調整される。例示の実施形態では、デコーダのバッファは、Ｎ秒の最大遅延に対応するサイズを有すると仮定され、そこで符号化された第１のデータストリームと関連する遅延６２０は、Ｎ秒より小さいままにとどまる。本明細書に記載するように、第２のデータストリームを第１のデータストリームに継ぐことによって起こるデコーダのバッファのアンダーフローおよび／またはオーバーフローは、第１のデータストリームを遅らせることによって縮小されるまたは排除されることが可能である。] 図６Ａ
[0035] 図６Ｂは、第１のデータストリームがさらにＮ秒遅らされた後の符号化された第１のデータストリームの遅延６２５を示す、デコーダの遅延図６０５を示している。さらなる遅延を実行することにより、第１のデータストリームと関連する遅延６２５が変わり、第１のデータストリームと関連する遅延６２５の範囲の中間点が、バッファの実際のサイズによって対応される遅延の範囲、これはこの場合は３Ｎ秒であるが、この中間点に対応するようにする。遅延を増大させるために受信された情報はより長い時間の間格納されるので、遅延が増大するとき、バッファの占有部分は増大する。] 図６Ｂ
[0036] 図６Ｃは、符号化された第１のデータストリームに継がれるよう意図された符号化済み第２のデータストリームの遅延６３０を示すデコーダの遅延図６１０を示している。第２のデータストリーム用のエンコーダは、デコーダのバッファの実際のサイズを使用して、遅延および／または第２のデータストリームを符号化するために使用される、対応するビットレートを決定する。第１のデータストリームに継がれるよう意図された第２のデータストリームの継続時間はＤ秒であり、ここでＤは、第１のデータストリームに継がれることを期待される情報に基づいて選択されることが可能である値である。例えば、３０秒の長さのコマーシャルが第１のデータストリームに挿入されることがあり、この場合Ｄ＝３０の値となる。例示の実施形態では、第２のデータストリームの伝送レートは（本明細書に記載するように）増大され、これによってバッファの占有部分は、継がれた第２のデータストリームに割り当てられたギャップの継続時間を超えて増大する。したがって伝送レートの選択される変更は、バッファのサイズを考慮に入れることができる。１つの実施形態では、第２のデータストリームは、ネットワークのレートよりわずかに小さい符号化レートで符号化されることが可能である。第２の符号化されたデータストリームのタイミングは、このとき、本明細書に記載するように、第２の符号化されたデータストリームに使用されるタイミング基準および／または伝送レートを調整することによって調整されることが可能である。] 図６Ｃ
[0037] 図６Ｄは、第１の符号化されたデータストリームおよびスプライスインされた第２の符号化されたデータストリームを含むデータストリームの遅延６３５を示すデコーダの遅延図６１５を示している。例示の実施形態では、第１の符号化されたデータストリームのタイミング、および場合によっては第２の符号化されたデータストリームのタイミングを変更することにより、デコーダのバッファのアンダーフローおよび／またはオーバーフローを起こすことなく、第２の符号化されたデータストリームが第１の符号化されたデータストリームに継がれることが可能になる。] 図６Ｄ
[0038] 図７は、２次データストリームを１次データストリームに継ぐときに使用されることが可能である遅延７０５を示すデコーダの遅延図７００を概念的に示している。例示の実施形態では、デコーダのバッファは、最大２＊Ｎ秒の遅延に対応し、１次データストリームと関連する遅延は、スプライスポイントが近づくまで、０−Ｎ秒の間に設定される。例えば、１次データストリームと関連する遅延は、スプライスポイント前のインターバル７２０まで範囲０−Ｎ秒にとどまることが可能である。１つの実施形態では、インターバル７２０の継続時間は、待ち時間、チャネル変更時間、および同様のものを考慮することに基づいて、選択されることが可能である。] 図７
[0039] インターバル７２０の間、符号化された１次データストリームと関連する遅延７０５は、およそ範囲１＊Ｎ−２＊Ｎ秒に増大されることが可能であり、インターバル７２０の終わりで符号化された１次データストリームと関連する遅延７０５の可能な範囲が、デコーダのバッファによって対応される遅延の上半分にほぼ対応するようにする。符号化された２次データストリームと関連する遅延７１０は、２次データストリームをより低い符号化レートで符号化し、その後伝送レート、タイミング基準、および／または符号化レートを調整するような、本明細書に記載する技術を使用して調整されることが可能である。符号化された２次データストリームは、その後符号化された１次データストリームに継がれることが可能である。符号化された２次データストリームが伝送を終えると、その後符号化された１次データストリームの伝送が再び始まる可能性がある。例示の実施形態では、１次データストリームと関連する遅延７１５は、継がれた符号化済み２次データストリームに続く０−Ｎ秒の間に設定される。]
[0040] 図８は、複数の２次データストリームを１次データストリームに継ぐときに使用されることが可能である遅延８０５、８１０、８１５、８２０を示すデコーダの遅延図を概念的に示している。例示の実施形態では、１次データストリームと関連する遅延８０５は、スプライスポイント前のインターバル８２５まで０−Ｎ秒の間に設定される。インターバル８２５の間、符号化された１次データストリームと関連する遅延８０５は、範囲１＊Ｎ−２＊Ｎ秒に増大されることが可能である。２次データストリームは、その後１次データストリームにスプライスインされ、２次データストリームは、遅延８１０、８１５を使用して符号化されることが可能である。２次データストリームの伝送に続いて、符号化された１次データストリームの伝送が再び始まる可能性がある。例示の実施形態では、１次データストリームと関連する遅延８２０は、継がれた符号化済み２次データストリームに続いて０−Ｎの間に設定される。] 図８
[0041] 本発明および対応する詳細な説明の一部は、ソフトウェア、あるいはコンピュータのメモリ内のデータビットで動作するアルゴリズムおよび記号表示に関して示されている。これらの説明および表示は、当業者が自身の作業の内容を他の当業者に効果的に伝えるためのものである。本明細書で使用され、また一般に使用されるアルゴリズムは、所望の結果につながる首尾一貫した一連のステップであると考える。諸ステップは、物理量の物理的操作を必要とするものである。必ずしもそうではないが、通常これらの量は、格納、転送、結合、比較、およびその他の操作が可能である光信号、電気信号、または磁気信号の形態をとる。主として一般的な用法という理由により、これらの信号をビット、値、要素、符号、文字、項、数字などと呼ぶことが、場合によっては好都合であることがわかっている。]
[0042] しかしながら、これらの用語および同様の用語のすべては、適切な物理量と関連づけられなければならず、これらの量につけられた便宜的表示にすぎないということを、心にとどめるべきである。特に別段の指定がなければ、記述から明らかなように、「処理」または「演算」または「計算」または「決定」または「表示」などの用語は、コンピュータシステムまたは同様の電子計算装置の動作およびプロセスのことを指し、このコンピュータシステムとは、コンピュータシステムのレジスタおよびメモリ内の物理量、電子量として表されるデータを操作して、コンピュータシステムのメモリもしくはレジスタまたはこのような他の情報記憶装置、転送装置、もしくは表示装置内の物理量として同様に表される他のデータに変換するものである。]
[0043] また、本発明のソフトウェア実施態様は、典型的に何らかの形態のプログラム記憶媒体上に符号化される、または何らかの形態の伝送媒体を通じて実施されることにも注意する。プログラム記憶媒体は、磁気的（例えばフロッピー（登録商標）ディスク、もしくはハードドライブ）または光学的（例えばコンパクトディスクのリードオンリーメモリ、すなわち「ＣＤ ＲＯＭ」）とすることができ、またリードオンリーもしくはランダムアクセスとすることができる。同様に、伝送媒体は、ツイストペア線、同軸ケーブル、光ファイバー、または当技術に知られるその他の好適な伝送媒体とすることができる。本発明は、いかなる所与の実施のこれらの態様にも限定されない。]
[0044] 本発明は、本明細書の教示の恩恵を受ける当業者には明白である、異なるが等価な方法で変更して実施することができるため、上記で開示した特定の実施形態は一例にすぎない。さらに、特許請求の範囲に記載する以外に、本明細書に示す構成または設計の詳細に限定するつもりはない。したがって、上記の特定の実施形態を変更または修正することができるのは明らかであり、このようなすべての変形は本発明の範囲内であるとみなす。よって、本明細書で求める保護は、特許請求の範囲に示す通りである。]

权利要求:

請求項1
エンコーダとデコーダの間を流れるデータストリームを結合する方法であって、デコーダと関連する第１のバッファのサイズに基づいてエンコーダによって符号化された、第１の符号化されたデータストリームにアクセスすることと、第１の符号化されたデータストリームを、第１のバッファのサイズより大きい、デコーダと関連する第２のバッファのサイズに基づいて決定されたオフセットだけ遅らせることと、少なくとも１つの第２の符号化されたデータストリームを遅らされた第１の符号化されたデータストリームに継ぐこととを含む、方法。
請求項2
第１の符号化されたデータストリームにアクセスすることが、第１の符号化されたデータストリームを受信するデコーダのバッファの想定されるサイズに基づいて符号化される第１の符号化されたデータストリームにアクセスすることを含み、第１の符号化されたデータストリームを遅らせることが、第１の符号化されたデータストリームを受信するデコーダのバッファの実際のサイズに基づいて決定されたオフセットだけ第１の符号化されたデータストリームを遅らせることを含み、オフセットはバッファの実際のサイズの中間点を中心とする領域に対応する、請求項１に記載の方法。
請求項3
第１のデータストリームを伝送するために使用される第１のデータレートより高い第２のデータレートで伝送するように構成された少なくとも１つの第２のデータストリームを符号化して、前記少なくとも１つの第２の符号化されたデータストリームを形成することと、第１の符号化されたデータストリームの中のギャップの継続時間に基づいて第２のデータレートを選択することとを含み、第２の符号化されたデータストリームを継ぐことが、第２の符号化されたデータストリームをギャップに継ぐことを含み、前記少なくとも１つの第２の符号化されたデータストリームを遅らされた第１の符号化されたデータストリームに継ぐことが、前記少なくとも１つの第２の符号化されたデータストリームが第１のデータレートで伝送されることが可能であるように前記少なくとも１つの第２の符号化されたデータストリームのタイミング基準を調整することを含む、請求項１に記載の方法。
請求項4
継がれた第２の符号化されたデータストリームを含む第１の符号化されたデータストリームをデコーダに伝送することを含む、請求項１に記載の方法。
請求項5
エンコーダとデコーダの間を流れるデータストリームを結合する方法であって、第１の伝送レートで伝送される第１の符号化されたデータストリームにアクセスすることと、第２の伝送レートで伝送される少なくとも１つの第２の符号化されたデータストリームにアクセスすることと、第１の符号化されたデータストリームの中のギャップの継続時間に基づいて第２の伝送レートを増大させることと、前記少なくとも１つの第２の符号化されたデータストリームを第１の符号化されたデータストリームの中のギャップに継ぐこととを含む、方法。
請求項6
第１の符号化されたデータストリームにアクセスすることが、デコーダと関連する第１のバッファのサイズに基づいてエンコーダによって第１のデータレートで符号化された第１の符号化されたデータストリームにアクセスすることを含み、少なくとも１つの第２のデータストリームを符号化して前記少なくとも１つの第２の符号化されたデータストリームを形成することを含み、符号化は、増大された第２の伝送レートに基づいて選択された、第１のデータレートより低い第２のデータレートを使用して行われる、請求項５に記載の方法。
請求項7
第１の符号化されたデータストリームにアクセスすることが、第１の符号化されたデータストリームを受信するデコーダの中のバッファの想定されるサイズに基づいて符号化された第１の符号化されたデータストリームにアクセスすることを含み、第１のバッファのサイズより大きい、デコーダと関連する第２のバッファのサイズに基づいて決定されたオフセットだけ第１の符号化されたデータストリームを遅らせることを含む、請求項５に記載の方法。
請求項8
第１の符号化されたデータストリームおよび継がれた第２の符号化されたデータストリームを含んでいるデータストリームをデコーダに伝送することを含む、請求項５に記載の方法。
請求項9
エンコーダから符号化された入力データストリームを受信し、デコーダに少なくとも１つの符号化された出力データストリームを提供するように構成されたスプライサであって、デコーダと関連する第１のバッファのサイズに基づいてエンコーダによって符号化された、第１の符号化された入力データストリームにアクセスし、第１の符号化された入力データストリームを、第１のバッファのサイズより大きい、デコーダと関連する第２のバッファのサイズに基づいて決定されたオフセットだけ遅らせ、前記少なくとも１つの符号化された出力データストリームを形成するために、少なくとも１つの第２の符号化された入力データストリームを遅らされた第１の符号化されたデータストリームに継ぐように構成された、スプライサ。
請求項10
エンコーダから符号化された入力データストリームを受信する、およびデコーダに少なくとも１つの符号化された出力データストリームを提供するように構成されたスプライサであって、第１の伝送レートで伝送される第１の符号化された入力データストリームにアクセスし、第２の伝送レートで伝送される少なくとも１つの第２の符号化された入力データストリームにアクセスし、第１の符号化された入力データストリームの中のギャップの継続時間に基づいて第２の伝送レートを増大させ、前記少なくとも１つの第２の符号化されたデータストリームを第１の符号化されたデータストリームのギャップに継いで、前記少なくとも１つの符号化された出力データストリームを形成するように構成された、スプライサ。