マルチメディア会議イベントのビジュアルコンポジションを生成する技術

专利摘要:
マルチメディア会議イベントのビジュアルコンポジションを生成する技術を説明する。装置は、マルチメディア会議イベントのビジュアルコンポジションを生成するよう動作するビジュアルコンポジションコンポーネントを含むことができる。ビジュアルコンポジションコンポーネントは、マルチメディア会議イベントの複数のメディアストリームをデコードするよう動作するビデオデコーダモジュール、デコードされたメディアストリーム内の参加者をアクティブな話者として検出するよう動作するアクティブな話者検出モジュール、アクティブな話者を有するデコードされたメディアストリームをアクティブなディスプレイフレームにマッピングし、他のデコードされたメディアストリームを非アクティブなディスプレイフレームにマッピングするよう動作する、メディアストリームマネージャモジュール、および所定の順番に位置づけされるアクティブなディスプレイフレームおよび非アクティブなディスプレイフレームを有する参加者名簿とともにビジュアルコンポジションを生成するよう動作する、ビジュアルコンポジションジェネレータモジュールを含むことができる。他の実施形態を説明し特許請求する。
公开号:JP2011514043A
申请号:JP2010546816
申请日:2009-01-29
公开日:2011-04-28
发明作者:バッタシェールジー アブロニル；イックス；ジェイン ストゥティ；シン ノア−イー−ガガン；サカール プーリン
申请人:マイクロソフト コーポレーション；
IPC主号:H04N7-15

专利说明:

[0001] マルチメディア会議システムでは一般的には、コラボラティブ（共同的）なリアルタイムのミーティング（会議）において、ネットワークを介して複数の参加者が、異なるタイプのメディアコンテンツをやりとりし、共有することが可能である。マルチメディア会議システムでは、種々のＧＵＩ（ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）のウィンドウまたはビューを使用して、異なるタイプのメディアコンテンツを表示することができる。]
背景技術

[0002] 例えば、１つのＧＵＩビューが参加者のビデオ画像を含み、別のＧＵＩビューがプレゼンテーションのスライドを含み、さらに別のＧＵＩビューが参加者間のテキストメッセージを含むことができる、等々である。この方法において、種々の地理的に異なる参加者は、全ての参加者が１つの部屋にいる物理的な会議環境と同様の仮想の会議環境において、互いに情報をやりとりし伝達することができる。]
発明が解決しようとする課題

[0003] しかし、仮想の会議環境おいては、ミーティングの種々の参加者を識別することは難しいかもしれない。この問題は一般的には、ミーティング参加者数が増えるにつれて大きくなり、それが、潜在的に参加者間の困惑およびぎこちなさの原因となる。さらに、任意の所与のわずかな時間に、特に複数の参加者が一斉にまたは間断なく話しているときには、特定の話者を識別することは困難であろう。仮想の会議環境における識別技術を改善することに対処する技術により、ユーザの経験および利便性を向上させることができる。]
課題を解決するための手段

[0004] 種々の実施形態は、一般にマルチメディア会議システムに対処することができる。いくつかの実施形態は、特に、マルチメディア会議イベントのビジュアルコンポジション（視覚的複合物）を生成する技術に対処する。マルチメディア会議イベントは、複数の参加者を含むことができ、その中には、会議室に集まることができる者、マルチメディア会議イベントに遠隔地から参加することができる者がいる。]
[0005] 一実施形態において、例えば、ミーティングコンソールといった装置は、ディスプレイ、およびマルチメディア会議イベントのビジュアルコンポジションを生成するよう動作するビジュアルコンポジションコンポーネントを含むことができる。ビジュアルコンポジションコンポーネントは、マルチメディア会議イベントの複数のメディアストリームをデコードするよう動作するビデオデコーダモジュールを含むことができる。ビジュアルコンポジションコンポーネントは、ビデオデコーダモジュールに通信可能に連結されるアクティブな話者検出モジュールをさらに含むことができ、アクティブな話者検出モジュールは、デコードされたメディアストリーム内の参加者をアクティブな話者として検出するよう動作する。ビジュアルコンポジションコンポーネントは、アクティブな話者検出モジュールに通信可能に連結されるメディアストリームマネージャモジュールをさらに含むことができ、メディアストリームマネージャモジュールは、アクティブな話者を有するデコードされたメディアストリームをアクティブなディスプレイフレームにマッピングし、他のデコードされたメディアストリームを非アクティブなディスプレイフレームにマッピングするよう動作する。ビジュアルコンポジションコンポーネントは、メディアストリームマネージャモジュールに通信可能に連結されるビジュアルコンポジションジェネレータモジュールをさらに含むことができ、ビジュアルコンポジションジェネレータモジュールは、所定の順番で位置づけされるアクティブなディスプレイフレームおよび非アクティブなディスプレイフレームを有する参加者名簿とともにビジュアルコンポジションを生成するよう動作する。他の実施形態は、説明され、請求項に記載されている。]
[0006] 本「発明の概要」は、以下の「発明を実施するための形態」でさらに述べる概念を選択して簡略化した形式で紹介するために提供するものである。本「発明の概要」は、請求項に記載されている主題の重要な特徴または主要な特徴を特定することを意図しておらず、特許請求の主題の範囲を制限するものとして使用されることも意図していない。]
図面の簡単な説明

[0007] マルチメディア会議システムの一実施形態を示す図である。
ビジュアルコンポジションコンポーネントの一実施形態を示す図である。
ビジュアルコンポジションの一実施形態を示す図である。
論理フローの一実施形態を示す図である。
コンピューティングアーキテクチャの一実施形態を示す図である。
製品の一実施形態を示す図である。]
実施例

[0008] 種々の実施形態は、ある特定の動作、機能、またはサービスを実施するために配置される物理的構造または論理的構造を含む。構造は、物理的構造、論理的構造、またはその両方の組み合わせを含むことができる。物理的構造または論理的構造は、ハードウェア要素、ソフトウェア要素、またはその両方の組み合わせを使用して実装される。しかし、特定のハードウェア要素またはソフトウェア要素を参照する実施形態の説明は、一例であり限定ではない。実際に実施形態を実践するためのハードウェア要素またはソフトウェア要素の使用の決定には、例えば、所望のコンピュータレート、電力レベル、耐熱性、処理サイクル量、入力データレート、出力データレート、メモリリソース、データバススピード、および、他の設計の制約または性能の制約といった、多くの外的要因が関わる。さらに、物理的構造または論理的構造は、電子信号またはメッセージの形式で構造間の情報をやりとりする、対応する物理接続または論理接続を有することができる。接続は、必要に応じて情報または特定の構造の有線接続および／または無線接続を含むことができる。「一実施形態」または「実施形態」への任意の参照は、実施形態に関連して説明される特定の特徴、構造、または特性が、少なくとも１つの実施形態に含まれることを意味するということは特筆に値する。「一実施形態において」という句が本明細書中の種々の個所に現れるが、必ずしも全て同じ実施形態を参照するわけではない。]
[0009] 種々の実施形態は一般に、ネットワークを介して、ミーティングサービスおよびコラボレーションサービスを複数の参加者に提供するよう配置される、マルチメディア会議システムに対処する。いくつかのマルチメディア会議システムは、インターネットまたはワールドワイドウェブ（「ウェブ）といった種々のパケットベースのネットワークを用いて動作してウェブベースの会議サービスを提供するよう、設計することができる。そのような実装は、ウェブ会議システムと称されることもある。ウェブ会議システムの一例は、ワシントン州レドモンド、マイクロソフト社製のＭＩＣＲＯＳＯＦＴ「登録商標」ＯＦＦＩＣＥ ＬＩＶＥＭＥＥＴＩＮＧを含むことができる。他のマルチメディア会議システムは、個人のネットワーク、ビジネス、組織、または企業向けに動作するよう設計することができ、ワシントン州レドモンド、マイクロソフト社製のＭＩＣＲＯＳＯＦＴ ＯＦＦＩＣＥ ＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＳＥＲＶＥＲといった、マルチメディア会議サーバを利用することができる。しかし、当然のことながら、実装はこれらの例に限らない。]
[0010] マルチメディア会議システムは、他のネットワーク要素の中でも、ウェブ会議サービスを提供するよう配置される、マルチメディア会議サーバまたは他の処理デバイスを含むことができる。例えば、マルチメディア会議サーバは、他のサーバ要素の中でも、ウェブ会議といったミーティング・コラボレーションイベントの異なるタイプのメディアコンテンツを制御および混合させるよう動作する、サーバミーティングコンポーネントを含むことができる。ミーティング・コラボレーションイベントは、リアルタイムのオンライン環境またはライブのオンライン環境における種々のタイプのマルチメディア情報を提示する、任意のマルチメディア会議イベントを指し、本明細書においては単に「ミーティングイベント」「マルチメディアイベント」または「マルチメディア会議イベント」と称されることもある。]
[0011] 一実施形態において、マルチメディア会議システムは、ミーティングコンソールとして実装される１つまたは複数のコンピューティングデバイスをさらに含むことができる。各ミーティングコンソールを、マルチメディア会議サーバに接続することによりマルチメディアイベントに参加するよう配置することができる。種々のミーティングコンソールからの異なるタイプのメディア情報を、マルチメディアイベント中にマルチメディア会議サーバが受け取り、次にマルチメディア会議サーバが、メディア情報をマルチメディアイベントに参加中のいくつかのまたは全ての他のミーティングコンソールに配信する。そのようにして、任意の所与のミーティングコンソールが、異なるタイプのメディアコンテンツの複数のメディアコンテンツビューを持つディスプレイを有することができる。この方法において、種々の地理的に異なる参加者が、全ての参加者が１つの部屋にいる物理的な会議環境と同様の仮想の会議環境において、互いに情報をやりとりし伝達することができる。]
[0012] 仮想の会議環境において、ミーティングの種々の参加者を識別することは困難であろう。マルチメディア会議イベントの参加者は、一般的には、ＧＵＩビューに参加者名簿でリストアップされる。参加者名簿は、名前、場所、画像、肩書き等を含む各参加者の何らかの識別情報を含むことができる。参加者および参加者名簿の識別情報は、一般的には、マルチメディア会議イベントに加わるために使用されるミーティングコンソールから得られる。例えば、参加者は、一般的には、ミーティングコンソールを使用して、マルチメディア会議イベントの仮想ミーティング室に加わる。加わる前に、参加者は、種々のタイプの識別情報を提供して、マルチメディア会議サーバで認証操作を実施する。マルチメディア会議サーバが参加者を認証すると、参加者は、仮想ミーティング室にアクセすることを許可され、マルチメディア会議サーバが、識別情報を参加者名簿に追加する。]
[0013] しかし、参加者名簿により表示される識別情報は、一般的には、マルチメディア会議イベントにおける実際の参加者の任意のビデオコンテンツから切り離される。例えば、参加者名簿および対応する各参加者の識別情報は、一般的には、他のＧＵＩビューとは別個のＧＵＩビューに、マルチメディアコンテンツと共に示される。参加者名簿からの参加者と、ストリーミングビデオコンテンツの参加者の画像との間には何も直接マッピングされない。その結果、ＧＵＩビューの参加者へのビデオコンテンツを、参加者名簿内の特定の組の識別情報にマッピングすることは困難になることもある。]
[0014] さらに、任意の所与のわずかな時間に、特に複数の参加者が一斉にまたは間断なく話しているときには、特定のアクティブな話者を識別することは困難であろう。この問題は、参加者の識別情報と参加者のビデオコンテンツとの間に何の直接的なリンクも存在しないときには悪化する。閲覧者は、どの特定のＧＵＩビューが現在アクティブな話者を映しているのかを容易には識別できず、従って、仮想ミーティング室における他の参加者との自然な会話を妨げることになる。]
[0015] これらおよび他の問題を解決するために、いくつかの実施形態が、マルチメディア会議イベントのビジュアルコンポジションを生成する技術に対処する。さらに特には、ある特定の実施形態が、デジタル領域において、ミーティング参加者に対してより自然な表現を提供するビジュアルコンポジションを生成する技術に対処する。ビジュアルコンポジションは、ビデオコンテンツ、オーディオコンテンツ、識別情報等を含む、マルチメディア会議イベントの各参加者に関する異なるタイプのマルチメディアコンテンツを統合および集約する。ビジュアルコンポジションは、閲覧者が、ビジュアルコンポジションの特定の領域に着目してある参加者の参加者固有情報を集めること、別の特定の領域に着目して別の参加者の参加者固有情報を集めること、等々を可能にするような方法で、統合および集約された情報を提示する。このようにして、閲覧者は、時間を費やして参加者の情報を異なるソースから集めることより、マルチメディア会議イベントのインタラクティブな部分に着目することができる。その結果、ビジュアルコンポジションの技術は、オペレータ、デバイスまたはネットワークに対する、値ごろ感，スケーラビリティ、モジュール性、拡張性、または相互運用性を向上させることが可能である。]
[0016] 図１は、マルチメディア会議システム１００のブロック図を示す。マルチメディア会議システム１００は、種々の実施形態の実装に適切な一般的なシステムアーキテクチャを表すことができる。マルチメディア会議システム１００は、複数の要素を含むことができる。要素は、ある特定の動作を実施するために配置される任意の物理的構造または論理的構造を含むことができる。各要素を、所与の組の設計パラメータまたは性能制約について所望の通りに、ハードウェア、ソフトウェア、またはその任意の組み合わせとして、実装することができる。ハードウェア要素の例は、デバイス、コンポーネント、プロセッサ、マイクロプロセッサ、回路、回路素子（例えば、トランジスタ、抵抗、コンデンサ、インダクタ等）、集積回路、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、ＰＬＤ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ）、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、メモリユニット、論理ゲート、レジスタ、半導体デバイス、チップ、マイクロチップ、チップセット等を含むことができる。ソフトウェアの例は、任意のソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、機械プログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、ファンクション、メソッド、インターフェース、ソフトウェアインターフェース、ＡＰＩ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍ ｉｎｔｅｒｆａｃｅ）、命令セット、コンピューティングコード、コンピュータコード、コードセグメント、コンピュータコードセグメント、単語、値、シンボル、または、その任意の組み合わせを含むことができる。図１に示すマルチメディア会議システム１００では、ある特定のトポロジにおいて要素の数が制限されているが、当然のことながら、マルチメディア会議システム１００は、代替のトポロジにおいて、所与の実装について所望の通りに、より多くのまたはより少ない要素を含むことができる。実施形態は、このコンテキストに限らない。] 図１
[0017] 種々の実施形態において、マルチメディア会議システム１００は、有線通信システム、無線通信システム、またはその両方の組み合わせを含むか、またはその一部を形成することができる。例えば、マルチメディア会議システム１００は、１つまたは複数のタイプの有線通信リンクを介して情報をやりとりするよう配置される、１つまたは複数の要素を含むことができる。有線通信リンクの例は、配線、ケーブル、バス、ＰＣＢ（ｐｒｉｎｔｅｄ ｃｉｒｃｕｉｔ ｂｏａｒｄ）、イーサネット接続、ピアツーピア（Ｐ２Ｐ）接続、バックプレーン、スイッチ構成、半導体物質、ツイストペア線、同軸ケーブル、光ファイバ接続等を含むことができるが、これらに限らない。マルチメディア会議システム１００はまた、１つまたは複数のタイプの無線通信リンクを介して情報をやりとりするよう配置される、１つまたは複数の要素を含むことができる。無線通信リンクの例は、無線チャネル、赤外チャネル、ＲＦ（ｒａｄｉｏ−ｆｒｅｑｕｅｎｃｙ）チャネル、ＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）チャネル、ＲＦスペクトルの一部、および／または、１つまたは複数の認可された周波数帯域または認可不要の周波数帯域を含むことができるが、これらに限らない。]
[0018] 種々の実施形態において、マルチメディア会議システム１００を、メディア情報および制御情報といった異なるタイプの情報を、やりとり、管理、または処理するよう配置することができる。メディア情報の例は、一般的には、音声情報、ビデオ情報、オーディオ情報、画像情報、文字情報、数値情報、アプリケーション情報、英数字記号、グラフィック等といった、ユーザ向けのコンテンツを表す任意のデータを含むことができる。メディア情報は、「メディアコンテンツ」と称することもある。制御情報は、コマンド、命令、または自動システム向けの制御語を表す任意のデータを指すことができる。例えば、制御情報を使用して、システムを介してメディア情報をルーティングする、デバイス間の接続を確立する、デバイスに命令してメディア情報を所定の方法で処理させる等を行うことができる。]
[0019] 種々の実施形態において、マルチメディア会議システム１００は、マルチメディア会議サーバ１３０を含むことができる。マルチメディア会議サーバ１３０は、ネットワーク１２０を介してミーティングコンソール１１０−１−ｍ間のマルチメディア会議コールを確立、管理、または制御するよう配置される、任意の論理エンティティまたは物理エンティティを含むことができる。ネットワーク１２０は、例えば、パケット交換のネットワーク、回路交換のネットワーク、またはその両方の組み合わせを含むことができる。種々の実施形態において、マルチメディア会議サーバ１３０は、任意の処理デバイスまたはコンピューティングデバイス、例えば、コンピュータ、サーバ、サーバアレイまたはサーバファーム、ワークステーション、ミニコンピュータ、メインフレームコンピュータ、スーパーコンピュータ等を含むか、または該任意の処理デバイスまたはコンピューティングデバイスとして実装することができる。マルチメディア会議サーバ１３０は、マルチメディア情報のやりとりおよび処理に適切な、汎用のコンピューティングアーキテクチャまたは特定のコンピューティングアーキテクチャを含むか、または実装することができる。一実施形態において、例えば、マルチメディア会議サーバ１３０を、図５を参照して説明するようなコンピューティングアーキテクチャを使用して実装することができる。マルチメディア会議サーバ１３０の例は、ＭＩＣＲＯＳＯＦＴ ＯＦＦＩＣＥ ＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＳＥＲＶＥＲ、ＭＩＣＲＯＳＯＦＴ ＯＦＦＩＣＥ ＬＩＶＥＭＥＥＴＩＮＧサーバ等を含むことができるが、これに限らない。] 図５
[0020] マルチメディア会議サーバ１３０の特定の実装は、マルチメディア会議サーバ１３０に対して使用される通信プロトコルまたは通信規格の組によって変化し得る。一例において、マルチメディア会議サーバ１３０を、ＩＥＴＦ（Ｉｎｔｅｒｎｅｔ Ｅｎｇｉｎｅｅｒｉｎｇ Ｔａｓｋ Ｆｏｒｃｅ）のＭＭＵＳＩＣ（Ｍｕｌｔｉｐａｒｔｙ Ｍｕｌｔｉｍｅｄｉａ Ｓｅｓｓｉｏｎ Ｃｏｎｔｒｏｌ）ワーキンググループのＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）シリーズの規格および／または変形に従って実装することができる。ＳＩＰは、ビデオ、音声、インスタントメッセージ、オンラインゲーム、およびバーチャルリアリティといった、マルチメディア要素を含むインタラクティブなユーザセッションを、初期化、修正、終了させるための、策定された規格である。別の例において、マルチメディア会議サーバ１３０を、ＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ）のＨ．３２３シリーズの規格および／または変形に従って、実装することができる。Ｈ．３２３規格により、多地点接続装置（ＭＣＵ）を定義して、会議コールの動作を調節する。特に、ＭＣＵには、Ｈ．２４５シグナリングを扱う多地点コントローラ（ＭＣ）、および、データストリームを混合し処理する１つまたは複数の多地点プロセッサ（ＭＰ）が含まれる。ＳＩＰおよびＨ．３２３規格の両方が、本質的に、ＶｏＩＰ（Ｖｏｉｃｅ ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）またはボイスオーバーパケット（ＶＯＰ）（Ｖｏｉｃｅ Ｏｖｅｒ Ｐａｃｋｅｔ）のマルチメディア会議コール動作のためのシグナリングプロトコルである。しかし、当然のことながら、他のシグナリングプロトコルが、マルチメディア会議サーバ１３０に対して実装可能であり、さらに実施形態の範囲内にある。]
[0021] 一般的に動作において、マルチメディア会議システム１００を、マルチメディア会議コールのために使用することができる。マルチメディア会議コールは、一般的に、音声、ビデオ、および／またはデータ情報を、複数のエンドポイント間でやりとりすることを含む。例えば、公衆または個人のパケットネットワーク１２０を、オーディオ会議コール、ビデオ会議コール、オーディオ／ビデオ会議コール、コラボラティブな文書の共有および編集等に使用することができる。パケットネットワーク１２０を、回路交換情報とパケット情報との間の変換のために配置される、１つまたは複数の適切なＶｏＩＰゲートウェイを介して、ＰＳＴＮ（Ｐｕｂｌｉｃ Ｓｗｉｔｈｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋ）に接続することもできる。]
[0022] パケットネットワーク１２０を介してマルチメディア会議コールを確立するために、各ミーティングコンソール１１０−１−ｍは、可変の接続スピードまたは帯域幅、例えば、低帯域幅のＰＳＴＮ電話接続、中帯域幅のＤＳＬモデム接続またはケーブルモデム接続、およびＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）を介した高帯域幅のイントラネット接続で動作する、種々のタイプの有線通信リンクまたは無線通信リンクを使用して、パケットネットワーク１２０を介して、マルチメディア会議サーバ１３０に接続することができる。]
[0023] 種々の実施形態において、マルチメディア会議サーバ１３０は、ミーティングコンソール１１０−１−ｍ間のマルチメディア会議コールを、確立、管理、および制御することができる。いくつかの実施形態において、マルチメディア会議コールは、コラボレーション能力を全て提供するウェブ会議アプリケーションを使用して、ライブのウェブベースの会議コールを含むことができる。マルチメディア会議サーバ１３０は、会議におけるメディア情報を制御および配信する中央サーバとして動作する。マルチメディア会議サーバ１３０は、メディア情報を種々のミーティングコンソール１１０−１−ｍから受け取り、複数のタイプのメディア情報の混合動作を実施し、そのメディア情報を他の参加者の一部または全てに転送する。１つまたは複数のミーティングコンソール１１０−１−ｍは、マルチメディア会議サーバ１３０に接続することにより会議に加わることができる。マルチメディア会議サーバ１３０は、ミーティングコンソール１１０−１−ｍを安全な制御された方法で認証して追加するための、種々の入場許可制御の技術を実装することができる。]
[0024] 種々の実施形態において、マルチメディア会議システム１００は、ネットワーク１２０を介して１つまたは複数の通信接続に渡ってマルチメディア会議サーバ１３０に接続するミーティングコンソール１１０−１−ｍとして実装される、１つまたは複数のコンピューティングデバイスを含むことができる。例えば、コンピューティングデバイスは、それぞれが別個の会議を表す複数のミーティングコンソールを、同時にホストすることができる、クライアントアプリケーションを実装することができる。同様に、クライアントアプリケーションは、複数のオーディオ、ビデオ、およびデータストリームを受け取ることができる。例えば、全てまたは一部の参加者からのビデオストリームを、参加者のディスプレイにモザイクをかけたものとして表示し、トップのウィンドウに現在のアクティブな話者のビデオを表示し、他の参加者の全景を他のウィンドウに表示する。]
[0025] ミーティングコンソール１１０−１−ｍは、マルチメディア会議サーバ１３０により管理されるマルチメディア会議コールに参加または従事するよう配置される、任意の論理エンティティまたは物理エンティティを含むことができる。ミーティングコンソール１１０−１−ｍを、その最も基本的な形態において、プロセッサおよびメモリを含む処理システム、１つまたは複数のマルチメディアＩ／Ｏ（ｉｎｐｕｔ／ｏｕｔｐｕｔ）コンポーネント、および、無線ネットワーク接続および／または有線ネットワーク接続を含む、任意のデバイスとして実装することができる。マルチメディアＩ／Ｏコンポーネントの例は、オーディオＩ／Ｏコンポーネント（例えば、マイクロフォン、スピーカ）、ビデオＩ／Ｏコンポーネント（例えば、ビデオカメラ、ディスプレイ）、触覚（Ｉ／Ｏ）コンポーネント（例えば、バイブレータ）、ユーザデータ（Ｉ／Ｏ）コンポーネント（例えば、キーボード、サムボード、キーパッド、タッチスクリーン）等を含むことができる。ミーティングコンソール１１０−１−ｍの例は、電話、ＶｏＩＰ電話またはＶＯＰ電話、ＰＳＴＮ上で動作するよう設計されるパケット電話、インターネット電話、テレビ電話、携帯電話、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｅｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、携帯電話とＰＤＡの組み合わせ、携帯用コンピューティングデバイス、スマートフォン、一方向のページャ、双方向のページャ、メッセージングデバイス、コンピュータ、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、ハンドヘルドコンピュータ、ネットワーク電気器具等を含むことができる。いくつかの実装において、ミーティングコンソール１１０−１−ｍを、図５を参照して説明するコンピューティングアーキテクチャと同様の一般的なコンピューティングアーキテクチャまたは特定のコンピューティングアーキテクチャを使用して、実装することができる。] 図５
[0026] ミーティングコンソール１１０−１−ｍは、それぞれのクライアントミーティングコンポーネント１１２−１−ｎを含むか、または実装することができる。クライアントミーティングコンポーネント１１２−１−ｎを、マルチメディア会議サーバ１３０のサーバミーティングコンポーネント１３２と相互運用してマルチメディア会議イベントを確立、管理、または制御するよう設計することができる。例えば、クライアントミーティングコンポーネント１１２−１−ｎは、適切なアプリケーションプログラムおよびユーザインターフェース制御を含むか、または実装して、それぞれのミーティングコンソール１１０−１−ｍが、マルチメディア会議サーバ１３０により容易にされたウェブ会議に参加することを可能にすることができる。クライアントミーティングコンポーネントは、ミーティングコンソール１１０−１−ｍのオペレータにより提供されるメディア情報を取得するための入力機器（例えば、ビデオカメラ、マイクロフォン、キーボード、マウス、コントローラ等）、および、他のミーティングコンソール１１０−１−ｍのオペレータによりメディア情報を再生するための出力機器（例えば、ディスプレイ、スピーカ等）を含むことができる。クライアントミーティングコンポーネント１１２−１−ｎの例は、ＭＩＣＲＯＳＯＦＴ ＯＦＦＩＣＥ ＣＯＭＭＵＮＩＣＡＴＯＲ、またはＭＩＣＲＯＳＯＦＴ ＯＦＦＩＣＥ ＬＩＶＥＭＥＥＴＩＮＧのウィンドウズベースのミーティングコンソール等を含むことができるが、これに限らない。]
[0027] 図１で例示する実施形態に示すように、マルチメディア会議システム１００は、会議室１５０を含むことができる。企業またはビジネスでは一般的には、会議室を利用して、ミーティングを開く。そのようなミーティングには、会議室１５０内にいる参加者、および、会議室１５０外にいる遠隔地の参加者が存在する、マルチメディア会議イベントが含まれる。会議室１５０は、マルチメディア会議イベントのサポートに利用可能な種々のコンピューティングリソースおよび通信リソースを有し、１つまたは複数のリモートのミーティングコンソール１１０−２−ｍとローカルのミーティングコンソール１１０−１との間のマルチメディア情報を提供する。例えば、会議室１５０は、会議室１５０内にあるローカルのミーティングコンソール１１０−１を含むことができる。] 図１
[0028] ローカルのミーティングコンソール１１０−１を、マルチメディア情報を取得、伝達、再生することか可能な、種々のマルチメディア入力デバイスおよび／またはマルチメディア出力デバイスに接続することができる。マルチメディア入力デバイスは、会議室１５０内のオペレータからのマルチメディア情報を入力として取得または受け取るよう配置される、オーディオ入力デバイス、ビデオ入力デバイス、画像入力デバイス、テキスト入力デバイス、および他のマルチメディア入力機器を含む、任意の論理デバイスまたは物理デバイスを含むことができる。マルチメディア入力デバイスの例は、ビデオカメラ、マイクロフォン、マイクロフォン配列、会議用電話、ホワイトボード、インタラクティブホワイトボード、音声テキスト変換コンポーネント、テキスト音声変換コンポーネント、音声認識システム、ポインティングデバイス、キーボード、タッチスクリーン、タブレットコンピュータ、手書き文字認識デバイス等、を含むことができるが、これに限らない。ビデオカメラの例は、ワシントン州レドモンド、マイクロソフト社製のＭＩＣＲＯＳＯＦＴ ＲＯＵＮＤＴＡＢＬＥといったｒｉｎｇｃａｍを含むことができる。ＭＩＣＲＯＳＯＦＴ ＲＯＵＮＤＴＡＢＬＥは、遠隔地のミーティング参加者に、会議用テーブルの回りに着席している全ての人の全景ビデオを提供する３６０度カメラを有するビデオ会議デバイスである。マルチメディア出力デバイスは、リモートのミーティングコンソール１１０−２−ｍのオペレータからの出力マルチメディア情報として再生または表示するよう配置される、オーディオ出力デバイス、ビデオ出力デバイス、画像出力デバイス、テキスト入力デバイス、および他のマルチメディア出力機器を含む、任意の論理デバイスまたは物理デバイスを含むことができる。マルチメディア出力デバイスの例は、電子ディスプレイ、ビデオプロジェクタ、スピーカ、振動ユニット、プリンタ、ファクシミリ装置等を含むことができるが、これに限らない。]
[0029] 会議室１５０内のローカルのミーティングコンソール１１０−１は、参加者１５４−１−ｐを含む会議室１５０からメディアコンテンツを取得し、かつそのメディアコンテンツをマルチメディア会議サーバ１３０へストリーミングするよう配置される、種々のマルチメディア入力デバイスを含むことができる。図１に示す例示の実施形態において、ローカルのミーティングコンソール１１０−１には、ビデオカメラ１０６、およびマイクロフォン１０４−１−ｒの配列が含まれる。ビデオカメラ１０６は、会議室１５０内に存在する参加者１５４−１−ｐのビデオコンテンツを含むビデオコンテンツを取得し、かつそのビデオコンテンツをローカルのミーティングコンソール１１０−１を介してマルチメディア会議サーバ１３０へストリーミングすることができる。同様に、マイクロフォン１０４−１−ｒの配列は、会議室１５０内に存在する参加者１５４−１−ｐからのオーディオコンテンツを含むオーディオコンテンツを取得し、かつそのオーディオコンテンツをローカルのミーティングコンソール１１０−１を介してマルチメディア会議サーバ１３０へストリーミングすることができる。ローカルのミーティングコンソールは、また、ディスプレイ１１６またはビデオプロジェクタといった種々のメディア出力デバイスを含むことができ、ミーティングコンソール１１０−１−ｍを使用してマルチメディア会議サーバ１３０を介して受け取った、全ての参加者からのビデオコンテンツまたはオーディオコンテンツと共に、１つまたは複数のＧＵＩビューを示すことができる。] 図１
[0030] ミーティングコンソール１１０−１−ｍおよびマルチメディア会議サーバ１３０は、所与のマルチメディア会議イベントに対して確立される種々のメディア接続を利用して、メディア情報および制御情報をやりとりすることができる。メディア接続は、ＳＩＰシリーズのプロトコルといった種々のＶｏＩＰシグナリングプロトコルを使用して確立することができる。ＳＩＰシリーズのプロトコルは、１人または複数の参加者とのセッションを作成、修正、終了させるための、アプリケーションレイヤ制御（シグナリング）プロトコルである。これらのセッションには、インターネットマルチメディア会議、インターネット電話コール、およびマルチメディア配信が含まれる。セッションのメンバは、マルチキャストを介して、またはユニキャスト関連網を介して、またはそれらの組み合わせで、通信することができる。ＳＩＰは、全体的なＩＥＴＦのマルチメディアデータおよび現在プロトコルを組み入れている制御アーキテクチャの一部として設計され、そのプロトコルには、例えば、ネットワークリソースを予約するためのＲＳＶＰ（ｒｅｓｏｕｒｃｅ ｒｅｓｅｒｖａｔｉｏｎ ｐｒｏｔｏｃｏｌ）（ＩＥＥＥ ＲＦＣ２２０５）、リアルタイムデータを伝送し、ＱＯＳ（Ｑｕａｌｉｔｙ−ｏｆ−Ｓｅｒｖｉｃｅ）のフィードバックを提供するためのＲＴＰ（ｒｅａｌ−ｔｉｍｅ ｔｒａｎｓｐｏｒｔ ｐｒｏｔｏｃｏｌ）（ＩＥＥＥ ＲＦＣ１８８９）、ストリーミングメディアの配信を制御するためのＲＴＳＰ（ｒｅａｌ−ｔｉｍｅ ｓｔｒｅａｍｉｎｇ ｐｒｏｔｏｃｏｌ）（ＩＥＥＥ ＲＦＣ２３２６）、マルチキャストを介してマルチメディアセッションを通知するためのＳＡＰ（ｓｅｓｓｉｏｎ ａｎｎｏｕｎｃｅｍｅｎｔ ｐｒｏｔｏｃｏｌ）、マルチメディアセッションを記述するためのＳＤＰ（ｓｅｓｓｉｏｎ ｄｅｓｃｒｉｐｔｉｏｎ ｐｒｏｔｏｃｏｌ）（ＩＥＥＥ ＲＦＣ２３２７）等が含まれる。例えば、ミーティングコンソール１１０−１−ｍは、ＳＩＰをシグナリングチャネルとして使用してメディア接続を設定し、かつＲＴＰをメディアチャネルとして使用して、メディア接続を介してメディア情報を伝送することができる。]
[0031] 一般的な動作では、スケジューリングデバイス１０８を使用して、マルチメディア会議システム１００に対してマルチメディア会議イベント予約を生成することができる。スケジューリングデバイス１０８は、例えば、マルチメディア会議イベントをスケジューリングするための適切なハードウェアおよびソフトウェアを有する、コンピューティングデバイスを含むことができる。例えば、スケジューリングデバイス１０８は、ワシントン州レドモンド、マイクロソフト社製の、ＭＩＣＲＯＳＯＦＴ ＯＦＦＩＣＥ ＯＵＴＬＯＯＫ「登録商標」のアプリケーションソフトウェアを利用するコンピュータを含むことができる。ＭＩＣＲＯＳＯＦＴ ＯＦＦＩＣＥ ＯＵＴＬＯＯＫのアプリケーションソフトウェアには、マルチメディア会議イベントのスケジューリングに使用することが可能な、メッセージング・コラボレーションクライアントソフトウェアが含まれる。オペレータは、ＭＩＣＲＯＳＯＦＴ ＯＦＦＩＣＥ ＯＵＴＬＯＯＫを使用して、スケジュール要求をミーティング招待者のリストに送られるＭＩＣＲＯＳＯＦＴ ＯＦＦＩＣＥ ＬＩＶＥＭＥＥＴＩＮＧイベントに変換する。スケジュール要求は、マルチメディア会議イベントの仮想の部屋へのハイパ−リンクを含むことができる。招待者がハイパ−リンクをクリックすると、ミーティングコンソール１１０−１−ｍがウェブブラウザを立ち上げ、マルチメディア会議サーバ１３０に接続し、仮想の部屋に加わる。一度そこに加われば、参加者は、スライドのプレゼンテーションを提示し、文書または思い浮かんだことを、他のツールの中から内蔵のホワイトボード上にアノテーションを付けることが可能である。]
[0032] オペレータは、スケジューリングデバイス１０８を使用して、マルチメディア会議イベントのマルチメディア会議イベント予約を生成することができる。マルチメディア会議イベント予約は、マルチメディア会議イベントのミーティング招待者のリストを含むことができる。ミーティング招待者のリストは、マルチメディア会議イベントに招待される個人のリストを含むことができる。いくつかの場合において、ミーティング招待者のリストには、マルチメディアイベントに招待され受諾した個人のみが含まれることもある。Ｍｉｃｒｏｓｏｆｔ Ｏｕｔｌｏｏｋのメールクライアントといったクライアントアプリケーションは、予約要求をマルチメディア会議サーバ１３０へ転送する。マルチメディア会議サーバ１３０は、マルチメディア会議イベント予約を受け取り、ミーティング招待者のリストおよびミーティング招待者に関連する情報を、企業リソースディレクトリ１６０といったネットワークデバイスから検索することができる。]
[0033] 企業リソースディレクトリ１６０は、オペレータおよび／またはネットワークリソースの公開ディレクトリを公開するネットワークデバイス含むことができる。企業リソースディレクトリ１６０により公開されるネットワークリソースの共通の例には、ネットワークプリンタが含まれる。一実施形態において、例えば、企業リソースディレクトリ１６０を、ＭＩＣＲＯＳＯＦＴ ＡＣＴＩＶＥＤＩＲＥＣＴＯＲＹ「登録商標」として実装することができる。Ａｃｔｉｖｅ Ｄｉｒｅｃｔｏｒｙは、ネットワークコンピュータに対する中央認証・許可サービスを提供する、ＬＤＡＰ（ｌｉｇｈｔｗｅｉｇｈｔ ｄｉｒｅｃｔｏｒｙ ａｃｃｅｓｓ ｐｒｏｔｏｃｏｌ）のディレクトリサービスの実装である。またＡｃｔｉｖｅ Ｄｉｒｅｃｔｏｒｙにより、管理者がポリシーを割り当てること、ソフトウェアを展開すること、および重要な更新を組織に適用することが可能となる。Ａｃｔｉｖｅ Ｄｉｒｅｃｔｏｒｙは、情報および設定を中央データベースに記憶する。アクティブディレクトリネットワークは、数百のオブジェクトからなる小さな設定から、数百万のオブジェクトからなる大きな設定まで、様々である。]
[0034] 種々の実施形態において、企業リソースディレクトリ１６０は、マルチメディア会議イベントへの種々のミーティング招待者の識別情報を含むことができる。識別情報は、ミーティング招待者のそれぞれを一意的に識別可能な任意のタイプの情報を含むことができる。例えば、識別情報は、名前、場所、連絡先、アカウント番号、職業情報、組織情報（例えば、肩書き）、個人情報、接続情報、プレゼンス情報、ネットワークアドレス、ＭＡＣ（ｍｅｄｉａ ａｃｃｅｓｓ ｃｏｎｔｒｏｌ）アドレス、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレス、電話番号、電子メールアドレス、プロトコルアドレス（例えば、ＳＩＰアドレス）、機器識別子、ハードウェア構成、ソフトウェア構成、有線インターフェース、無線インターフェース、サポートされるプロトコル、および他の所望の情報を含むことができるが、これに限らない。]
[0035] マルチメディア会議サーバ１３０は、ミーティング招待者を含むマルチメディア会議イベント予約を受け取り、対応する識別情報を企業リソースディレクトリ１６０から検索することができる。マルチメディア会議サーバ１３０は、ミーティング招待者のリストおよび対応する識別情報を使用して、マルチメディア会議イベントへの参加者を自動的に識別するよう支援する。例えば、マルチメディア会議サーバ１３０は、ミーティング招待者のリストおよび付随する識別情報を、マルチメディア会議イベントのビジュアルコンポジションにおける参加者の識別に使用するために、ミーティングコンソール１１０−１−ｍに転送することができる。]
[0036] ミーティングコンソール１１０−１−ｍを再び参照すると、各ミーティングコンソール１１０−１−ｍは、それぞれのビジュアルコンポジションコンポーネント１１４−１−ｔを含むか、または実装することができる。ビジュアルコンポジションコンポーネント１１４−１−ｔは、一般には、マルチメディア会議イベントのビジュアルコンポジション１０８を生成してディスプレイ１１６に表示するよう動作することができる。ビジュアルコンポジション１０８およびディスプレイ１１６は、限定ではなく例として、ミーティングコンソール１１０−１の一部として示されているが、当然のことながら、各ミーティングコンソール１１０−１−ｍは、ディスプレイ１１６と同様の、かつミーティングコンソール１１０−１−ｍの各オペレータに対してビジュアルコンポジション１０８をレンダリングすることが可能である、電子ディスプレイを含むことができる。]
[0037] 一実施形態において、例えば、ローカルのミーティングコンソール１１０−１は、ディスプレイ１１６、およびマルチメディア会議イベントのビジュアルコンポジション１０８を生成するよう動作するビジュアルコンポジションコンポーネント１１４−１を含むことができる。ビジュアルコンポジションコンポーネント１１４−１は、デジタル領域におけるミーティング参加者（例えば、１５４−１−ｐ）に対してより自然な表現を提供するビジュアルコンポジション１０８を生成するよう配置される、種々のハードウェア要素および／またはソフトウェア要素を含むことができる。ビジュアルコンポジション１０８は、ビデオコンテンツ、オーディオコンテンツ、識別情報等を含む、マルチメディア会議イベントの各参加者に関する異なるタイプのマルチメディアコンテンツを統合かつ集約する。ビジュアルコンポジションは、閲覧者が、ビジュアルコンポジションの特定の領域に着目してある参加者の参加者固有情報を集めること、別の特定の領域に着目して別の参加者の参加者固有情報を集めること、等々を可能にするような方法で、統合および集約された情報を提示する。このようにして、閲覧者は、参加者の情報を異なるソースから集めることに時間を費やすより、マルチメディア会議イベントのインタラクティブな部分に着目することができる。概してミーティングコンソール１１０−１−ｍ、特にビジュアルコンポジションコンポーネント１１４について、図２を参照してさらに詳細に説明する。] 図２
[0038] 図２は、ビジュアルコンポジションコンポーネント１１４−１−ｔのブロック図を示す。ビジュアルコンポジションコンポーネント１１４は、複数のモジュールを含むことができる。モジュールを、ハードウェア要素、ソフトウェア要素、またはハードウェア要素およびソフトウェア要素の組み合わせを使用して実装することができる。図２に示すようなビジュアルコンポジションコンポーネント１１４は、ある特定のトポロジにおいては要素の数が制限されているが、当然のことながら、ビジュアルコンポジションコンポーネント１１４は、代替のトポロジにおいて、所与の実装について所望の通りに、より多くのまたはより少ない要素を含むことができる。実施形態は、このコンテキストに限らない。] 図２
[0039] 図２に示す例示の実施形態において、ビジュアルコンポジションコンポーネント１１４には、ビデオデコーダモジュール２１０が含まれる。ビデオデコーダ２１０は一般に、マルチメディア会議サーバ１３０を介して種々のミーティングコンソール１１０−１−ｍから受け取ったメディアストリームをデコードする。一実施形態において、例えば、ビデオデコーダモジュール２１０を、マルチメディア会議イベントに参加している種々のミーティングコンソール１１０−１−ｍから、入力されたメディアストリーム２０２−１−ｆを受け取るよう配置することができる。ビデオデコーダモジュール２１０は、入力されたメディアストリーム２０２−１−ｆを、ディスプレイ１１６による表示に適切なデジタルビデオコンテンツまたはアナログビデオコンテンツにデコードすることができる。さらに、ビデオデコーダモジュール２１０は、入力されたメディアストリーム２０２−１−ｆを、ディスプレイ１１６およびビジュアルコンポジション１０８により使用されるディスプレイフレームに適切な、種々の空間的解像度および時間的解像度にデコードすることができる。] 図２
[0040] ビジュアルコンポジションコンポーネント１１４−１は、ビデオデコーダモジュール２１０に通信可能に連結される、アクティブな話者検出モジュール（ＡＳＤ）（ａｃｔｉｖｅ ｓｐｅａｋｅｒ ｄｅｔｅｃｔｏｒ ）モジュール２２０を含むことができる。ＡＳＤモジュール２２０は一般に、デコードされたメディアストリーム２０２−１−ｆ内の任意の参加者がアクティブな話者であるかどうかを検出することができる。種々のアクティブな話者の検出技術を、ＡＳＤモジュール２２０に実装することができる。一実施形態において、例えば、ＡＳＤモジュール２２０は、デコードされたメディアストリーム内での音声エネルギーを検出かつ測定し、測定結果を最高音声エネルギーから最低音声エネルギーに順位付けし、最高音声エネルギーを有するデコードされたメディアストリームを、現在のアクティブな話者を表しているものとして選択することができる。しかし、他のＡＳＤ技術を使用することもでき、実施形態はこのコンテキストに限らない。]
[0041] しかし、いくつかの場合において、入力されたメディアストリーム２０２−１−ｆに、会議室１５０に置かれるローカルのミーティングコンソール１１０−１から入力されたメディアストリーム２０２−１といった複数の参加者を含めることが可能である。この場合、ＡＳＤモジュール２２０を、オーディオ（音源の局在性）およびビデオ（動きのパターンおよび空間的パターン）の特徴を使用して、会議室１５０にいる参加者１５４−１−ｐの中から主要な話者またはアクティブな話者を検出するよう配置することができる。ＡＳＤモジュール２２０は、数人の人が同時に話しているときに、会議室１５０内の主要な話者を判定することができる。ＡＳＤモジュール２２０はまた、背景のノイズおよびサウンドを反射する堅い表面を補償する。例えば、ＡＳＤモジュール２２０は、６個の別個のマイクロフォン１０４−１−ｒから入力を受け取って、異なるサウンドを区別し、ビーム形成と呼ばれる処理により主要な１つを分離することができる。各マイクロフォン１０４−１−ｒは、ミーティングコンソール１１０−１の異なる部分に組み込まれる。サウンドの速さにかかわらず、マイクロフォン１０４−１−ｒは、お互いに異なる時間間隔で、参加者１５４−１−ｐから音声情報を受け取ることができる。ＡＳＤモジュール２２０は、この時間差を使用して音声情報の発生源を識別することができる。音声情報の発生源を識別すると、ローカルのミーティングコンソール１１０−１のコントローラは、ビデオカメラ１０６−１−ｐからの視覚的キューを使用して、主要な話者の顔を特定、拡大、および強調することができる。このようにして、ローカルのミーティングコンソール１１０−１のＡＳＤモジュール２２０は、伝送側のアクティブな話者として会議室１５０から単一の参加者１５４−１−ｐを分離する。]
[0042] ビジュアルコンポジションコンポーネント１１４−１は、ＡＳＤモジュール２２０に通信可能に連結されるメディアストリームマネジャ（ＭＳＭ）（ｍｅｄｉａ ｓｔｒｅａｍ ｍａｎａｇｅｒ）モジュール２３０を含むことができる。ＭＳＭモジュール２３０は、一般には、デコードされたメディアストリームを種々のディスプレイフレームにマッピングすることができる。一実施形態において、例えば、ＭＳＭモジュール２３０を、アクティブな話者を有するデコードされたメディアストリームをアクティブなディスプレイフレームにマッピングし、他のデコードされたメディアストリームを非アクティブなディスプレイフレームにマッピングするよう配置することができる。]
[0043] ビジュアルコンポジションコンポーネント１１４−１は、ＭＳＭモジュール２３０に通信可能に連結されるビジュアルコンポジションジェネレータ（ＶＣＧ）（ｖｉｓｕａｌ ｃｏｍｐｏｓｉｔｉｏｎ ｇｅｎｅｒａｔｏｒ）モジュール２４０を含むことができる。ＶＣＧモジュール２４０は、一般には、ビジュアルコンポジション１０８をレンダリングまたは生成することができる。一実施形態において、例えば、ＶＣＧモジュール２４０を、所定の順番で位置づけられるアクティブなディスプレイフレームおよび非アクティブなディスプレイフレームを有する参加者名簿とともにビジュアルコンポジション１０８を生成するよう配置することができる。ＶＣＧモジュール２４０は、所与のミーティングコンソール１１０−１−ｍに対して、ビデオグラフィックコントローラおよび／またはオペレーションシステムのＧＵＩモジュールを介して、ディスプレイ１１６にビジュアルコンポジションの信号２０６−１−ｇを出力することができる。]
[0044] ビジュアルコンポジションコンポーネント１１４−１は、ＶＣＧモジュール２４０と通信可能に連結されるアノテーションモジュール２５０を含むことができる。アノテーションモジュール２５０は、一般には、参加者に識別情報でアノテーションを付けることができる。一実施形態において、例えば、アノテーションモジュール２５０を、オペレータコマンドを受け取ってアクティブなディスプレイフレームまたは非アクティブなディスプレイフレーム内の参加者に識別情報でアノテーションを付けるよう配置することができる。アノテーションモジュール２５０は、識別場所を判定して識別情報を位置づけすることができる。次いで、アノテーションモジュール２５０は、その参加者に識別場所において識別情報でアノテーションを付けることができる。]
[0045] 図３は、より詳細なビジュアルコンポジション１０８の図を示す。ビジュアルコンポジション１０８は、ミーティングコンソール１１０−１−ｍのオペレータといった閲覧者に対するプレゼンテーションのためにある特定のモザイクまたは表示パターンで配置される、種々のディスプレイフレーム３３０−１−ａを含むことができる。各ディスプレイフレーム３３０−１−ａは、メディアストリーム２０２−１−ｆからのマルチメディアコンテンツ、例えば、ＭＳＭモジュール２３０によりディスプレイフレーム３３０−１−ａにマッピングされる、対応するメディアストリーム２０２−１−ｆからのビデオコンテンツおよび／またはオーディオコンテンツを、レンダリングまたは表示するよう設計されている。] 図３
[0046] 図３に示す例示の実施形態において、例えば、ビジュアルコンポジション１０８は、プレゼンテーションアプリケーションソフトウェアからのプレゼンテーションスライド３０４といったアプリケーションデータを表示する主視聴領域を含むディスプレイフレーム３３０−６を、含むことができる。さらに、ビジュアルコンポジション１０８は、ディスプレイフレーム３３０−１〜３３０−５を含む参加者名簿３０６を、含むことができる。当然のことながら、ビジュアルコンポジション１０８は、所与の実装について所望の通りに、大きさおよび代替の配置に変化させるより多くのまたはより少ないディスプレイフレーム３３０−１〜３３０−５を含むことができる。] 図３
[0047] 参加者名簿３０６は、複数のディスプレイフレーム３３０−１から３３０−５を含むことができる。ディスプレイフレーム３３０−１から３３０−５は、ミーティングコンソール１１０−１−ｍによりやりとりされる種々のメディアストリーム２０２−１−ｆから参加者３０２−１−ｂのビデオコンテンツおよび／またはオーディオコンテンツを提供することができる。参加者名簿３０６の種々のディスプレイフレーム３３０−１を、ビジュアルコンポジション１０８の上端からビジュアルコンポジション１０８の下端まで所定の順番で、例えば、上端の近くの第１の位置にあるディスプレイフレーム３３０−１、第２の位置にあるディスプレイフレーム３３０−２、第３の位置にあるディスプレイフレーム３３０−３、第４の位置にあるディスプレイフレーム３３０−４、および下端近くの第５の位置にあるディスプレイフレーム３３０−５のように、配置することができる。ディスプレイフレーム３３０−１から３３０−５により表示される参加者３０２−１−ｂのビデオコンテンツを、「頭から肩まで」の切り抜き（顔写真）（例えば、任意の背景あり、またはなし）、他のオブジェクトに重なることが可能な透明のオブジェクト、透視的な矩形の領域、全景等、種々のフォーマットでレンダリングすることができる。]
[0048] 参加者名簿３０６のディスプレイフレーム３３０−１−ｂの所定の順番は、固定である必要はない。いくつかの実施形態において、所定の順番は、多くの理由により変化する。例えば、オペレータが、個人の好みに基づき、所定の順番のある部分または全てを手動で構成することができる。別の例において、ビジュアルコンポジションコンポーネント１１４−１−ｔは、所与のマルチメディア会議イベントに加わるまたは退出する参加者、ディスプレイフレーム３３０−１−ａの表示サイズの変更、ディスプレイフレーム３３０−１−ａにレンダリングされるビデオコンテンツの空間的解像度または時間的解像度への変更、ディスプレイフレーム３３０−１−ａのビデオコンテンツ内に示される参加者３０２−１−ｂの数、異なるマルチメディア会議イベント等に基づき、所定の順番を自動的に変更することができる。]
[0049] 一実施形態において、ビジュアルコンポジションコンポーネント１１４−１−ｔは、ＡＳＤモジュール２２０により実装されるようにＡＳＤ技術に基づき、所定の順番を自動的に変更することができる。一般的には、いくつかのマルチメディア会議イベントのアクティブな話者が頻繁に変わるため、閲覧者はどのディスプレイフレーム３３０−１−ａに現在のアクティブな話者が含まれるのかを見極めるのがむずかしいことがある。この問題および他の問題を解決するために、参加者名簿３０６では、アクティブな話者３２０に所定の順番の第１の位置に与えた、ディスプレイフレーム３３０−１−ａの所定の順番を有することができる。]
[0050] ＶＣＧモジュール２４０は、所定の順番の第１の位置にあるアクティブなディスプレイフレーム３３０−１を有する参加者名簿３０６とともにビジュアルコンポジション１０８を生成するよう動作することができる。アクティブなディスプレイフレームは、アクティブな話者３２０を表示するために具体的に指定されるディスプレイフレーム３３０−１−ａを指すことができる。一実施形態において、例えば、ＶＣＧモジュール２４０を、現在のアクティブな話者として所定の順番の第１の位置へ指定される参加者のビデオコンテンツを有するディスプレイフレーム３３０−１−ａに対して、所定の順番内で位置を移動させるよう配置することができる。例えば、第１のディスプレイフレーム３３０−１に示すように、第１のメディアストリーム２０２−１からの参加者３０２−１が、第１の期間においてアクティブな話者３２０として指定されるとする。さらに、ＡＳＤモジュール２２０が、アクティブな話者３２０が、第２の期間において参加者３０２−１から、第４のディスプレイフレーム３３０−４に示すように第４のメディアストリーム２０２−４からの参加者３０２−４へ変更したことを検出したとする。ＶＣＧモジュール２４０は、第４のディスプレイフレーム３３０−４を、所定の順番の第４の位置から、アクティブな話者３２０に与えられる所定の順番の第１の位置へ移動させることができる。次いで、ＶＣＧモジュール２４０は、所定の順番の第１の位置から、第４のディスプレイフレーム３３０−４が移動した後の所定の順番の第４の位置へ、第１のディスプレイフレーム３３０−１を移動させることができる。これは、例えば、入れ替え動作中のディスプレイフレーム３３０−１−ａの移動を示す、アクティブな話者３２０が変わったという視覚的キューを閲覧者に提供するといった、視覚的効果を実装するためには望ましい。]
[0051] 所定の順番内のディスプレイフレーム３３０−１−ａの位置の入れ替えるよりも、ＭＳＭモジュール２３０を、現在のアクティブな話者３２０として指定される参加者のビデオコンテンツを有するディスプレイフレーム３３０−１−ａにマッピングされる、メディアストリーム２０２−１−ｆを入れ替えるよう配置することができる。前の例を使用すると、アクティブな話者３２０の変更に応答してディスプレイフレーム３３０−１、３３０−４の位置を入れ替えるよりも、ＭＳＭモジュール２３０は、ディスプレイフレーム３３０−１、３３０−４間でそれぞれのメディアストリーム２０２−１、２０２−４を入れ替えることができる。例えば、ＭＳＭモジュール２３０は、第１のディスプレイフレーム３３０−１に第４のメディアストリーム２０２−４からのビデオコンテンツを表示させ、第４のディスプレイフレーム３３０−４に第１のメディアストリーム２０２−１からのビデオコンテンツを表示させることができる。これは、例えば、ディスプレイフレーム３３０−１−ａを再描画するために必要とされるコンピューティングリソースの量を減らし、リソースを他のビデオ処理操作に開放するためには望ましい。]
[0052] ＶＣＧモジュール２４０は、所定の順番の第２の位置にある非アクティブなディスプレイフレーム３３０−２を有する参加者名簿３０６とともにビジュアルコンポジション１０８を生成するよう動作することができる。非アクティブなディスプレイフレームは、アクティブな話者３２０を表示するよう指定されないディスプレイフレーム３３０−１−ａを指すことができる。非アクティブなディスプレイフレーム３３０−２は、ビジュアルコンポジション１０８を生成するミーティングコンソール１１０−１−ｍに対応する参加者３０２−２のビデオコンテンツを有することができる。例えば、ビジュアルコンポジション１０８の閲覧者は、一般的には、同様にマルチメディア会議イベントのミーティング参加者である。従って、入力されたメディアストリーム２０２−１−ｆのうちの１つには、閲覧者のビデオコンテンツおよび／またはオーディオコンテンツが含まれる。閲覧者は、自分たちを見て、適切なプレゼンテーション技術が使用されていることを確かめること、閲覧者により信号で伝えられる言葉によらない通信を評価すること等を望むであろう。従って、参加者名簿３０６の所定の順番の第１の位置には、アクティブな話者３２０が含まれる一方で、参加者名簿３０６の所定の順番の第２の位置は、閲覧者のビデオコンテンツを含むことができる。アクティブな話者３２０と同様、他のディスプレイフレーム３３０−１、３３０−３、３３０−４および３３０−５が所定の順番内で移動しても、閲覧者は、一般的には、所定の順番の第２の位置にそのままある。これにより、閲覧者は引き続き閲覧でき、ビジュアルコンポジション１０８の他の領域をスキャンする必要がない。]
[0053] いくつかの場合に置いて、オペレータは、個人の好みに基づき、所定の順番のある部分または全てを手動で構成することができる。ＶＣＧモジュール２４０は、オペレータコマンドを受け取って、非アクティブなディスプレイフレーム３３０−１−ａを所定の順番における現在の位置から所定の順番における新しい位置へ移動させるよう動作することができる。次いで、ＶＣＧモジュール２４０は、オペレータコマンドに応答して、非アクティブなディスプレイフレーム３３０−１−ａを新しい位置に移動させることができる。例えば、オペレータは、マウス、タッチスクリーン、キーボード等といった入力デバイスを使用して、ポインタ３４０を制御することができる。オペレータは、ディスプレイフレーム３３０−１−ａをドラッグアンドドロップして、ディスプレイフレーム３３０−１−ａの任意の所望の順番を手動で形成することができる。]
[0054] 入力されたメディアストリーム２０２−１−ｆのオーディオコンテンツおよび／またはビデオコンテンツを表示することに加えて、参加者名簿３０６を使用して、参加者３０２−１−ｂの識別情報を表示することもできる。アノテーションモジュール２５０は、オペレータコマンドを受け取って、アクティブなディスプレイフレーム（例えば、ディスプレイフレーム３３０−１）または非アクティブなディスプレイフレーム（例えば、ディスプレイフレーム３３０−２から３３０−５）内の参加者３０２−１−ｂに識別情報でアノテーションを付けるよう動作することができる。例えば、ビジュアルコンポジション１０８が表示されたディスプレイ１１６を有するミーティングコンソール１１０−１−ｍのオペレータが、ディスプレイフレーム３３０−１−ａに示される一部または全ての参加者３０２−１−ｂの識別情報の閲覧を望むとする。アノテーションモジュール２５０は、マルチメディア会議サーバ１３０および／または企業リソースディレクトリ１６０からの識別情報２０４を受け取ることができる。アノテーションモジュール２５０は、識別情報２０４を位置づけする識別場所３０８を判定し、参加者に識別場所３０８において識別情報でアノテーションを付けることができる。識別場所３０８は、当該参加者３０２−１−ｂに比較的近接しているべきである。識別場所３０８は、識別情報２０４でアノテーションを付けるために、ディスプレイフレーム３３０−１−ａ内の位置を含むことができる。適用においては、ビジュアルコンポジション１０８を閲覧する側の観点からは、識別情報２０４は、参加者３０２−１−ｂに十分に近接させ、参加者３０２−１−ｂのビデオコンテンツと参加者３０２−１−ｂの識別情報２０４との間の関連付けを容易にするべきであり、一方では、参加者３０２−１−ｂのビデオコンテンツを部分的または全面的に塞いでしまう可能性を減らすまたは避けることになる。識別場所３０８は、固定された場所とすることができ、または、参加者３０２−１−ｂの大きさ、参加者３０２−１−ｂの動き、ディスプレイフレーム３３０−１−ａ内の背景のオブジェクトの変化等といった要因により動的に変えることもできる。]
[0055] いくつかの場合において、ＶＣＧモジュール２４０（またはＯＳのＧＵＩモジュール）を使用して、選択された参加者３０２−１−ｂの識別情報２０４とともに別個のＧＵＩビュー３１６を開くオプションを有するメニュー３１４を生成することができる。例えば、オペレータは、入力デバイスを使用して、ポインタ３４０を制御しディスプレイフレーム３３０−４といった所与のディスプレイフレーム上でホバリングすることができ、メニュー３１４は、自動的または起動されてメニュー３１４を開く。オプションの１つに、「連絡先カードを開く」または何らかの同様のラベルが含むことができ、これは、選択されると、識別情報３５０を含むＧＵＩビュー３１６を、開く。識別情報３５０は、識別情報２０４と同じまたは同様であるが、一般的には目的の参加者３０２−１−ｂのさらに詳細な識別情報を含むことができる。]
[0056] 参加者名簿３０６を動的に変更することにより、マルチメディア会議イベントの仮想ミーティング室内の種々の参加者３０２−１−ｂとやりとりするためのより効果的な機構が提供される。しかし、いくつかの場合において、オペレータまたは閲覧者は、非アクティブなディスプレイフレーム３３０−１−ａまたは非アクティブなディスプレイフレーム３３０−１−ａのビデオコンテンツを参加者名簿３０６内で動かすことよりも、非アクティブなディスプレイフレーム３３０−１−ａを所定の順番における現在の位置に固定することを望むかもしれない。これは、例えば、閲覧者が一部または全部のマルチメディア会議イベントを通して、特定の参加者を容易に探し出して閲覧することを所望する場合、望ましい。そのような場合、オペレータまたは閲覧者は、非アクティブなディスプレイフレーム３３０−１−ａを選択して、参加者名簿３０６の所定の順番におけるその現在の位置にそのままにすることができる。オペレータコマンドを受け取ると、ＶＣＧモジュール２４０は、一時的または永久的に、選択された非アクティブなディスプレイフレーム３３０−１−ａを所定の順番における選択された位置に割り当てることができる。例えば、オペレータまたは閲覧者は、ディスプレイフレーム３３０−３を所定の順番における第３の位置に割り当てることを所望することができる。ピンアイコン３０６のような視覚的インジケータは、ディスプレイフレーム３３０−３が第３の位置に割り付けられ、解放されるまで第３の位置に残るということを示すことができる。]
[0057] 上述の実施形態の動作を、１つまたは複数の論理フローを参照してさらに説明する。当然のことながら、特に示さない限り、代表的な論理フローが必ずしも提示された順番、または任意の特定の順番で実行される必要はない。さらに、論理フローに関して説明する種々の動作は、連続的にまたは並行して実行可能である。論理フローを、説明する実施形態の１つまたは複数のハードウェア要素および／またはソフトウェア要素、または所与の組の設計および性能制約に必要とされる代替の要素を使用して実装することができる。例えば、論理フローを、論理デバイス（例えば、汎用コンピュータまたは特定の目的のコンピュータ）による実行のための論理（例えば、コンピュータプログラム命令）として実装することができる。]
[0058] 図４は、論理フロー４００の一実施形態を示す。論理フロー４００は、本明細書に説明する１つまたは複数の実施形態により実行される、一部または全ての動作の代表とすることができる。] 図４
[0059] 図４に示すように、論理フロー４００は、ブロック４０２にて、マルチメディア会議イベントの複数のメディアストリームをデコードすることができる。例えば、ビデオデコーダモジュール２１０は、複数のエンコードされたメディアストリーム２０２−１−ｆを受け取り、メディアストリーム２０２−ｌ−ｆをビジュアルコンポジション１０８により表示するためにデコードする。エンコードされたメディアストリーム２０２−１-ｆは、別個のメディアストリーム、またはマルチメディア会議サーバ１３０より合成された混合メディアストリームを含むことができる。] 図４
[0060] 論理フロー４００は、ブロック４０４にて、デコードされたメディアストリーム内の参加者をアクティブな話者として検出することができる。例えば、ＡＳＤモジュール２２０は、デコードされたメディアストリーム２０２−１-ｆ内の参加者３０２−１−ｂをアクティブな話者３２０として検出する。アクティブな話者３２０は、所与のマルチメディア会議イベントを通して頻繁に変更されることが可能であり、一般的には変更される。従って、異なる参加者３０２−１−ｂが、時間と共に、アクティブな話者３２０として指定されることもあり得る。]
[0061] 論理フロー４００は、ブロック４０６にて、アクティブな話者を有するデコードされたメディアストリームをアクティブなディスプレイフレームにマッピングし、他のデコードされたメディアストリームを非アクティブなディスプレイフレームにマッピングすることができる。例えば、ＭＳＭモジュール２３０は、アクティブな話者３２０を有するデコードされたメディアストリーム２０２−ｌ−ｆをアクティブなディスプレイフレーム３３０−１にマッピングし、他のデコードされたメディアストリームを非アクティブなディスプレイフレーム３３０−２−ａにマッピングすることができる。]
[0062] 論理フロー４００は、ブロック４０８にて、所定の順番で位置づけされるアクティブなディスプレイフレームおよび非アクティブなディスプレイフレームを有する参加者名簿とともにビジュアルコンポジションを生成することができる。例えば、ＶＣＧモジュール２４０は、所定の順番で位置づけされるアクティブなディスプレイフレーム３３０−１および非アクティブなディスプレイフレーム３３０−２−ａを有する参加者名簿３０６とともにビジュアルコンポジション１０８を生成することができる。ＶＣＧモジュール２４０は、条件の変更に応答して所定の順番を自動的に変更することができ、またはオペレータが所望の通りに所定の順番を手動で変更することが可能である。]
[0063] 図５は、ミーティングコンソール１１０−１-ｍまたはマルチメディア会議サーバ１３０を実装するのに適切なコンピューティングアーキテクチャ５１０のより詳細なブロック図をさらに示す。基本的な構成において、コンピューティングアーキテクチャ５１０には、一般的には、少なくとも１つの処理ユニット５３２およびメモリ５３４が含まれる。メモリ５３４を、データを記憶することが可能な、揮発性メモリおよび不揮発性メモリの両方を含む、任意の機械可読媒体またはコンピュータ可読媒体を使用して実装することができる。例えば、メモリ５３４は、ＲＯＭ（ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ−ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＤＲＡＭ（ｄｙｎａｍｉｃ ＲＡＭ）、ＤＤＲＡＭ（Ｄｏｕｂｌｅ−Ｄａｔａ−Ｒａｔｅ ＤＲＡＭ）、ＳＤＲＡＭ（ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）、ＳＲＡＭ（ｓｔａｔｉｃ ＲＡＭ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、フラッシュメモリ、強誘電性ポリマーメモリといったポリマーメモリ、オボニックメモリ、相変化もしくは強誘電性メモリ、ＳＯＮＯＳ（ｓｉｌｉｃｏｎ−ｏｘｉｄｅ−ｎｉｔｒｉｄｅ−ｏｘｉｄｅ−ｓｉｌｉｃｏｎ）型メモリ、磁気もしくは光カード、または情報の記憶に適切な任意の他のタイプの媒体を含むことができる。図５に示すように、メモリ５３４は、１つまたは複数のアプリケーションプログラム５３６−１−ｔといった種々のソフトウェアプログラムおよび付随するデータを記憶することができる。実装によっては、アプリケーションプログラム５３６−１−ｔの例に、サーバミーティングコンポーネント１３２、クライアントミーティングコンポーネント１１２−１−ｎ、またはビジュアルコンポジションコンポーネント１１４を含むことができる。] 図５
[0064] コンピューティングアーキテクチャ５１０はまた、その基本的構成を超える追加の特性および／または機能性を有することができる。例えば、コンピューティングアーキテクチャ５１０は、着脱可能記憶装置５３８および固定記憶装置５４０を含み、これらがまた、前述したような種々のタイプの機械可読媒体またはコンピュータ可読媒体を含むことができる。コンピューティングアーキテクチャ５１０はまた、キーボード、マウス、ペン、音声入力デバイス、タッチ入力デバイス、測定装置、センサ等といった、１つまたは複数の入力デバイス５４４を有することができる。コンピューティングアーキテクチャ５１０はまた、ディスプレイ、スピーカ、プリンタ等といった、１つまたは複数の出力デバイス５４２を含むことができる。]
[0065] コンピューティングアーキテクチャ５１０は、コンピューティングアーキテクチャ５１０を他のデバイスと通信可能にする、１つまたは複数の通信接続５４６をさらに含むことができる。通信接続５４６は、１つまたは複数の通信インターフェース、ネットワークインターフェース、ＮＩＣ（ｎｅｔｗｏｒｋ ｉｎｔｅｒｆａｃｅ ｃａｒｄ）、無線、無線送受信機（トランシーバ）、有線通信媒体および／または無線通信媒体、物理的コネクタ等といった、種々のタイプの標準通信要素を含むことができる。通信媒体は、一般的には、コンピュータ可読命令、データ構造、プログラムモジュール、または、搬送波もしくは他のトランスポート機構といった変調データ信号の他のデータを具現化し、かつ、任意の情報配信媒体を含む。用語「変調データ信号」は、情報を信号にエンコードするような方法で設定または変更された、１つまたは複数の特徴を有する信号を意味する。制限ではなく例として、通信媒体は、有線通信媒体および無線通信媒体が含まれる。有線通信媒体の例は、配線、ケーブル、金属リード線、ＰＣＢ（ｐｒｉｎｔｅｄ ｃｉｒｃｕｉｔ ｂｏａｒｄ）、バックプレーン、スイッチ構成、半導体物質、ツイストペア線、同軸ケーブル、光ファイバ、伝播信号等を含むことができる。無線通信媒体の例は、音響、ＲＦ（ｒａｄｉｏ−ｆｒｅｑｕｅｎｃｙ）、スペクトラム、赤外線、および他の無線媒体を含むことができる。用語「機械可読媒体」および「コンピュータ可読媒体」は本明細書で使用されるとき、記憶媒体および通信媒体の両方を含むことを意味する。]
[0066] 図６は、論理フロー４００を含む、種々の実施形態の論理を記憶するのに適切な製造品６００の図を示す。図示するように、製品６００は、論理６０４を記憶する記憶媒体６０２を含むことができる。記憶媒体６０２の例は、揮発性メモリまたは不揮発性メモリ、着脱可能メモリまたは固定メモリ、消去可能メモリまたは消去不可能メモリ、書き込み可能メモリまたは書き換え可能メモリ等を含む、電子データを記憶可能な１つまたは複数のタイプのコンピュータ可読記憶媒体を含むことができる。論理６０４の例は、種々のソフトウェア要素、例えば、ソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、機械プログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、ファンクション、メソッド、プロシージャ、ソフトウェアインターフェース、ＡＰＩ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍ ｉｎｔｅｒｆａｃｅ）、命令セット、コンピューティングコード、コンピュータコード、コードセグメント、コンピュータコードセグメント、単語、値、シンボル、またはその任意の組み合わせを含むことができる。] 図６
[0067] 一実施形態において、例えば、製品６００および／またはコンピュータ可読記憶媒体６０２は、コンピュータにより実行されるとき、説明した実施形態に従ってコンピュータに方法および／または動作を実行させる、実行可能コンピュータプログラム命令を含む、論理６０４を記憶することができる。実行可能コンピュータプログラム命令は、任意の適切なタイプのコード、例えば、ソースコード、コンパイルされたコード、インタプリタコード、実行可能コード、静的コード、動的コード等を含むことができる。実行可能コンピュータプログラム命令を、コンピュータに命令してある特定の機能を実行させるための、所定のコンピュータ言語、方法または構文に従って実装することができる。命令を、任意の適切な、高級プログラミング言語、低級プログラミング言語、オブジェクト指向プログラミング言語、ビジュアルプログラミング言語、コンパイル型プログラミング言語および／またはインタプリタ型プログラミング言語、例えば、Ｃ、Ｃ＋＋、Ｊａｖａ、ＢＡＳＩＣ、Ｐｅｒｌ、Ｍａｔｌａｂ、Ｐａｓｃａｌ、Ｖｉｓｕａｌ ＢＡＳＩＣ、アセンブリ言語、およびその他を使用して実装することができる。]
[0068] 種々の実施形態を、ハードウェア要素、ソフトウェア要素、またはその両方の組み合わせを使用して実装することができる。ハードウェア要素の例は、論理デバイスとして上記で説明したような例のいずれかを含むことができ、かつ、マイクロプロセッサ、回路、回路素子（例えば、トランジスタ、抵抗、コンデンサ、インダクタ等）、集積回路、論理ゲート、レジスタ、半導体デバイス、チップ、マイクロチップ、チップセット等をさらに含む。ソフトウェア要素の例は、ソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、機械プログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、ファンクション、メソッド、プロシージャ、ソフトウェアインターフェース、ＡＰＩ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍ ｉｎｔｅｒｆａｃｅ）、命令セット、コンピューティングコード、コンピュータコード、コードセグメント、コンピュータコードセグメント、単語、値、シンボル、またはその任意の組み合わせを含むことができる。ハードウェア要素および／またはソフトウェア要素を使用して実施形態を実装するかどうかの判定は、任意の数の要因、例えば、所与の実装に必要とされる、所望のコンピュータレート、電力レベル、耐熱性、処理サイクル量、入力データレート、出力データレート、メモリリソース、データバススピード、および、他の設計の制約または性能の制約に従って変化する。]
[0069] いくつかの実施形態を、「連結される」および「接続される」という表現とその派生語を使用して説明することができる。これらの用語は、必ずしもお互いに同義であることを意図するとは限らない。例えば、いくつの実施形態では、用語「接続される」および／または「連結される」を使用して説明し、２つまたはそれ以上の要素が直接、物理的または電気的にお互いに接触することを示す。しかし、用語「連結される」はまた、２つまたはそれ以上の要素がお互いに直接には接触しないが、お互いにまだ協働または相互作用することを意味することもできる。]
[0070] 読者が技術的開示の本質を素早く確認することを可能にする要約書を要求する、３７ＣＦ．Ｒ．Ｓｅｃｔｉｏｎ１．７２（ｂ）を順守するために、本開示の「要約書」を提供することを強調する。要約書を、請求項の範囲または意味を解釈または制限するために使用されないという理解のもとに提出する。加えて、前述の「発明を実施するための形態」において、種々の特徴を、本開示を合理化する目的で、単一の実施形態にまとめていることが分かる。この開示の方法は、特許請求される実施形態が各請求項に明示的に列挙されるより多くの特徴を要求するという意図を示すものとして解釈されるべきではない。むしろ、後述の請求項が示すように、発明の主題は、単一の開示される実施形態の全ての特徴より少ない特徴にある。従って、後述の請求項はこれによって、「発明を実施するための形態」に組み込まれ、各請求項は別個の実施形態として自立するものである。添付の請求項において、用語「含む」および「それにおいて」が、それぞれの用語「備える」および「それにおいて」の平易な表現と等価なものとして使用される。さらに、用語「第１の」「第２の」「第３の」等は単にラベルとして使用するものであり、それらの対象に数の要件を課すことを意図していない。]
[0071] 主題を、構造的特徴および／または方法論的な行為に固有の言語で説明したが、当然のことながら、添付の請求項に定義される主題は必ずしも上述の特定の特徴または行為に限らない。むしろ、上述の特定の特徴および行為は、請求項を実装する形式の例として開示するものである。]

权利要求:

請求項1
マルチメディア会議イベントの複数のメディアストリームをデコードするステップ（４０２）と、デコードされたメディアストリーム内の参加者をアクティブな話者として検出するステップ（４０４）と、前記アクティブな話者を有する前記デコードされたメディアストリームをアクティブなディスプレイフレームにマッピングし、他の前記デコードされたメディアストリームを非アクティブなディスプレイフレームにマッピングするステップ（４０６）と、所定の順番で位置づけられる前記アクティブなディスプレイフレームおよび前記非アクティブなディスプレイフレームを有する参加者名簿とともにビジュアルコンポジションを生成するステップ（４０８）とを備えることを特徴とする方法。
請求項2
アクティブなディスプレイフレームまたは非アクティブなディスプレイフレーム内の参加者に識別情報でアノテーションを付けるオペレータコマンドを受け取るステップを備えることを特徴とする請求項１に記載の方法。
請求項3
アクティブなディスプレイフレームまたは非アクティブなディスプレイフレーム内の参加者の識別情報を位置づけする識別場所を判定するステップを備えることを特徴とする請求項１に記載の方法。
請求項4
アクティブなディスプレイフレームまたは非アクティブなディスプレイフレーム内の参加者に、識別場所において識別情報でアノテーションを付けるステップを備えることを特徴とする請求項１に記載の方法。
請求項5
選択された参加者の識別情報を含む別個のグラフィカルユーザーインターフェースビューを、開くオプションを有するメニューを生成するステップを備えることを特徴とする請求項１に記載の方法。
請求項6
前記所定の順番の第１の位置に前記アクティブなディスプレイフレームを有する前記参加者名簿とともに前記ビジュアルコンポジションを生成するステップを備えることを特徴とする請求項１に記載の方法。
請求項7
前記所定の順番の第２の位置に非アクティブなディスプレイフレームを有する前記参加者名簿とともに前記ビジュアルコンポジションを生成するステップであって、前記非アクティブなディスプレイフレームが、前記ビジュアルコンポジションを生成するミーティングコンソールに対応する参加者のビデオコンテンツを有するステップを備えることを特徴とする請求項１に記載の方法。
請求項8
オペレータコマンドに応答して、非アクティブなディスプレイフレームを前記所定の順番における現在の位置から前記所定の順番における新しい位置へ移動させるステップを備えることを特徴とする請求項１に記載の方法。
請求項9
オペレータコマンドに応答して、非アクティブなディスプレイフレームを前記所定の順番における現在の位置に固定するステップを備えることを特徴とする請求項１に記載の方法。
請求項10
命令を含む記憶媒体を含む製品であって、前記命令は、実行されると、システムが、マルチメディア会議イベントの複数のメディアストリームをデコードすることと、デコードされたメディアストリーム内の参加者をアクティブな話者として検出することと、前記アクティブな話者を有する前記デコードされたメディアストリームをアクティブなディスプレイフレームにマッピングし、他の前記デコードされたメディアストリームを非アクティブなディスプレイフレームにマッピングすることと、所定の順番で位置づけられる前記アクティブなディスプレイフレームおよび前記非アクティブなディスプレイフレームを有する参加者名簿とともにビジュアルコンポジションを生成することとを可能にする命令であることを特徴とする製品。
請求項11
実行されると、前記システムがアクティブなディスプレイフレームまたは非アクティブなディスプレイフレーム内の参加者に識別情報でアノテーションを付けることを可能にする命令をさらに含むことを特徴とする請求項１０に記載の製品。
請求項12
実行されると、前記システムが前記所定の順番における第１の位置に前記アクティブなディスプレイフレームを有する前記参加者名簿とともに前記ビジュアルコンポジションを生成することを可能にする命令をさらに含むことを特徴とする請求項１０に記載の製品。
請求項13
実行されると、前記システムが前記所定の順番における第２の位置に非アクティブなディスプレイフレームを有する前記参加者名簿とともに前記ビジュアルコンポジションを生成することを可能にする命令であって、前記非アクティブなディスプレイフレームが、前記ビジュアルコンポジションを生成するミーティングコンソールに対応する参加者のビデオコンテンツを有する命令をさらに含むことを特徴とする請求項１０に記載の製品。
請求項14
実行されると、前記システムがオペレータコマンドに応答して、非アクティブなディスプレイフレームを前記所定の順番における現在の位置から前記所定の順番における新しい位置へ移動させることを可能にする命令をさらに含むことを特徴とする請求項１０に記載の製品。
請求項15
マルチメディア会議イベントのビジュアルコンポジション（１０８）を生成するよう動作するビジュアルコンポジションコンポーネント（１１４）であって、マルチメディア会議イベントの複数のメディアストリーム（２０２）をデコードするよう動作するビデオデコーダモジュール（２１０）と、前記ビデオデコーダモジュールに通信可能に連結されるアクティブな話者検出モジュール（２２０）であって、デコードされたメディアストリーム内の参加者をアクティブな話者として検出するよう動作する前記アクティブな話者検出モジュールと、前記アクティブな話者検出モジュールと通信可能に連結されるメディアストリームマネージャモジュール（２３０）であって、前記アクティブな話者を有する前記デコードされたメディアストリームをアクティブなディスプレイフレーム（３３０−１）にマッピングし、他の前記デコードされたメディアストリームを非アクティブなディスプレイフレーム（３３０−２、３３０−３）にマッピングするよう動作する前記メディアストリームマネージャモジュールと、前記メディアストリームマネージャモジュールに通信可能に連結されるビジュアルコンポジションジェネレータモジュール（２４０）であって、所定の順番で位置づけられる前記アクティブなディスプレイフレームおよび前記非アクティブなディスプレイフレームを有する参加者名簿（３０６）とともに前記ビジュアルコンポジションを生成するよう動作する前記ビジュアルコンポジションジェネレータモジュールとを含む前記ビジュアルコンポジションコンポーネントを備えることを特徴とする装置。
請求項16
前記ビジュアルコンポジションジェネレータモジュールに通信可能に連結されるアノテーションモジュール（２５０）であって、オペレータコマンドを受け取って、アクティブなディスプレイフレームまたは非アクティブなディスプレイフレーム内の参加者に識別情報（２０４）でアノテーションを付け、識別情報を位置づけする識別場所（３０８）を判定し、前記参加者に前記識別場所において前記識別情報でアノテーションを付けるよう動作する前記アノテーションモジュールを備えることを特徴とする請求項１５に記載の装置。
請求項17
前記所定の順番の第１の位置に前記アクティブなディスプレイフレームを有する前記参加者名簿とともに前記ビジュアルコンポジションを生成するよう動作するビジュアルコンポジションジェネレータモジュールを備えることを特徴とする請求項１５に記載の装置。
請求項18
前記所定の順番の第２の位置に非アクティブなディスプレイフレームを有する前記参加者名簿とともに前記ビジュアルコンポジションを生成するよう動作するビジュアルコンポジションジェネレータモジュールであって、前記非アクティブなディスプレイフレームが、前記ビジュアルコンポジションを生成するミーティングコンソール（１１０）に対応する参加者のビデオコンテンツを有するビジュアルコンポジションジェネレータモジュールを備えることを特徴とする請求項１５に記載の装置。
請求項19
非アクティブなディスプレイフレームを前記所定の順番における現在の位置から前記所定の順番における新しい位置へ移動させるオペレータコマンドを受け取って、前記オペレータコマンドに応答して、前記非アクティブなディスプレイフレームを前記新しい位置へ移動させるよう動作する前記ビジュアルコンポジションジェネレータモジュールを備えることを特徴とする請求項１５に記載の装置。
請求項20
ディスプレイ（１１６）および前記ビジュアルコンポジションコンポーネントを有する前記ミーティングコンソール（１１０）であって、前記ビジュアルコンポジションコンポーネントが前記ビジュアルコンポジションを前記ディスプレイ上にレンダリングするミーティングコンソールを備えることを特徴とする請求項１５に記載の装置。