デプスマップ生成を伴う方法及び装置

专利摘要:
単一のカメラ（例えば、カメラの単一のレンズ）を用いてデプスマップが生成され、前記カメラによって複数の画像がキャプチャされる装置及び方法が開示される。一例において、レンズ位置データに基づいて一組のレンズ位置に対応する一組の画像をキャプチャするために単一のデジタルカメラが用いられる。この例においては、前記レンズ位置データは、均一又は不均レンズ位置データであることができる。前記方法及び装置は、１つの組の各画像内の複数の対象領域の各々のための焦点メトリック情報を決定する。前記組内の前記画像からの前記焦点メトリック情報に基づいて前記対象領域の各々のための最良のレンズ位置に関する決定が行われ、データとしてデプスマップに格納される。次に、前記生成されたデプスマップに基づいて画像生成動作、例えば、最終画像をキャプチャするためにフラッシュを用いるかどうかの決定、前記最終画像に対して行われる色動作の種類の決定、又はその他の適切な画像生成動作、が行われる。一例において、前記デプスマップは、特定の対象領域に関してキャプチャされた様々な画像の中から最良の焦点メトリックを選択することによって生成される。前記複数の画像からのデータを用いて前記デプスマップがいったん生成された時点で、デプスマップに基づく制御論理が、画像処理動作を実行するために前記デプスマップをどのように使用するかを決定する。その他の利点の中で、画像処理動作において用いるためのデプスマップを生成するために複数のカメラを採用する必要がなく及び外部の光センサを採用する必要がない。その他の利点は、当業者によって理解されるであろう。
公开号:JP2011508268A
申请号:JP2010539980
申请日:2008-12-29
公开日:2011-03-10
发明作者:アレックシック、ミリボジェ；サファイー−ラッド、レザ
申请人:クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ；
IPC主号:G02B7-28

专利说明:

[0001] 携帯電話、ラップトップパソコン及びその他のデバイス等のモバイルデバイスにおいては焦点距離が固定されたレンズを採用するデジタルカメラが用いられている。該カメラは、短い固定された焦点距離が得られる広角レンズを有する。オートフォーカス動作が知られており、携帯電話又はデジタルカメラのユーザは、画像に自動的に焦点を合わせるために押しボタンを半押しすることができ、その後に続けて、最終画像をキャプチャするために完全に押された位置までボタンを押すことができる。しかしながら、既知のオートフォーカス動作は、例えば２５５の位置から成る範囲全体において２５の位置ごとに均一にレンズを移動させ、２５の位置のすべての均一なレンズ位置において画像をキャプチャし、その結果１０乃至１２フレームを処理することができる。オートフォーカスアルゴリズムが最良の画像を決定するための基礎になる約１０の画像をキャプチャすることで、モバイルデバイスにとっての電力ドレインが生じ、バッテリの使用に対して経時で過度の影響を及ぼす可能性がある。さらに、最終画像を撮影するためにフラッシュが用いられる場合において、実際にはフラッシュは必要ないか又は役立たないときには、さらなる電力ドレインがモバイルデバイスの性能を劣化させる可能性がある。さらに、均一焦点レンズ位置方式の場合は、１０又は１２フレームを取得することができ、それは、デバイスがオートフォーカス決定のために数多くのフレームをキャプチャして処理することを要求する。これは、さらなる処理時間を要求する可能性があり、ユーザは、オートフォーカス動作が完了されるまで不必要な時間待たなければならないことがある。]
[0002] 不均一レンズ位置をオートフォーカスプロセスの一部として用いることも知られている。例えば、最良のレンズ位置を見つけるために、様々なオートフォーカス探索戦略を用いることができる。これらの方法は、レンズ位置がどのようにして（どれだけ及びどの方向に）更新されるかを決定する。探索方法は、オートフォーカスプロセスの速度及び精度に対して影響を及ぼす可能性がある。最良のレンズ位置を見つけるために用いられるレンズ位置の組は、不均一な（又は均一な）間隔に基づくことができる。不均一レンズ位置は、典型的には、焦点メトリック値の決定された変化率に基づいてその場で動的に確立される。すなわち、焦点メトリック値の変化率が高いということがデバイス内でのプロセスによって決定された場合は、より短いレンズ位置間隔が用いられ、他方、焦点メトリック値の変化率が低い場合は、より長い間隔が用いられる。しかしながら、変化率を決定して次に適切な使用間隔を決定するのは困難である可能性がある。]
[0003] 特にモバイルデバイスの使用が激増しているため、モバイルデバイス又は非モバイルデバイスにおいてオートフォーカス速度を向上させること及び電力ドレインを低減させることは極めて重要である。このような向上の必要性は長年にわたって存在してきている。しかしながら、既知の現在の解決方法は、依然として、不必要な時間量及び／又は電力消費量を要求する可能性がある。]
[0004] デプスマップ（ｄｅｐｔｈ ｍａｐ）生成に関して、マルチカメラ画像処理システム（例えば、校正されたステレオビジョンシステム）は、各々のカメラが異なる用途、例えば、車両を誘導するために用いられる自動車両誘導システム、のために用いられる視野の対象領域を含む画像デプスマップを生成するためのレンズを採用する、複数のカメラを採用することができる。該システムを用いてデプスマップを生成することは、複数の予め校正されたカメラを要求する非常に複雑でコストがかかるプロセスになる可能性がある。しかしながら、様々なデジタルカメラ機能／動作、例えば、フラッシュ／フラッシュなしの選択のより効果的な利用、より良い露光推定、より効果的なホワイトバランス、及び向上された色補正マトリックスの選択、を向上させるために用いるためのこれまでよりも単純なデプスマップ生成（例えば、前景と後景への視野の分割）の必要性も存在する。]
図面の簡単な説明

[0005] 本発明は、以下の説明及び添付される図を併用することでより簡単に理解されるであろう。類似の参照数字は、類似の要素を表す。
この開示の一実施形態によるオートフォーカス回路の一例を示すブロック図である。
この開示において説明される一例によるオートフォーカスシステムを向上させるための方法の一例を示すフローチャートである。
この開示において説明される一実施形態による予め決められた不均一焦点位置データの一例を示した図である。
この開示の一例によるモバイルデバイスの一例を示すブロック図である。
この開示において説明される一例によるオートフォーカスシステムを向上させるための方法の一例を示すフローチャートである。
この開示において説明される一例によるデプスマップ生成論理を採用する装置の一例を示すブロック図である。
この開示において説明される一例によるデプスマップ生成論理の一例を示すブロック図である。
この開示において説明される一例によるデジタルカメラ画像生成を向上させるための方法の一例を示すフローチャートである。
この開示において説明される一例による複数の画像から導き出されるデプスマップを生成するために用いられるデータの一例を示した図である。
この開示において説明される一例によるデジタルカメラ画像生成を向上させるための方法の一例を示したフローチャートである。
この開示によるデプスマップ情報を通信するシステムの一例を示したブロック図である。
この開示における一例によるデプスマップを生成するために用いることができる位置データの一例を示した図である。]
実施例

[0006] 概して、単一のカメラ（例えば、カメラの単一のレンズ）を用いてデプスマップが生成され、そのカメラによって複数の画像がキャプチャ（ｃａｐｔｕｒｅ）される装置及び方法が開示される。一例において、レンズ位置データに基づいて一組のレンズ位置に対応する一組の画像をキャプチャするために単一のデジタルカメラが用いられる。この例においては、レンズ位置データは、均一又は不均一のレンズ位置データであることができる。該方法及び装置は、１つの組の各画像内の複数の対象領域の各々のための焦点メトリック情報を決定する。その組内の画像からの焦点メトリック情報に基づいて対象領域の各々のための最良のレンズ位置の決定が行われ、データとしてデプスマップ内に格納される。次に、生成されたデプスマップに基づいて画像生成動作、例えば、最終画像をキャプチャするためにフラッシュを用いるべきかどうかの決定、最終画像に対して行われるべき色動作の種類を決定すること、又はその他の何らかの適切な動作、が行われる。一例において、デプスマップは、特定の対象領域のためにキャプチャされた様々な画像の中から最良の焦点メトリックを選択することによって生成される。複数の画像からのデータを用いてデプスマップが生成された時点で、デプスマップに基づく制御論理が、画像処理動作を実行するためにデプスマップをどのように用いるかを決定する。]
[0007] その他の利点の中で、画像処理動作において用いるためのデプスマップを生成するために複数のカメラを採用する必要がなく及び外部の光センサを採用する必要がない。その他の利点は、当業者によって理解されるであろう。]
[0008] 他の実施形態において、方法及び装置は、デジタルカメラの少なくとも１つのレンズを、予め決められた不均一レンズ位置データに対応する複数の予め決められた不均一レンズ位置に変更（ａｌｔｅｒ）、例えば位置決め、し、及び予め決められた不均一レンズ位置データに基づいてそのレンズのためのレンズ位置を選択することによってオートフォーカスシステムを向上させる。予め決められた不均一レンズ位置データは、例えば、予め決めることができ、メモリに格納することができ、抵抗アレイを通じて提供することができ、又はいずれかの適切な方法で提供することができる。予め決められた不均一レンズ位置データは、最終画像を撮影するために焦点を合わせるために用いることができそして推測的に決定され及び特定のカメラレンズの光学的特性に基づく最小限の数又は組の最適なレンズ位置を表す。一例において、データは、レンズ位置対基準点（例えば、焦点距離が固定されたレンズに関する最適なレンズ位置対物体距離の特性曲線に沿った点）からの物体距離に対応する経験的に得られた情報を表す。一例において、固定された数の予め定義された不均一レンズ位置が、オートフォーカス動作中に画像をキャプチャするために用いられる一組の最適な不均一レンズ位置を定義する。最終画像は、これらの予め決められた不均一レンズ位置のうちの１つを用いてキャプチャされる。予め決められた不均一レンズ位置の組からの最良の焦点レンズ位置は、様々な不均一焦点レンズ位置において得られたフレームの各々からの焦点メトリック情報を比較し及び例えば最良の焦点メトリックを有するフレームを最終的なピクチャ又は画像のキャプチャのために用いられるレンズ位置として選択することによって決定される。焦点メトリック情報は、希望に応じて１つのフレームごとに又は１つの対象領域ごとに生成することができる。]
[0009] その他の利点の中で、例えば均一レンズ位置に基づく画像サンプリングを採用するシステムと比較して、より高速なオートフォーカスプロセスが可能でありさらに最良のレンズ位置を決定するために必要な画像数がより少ないことができる。さらに、一組の予め決められた不均一レンズ位置を用いることは、動的な不均一レンズ位置の決定及び間隔決定プロセスの必要性を排除する。従って、一組の予め決められた不均一レンズ位置のうちの１つ以上から得られた画像のより少ないフレームを用いることは、オートフォーカスプロセスを高速化することができ、このため、ユーザは、画像がキャプチャされるまで待つ必要がなく、その結果、デバイスのバッテリの電力消費量が低減され、それによって性能を向上させることができる。]
[0010] ここにおいて用いられる場合における用語“モジュール”、“回路”、“論理”、“ドライバ”、及び／又は“段階”は、電子回路、メモリに格納された１つ以上のソフトウェア又はファームウェアプログラムを実行する１つ以上のプロセッサ（例えば、共有される、専用の、又はグループのプロセッサ、例えば、限定されることなしに、マイクロプロセッサ、ＤＳＰ、又は中央処理装置）、組み合わせ論理回路、ＡＳＩＣ、及び／又は説明される機能を提供するその他の適切な構成要素を含むことができる。]
[0011] 図１は、オートフォーカス制御論理１２として示される回路と、予め決められた不均一レンズ位置データ１８を含むメモリ１４と、カメラ１６、例えば、固定された焦点距離のレンズを有する単一のデジタルカメラ、とを含む装置１０を示す。しかしながら、あらゆる適切なカメラを採用可能である。装置１０は、例えば、デジタルカメラが一体化された携帯電話、ハンドヘルドデジタルカメラ、又はデジタルカメラを採用するか又はデジタルカメラと直接又は間接的に接続する適切なデバイスであることができる。オートフォーカス制御論理１２は、適切な構造として実装することができ、限定されることなしに、ディスクリートロジック、格納されたコンピュータによって読み取り可能な命令を実行する１つ以上のプロセッサ、又はその他の適切な構造を含む。メモリ１４は、ＲＡＭ、いずかの適切な形態のＲＯＭ、例えばレジスタ、又はアドレッシング可能メモリ、であることができ、又は希望に応じてホストシステムメモリ、ローカルキャッシュメモリ又はその他の適切なメモリを含むその他の適切なメモリであることができる。予め決められた不均一レンズ位置データ１８は、例えば集積回路への入力ポートに電圧レベルを提供して所定のカメラのための不均一レンズ位置データを示す抵抗器アレイの形態で提供することもできる。デジタルカメラの各メーカーは、異なる特徴を有することがあり、従って、使用される特定のカメラに依存して異なる予め決められた不均一レンズ位置データを採用することができる。] 図１
[0012] 図２及び３も参照し、例えばオートフォーカス制御論理１２及び装置１０によって実行することができる方法が示される。さらに、図形は、予め決められた不均一レンズ位置データ１８（８つの非ゼロドット）を示し、その値は、メモリ１４に格納するか又は抵抗器アレイを介して又はその他の何らかの適切な方法で提供することができる。この情報は、装置１０内のカメラ１６の経験的試験を通じて推測的に得ることができ又はその他の何らかの適切な方法で得ることができる。従って、データは、インターネット又はその他のネットワークを介してダウンロード可能であり又はメモリ１４等のＥＥＰＲＯＭ内に格納するか又は何らかの適切な方法を通じてオートフォーカス制御論理１２に提供することができる。示されるように、予め決められた不均一レンズ位置データ１８は、例えば、幾つかのステップ、例えば、総数２５５のうちの幾つかの位置決めステップ、に関するレンズ位置、及び物体がこれらの位置において焦点が合った状態にある場合における所定のレンズ位置におけるカメラからの決定された物体距離を表す。一例として、物体距離がカメラから１１８ｃｍである場合は、ほぼ１５５の予め決められた不均一レンズ位置が用いられることが示される。物体がカメラに近いほど、オートフォーカス動作のために４つのレンズ位置を利用する必要があることが判明している。例えば、
図２を参照し、該方法は、ステップ２０２において示されるように、予め決められた不均一レンズ位置データ１８に対応する複数の不均一レンズ位置にカメラ１６のレンズを位置決め又は変更することを含む。従って、オートフォーカス制御論理１２は、例えば、カメラ１６を位置決めするために予め決められた均一レンズ位置制御情報２０をカメラ１６に送信し、該カメラは、レンズがこの位置にあるときに画像をキャプチャし、レンズが不均一レンズ位置１８のうちの１つにあったときに得られたキャプチャされた画像又はフレーム２２を戻す。次に、各々の受信されたキャプチャされた画像がオートフォーカス制御論理１２によって解析され、フレームごとに又はサブフレームごとに、画像シャープネスメトリック情報、例えば、画像が所定のレンズ位置においてどの程度シャープであるかを示す値、を決定する。所定の画像のためのこの情報は、一時的にメモリに格納することができる。次に、オートフォーカス制御論理は、予め決められた不均一レンズ位置制御情報２０を用いて次の希望されるレンズ位置にレンズを移動させ、このレンズ位置において他の画像がカメラ１６によってキャプチャされる。次に、その新しいフレームのためのシャープネス画像メトリック情報が入手され、前画像の前画像焦点メトリックと比較される。それがよりシャープな画像であると決定された場合は、それは、次のキャプチャされた画像との比較を目的として格納される。次に、プロセスは、オートフォーカスプロセスが山登り法（ｈｉｌｌ−ｃｌｉｍｂｉｎｇ ｍｅｔｈｏｄ）、全探索（ｆｕｌｌ ｓｅａｒｃｈ）法又はその他の方法のいずれを用いているかに依存して予め決められた不均一位置データ１８によって識別された各々の希望される不均一レンズ位置に関して継続される。ブロック２０４において示されるように、該方法は、例えば最良の画像シャープネスメトリックを有するフレームを生成したレンズ位置を選択することによって不均一レンズ位置に基づいて最適なレンズ位置を選択することを含む。このレンズ位置は、ユーザがキャプチャすることを希望する最終画像をキャプチャするためのレンズ位置として用いられる。予め決められた不均一レンズ位置データ１８は、例えば、オンラインオートフォーカスプロセス中に用いるためのルックアップテーブルとしてメモリ１４に格納することができる。] 図２
[0013] その他の既知のシステムと比較して、上記プロセスは、例えば ２５ステップごとに均一レンズ位置を用いるオートフォーカスシステムに関して典型的であると思われる最大で１１のフレームとは対照的に、最大で７つ又は８つのフレーム（各不均一レンズ位置において１つ）のみをキャプチャ又は評価する必要があるため、より高速なオートフォーカスプロセスを得ることができる。これは、より少ない数のフレームがキャプチャされ及びオートフォーカスの一部として解析されるためより少ない電力消費量であることができる。その他の利点は、当業者によって理解されるであろう。]
[0014] 予め決められた不均一位置データ１８は、いずれかの適切な方法で入手可能であることが理解されるであろう。１つの技法は、例えば固定された焦点距離を有する携帯電話カメラ又はその他のカメラのための許容可能な錯乱円の大きさを確立することであることができる。異なるカメラメーカーは、異なる錯乱円（直径ミクロン）を有することがある。この情報は、メーカーによって提供すること又は当業において知られる実験を通じて決定することができる。視野深度対レンズ位置も決定することができ、全焦点範囲を網羅するために視野深度が重なり合っている焦点距離が不均一レンズ位置として用いられる。例えば、５．６ｍｍ×４．２ｍｍのサイズを有するレンズ（センサ）に関しては、レンズ焦点距離は、５．６ｍｍであることができ、錯乱円の大きさは９．５ミクロンであると推定することができる。１，１７９ｍｍの過焦点距離を用いることができる。従って、予め決められた不均一位置データ１８によって識別される最適なレンズ位置が図３に示される。不均一レンズ位置データ１８は、例えば図３に示されるレンズ特性曲線と関連づけられた不均一レンズ位置（又は移動ステップ）を表す。] 図３
[0015] 一例として、図３の予め決められた不均一レンズ位置（従って、対応するデータ１８）は、携帯電話カメラに関して次のように確立することができる。] 図３
[0016] センササイズ： ３．２ＭＰ（ピクセルサイズ２．７ミクロン）
レンズ：焦点距離：５．６ｍｍ
固定開口：２．８（Ｆ数）
ＣｏＣ直径：９．５ミクロン
３０％の相対コントラストにおけるこの携帯電話カメラのための測定された解像度は、ＭＴＦ３０＝０．２８３サイクル／ピクセルである。これで、錯乱円（ＣｏＣ）の直径は、測定されたＭＴＦ３０に基づき９．５ミクロンになる。]
[0017] 上記の情報（Ｆ数、焦点距離及びＣｏＣ直径）を用いて、各々の物体距離に関する視野深度（ＤＯＦ、前後）を計算することができる。すなわち、各々のレンズ位置に関して、焦点が合っている物体距離の範囲が推定される。選択された物体距離が、焦点が合っている物体距離の範囲が重なり合うような物体距離である場合は、これらは、最小数の不均一レンズ位置として指定される。下表Ｉは、選択された物体距離（第１列）及びその対応する焦点が合っている物体距離の範囲（第４列）を示す。これで、（すなわち、各々の物体距離（第１列）の地点に物体を置き、オートフォーカスプロセスを通じて最適なレンズ位置を見つけることによって）対応するレンズ位置（第５列）を確立することができる。一例として、レンズを位置５６に置いたときに、距離１５３ｍｍ乃至２０５ｍｍの地点における全物体に焦点が合った状態になる。他の例として、レンズ位置９３は、距離２０４ｍｍ乃至２９７ｍｍを有する全物体を網羅し、以下同様である。]
[0018] 表内の最後の物体位置（１１７９ｍｍ）は、過焦点距離と呼ばれ、焦点が合っている物体距離の最大範囲、すなわち５９０ｍｍ乃至無限大、を網羅する。すなわち、レンズを位置１５５においた場合は、５９０ｍｍ乃至無限大の間に置かれた全物体に焦点が合っている。]
[0019] 上例は、以下を示す。]
[0020] オートフォーカスプロセス中には、例えば１１の均一レンズ位置（０、２５、５０、７５、．．．、２５０）の代わりに８つの不均一レンズ位置（０、７、１２、３３、５６、９３、１１９及び１５５）のみを用いることができる。それは、オートフォーカスプロセスにとってのレンズ位置の有意な減少である。]
[0021] 予想されるように、大部分のレンズ位置は、短距離（すなわち、８０ｍｍ乃至６００ｍｍ）における物体に関連する。実際、視野深度は短距離においては非常に狭い／浅いため、短距離の物体のためのレンズ位置数が多いほど信頼性がより高い焦点位置決定が可能である。]
[0022] オートフォーカス動作のためのレンズ位置数をさらに減少させるために、以下の３つのモードを用いることができる。]
[0023] （ａ）マクロモード：短距離（８０ｍｍ乃至６００ｍｍ）における物体
（ｂ）風景モード：長距離（６００ｍｍ超）における物体
（ｃ）通常モード：デフォルトモードは、全範囲（８０ｍｍ乃至無限大）を網羅する。]
[0024] 図４は、カメラ１６を含むハンドヘルドデバイス１００の一例を示すブロック図である。ハンドヘルドデバイス１００は、付属品としてのカメラを備えた携帯電話、パーソナルデジタルアシスタント（“ＰＤＡ”）、ポータブルオーディオプレーヤ、ポータブルビデオプレーヤ、又はその他のモバイルデバイスであることができる。当業において認識されるカメラ１６は、典型的には、焦点距離が固定されたレンズを有する電荷結合素子（“ＣＣＤ”）画像センサ又は相補型金属酸化膜半導体（“ＣＭＯＳ”）画像センサを内蔵するデジタルカメラである。しかしながら、ハンドヘルドデバイスの制限されたサイズ及び電力消費量に関する要求を満たすことが可能などのようなカメラも用いることができる。] 図４
[0025] 一例において、ハンドヘルドデバイス１００は、携帯電話であることができ、当業において知られるように無線電話サブシステム１１２に無線信号１６０を送信するか又は無線電話サブシステム１１２から無線信号１６０を受信するためのアンテナ１１０を含むことができる。ユーザインタフェース１０８は、ハンドヘルドデバイス１００の特徴、例えば、無線電話サブシステム１１２へのインタフェース信号１６８を動作させること、シャッタボタン信号１１８を通じてカメラ１６による画像のキャプチャを開始すること、にユーザがアクセスするのを可能にする。ユーザインタフェース１０８は、典型的には、構成要素、例えば、限定されることなしに、キーパッド、ボタン、及びディスプレイ１１４を通じてのフィードバック１８８、等の組み合わせを用いてハンドヘルドデバイス１００にユーザを接続する。その他のユーザインタフェース機構、例えば音声認識及びタッチ画面、も幅広く利用可能であり、当業において知られていることが理解され、当業者は、ハンドヘルドデバイスに適するあらゆるユーザインタフェースを使用可能であることを理解するであろう。ディスプレイ１１４は、ハンドヘルド用途に適したあらゆるディスプレイ、例えば、限定されることなしに、ＬＣＤ（液晶ディスプレイ）、ＬＣＤ−ＴＦＴ（ＬＣＤ−薄膜トランジスタ）、ＯＬＥＤ（有機発光ダイオード）、ＦＥＤ（界効果ディスプレイ）であることができる。代替として、システムバス１６６を介してユーザインタフェース１１２に接続するためにその他のサブシステム１１６を提供することが可能である。その他のサブシステム１１６は、限定されることなしに、オーディオプレーヤ、ビデオプレーヤ、個人情報マネージャ（“ＰＩＭ”）、ボイスレコーダ、インターネットアクセス、又はメッセージ伝送アプリケーションを含むことができる。]
[0026] 一例において、ユーザは、ユーザインタフェース１０８を通じてハンドヘルドデバイス１００における画像のキャプチャを開始する。例えば、指定されたボタンを半押しすることは、シャッタボタン信号１１８にオートフォーカスルーチンを開始させることができ、完全に押すことは、メモリに格納すること、及び／又は表示データ１６４として表示することができる最終画像をキャプチャするために画像キャプチャプロセスの次のステップに自動的に移行するオートフォーカスルーチンを開始させることができる。加えて、ユーザインタフェース１０８は、ピクチャをキャプチャするために指定されたボタンを完全に押すことを提供することができ、半押しオートフォーカスルーチンが完了されるまで全押し機能を起動させないことができる。図４の例において、シャッタボタン信号１１８は、オートフォーカス制御論理１２によって受信される。あらゆる機能、例えば、画像シャープネスメトリック論理及びキャプチャ論理１３６又はその他の適切な動作、を組み合わせ可能であることが理解されるであろう。] 図４
[0027] 上述されるように、一連の画像が可変の不均一レンズ位置においてキャプチャされ、オートフォーカス制御論理１２によって解析される。オートフォーカス制御論理１２は、予め決められた不均一制御情報２０を焦点ドライバ１２６に送信し、焦点ドライバ１２６は、カメラインタフェースバス１９０を通じて不均一レンズ位置データ１８をカメラ１６に送信する。さらに、自動露光回路１２４は、シャッタドライバ信号１７４をシャッタドライバ１２８に送信し、シャッタドライバ１２８は、画像をキャプチャするためにカメラインタフェースバス１９０を通じてシャッタ開閉コマンドをカメラ１６に送信する。オートフォーカスコントローラ１９１は、自動露光動作を起動するための自動露光制御信号１７０を生成する。この例においては、カメラ１６は、カメラインタフェースバス１９０を通じて光学ズームドライバ１３０及びフラッシュドライバ１３２にも接続され、光学ズームドライバ信号１７２及びフラッシュドライバ信号１８４によってそれぞれ制御される。光学ズームドライバ及びフラッシュドライバは、当業においてよく知られる。しかしながら、本発明は、光学ズームドライバ１３０又はフラッシュドライバ１３２又は示されるその他の機能なしで実装可能であることが理解される。光学ズーム動作が用いられる場合は、予め定義されたレンズ位置を各々のレンズ焦点距離に関して決定すべきである。]
[0028] 一例において、焦点ドライバ１２６及びシャッタドライバ１２８に情報が送信された後に、カメラ１６によって画像がキャプチャされ、画像ピクセル情報１３４がカメラ１６から画像キャプチャ論理１３６に送信される。当業において知られるように、画像キャプチャ論理１３６は、カメラの画像センサのための利得、等を設定し、そのセンサによってピクセル情報キャプチャを受信する。画像キャプチャ論理１３６は、様々な方法で実装し、オートフォーカス制御論理１２以外の回路内に配置できることが当業者によって理解されるであろう。画像ピクセル情報１３４は、画像シャープネスメトリック論理１２０に送信され、ＲＯＩ又は画像全体の画像シャープネスメトリック情報１３３が計算される。例えば、画像は、対象領域（ＲＯＩ）に分割し、各ＲＯＩに対して統計的解析を順次又は並行して行うことができる。ピクセル情報は、画像の水平次元にわたって走査することができ、従って行（ｒｏｗ）内の全ＲＯＩが同時に処理される。画像シャープネスメトリック情報１３３は、様々な方法を用いて決定できることが当業者によって理解されるであろう。一例として、画像の二乗ラプラシアン（ｓｑｕａｒｅｄ Ｌａｐｌａｃｉａｎ）ｇ（ｘ、ｙ）を用いてメトリック情報を計算するラプラシアン法（二乗ラプラシアン）のエネルギーを用いることができる。この例においては、
画像シャープネスメトリック情報は、メトリック＝ΣｘΣｙ．［ｇｘｘ＋ｇｙｙ］２として表され、
ここで、
ｇｘｘ＝ δ２／δｘ２、及び
ｇｙｙ＝ δ２／δｙ２
離散ラプラシアンは、垂直及び水平な近隣のみを含む次のカーネルによって近似値が求められる。]
[0029] ０ １ ０
１ −４ １
０ １ ０
又は
０ −１ ０
−１ ４ −１
０ −１ ０
より徹底的にするために、対角の近隣を含む以下のラプラシアンカーネルを用いることができる。]
[0030] １ １ １
１ −８ １
１ １ １
又は
−１ −１ −１
−１ ８ −１
−１ −１ −１
ハードウェア上の制限が上記のカーネルの使用を除外する状況においては、１つの方向、例えばピクセル走査に沿った水平方向、のみのラプラシアン演算子を用いることができる。]
[0031] メトリック＝Σｘ［ｇｘｘ］２
その結果、水平方向に沿った次のラプラシアンカーネルが用いられる。]
[0032] １ −２ １
又は
−１ ２ −１
ピクセル走査に水平に沿ってラプラシアン演算子を用いた画像に関するメトリックの計算は以下のようになる。
メトリック＝Σ［（Ｐｉ−１−２＊Ｐｉ＋Ｐｉ＋１）＊（Ｐｉ−１−２＊Ｐｉ＋Ｐｉ＋１）］
ここで、Ｐｉは、現在のピクセルの値であり、Ｐｉ−１は、前ピクセルの値であり、Ｐｉ＋１は、次のピクセルのピクセル値である。]
[0033] メトリックを決定する他の例は、画像のグラディエント（Ｇｒａｄｉｅｎｔ）のエネルギーである。画像のグラディエントのエネルギーは、その画像のグラディエントの二乗であると定義されｇ（ｘ，ｙ）、ここで、
メトリック＝ΣｘΣｙ［ｇｘ．＋ｇｙ］２
ここで、
ｇｘ＝δ／δｘ
ｇｙ＝δ／δｙ
水平方向に沿ったグラディエントの離散エネルギーは、次のように表される。]
[0034] メトリック＝Σ［（Ｐｉ＋１−Ｐｉ）＊（Ｐｉ＋１−Ｐｉ）］
上記において定義される画像のメトリックは、画像の相対シャープネスの尺度である。焦点メトリック及び画像シャープネスメトリックは、同じ方法で計算することができる。]
[0035] 当業において知られるビデオアッパープロセッサ（ｖｉｄｅｏ ｕｐｐｅｒ ｐｒｏｃｅｓｓｏｒ）（ＶＵＰ）１４２は、画像ピクセル情報１３４を受信する１クロック当たり単一ピクセルのプロセッサ（ｓｉｎｇｌｅ ｐｉｘｅｌ ｐｅｒ ｃｌｏｃｋ ｐｒｏｃｅｓｓｏｒ）である。画像ピクセル情報１３４は、示されるような画像シャープネスメトリック論理１２０によってＶＵＰ１４２に送信することができ、又は画像ピクセル情報１３４は、画像キャプチャ論理１３６等の他の回路又は論理から直接受信できることを当業者は理解するであろう。一例において、画像処理は、中間の処理画像ピクセル情報１６２をビデオロワープロセッサ（ｖｉｄｅｏ ｌｏｗｅｒ ｐｒｏｃｅｓｓｏｒ）（ＶＬＰ）１４４に送信することによってさらに実行される。ＶＬＰ１４４は、当業において知られるように１クロック当たり複数のピクセルのプロセッサ（ｍｕｌｔｉｐｌｅ ｐｉｘｅｌ ｐｅｒ ｃｌｏｃｋ ｐｒｏｃｅｓｓｏｒ）を用いる。ＶＵＰ１４２及びＶＬＰ１４４は両方ともプロセッサであるため、それらの画像処理機能は、アプリケーションに依存して１つのプロセッサ、又は３つ以上のプロセッサによって実行することができる。その他の例においては、プロセッサは、限定されることなしに、単一の集積回路又は複数の集積回路上におけるフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ＡＳＩＣ、マイクロプロセッサ又は中央処理装置（ＣＰＵ）、マイクロコントローラ、ステートマシン、又はその組み合わせであることができる。一例において、処理画像ピクセル情報１４６は、ＪＰＥＧ符号化論理１４８において産業規格ＪＰＥＧ（ジョイント・フォトグラフィック・エキスパーツ・グループ）フォーマットに符号化し、メモリ１５４に格納するためにメモリバス１９８において送信することができる。代替として、処理画像ピクセル情報１４６は、ＪＰＥＧ符号化論理１４８におけるＪＰＥＧ符号化と同時並行して、ＪＰＥＧ符号化前又は後の時点において、ディスプレイ１１４上に表示すること、又はＪＰＥＧ符号化なしで表示することができる。]
[0036] この例においては、オートフォーカス制御論理１２は、レンズ位置コントローラ回路又は焦点ドライバ１２６と、画像キャプチャ論理１３６と、画像シャープネスメトリック論理１２０と、デプスマップ生成器１８９と、オートフォーカス制御論理１９１と、を含む。しかしながら、機能のあらゆる適切な組み合わせをオートフォーカス制御論理として用いることができることが理解されるであろう。例えば、画像キャプチャ論理１３６は、カメラ１６の一部として埋め込むことができ、その他の機能を希望に応じて適切に組み合わせることが可能である。焦点ドライバは、当業において知られるようにレンズを移動させるハードウェアドライバである。オートフォーカス制御論理１２は、例えば、ユーザがキャプチャボタンを完全に押したときに、最終画像を撮影するためにオートフォーカスプロセス後に用いられるレンズのための最適なレンズ位置を選択する。例えば、オートフォーカス制御回路１９１は、第１の予め決められた不均一レンズ位置データ１８、例えば最低の格納された位置、を得ることができ、固定焦点距離レンズをその第１の位置に移動させるために予め決められた不均一レンズ位置情報２０をレンズ位置コントローラ回路１２６に提供する。次に、当業おいて知られるように、フレームがキャプチャされて処理のために画像キャプチャ論理１３６に渡される。画像シャープネスメトリック論理１２０は、画像の焦点メトリック情報（画像シャープネス情報１３３）を決定し、焦点メトリック情報１３３を一時的な最適な焦点メトリック情報として格納する。それは、この情報をキャッシュメモリ又はその他の適切なメモリ、例えば、オートフォーカス制御回路１９１によってアクセス可能なメモリ、に格納することができる。オートフォーカス制御回路１９１は、例えば、次の画像をキャプチャするために、次のレンズ位置、すなわち、メモリ１４に格納された予め決められた不均一焦点位置データ１８によって示される次の不均一位置、を決定することができる。次に、画像シャープネスメトリック論理１２０は、次の画像の焦点メトリック情報を決定する。これは、例えば、オートフォーカス制御回路１９１に提供され、オートフォーカス制御回路１９１は、２つのフレームの格納された一時的な最適な焦点メトリック情報及び次の焦点メトリック情報を比較し、２つのうちの最良の又は好ましいメトリックを新しい一時的な最適な焦点メトリック情報として保持する。このプロセスが、すべての不均一レンズ位置に関して繰り返され、この例においては、図３に示されるように８つのレンズ位置である。従って、レンズは、変化する予め決められた不均一の最適なレンズ位置に変更されるか又は移動される。画像を得るためにすべての不均一レンズ位置が使用され及びすべての焦点メトリック情報が計算された時点で、オートフォーカス制御回路は、ユーザがピクチャボタンを完全に押した時点で最良の焦点メトリック情報を有するレンズ位置を、最終画像をキャプチャするための位置として選択する。] 図３
[0037] 図５は、使用可能な山登り法を例示し、プロセスの異なる段階、例えば、探索方向決定フェーズ５０１、ピーク検出フェーズ５０３、等を示し、プロセスのピーク検出フェーズは、最終画像を撮影するための最終的なレンズ位置として用いるための最良の不均一レンズ位置を決定するために用いられる。ブロック５０２において示されるように、該方法は、例えば、ユーザがピクチャ選択ボタンを半押ししているか又はその他の方法でオートフォーカスプロセスを指示しているのを検出することによって開始する。ブロック５０４において示されるように、該方法は、予め決められた不均一レンズ位置データ１８によって決定された一時的な最適なレンズ位置にレンズを変更することを含む。ブロック５０６において示されるように、該方法は、画像をキャプチャすることと、その画像又はフレームのための焦点メトリック情報を決定することと、ブロック５０８において示されるように次のレンズ位置にレンズを設定（ｃｏｎｆｉｇｕｒｅ）すること、とを含む。ブロック５１０において示されるように、該方法は、画像をキャプチャすることと、新しい不均一レンズ位置において得られたフレームのための画像シャープネスメトリックを計算すること、とを含む。ブロック５１４において示されるように、位置探索方向に関する決定が行われる。例えば、探索方向がプラス（ｐｏｓｉｔｉｖｅ）であるかマイナス（ｎｅｇａｔｉｖｅ）であるかに関する決定がオートフォーカス制御回路１９１等によって行われ、プラス（０から２５５に進む）は、遠く離れた物体に対応するレンズ位置であることを示し、マイナスの位置は、レンズ位置がそれよりも近い物体に関するレンズ位置であることを示す。該方法は、プロセスがブロック５１５において示されるようにプラスの探索方向を用いる場合はレンズ位置を増分し、又は、ブロック５１３に示されるようにそれがマイナスの方向である場合はレンズ位置を減分することを含む。ブロック５１６に示されるように、レンズは、次の位置に移動され、次の画像がキャプチャされ、画像シャープネスメトリックが決定される。ブロック５１８において示されるように、該方法は、近隣探索を行うことによって最大の焦点メトリック（例えば、ピークレンズ位置）が見つけ出されているかどうかを決定することを含む。ピーク検出は、３つの近隣レンズ位置に関する焦点メトリック（ＦＭ）値の上昇又は下降を検出することに基づく。例えば、
第１のレンズ位置７５：ＦＭ値＝１０００
第２のレンズ位置１００： ＦＭ値＝１２００
第３のレンズ位置１２５： ＦＭ値＝８３０
この上下パターンは、焦点メトリック値のピークを示す。従って、論理は、最良の焦点はレンズ位置１０に（又はその近くに）存在すると断定する。ブロック５１９において示されるように、該方法は、最適なレンズ位置を決定することを含む。焦点メトリック値の挙動は、放物線（すなわち、２次多項式）によって最良の焦点レンズ位置に対してモデル化できることが判明しており、それに基づき、焦点メトリック値における“真の／最良の”ピークが推定され、その対応するレンズ位置が用いられる。上記の事例に関して、最適な焦点メトリック値は、９６のレンズ位置において１２０６であると推定される。] 図５
[0038] ピークが検出されない場合は、ブロック５２２において示されるように次の位置が用いられる。上述されるように、その他の利点の中で、短距離の地点の物体は、最良の焦点レンズ位置を確立するためにより多くの不均一レンズ位置又はそれらの位置からのフレームを使用し、その結果より良い最終画像が得られることがわかっている。さらに、距離の範囲全体を用いてオートフォーカス動作のための最良の又は最終的なレンズ位置を検出する場合に、より少ない数のフレームを用いる必要がある。より少ない数のフレームがキャプチャされて処理されるためバッテリ電力も低減される。さらに、一例においては、予め定義された不均一レンズ位置の組は次の特徴を有する。すなわち、予め定義された不均一のレンズ位置であり（例えば、固定されていない数の位置だけ、例えば１０の位置ごとに離れている）、短い物体距離にはより短い間隔が用いられ、長い物体距離にはより長い間隔が用いられる。該組内には最小限の数が存在し、該組は、過焦点距離レンズ位置を含み、過焦点距離レンズ位置は、最大の視野深度を有し、焦点が合った物体距離の最大の範囲を網羅し、従って統計的に最も可能性が高い焦点レンズ位置であるため、デフォルトの（すなわち、初期の）レンズ位置として用いることができる。]
[0039] 図６は、単一のカメラ１６、例えば固定された焦点距離を有するレンズを備えた単一のカメラ、又はその他の適切な単一のカメラ、によってキャプチャされた画像の対象領域に基づいてデプスマップ６０４を生成するために動作可能なデプスマップ生成論理６０２を採用する装置６００の他の実施形態を示す。デプスマップ６０４は、希望に応じてキャッシュメモリ、フレームバッファメモリ、又はその他の適切なメモリであることができるメモリ６０８に格納することができる。デプスマップ生成論理６０２は、均一又は不均一レンズ位置データに基づいてカメラのレンズ位置設定を制御するためのレンズ位置制御情報６０８も提供する。レンズ制御は、上述されるように動作するが、例えば均一位置データがメモリに格納されるときには、不均一レンズ位置とは対照的に、この情報は、レンズ位置を制御するために及びこれらのレンズ位置における対応する情報フレームを得るために用いられる。従って、デプスマップ生成論理６０２は、オートフォーカス制御動作に関して上述されるのと同様のレンズ位置制御情報生成論理も含む。図７も参照し、デプスマップ生成論理６０２は、例えば画像シャープネスメトリック論理１２０を用いて各対象領域のための焦点メトリック情報１３３を決定する。例えば、フレームが２５のエリアに分割される場合は、各々のエリアは、対象領域であるとみなされ、従って２５のメトリック（各々の対象領域ごとに１つ）が計算される。デプスマップ生成論理６０２は、デプスマップ６０４を生成するためにすべての関連するキャプチャされたフレームから得られた焦点メトリック情報に基づいて対象領域の各々のための最適なレンズ位置を決定し、従って、デプスマップは、複数のフレームからの焦点メトリック情報１３３に基づく。従って、異なるレンズ位置において幾つかの画像をキャプチャするために単一のカメラが用いられ、これらの画像の各々が対象領域に分割される。次に、各フレーム内の対象領域の各々に関して焦点メトリック情報が生成され、各フレームからの最高のメトリックを用いてデプスマップ６０４に入れられる（ｐｏｐｕｌａｔｅ）。従って、デプスマップ生成論理６０２は、デプスマップ６０４に入れるための対象領域デプスマップ情報６１２を提供する。対象領域デプスマップ情報は、例えば、１つの対象領域に基づく値及び／又は後述されるその他の情報であることができる。] 図６ 図７
[0040] 装置６００は、レンズ位置データを含む上記のメモリ６０８を含み、及び、生成されたデプスマップに基づいて画像生成動作を行うための論理も含む。例えば、デプスマップ生成器論理１８９は、例えば、最終画像を撮影するためにカメラのフラッシュが用いられるか又は用いられないようにフラッシュ動作を制御することができる（図４参照）。他の例として、画像生成動作は、例えばビデオアッパープロセッサ又はその他の適切な色処理回路による色処理動作を制御することであることができる。その他の適切な画像生成動作も、デプスマップ情報に基づいて制御することが可能である。] 図４
[0041] 図８は、ブロック８０２において開始する、デプスマップ６０４を生成するための画像処理方法の一例を示し、ブロック８０４において示されるように、単一のデジタルカメラを用いて、レンズ位置データに基づく一組のレンズ位置に対応する一組の画像をキャプチャすることを含む。一組のレンズ位置に対応する一組の画像をキャプチャすること（ブロック８０４）は、第１のレンズ位置において画像をキャプチャすることと、一組のレンズ位置から選択された次のレンズ位置を選択することと、次のレンズ位置において次の画像をキャプチャすることと、該組が空になるまでさらに次のレンズ位置においてさらに次の画像をキャプチャすること、とを含む。ブロック８０６において示されるように、該方法は、画像の組内の各画像のための対象領域を決定することを含む。上述されるように、これらの動作は、好ましくは順次で行われ、各フレームが得られてそのフレームのための対象領域が生成され、デプスマップ内の対応する対象領域の以前のメトリックと比較され、所定の対象領域のための最高のメトリックがデプスマップに格納される。ブロック８０８において示されるように、該方法は、上述される組の各画像内の対象領域の各々のための焦点メトリック情報を決定することを含む。ブロック８１０において示されるように、該方法は、得られたフレームの部分組又は全部からの焦点メトリック情報に基づいて対象領域の各々にとっての最適なレンズ位置（例えば、最高のメトリックにおけるレンズ位置）を決定することを含む。ブロック８１２において示されるように、該方法は、キャプチャされた画像の組を得るために用いられた最適なレンズ位置に基づいてフレームの対象領域用のデプスマップを生成することを含む。ブロック８１４に示されるように、デプスマップがいったん生成された時点で、それは、画像処理動作、例えば、フラッシュを起動させる、フラッシュを使用不能にする、用いられる最終画像のための色エンハンスメント動作を選択する、又はその他の適切な画像処理動作、を行うために用いることができる。] 図８
[0042] 図９は、デプスマップを作成するために生成されて用いられるデータの一例を示す。この例においては、データは、各ＲＯＩのための最良のレンズ位置を含む。このレンズ位置情報は、図１２に示される（格納された）データに基づいてデプスマップ用の距離を決定するために用いられる。しかしながら、あらゆる適切な情報を格納可能であることが理解されるであろう。示されるように、カメラの視野を均一に網羅する５×５の対象領域配列が存在する。この例においては、結果は、約６ｍの動作距離からの結果である。これらの配列は、２５０のレンズ位置におけるものであり（ｔａｋｅｎ）、各々の対象領域ごとに３つの数値が表示される。この例においては、値又はメトリック９００は、レンズ位置２５０における焦点シャープネスメトリックを表す。メトリック９０２は、評価された全画像からの対象領域に関して達成された最適な／最大の焦点メトリック値を表し、値９０４は、最高の画像シャープネスメトリック値に対応する最適なレンズ位置を表す。最終画像のためにカメラの焦点を合わせるために視野の中心、例えば対象領域９０６、が用いられる。しかしながら、最終画像プロセス中にカメラの焦点を合わせるために中心の対象領域の代わりに高い画像シャープネスメトリック値９００を有するその他の対象領域を用いることができる。このデプスマップは、中心の対象領域９０６及び中心の対象領域９０６の周囲の大部分の対象領域に基づいて１７５における最良の総合的レンズ位置を示す粗デプスマップを提供する。生成されたデプスマップ６０４（表ＩＩに示される例）は、様々なプロセスを向上させるために有効に用いることができる。例えば、ターゲット追跡の場合は、そのターゲットが一定の距離、例えば６０ｃｍ、を越えているかぎりにおいて、ターゲットがカメラに接近中であるか遠ざかっている場合でもレンズ位置を調整する必要がない。さらに、上述されるように、フラッシュを用いるべきかどうかに関する決定もデプスマップに基づいて用いることができる。希望に応じて、その他のプロセスもデプスマップに基づいて修正又は利用することができる。ブロック８１４において示されるように、該方法は、最良の焦点位置に基づいて最終画像のキャプチャのための特定の対象領域に焦点を合わせるようにレンズを制御することを含む。] 図１２ 図９
[0043] デプスマップ生成は、追加のセンサ（レンジセンサ、光飛行時間センサ、位相検出センサ）、デバイス（例えば、ステレオカメラシステム）、及び構造化された光（例えば、構造化された長方形格子レーザ）を用いずに行われる。デプスマップを生成するために、レンズ位置と物体距離との間の関係が用いられる。これは、所定の携帯電話カメラモデル用に事前に生成することができ、カメラ操作中に用いるためにルックアップテーブル（ＬＵＴ）として保存することができる。図１２は、上記のカメラに関するこの関係を示す。図１２に示される点は、メモリに格納され、格納された点間の点は、希望に応じて補間することができる。] 図１２
[0044] デプスマップ生成は、所定の場面に関して次のように行われる。]
[0045] カメラの視野（ＦＯＶ）が一組の長方形の対象領域（ＲＯＩ）に分割される。例えば、８×６ＲＯＩ。]
[0046] （ａ）レンズ位置が位置“０”から位置“２５５”に変更されるのに応じて一組のｎの画像がキャプチャされる（合計２５６のレンズ位置を想定）。（上記において定義される）８つの不均一な又は１１の均一なレンズ位置を用いることができる。]
[0047] （ｂ）各ＲＯＩに関する（ｎのキャプチャされた画像に対応する）ｎの推定される焦点メトリック値の組に基づき、各ＲＯＩに関して（最良の焦点に対応する）最適なレンズ位置が決定される。]
[0048] （ｃ）レンズ位置と物体距離との間の関係を用いて（例えばＬＵＴとして利用可能）、各ＲＯＩに関する深度（又はＺ距離）を推定することができ、総合デプスマップが生成される。]
[0049] 生成されたデプスマップの細かさ及び粗さのレベルは、次の要因に依存することができる。]
[0050] （ａ）カメラの視野（ＦＯＶ）内における定義された対象領域（ＲＯＩ）の数：これは、ＸＹ（画像）面におけるデプスマップ解像度を決定する。]
[0051] （ｂ）（レンズ位置数に対応する）キャプチャされた画像の数：これは、Ｚ方向におけるデプスマップ解像度（深度／Ｚ距離解像度）を決定する。]
[0052] 粗デプスマップに関する一例が下表ＩＩに示される。]
[0053] このデプスマップからわかるように、大部分のＲＯＩは約８０ｃｍの地点に存在する。より具体的には、カメラの視野内の中心ゾーンは約８０ｃｍの地点にある。]
[0054] この場合は、中心ゾーンはカメラに相対的に近いため、フラッシュ／フラッシュなしの選択は次のようにして容易にされる。すなわち、フラッシュは、低光状態において使用すべきである。]
[0055] 図９に示されるように、各ＲＯＩのための最良のレンズ位置が示される。このレンズ位置は、格納されている図１２のデータポイントに基づいて距離を決定するために用いられる。この例においては、各対象領域の数及びサイズが予め定義され、ここでは２５の数として示され、各対象領域のサイズは同じである。しかしながら、異なる数及び異なるサイズの領域、例えば、視野中心の周囲におけるより小さい領域及び外周の周囲におけるより大きい領域又はその逆又はその他の適切な構成、も採用可能である。さらに、焦点メトリック情報に基づいて対象領域の各々のための最適なレンズ位置を決定することは、この例においては、キャプチャされた画像用の各対象領域のための焦点メトリック情報を決定することと、各対象領域及び次のレンズ位置においてキャプチャされる次の画像のための次の焦点メトリック情報を決定することと、レンズ位置の該組が空になるまで次のレンズ位置においてさらに次の画像内の各対象領域のためのさらなる次の焦点情報を決定すること、とを含む。これが生じている間において、各々の後続する方法は、各対象領域及び各々のキャプチャされた画像のための焦点メトリック情報を、以前のキャプチャされた対象領域及び以前のキャプチャされた画像と比較することと、デプスマップ内の特定の対象領域のためのより良い又はより高いメトリックを格納すること、とを含む。従って、デプスマップの内容が更新され、組の全画像が評価されるまで、シャープネスがより低い対象領域は、対応する対象領域のためのより高いシャープネスメトリック用のメトリックと交換される。デプスマップは、複数の情報を含むことが示されるが、画像の各対象領域のための最適なレンズ位置の組を単に格納することが可能である。] 図１２ 図９
[0056] 図１０は、不均一レンズ位置を用いてデプスマップを生成するための方法を示す。この例においては、デプスマップ生成論理６０２は、例えば、装置内のプログラマブルレジスタを介して、予め格納された製造データにアクセスすることによってカメラの特定のレンズのタイプ１０００を認識する。レンズのタイプが決定された時点で、レンズタイプ情報を用いてメモリから特定の組の不均一レンズ位置データにアクセスすることができる。例えば、レンズタイプデータをレンズ位置に変換するためにルックアップテーブルを用いることができる。] 図１０
[0057] 特定の組の不均一レンズ位置データが識別された時点では、該方法は、均一レンズ位置情報を用いることに関して上述される方法と同様である。例えば、ステップ１００４において示されるように、該方法は、不均一レンズ焦点位置データに基づいて不均一レンズ位置にレンズを設定すること又は移動させることを含む。これで、ステップ１００６において示されるように、対応する画像がキャプチャされ、ブロック８０６に示されるように画像内の対象領域のための焦点シャープネス情報１３３が決定される。ブロック１０１０において示されるように、該方法は、画像をキャプチャするためにすべてのレンズ位置が用いられているかどうかを決定することを含む。すべてのレンズ位置が用いられていない場合は、該方法は、ステップ１０１２において示されるように、次のレンズ位置データポイントに対応する次の位置にレンズを移動させることを含む。しかしながら、レンズ位置の組に対応してすべての画像がキャプチャされている場合は、該方法は、全画像に関してブロック８１０において示されるように全対象領域のためのレンズ位置を決定することを含む。これは、例えば、各々の画像がキャプチャされた後に各画像の対象領域の各々のためのシャープネス情報を決定することと、デプスマップにおいて同じ対象領域と関連づけられたより高いメトリックが得られている場合はメモリ内のメトリックに上書きすること、とを含むことができる。ブロック８１２において示されるように、該方法は、上述されるようにデプスマップを生成することを含む。]
[0058] 図１１は、フレーム情報送信デバイス１１０２、例えば装置１００と、フレーム情報受信デバイス１１０４とを含むシステム１１００の一例を示す。送信デバイスは、例えば、カメラ携帯電話又はその他の適切なデバイスであることができ、受信デバイス１１０４は、他のカメラ携帯電話、デジタルテレビ、デスクトップコンピュータ、ラップトップ、又はその他の適切なデバイスであることができる。この例においては、送信デバイス（受信デバイスでもあることができる）は、例えばＪＰＥＧ符号化論理１４８（図４）を用いるＪＰＥＧ圧縮アルゴリズム又はその他の適切な圧縮アルゴリズム（例えば、動き用ＭＰＥＧ）を用いて最終フレーム又はその一部分を圧縮する。次に、格納されたデプスマップ６０４（すなわち、表ＩＩのデータを表すデータ）及び符号化されたフレーム１９８が、受信デバイス１１０４への通信のために送信される。これは、例えば、無線で、インターネット等のネットワークを通じて、又はいずれかの適切な方法で情報を通信することを含むことができる。さらに、圧縮されたフレーム情報は、圧縮された完全なフレーム、又はフレームの圧縮されたライン、又は複数のフレーム用の情報又はその他の適切な圧縮フレーム情報であることができる。はるかにより多い数のＲＯＩ及びはるかにより多い数のレンズ位置を用いることで、３つのすべてのＸＹＺ軸に沿ってはるかにより高い解像度を有するデプスマップを生成することができる。これは、３Ｄ画像データを生成するために用いることができる。デプスマップデータは、圧縮された又は圧縮されない２Ｄ画像データに添付していっしょに送信することができる。] 図１１ 図４
[0059] 受信デバイス１１０４は、対応する圧縮解除器１１０６と、３Ｄ画像生成器１１０８と、希望される場合のディスプレイ１１１０と、を含む。動作においては、受信デバイスは、圧縮されたフレーム情報１９８及び対応するデプスマップ６０４を受信し、圧縮されたフレーム情報１９８を、その情報を圧縮するために用いられた圧縮アルゴリズムに対応する圧縮解除アルゴリズムを用いて圧縮解除する。圧縮解除されたフレーム情報１１１２は、デプスマップ情報６０４とともに、３Ｄ画像生成器、例えば３Ｄグラフィックスプロセッサ又はその他の適切な構造、に提供される。破線の矢印１１１４によって示されるように、デプスマップも、３Ｄ画像生成器１１０８によって用いるために圧縮すること及び圧縮解除することができる。３Ｄ画像生成器は、圧縮解除されたフレーム情報及びデプスマップ情報を用いてこの情報に基づいて３Ｄ画像を生成することができる。デプスマップ６０４は、上述されるように単一のカメラに基づくデプスマップ６０４であり、単一のカメラは、上記される均一な又は不均一なレンズ位置に基づいて一続きのフレームを得るために利用される。]
[0060] 本発明に関する上記の詳細な説明及びそこにおいて記述される例は、例示及び説明することを目的として提示されており、制限するものではない。従って、本発明は、上記において開示され及びここにおいて請求される基本的な原理の精神及び適用範囲内にあるあらゆる、すべての修正、変形又はその同等物を網羅することが企図される。]

权利要求:

請求項1
方法であって、デジタルカメラを用いて、レンズ位置データに基づいて一組のレンズ位置に対応する一組の画像をキャプチャすることと、前記組の各画像内の複数の対象領域の各々のための焦点メトリック情報を決定することと、前記組内の前記画像からの焦点メトリック情報に基づいて、前記対象領域の各々のための最適なレンズ位置を決定することと、前記最適なレンズ位置に基づいてデプスマップを生成することと、前記生成されたデプスマップに基づいて画像生成動作を行うこと、とを備える、方法。
請求項2
前記レンズ位置データは、格納された予め決められた不均一レンズ位置データを備える請求項１に記載の方法。
請求項3
前記画像生成動作を行うことは、最終画像キャプチャのための特定の対象領域に焦点を合わせるように前記レンズを制御すること、画像色生成を制御すること、及びフラッシュ動作を制御することのうちの少なくとも１つを備える請求項１に記載の方法。
請求項4
レンズ位置データに基づいて一組のレンズ位置に対応する一組の画像をキャプチャすることは、第１のレンズ位置において画像をキャプチャすることと、前記レンズ位置から選択された次のレンズ位置を選択することと、前記次のレンズ位置において次の画像をキャプチャすることと、前記組が空になるまでさらなる次のレンズ位置においてさらなる次の画像をキャプチャすること、とを備える請求項１に記載の方法。
請求項5
各対象領域の数及びサイズは、予め定義される請求項１に記載の方法。
請求項6
前記焦点メトリック情報に基づいて、前記対象領域の各々のための最適なレンズ位置を決定することと、キャプチャされた画像のための各対象領域のための焦点メトリック情報を決定することと、前記レンズ位置から選択された次のレンズ位置においてキャプチャされた次の画像内の各対象領域のための次の焦点メトリック情報を決定することと、レンズ位置の前記組が空になるまでさらなる次のレンズ位置においてさらなる次の画像内の各対象領域のためのさらなる次の焦点メトリック情報を決定することと、各々のキャプチャされた画像内の各対象領域のための焦点メトリック情報を比較し、最も有利な焦点メトリック情報に基づいて各対象領域のための最適なレンズ位置を格納すること、とを備える請求項１に記載の方法。
請求項7
前記最適なレンズ位置に基づいてデプスマップを生成することは、画像の各対象領域のための一組の最適なレンズ位置を格納することを備える請求項１に記載の方法。
請求項8
装置であって、レンズ位置データに基づいて複数のレンズ位置を用いて一組の画像をキャプチャするために動作可能な単一のデジタルカメラと、前記組の各画像内の各対象領域のための焦点メトリック情報を決定し及び前記焦点メトリック情報に基づいて前記対象領域の各々のための最適なレンズ位置を決定し、及び前記焦点メトリック情報に基づいてデプスマップを生成するために動作可能なデプスマップ生成論理と、を備える、装置。
請求項9
レンズ位置データを備えるメモリと、前記生成されたデプスマップに基づいて画像生成動作を行うために動作可能な論理と、を備える請求項８に記載の装置。
請求項10
最終フレームのフレーム情報を圧縮するために動作可能な圧縮器を備え、前記装置は、前記圧縮されたフレーム情報及び対応するデプスマップを遠隔デバイスに送信するために動作可能である請求項８に記載の装置。
請求項11
前記デプスマップ生成論理は、前記組の各画像内の複数の対象領域の各々のための焦点メトリック情報を決定し、前記組内の前記画像からの前記焦点メトリック情報に基づいて、前記対象領域の各々のための最適なレンズ位置を決定するために動作可能であり、前記装置は、前記生成されたデプスマップに基づいて画像生成動作を行うために動作可能な論理を備える請求項８に記載の装置。
請求項12
システムであって、デプスマップを生成するためにレンズ位置データに基づいて複数のレンズ位置を用いて一組の画像をキャプチャするために動作可能な単一のデジタルカメラと、前記組の各画像内の前記対象領域の各々のための焦点メトリック情報を決定し及び前記焦点メトリック情報に基づいて前記対象領域の各々のための最適なレンズ位置を決定し及び前記焦点メトリック情報に基づいて前記デプスマップを生成するために動作可能なデプスマップ生成論理と、最終フレームのフレーム情報を圧縮するために動作可能な圧縮器と、を備える第１の装置を備え、前記装置は、前記圧縮されたフレーム情報及び前記デプスマップを第２の装置に送信するために動作可能であり、前記第２の装置は、前記圧縮されたフレーム情報を圧縮解除するために動作可能な圧縮解除器と、前記圧縮解除されたフレーム情報及び前記デプスマップを用いて３次元画像を生成するために動作可能な３次元画像生成器と、を備える、システム。
請求項13
レンズ位置データを含むメモリと、前記生成されたデプスマップに基づいて画像生成動作を行うために動作可能な論理と、を備える請求項１２に記載のシステム。
請求項14
最終フレームのフレーム情報を圧縮するために動作可能な圧縮器を備え、前記圧縮されたフレーム情報及び対応するデプスマップを遠隔デバイスに送信するために動作可能である請求項１３に記載の装置。
請求項15
前記デプスマップ生成論理は、前記組の各画像内の複数の対象領域の各々のための焦点メトリック情報を決定し、前記組内の前記画像からの前記焦点メトリック情報に基づいて、前記対象領域の各々のための最適なレンズ位置を決定するために動作可能であり、前記生成されたデプスマップに基づいて画像生成動作を行うために動作可能な論理を備える請求項１３に記載の装置。
請求項16
方法であって、第１の装置のデジタルカメラを用いて、レンズ位置データに基づいて一組のレンズ位置に対応する一組の画像をキャプチャすることと、前記組の各画像内の複数の対象領域の各々のための焦点メトリック情報を決定することと、前記組内の前記画像からの前記焦点メトリック情報に基づいて、前記対象領域の各々のための最適なレンズ位置を決定することと、前記最適なレンズ位置に基づいてデプスマップを生成することと、前記カメラによってキャプチャされた最終画像を圧縮することと、前記圧縮された最終画像及び前記デプスマップを第２の装置に送信することと、前記最終画像を前記第２の装置によって圧縮解除することと、前記圧縮解除されたフレーム情報及び前記デプスマップを用いて生成された３次元画像を表示すること、とを備える、方法。