高ダイナミックレンジ画像センサ検知アレイのためのシステム及び方法

专利摘要:
相互接続されている１よりも多い画像センサ構造を有する異種画像センサアレイに係る方法が開示される。夫々の画像センサ構造又は画素についての最終の画像センサアレイ画像出力は、単一の画像センサ構造の出力データ、又は１よりも多い画像センサ構造からの出力データを用いて計算される。異種アレイは、他の画像センサアレイ構造と比較して、複雑性、費用、電力消費、デバイス生産量及び信頼性の面で優位性を示す。
公开号:JP2011515903A
申请号:JP2010547607
申请日:2008-02-25
公开日:2011-05-19
发明作者:ダヴィドヴィッチ，ソリン
申请人:アール・ジェイ・エス・テクノロジー・インコーポレイテッドＲｊｓ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｃ．；
IPC主号:H04N5-335

专利说明:

[0001] 本発明は、概して、画像センサの分野に関し、より具体的には、１よりも多いアクティブ及び／又はパッシブの画像センサ構造を有して、大いに拡大された電圧−光応答が夫々の画像センサ構造を用いて得られるようにする画像センサアレイに関する。]
背景技術

[0002] 写真撮影は、光の作用により写真を生成する処理である。光は、人間の眼で見ることができる周波数範囲での電磁放射に関して一般的に用いられている用語である。対象から反射され又は発せられる光パターンは、持続露出を通じて画像センサによって記録される。画像センサは、事実上化学物質（例えば、写真用フィルム）であっても、又は事実上固体状態（例えば、デジタル静止カメラ及びビデオカメラによって用いられるＣＣＤ及びＣＭＯＳ画像センサ）であってもよい。]
[0003] デジタルカメラは、シーンの画像を生成するよう光の焦点を合わせる一連のレンズを有する。しかし、フィルムの一辺の上に光の焦点を合わせることに代えて、デジタルカメラは、光の電磁放射を電荷に変換する画像センサ上に光の焦点を合わせる。画像センサは、ピクチャ素子、すなわち、「画素」と呼ばれる。電荷は、画像センサによって感知される電磁放射の相対的な強さを示し、一般に、光の強度値を画素と関連付けるために用いられる。]
[0004] 図１は、電子画像を形成するよう自然のシーンを捕捉する１つの可能な実施に含まれうる複数の構成要素を表す。システム１０は、信号源１００と、積分器１０、アナログ−デジタル変換器（ＡＤＣ）１２０及びデジタル信号プロセッサ（ＤＳＰ）１３０を含む信号処理チェーンとを有する。] 図１
[0005] 積分器１１０の出力ＶＯＵＴはＡＤＣ１２０に入力される。ＡＤＣ１２０はアナログ−デジタル変換作用を実行する。アナログ−デジタル変換作用は当該技術でよく知られている。ＡＤＣ１２０の入力部に存在するアナログ信号ＶＯＵＴは、ＡＤＣ１２０の出力部に存在する信号ＶＤに変換する。ＶＤは、通常、不連続なレベルの組の１つをとるが、必ずしもボルトの単位で測定されるわけではない。一例として、ＡＤＣ１２０の出力のための他の測定単位はアンペアであってよい。]
[0006] 一例として、信号源１００は、センサが、露出時間と一般に呼ばれる特定の時間存続期間の間入射光に晒される時限用途（timed application）（例えば、デジタルカメラ用途）で用いられる光強度センサであってよい。次いで、積分器１１０は、露出の間に受け取られる全ての光子によって引き起こされるセンサ１００の応答を、露出時間の終わりに読み出される１つの出力に積分する関数の役目を果たす。一例として、積分器１１０の出力値は、ボルトの単位で測定される電圧であってよい。]
[0007] 図２は、潜在的な画像センサ構造ブロック図の簡略化された実例である。信号源１０００は光センサであり、一例として、フォトダイオードであってよい。構成要素１０４０は単純な積分器であり、一例として、キャパシタであってよい。積分器への入力は、信号源１０００の出力である。積分器１０４０は、積分処理の開始前に、閉成位置にあるスイッチ１０５０によってリセットされる。積分器１０４０の状態を速やかにリセットする能力は、画像センサ動作の重要な側面である。積分処理の開始時に、スイッチ１０５０は開き、積分器１０４０の両端電圧は、信号源１０００から発せられた入力信号に応答して変化し始める。積分処理の終わりに、スイッチ１０３０は閉じ、積分器出力１０６０、Ｖｏｕｔはサンプリングされる。図２は説明図であり、他の同様の画像センサ構造の実施が当業者によく知られている。] 図２
[0008] 図２の簡略化された画像センサ構造ブロック図の代替且つ同等の動作モードで、一例としてキャパシタによって具現される積分器１０４０は、スイッチ１０５０によって、Ｖ−又は接地に代えて、高電圧Ｖ＋又は電源にリセットされる。積分処理の開始時に、スイッチ１０５０は開き、積分器１０４０の両端電圧は、信号源１０００から発せられる入力信号に応答して変化し始める。積分処理の終わりに、スイッチ１０３０は閉じ、積分出力１０６０、Ｖｏｕｔがサンプリングされる。] 図２
[0009] 一例として図２に表される画像センサ構造の略ブロック図は、幾つかの性能限界を前提とする。このような制限の１つとして、ここでは、ダイナミックレンジが、一例として、その原因に関する見識を与える説明とともに記載される。積分器出力１０６０、Ｖｏｕｔは、一般に、利用可能な電源電圧によって強いられる上限を超えることができない。電源電圧は、厳しい電力消費要求のために、最先端の機器で低くなり続けている。積分器出力１０６０は、電源電圧を超えることができず、積分器出力信号が電源電圧レベルに達した後に増大しようとする場合には飽和する。] 図２
[0010] 出力電圧が利用可能な電源電圧に達し、入力信号の更なる変化に応答することができない場合に、飽和は起こる。信号飽和はシステム性能の劣化を引き起こす。図３Ａ乃至３Ｃは、感光素子構造、より具体的には積分器構造のダイナミックレンジ制限に起因する、光センサ１００及び積分器１１０を有する画素構造の出力部での電位歪みを表す。それらの図は、また、ダイナミックレンジ制限に起因する、光センサ１００の出力部及び積分器出力部１０６０での電位歪みを表す。図３Ａの区間（ａ）は、異なるレベルの一定入力信号に応答する積分器１１０の出力の線形増加を表す。それは、また、異なるレベルの一定入力信号に応答する積分器出力１０６０の線形増加を表す。画像センサ構造は、区間（ａ）の線形出力を生じさせる入力光強度の範囲についてうまく機能する。一方、画像センサ構造は、区間（ｂ）の飽和出力を生じさせる入力光強度の範囲についてはうまく機能しない。] 図３Ａ
[0011] 積分器出力応答は制限されたダイナミックレンジを示す。図３Ａに表されるように、図２の画像センサの実施形態の１つの変形例は、影細部をうまくレンダリングするが、ハイライト細部をレンダリングすることができない。図３Ｂ及び３Ｃに表されるように応答をシフトすることが可能である。図３Ｂ及び３Ｃで、画像センサのダイナミックレンジは同じままであるが、応答特性はシフトされている。図３Ｂの応答特性は、影細部及びハイライト細部を失っているが、良好な中域応答を保つ。図３Ｃの応答特性は、良好なハイライト細部を保つために、影細部及び一部の中域細部を失う。] 図２ 図３Ａ 図３Ｂ 図３Ｃ
[0012] 図４Ａは、画像へと露出された多数の画像センサが飽和へと駆動された場合の露出過度の画像捕捉に係る画素強度のヒストグラムを表す。図４Ａから明らかなように、最大画像センサ構造出力値は２５５であり、使用される単位は、画像センサ出力電圧に対応するＡＤ１２０の出力である。光強度は、多くの光センサ１００に、露出期間中に露出が進むにつれて積分器１１０を飽和させる値を出力させる。積分器１１０の出力の最大（飽和）値は、ＡＤＣ１２０に、８ビットＡＤＣについて最大出力コードである出力コード２５５を出力させる。画像捕捉は、十分に高い出力レベルを達成するよう高輝度光入力を前提としたそれらの画像センサの不能のために、最適な品質よりも低い。] 図４Ａ
[0013] 図４Ａのヒストグラムに表される歪みは、個々の画素歪みに対応する。露出時間がより短い場合、高輝度光入力を前提とする画像センサの出力は２５５を下回る出力レベルを示し、ハイエンド歪みを回避するが、０の出力レベル値のままであり且つ影及び他の低輝度画像区間に含まれる光強度詳細を示さないよう低輝度光入力を前提とする画像センサを阻止する。] 図４Ａ
[0014] 図４Ｂは、多数の画像センサが０を上回る最小出力値を達成するほど十分な光に晒されない場合の露出不足の画像捕捉に係る画素強度のヒストグラムを表す。図４Ｂから明らかなように、最小画像センサ構造出力値は０である。単位は、個々の画像センサ構造に対応するＡＤＣ１２０の出力レベルを参照する。画像センサで受け取られる光強度は、多数の個々の光センサ１００に、露出期間中に露出が進むにつれて０を上回る最小ＡＤＣ出力コードを生じさせるほど十分に高い値を積分器１１０に出力させることができない値を出力させる。画像捕捉は、十分に高い応答レベルを生成するよう低輝度光入力を前提としたそれらの画像センサの不能のために、最適な品質よりも低い。図４Ｂのヒストグラムに表される歪みは、個々の画素歪みに対応する。露出時間がより長い場合、低輝度光入力を前提とする個々の画像センサの出力は、０を上回る出力を示し、ローエンド歪みを回避するが、高度光入力を前提する画像センサ構造に、２５５出力値で飽和させるとともに、ハイライト及び他の高輝度画像区間に含まれる高輝度詳細を示させないようにする。] 図４Ｂ
[0015] 図５Ａは、本願で開示される異種画像センサを構成するために用いられる２又はそれ以上の固体状態の画像センサの更にもうひとつの応答を表す。固体状態画像センサ構造の拡大されたダイナミックレンジは、画像センサ構造に影響を及ぼす電磁放射強度の全範囲にわたって画像センサ応答を生成するのに十分である。これは、固体状態画像センサ構造が、捕捉される画像の明るい部分に対する飽和の影響を回避しながら、最も暗い部分で十分な電荷を捕捉することを可能にする。最終的な効果は、画像センサに影響を与えているのが、捕捉されるシーンの最も明るい区間からの光であるのか、又は最も暗い区間からの光であるのかに無関係な、捕捉される画像の忠実な再現である。図５Ｂは、全ての画像センサ出力が０から２５５までの８ビットＡＤＣのダイナミックレンジ内にある場合の、正確に露出される画像捕捉に係る画素強度のヒストグラムを表す。] 図５Ａ 図５Ｂ
[0016] 露出期間の終了前の積分器飽和は、画像センサ構造のダイナミックレンジにおける制限要因である。積分器飽和の問題に対する解決法が公開されている。公開されている解決法が共通に有する特徴は、積分器が放電されて事象が記録される時点で放射状態の開始を検出するための積分器出力のモニタリングである。]
[0017] このような解決法の一例として、Ｍａｚｚｕｃｃｏは米国特許第６，４０７，６１０号明細書（特許文献１）で、積分器出力の飽和を防ぐ方法を開示している。この防止方法は、飽和の開始を検知するステップと、飽和の開始が検知された場合に積分器をリセット（放電）し又は積分の方向を変えるステップとを有する。全てのこのような事象は外部回路により記録される。積分期間の終了時に、積分の有効な全範囲が、多数の記録されているリセット事象から及び最終的な積分器出力電圧から再構成される。同様のアプローチはＭｅｒｉｌｌによって米国特許第６，１３０，７１３号明細書（特許文献２）で開示されている。]
先行技術

[0018] 米国特許第６，４０７，６１０号明細書
米国特許第６，１３０，７１３号明細書]
発明が解決しようとする課題

[0019] このような解決法は全て、ネイティブな画像センサ構造に特有のダイナミックレンジ制限を補償する必要性を共通に有している。これらの解決法は、本開示で述べられている機能を実行するために、画像センサ構造に対する追加の回路素子の導入を必要とする。]
[0020] これらの解決法は、他の画像センサに対する夫々の画像センサの独立した動作と、拡大されたダイナミックレンジ性能が可能である夫々の画像センサへ追加の回路素子を導入する必要性とを共通に有している。追加の回路素子の導入は、デバイス生産量及び信頼性が低下する一方で、複雑性、費用及び電力消費を増大させる。]
課題を解決するための手段

[0021] 本発明は、大いに拡大された電圧−光応答が夫々の単一画像センサ構造により得られるように、１又はそれ以上のアクティブ及び／又はパッシブの画像センサ構造を有する画像センサアレイを開示することを目的とする。]
[0022] 本発明は、更に、大いに拡大された電圧−光応答が１つの単一画像走査において画像センサ構造によって又はそのような走査から得られるように、同種ではなく異種であって、２又はそれ以上の相異なったアクティブ及び／又はパッシブの画像センサ構造を有する画像センサアレイを開示することを目的とする。]
[0023] 本発明は、更に、大いに拡大された電圧−光応答が１つの単一画像走査において画像センサ構造によって又はそのような走査から得られるように、１又はそれ以上の追加の画像センサ構造と相互に作用するアクティブ及び／又はパッシブの画像センサ構造を開示することを目的とする。]
[0024] 本発明は、更に、大いに拡大された電圧−光応答が１つの単一画像走査において画像センサ構造によって又はそのような走査から得られるように、２又はそれ以上のアクティブ及び／又はパッシブの画像センサ構造の間の相互作用を開示することを目的とする。]
[0025] 本発明は、更に、大いに拡大された電圧−光応答が、画像センサ構造を統合する画像センサから１つの単一画像走査で得られるように、いつもではないが時々露出期間と呼ばれるアクティブな画像捕捉期間中に相互に作用する２又はそれ以上の画像センサ構造の画像センサアレイから電子画像表現を捕捉し生成する方法を開示することを目的とする。]
[0026] 従って、ここで記載される２又はそれ以上の画像センサ構造の高度なアレイに係る目的及び利点に加えて、本発明の幾つかの目的及び利点には下記のものが含まれる：
１．電子フォーマットで捕捉される画像の最も暗い部分に存在する細部を正確に捕捉すること；
２． 電子フォーマットで捕捉されるオリジナル画像の最も明るい部分に存在する細部を正確に捕捉すること；
３． 電子フォーマットで捕捉されるオリジナル画像の全ての部分に沿って存在する細部を正確に捕捉すること；
４． オリジナル画像の及び対応する電子信号範囲に沿ったあらゆる点で正確さを失うことなく現実のシーンの画像を電子的に捕捉することができるほど十分に大きいダイナミックレンジで動作すること；
５．オリジナルの自然のシーンの電子表現を有する信号の範囲に沿ったあらゆる点で正確さを失うことなく極めて正確であり且つ他の任意の伝達関数応答特性にマッピングされ得る伝達関数応答特性を示すことを；
６．電子画像表現で捕捉されるシーンのあらゆる点で正確さを失うことなく極めて正確であり且つ他の任意の応答特性にマッピングされ得る伝達関数応答特性を示すこと；
７． １又はそれ以上の異なるディスプレイ装置の伝達関数応答特性に整合させて、全てのディスプレイ装置で見られる場合にオリジナルの自然のシーンが現実的且つオリジナルの自然のシーンと略同一であるかのように見えるように、十分に高い正確性を有して現実の自然のシーンの画像を捕捉することができる伝達関数応答特性を示すこと；
８． 改善された特性を有する様々な将来のディスプレイ装置にアーカイバル画像を適合させるための今後の処理を可能とする十分な極めて正確な情報を含むアーカイバル記録を生成するために使用され、将来のディスプレイ装置で見られる場合にオリジナルの自然のシーンが現実的且つオリジナルの自然のシーンと略同一であるかのように見えるようにする、極めて正確な伝達関数応答特性を示すこと；及び
９． 捕捉された画像が、人間の眼が感知可能なスペクトル範囲で又は人間の眼が感知不可能であって、画像が人間の眼には見えない他のスペクトル範囲で見られる画像の電子画像捕捉の品質に依存する性能を有する信号処理装置（例えば、顔認識装置、品質検査装置、科学分析装置及び全ての他の装置）で有効に使用されることを可能にするほど十分に正確な応答特性を示すこと。]
[0027] 本発明の更なる目的及び利点は、図面及び以下の記載の検討から明らかになるであろう。]
図面の簡単な説明

[0028] デジタルフォーマットで電子画像を捕捉し処理するために使用される典型的なシステムの略ブロック図を表す。
制御スイッチを有する簡単な積分器をブロック図形式で表す。
Ａ、Ｂ及びＣは、簡単な典型的な画像センサの出力で有限なダイナミックレンジが有しうる効果を表す。
Ａ及びＢは、典型的な画像センサアレイの出力で有限なダイナミックレンジが有しうる効果をヒストグラム形式で表す。
Ａは、ダイナミックレンジ制限を伴わない画像センサの出力を表し、Ｂは、ダイナミックレンジ制限を伴わない典型的な画像センサアレイの出力をヒストグラム形式で表す。
異種画像センサ構造及びそれらの画像センサ構造の間の相互接続から成る異種画像センサアレイを表す。
時間の関数として異種画像センサアレイの低ダイナミックレンジ画像センサ構造の潜在的な出力を表す。
小さな異種画像センサアレイ又は配列された画像センサ構造から成るより大きな異種画像センサアレイの一部を表す。
画像捕捉期間の終わりの画像センサ構造の潜在的な出力状態を表す。
サンプル異種画像センサアレイの画像捕捉品質を表すために使用される周知のテスト写真を表す。
Ａは、異種画像センサアレイの出力から第１サンプル処理によって生成される電子画像を表し、Ｂは、異種画像センサアレイの出力から第１サンプル処理によって生成される電子画像とオリジナル画像との間の差を表し、Ｃは、異種画像センサアレイの出力から第２サンプル処理によって生成される電子画像を表し、Ｄは、異種画像センサアレイの出力から第２サンプル処理によって生成される電子画像とオリジナル画像との間の差を表す。]
実施例

[0029] 本発明の一側面に従って、幾つかの用途において焦点面アレイ（ＦＰＡ（focal plane array））とも呼ばれる異種画像センサアレイについて記載する。それは、幾つかの用途において焦点面検出器（ＦＰＤ（focal plane detector））とも呼ばれる個別の画像センサ構造を有する。]
[0030] 画像センサアレイを構成する画像センサ構造は異種であり、多数の画像センサ構造から成る。画像センサアレイに含まれる画像センサ構造の数は少なくとも２つである。このようにして、複数の画像センサが存在する場合に画像センサアレイ内に多種多様な画像センサ構造が存在し、このことは、夫々の個別の画像センサ構造がお互いに異なった個別の画像センサ構造であってよいことを意味する。画像センサアレイにおける画像センサ構造の数及び画像センサ構造の異なる種類の数は様々であってよく、画像センサアレイを有する装置の特殊な用途の必要条件によって決定される。]
[0031] 画像センサアレイを構成する画像センサ構造のうちの２又はそれ以上は、画像捕捉期間の間、相互に作用する。目下の開示は、２又はそれ以上の画像センサ構造（うち少なくとも２つは複雑さの程度が異なる。）から成る異種画像センサアレイを検討する。より複雑な画像センサ構造は、より複雑でない画像センサ構造に比べて回路素子の数が多い。しかし、より複雑でない画像センサ構造は、より複雑な画像センサ構造によって提供される情報の共有を通じて利益を得る。このような異種画像センサアレイの利点の１つは、複雑性、費用及び電力消費が下がり、他方で、デバイス生産量及び信頼性が高まることである。一般に、異種画像センサアレイを構成するより複雑な画像センサ構造は、異種画像センサアレイを構成するより複雑でない画像センサ構造には存在しない機能を有し、従って、より複雑でない構造で利用可能でない情報を入手することができるが、そのような情報は、本発明により、より複雑でない構造と共有され得る。]
[0032] 一般に、異種画像センサアレイを構成するより複雑でない画像センサ構造は、異種画像センサアレイを構成するより複雑な画像センサ構造の機能性に比べて低い機能性を有する。機能性が低いと、画像センサ構造の機能を実施するために必要とされる回路素子の数も少ない。回路素子の数が少ないことは、本願で開示される異種画像センサアレイによって享受される複雑性、費用、電力消費、デバイス生産量及び信頼性に係る利点の主たる要因である。]
[0033] 本願で開示される異種画像センサアレイは、高ダイナミックレンジを有して高品質の電子画像を生成することができる。なお、必ずしも、異種画像センサアレイを構成する全ての画像センサ構造が、個々にこのような高い性能を実現可能であるわけではない。高ダイナミックレンジを有した高品質の電子画像の生成は、画像捕捉段階の間の個々の画像センサ構造の相互作用から得られる。]
[0034] 画像センサ構造のネイティブな、すなわち、固有のダイナミックレンジ性能は、例えば製造材料や設計ジオメトリ等の要因に左右される。イメージ画像センサの固有ダイナミックレンジは、高ダイナミックレンジ性能のために変更されない画像センサ構造で通常利用可能でない機能を実行するよう、回路素子を付加することによって高められ得る。このような付加的な機能の一例として、Ｍａｚｚｕｃｃｏは、特許文献１で、飽和の開始を検知し、飽和の開始が検知された場合に積分器をリセット（放電）し又は積分の方向を変えることを開示している。同様の機能はＭｅｒｉｌｌによって特許文献２で開示されている。]
[0035] 図６は、画像センサアレイ又はその一部を形成する１つの高ダイナックレンジ画像センサ構造及び２つの低ダイナミックレンジ画像センサ構造を表す。高ダイナミックレンジ画像センサ構造１４００はＨＤＲと称されている。低ダイナミックレンジ画像センサ構造１４１０及び１４２０はＬＤＲ＃１及びＬＤＲ＃２と称されている。インターコネクト１４３０は、ＨＤＲ画像センサ構造１４００をＬＤＲ画像センサ構造１４１０及び１４２０に接続する。一例として、インターコネクト１４３０は、共通にＬＤＲ＃１ １４１０及びＬＤＲ＃２ １４２０に達する１又はそれ以上の信号を有してよく、あるいは、インターコネクト１４３０は、個別にＬＤＲ＃１ １４１０及びＬＤＲ＃２ １４２０に達し、ＬＤＲ＃１ １４１０及びＬＤＲ＃２ １４２０に共通でない１又はそれ以上の信号を有してよく、あるいは、インターコネクト１４３０は、更に、個別にＬＤＲ＃１ １４１０及びＬＤＲ＃２ １４２０に達し、ＬＤＲ＃１ １４１０及びＬＤＲ＃２ １４２０に共通でない１又はそれ以上の信号と、共通にＬＤＲ＃１ １４１０及びＬＤＲ＃２ １４２０に達する１又はそれ以上の信号とを有してよい。異種画像センサアレイは、わずか２つの画像センサを有してよい。各画像センサは、最先端の製造限界が可能であるように、多種多様な画像センサ構造を有する同数の画像センサであっても、あるいは、異なる画像センサ構造を有してもよい。] 図６
[0036] 異種画像センサアレイは、単一の製造デバイスに含まれることを余儀なくされない。異種画像センサアレイで、２又はそれ以上の画像センサ構造は、接続されて、個別にではなく一緒に動作する。このようにして、異種画像センサアレイは製造されて、異なるデバイスに収容され得るが、画像センサ構造の間の相互接続は、これらの画像センサ構造が独立して動作するよう制限されないように実施される。異種画像センサアレイのための他の潜在的な実施アーキテクチャが可能であり、当業者に知られる。]
[0037] ＨＤＲ画像センサ構造１４００は、自身の内部の又は出力の状態がＬＤＲ画像センサ構造１４１０及び１４２０の飽和レベルの整数インクリメントに等しいか又はほぼ等しい場合を検知する。一例として、ＬＤＲ画像センサ構造１４１０及び１４２０の飽和レベルがＶＳＡＴで表される場合、ＨＤＲ画像センサ構造１４００は、自身の状態がＶＳＡＴ、２ＶＳＡＴ、３ＶＳＡＴ等に等しい場合に、その旨を知らせる。ＶＳＡＴにより表されるＬＤＲ画像センサ構造１４１０及び１４２０の出力レベルは既知のレベルであり、飽和レベルである必要はない。用語「飽和レベル」の意味は当業者によく知られている。ＬＤＲ画像センサ構造１４１０及び１４２０の出力レベルが入力刺激に応答して増大する場合に、出力レベルＶＳＡＴは厳密に、ＬＤＲ画像センサ構造１４１０及び１４２０の出力が入力刺激の変化に応答してこれ以上線形に増大することができなくなる飽和レベルである必要はない。ＬＤＲ画像センサ構造１４１０及び１４２０の出力レベルが入力刺激に応答して減少する場合に、出力レベルＶＳＡＴは厳密に、ＬＤＲ画像センサ構造１４１０及び１４２０の出力が入力刺激の変化に応答してこれ以上線形に減少することができなくなる飽和レベルである必要はない。]
[0038] ＶＳＡＴは、多数の実用的な設計及び動作の要素（例えば、利用可能な電源電圧、特定の回路設計特徴、電力消費の考慮、必要とされる画像センサアレイの性能等）を考慮して選択される任意のレベルである。ＨＤＲ画像センサ構造１４００は、当業者によく知られている様々な手段を用いて、自身の内部の又は出力の状態がＶＳＡＴ、２ＶＳＡＴ、３ＶＳＡＴ等に等しい場合を識別することができる。一例として、ＨＤＲ画像センサ構造１４００は、それが事実上キャパシタ１０４０と同じである積分器を有する場合に、標準的なコンパレータを用いて、キャパシタ１０４０の両端電圧がＶＳＡＴ、２ＶＳＡＴ、３ＶＳＡＴ等に等しい場合を識別することができる。コンパレータは、当業者によく知られている標準的な回路である。]
[0039] 更なる他の例として、ＨＤＲ画像センサ構造１４００は、入力信号が発振器に周波数を変化させるところの周波数領域積分器を有してよく、積分処理には、発振器出力によって横断される位相を決定することが含まれる。その場合に、ＶＳＡＴ、２ＶＳＡＴ、３ＶＳＡＴ等は、発振器出力によって横断される位相が所定の量だけ増大する時点で現れるよう決定されてよい。発振器は、当業者によく知られている標準的な回路である。]
[0040] ＨＤＲ画像センサ構造１４００の内部の又は出力の状態がＶＳＡＴのインクリメント（例えば、２ＶＳＡＴ、３ＶＳＡＴ等）に等しくなる回数は、標準的なデジタル又はアナログ回路を用いて記録されてよい。]
[0041] 一例として、記録のために使用され得るデジタル回路はデジタルカウンタである。デジタルカウンタは、入力信号に応答して、その設計状態を変化させる。共通のデジタルカウンタ出力は、夫々が論理ロー（ＬＯＷ）又は論理ハイ（ＨＩＧＨ）を表す２つの値をとることができる多数の信号線から成る。Ｍ本の信号線から成るデジタルカウンタ出力は、Ｌ＝２Ｍ個の組み合わせが可能であり、従って、最大でＬ＝２Ｍ個までの事象をカウントアップすることができる。]
[0042] デジタルカウンタは、実施するには比較的大きな回路であり、実施に必要とされるシリコン・リアルエステート（real estate）の点から見て高価である。事象の数のカウントを保持することができる回路を実施するための代替の有利な手段は、アナログ記憶回路である。アナログ記憶回路は、ある時間期間の間その値を保持することができる回路である。一例として、簡単なアナログ記憶回路は、図２でキャパシタ１０４０によって表されるようなアナログ積分器である。キャパシタ１０４０は、信号源１０００によって増大させられ又は減少させられる電荷を蓄える。その出力はスイッチ１０３０が閉じる場合に読み出され、ＶＯＵＴ１０６０はキャパシタ１０４０の両端電圧に等しい。ＶＯＵＴ１０６０は、信号源１０００の出力の積分値を表す。] 図２
[0043] ここでキャパシタ１０４０によって例示される積分器の出力電圧は、出力電圧の変化を引き起こすよう設計された入力刺激に応答して、離散的なインクリメントΔＶで変化することができる。一例として、このような入力刺激は、積分器への電流フローを小さいデューティーサイクルを有して起こさせる信号源であってよく、これにより、電流フローは、デューティーサイクルより短い時間止まる。他のこのような信号は当業者に知られている。]
[0044] このような信号源からの入力に従う積分器の出力電圧は、それが読み出される時点での全ての可能な出力値の一部しかとらない。一例として、信号源１０００は、キャパシタ１０４０の両端で離散的なインクリメントΔＶでの変化を引き起こす信号源であるとする。その場合に、キャパシタ１０４０の出力１０６０は、信号源１０００からの刺激に応答して離散的なインクリメントΔＶで変化する。一例として、キャパシタ１０４０の両端電圧１０６０は、初期値ＶＭＩＮボルトから始まって、最大値ＶＭＡＸボルトに達するまで、ΔＶの離散値によってＶＭＩＮ＋ΔＶ、ＶＭＩＮ＋２ΔＶ、ＶＭＩＮ＋３ΔＶ等へと増大することができる。更なる他の例として、キャパシタ１０４０の両端電圧１０６０は、初期値ＶＭＡＸボルトから始まって、最小値ＶＭＩＮボルトに達するまで、離散値ΔＶによってＶＭＡＸ−ΔＶ、ＶＭＡＸ−２ΔＶ、ＶＭＡＸ−３ΔＶ等へと減少することができる。最初のキャパシタ電圧及びその後の不連続な電圧の変化を達成するための回路及び手段は新しいものではなく、当業者によく知られている。]
[0045] あらゆる時点でのキャパシタ１０４０の両端電圧の状態の認識とともに、初期キャパシタ電圧ＶＭＩＮ又はＶＭＡＸの認識は、初期電圧の印加以来起こった離散的なインクリメント又はデクリメント電圧変化ΔＶの数を得るために使用されてよい。]
[0046] キャパシタ１０４０は、一例として、上記のアナログカウンタ記憶デバイスの提示において使用された。他のアナログ記憶コンポーネント及び技術は、同様のアナログ記憶手段を実施するために使用されてよい。これらの技術及び手段は当業者によく知られている。]
[0047] アナログ記憶手段は幾つかの状況で有利である。目下の製造プロセスは、キャパシタ１０４０等のアナログ記憶手段がトランジスタ等の他の回路素子とともに製造されるデバイスを製造することができる。この製造技術は、画像センサ構造及び結果として画像センサアレイを組み立てるために必要とされるシリコン面積を減じる点で有利である。]
[0048] 一例としてここではキャパシタ１０４０として与えられるアナログ記憶デバイスの配列は、積分回路の設計及び製造で使用される多層技術によって可能にされる。これらの技術は、当業者によく知られている。結果として、一例としてここではキャパシタ１０４０として与えられるアナログ記憶デバイスの配列は、製造プロセス中に一例としてここではトランジスタとして与えられる他の回路素子の上にアナログ記憶デバイスを置くことによって、達成される。代替的に、一例としてここではキャパシタ１０４０として与えられるアナログ記憶デバイスの配列は、製造プロセス中に一例としてここではトランジスタとして与えられる他の回路素子の下にアナログ記憶デバイスを置くことによって、達成される。]
[0049] 図６は、ＨＤＲ画像センサ構造１４００とＬＤＲ画像センサ構造１４１０及び１４２０との間のインターコネクト１４３０を表す。インターコネクト１４３０は、１よりも多い信号を含むことができる。一例として、インターコネクト１４３０に存在する１つの信号は、ＨＤＲ画像センサ構造１４００の内部の又は出力の状態がＶＳＡＴ、２ＶＳＡＴ、３ＶＳＡＴ等に等しい旨を表すものであってよい。] 図６
[0050] 相互に接続されている画像センサ構造１４００、１４１０及び１４２０の動作は、インターコネクト信号１４３０の影響を受ける。画像センサ構造１４００、１４１０及び１４２０の単独の動作は、相互依存の、相互接続した動作とは異なる。一例として、１つのこのような動作モードでのＬＤＲ画像センサ構造１４１０及び１４２０の出力が図７に表されている。時点１１８０は画像捕捉期間の開始を示し、ＬＤＲ画像センサ構造１４１０及び１４２０の出力レベルは、それらに影響を与える光の強さに応答して増大する。時点１１１０、１１２０及び１１３０で、ＨＤＲ画像センサ構造１４００の状態はＶＳＡＴ、２ＶＳＡＴ、３ＶＳＡＴとほぼ等しく、これらの事象はインターコネクト１４３０で信号を介して伝えられる。これらの事象に応答して、ＬＤＲ画像センサ構造１４１０及び１４２０は自身の出力状態をリセットする。ＬＤＲ画像センサ構造１４１０及び１４２０の出力レベルは、リセット動作の直前に、参照符号１１００によって示される。一例として、上記の例で、リセット動作は、スイッチ１０５０の閉成によって達成される。画像センサ出力のリセット動作を達成するための様々な画像センサ構造及び様々な方法が当業者によく知られる。] 図７
[0051] 時点１１１０、１１２０及び１１３０でのＬＤＲ画像センサ構造１４１０及び１４２０の出力状態は、お互いに又は１１００によって表される出力レベルに等しい必要はない。１１００によって表される出力レベルは、ＶＳＡＴ（リセット動作をトリガするＨＤＲ画像センサ構造１４００の状態）よりも低くても、それと等しくても、あるいは、それよりも高くてもよい。]
[0052] リセット動作に続いて、ＬＤＲ画像センサ構造１４１０及び１４２０の出力状態は、１１７０によって表されるレベルへと変化する。１１７０によって表されるレベルは、如何なる所定レベルであってもよく、接地又は０ボルトに等しい必要はない。]
[0053] 時点１１４０は画像捕捉期間の終了を示す。ＬＤＲ画像センサ構造１４１０及び１４２０の出力レベルは、一例として、参照符号１１５０によって表される出力レベルによって示される。時点１１４０でのＬＤＲ画像センサ構造１４１０及び１４２０の出力レベルはお互いに等しい必要はなく、また、１１５０によって表される出力レベルに等しい必要もない。画像センサアレイ内に含まれる一部又は全ての画像センサ構造の出力状態は、時点１１４０として図７に示されている画像捕捉期間の終了時に取り出され、捕捉シーンの電子画像を生成するよう処理される。] 図７
[0054] 画像センサ構造の出力状態は、いくつかの情報項目を有してよい。一例として、ＬＤＲ画像センサ構造１４１０及び１４２０から取り出される情報項目は、時点１１４０でのそれらの個々の出力レベルであり、一方、ＨＤＲ画像センサ構造１４００から取り出される情報項目は、時点１１４０でのその個別の出力レベル、及びその出力レベルが画像捕捉期間の間ＶＳＡＴの整数倍に達した回数である。画像センサ構造の出力状態を定義する情報は、一例としてここで与えられるものに限られない。すなわち、それは、当業者によく知られている情報の幾つかの項目から成ってよい。]
[0055] 図８は、１３個の配列された画像センサ構造を有する画像センサアレイ又はその一部を一例として表す。ＨＤＲ画像センサ構造１２１０は中心に位置し、１２個のＬＤＲ画像センサ構造はＨＤＲ画像センサ構造１２１０を囲む。１２個のＬＣＤ画像センサ構造のうちの１つに参照符号１２００が付されている。ＨＤＲ画像センサ構造１２１０は、その付加的な機能によって必要とされる付加的な回路要素のために、ＬＤＲ画像センサ構造よりも大きい。このアレイ構成は一例として示されており、他の構成が可能であり、当業者によく知られている。] 図８
[0056] 図９は、画像捕捉期間の終了を示す時点１１４０での画像センサアレイの状態を一例として表す。それは、インスタンス化（instantiation）であるＬＤＲ画像センサ構造１３００の各画像センサ構造の時点１１４０での最終出力状態ＶＦＩＮＡＬ＿ＬＤＲを示す。時点１１４０での画像センサ構造１３００の出力レベルは１１であるよう示されている。他のＬＤＲ画像センサ構造は、時点１１４０で異なる出力レベルを読み出し、１から１５の１０進数の間で変換するよう図９に一例として示されている。] 図９
[0057] ＨＤＲ画像センサ構造１３１０は、時点１１４０で２つの情報項目を生成する。すなわち、時点１１４０でのその出力レベルＶＦＩＮＡＬ＿ＨＤＲ、及びその出力レベルが画像捕捉期間の間ＶＳＡＴの整数倍に達した回数ＮＳＡＴである。これらの項目は、夫々、１０進数で２１４及び３であるよう図９に示されている。] 図９
[0058] 電子画像は、これらの情報項目から生成される。これらの情報項目から電子画像を生成するために使用される処理は一意ではない。一例として、ＰＲＯＣＥＳＳ＿１によって表される１つの処理を、図９の画像センサ構造ブロックについて以下で記載する：
１． 全ての画像センサ構造に関連する項目を取り出す。
２． 夫々のＬＤＲ画像センサ構造について、ＶＯＵＴ＿ＬＤＲ＝ＮＳＡＴ×ＶＳＡＴ＋ＶＦＩＮＡＬに従って、出力レベルを計算する。
３． 夫々のＨＤＲ画像センサ構造について、出力レベルはＶＦＩＮＡＬであり、時点１１４０でのその出力レベルはＶＯＵＴ＿ＨＤＲ＝ＮＳＡＴ×ＶＳＡＴ＋ＶＦＩＮＡＬである。
４． 必要に応じて、画像センサ構造の出力によって形成される電子画像にフィルタをかける。] 図９
[0059] ＰＲＯＣＥＳＳ＿２によって表される更なる他の処理を、図９の画像センサ構造について以下で記載する：
１． 全ての画像センサ構造に関連する項目を取り出す。
２． 夫々のＬＤＲ画像センサ構造について、ＶＯＵＴ＿ＬＤＲ＝ＮＳＡＴ×ＶＳＡＴ×ＶＦＩＮＡＬ＿ＬＤＲ／ＶＦＩＮＡＬ＿ＨＤＲ＋ＶＦＩＮＡＬに従って、出力レベルを計算する。
３． 夫々のＨＤＲ画像センサ構造について、出力レベルはＶＦＩＮＡＬであり、時点１１４０でのその出力レベルはＶＯＵＴ＝ＮＳＡＴ×ＶＳＡＴ＋ＶＦＩＮＡＬである。
４． 必要に応じて、画像センサ構造の出力によって形成される電子画像にフィルタをかける。] 図９
[0060] 他の処理が存在し、当業者によく知られている。]
[0061] 図１０は、よく知られているテスト写真を表し、図１１Ａ及びＣは、パラメータＮＳＡＴ＝１６であり且つ最終のフィルタリングが適用されない場合について図８にその一部が表されている異種画像センサによって捕捉された電子画像を表す。図１１Ａは、ＰＲＯＣＥＳＳ＿１によって生成された電子画像である。図１１Ｂは、ＰＲＯＣＥＳＳ＿１によって生成された電子画像とオリジナルの画像との間の差である。図１１Ｃは、ＰＲＯＣＥＳＳ＿２によって生成された電子画像であり、図１１Ｄは、ＰＲＯＣＥＳＳ＿２によって生成された電子画像とオリジナルの画像との間の差である。本発明は、少なくとも、出力ノードを備えた感光素子と、出力ノード信号をリセットする手段と、出力ノード信号を読み出す手段とを有する、ＣＭＯＳ及びＭＯＳに基づく画像センサ構造を含む低ダイナミックレンジの固体状態画像センサ構造のリードアウト信号を得るための方法に関する。] 図１０ 図８
[0062] 然るに、システム及び方法は、異種画像センサ構造を用いた電子画像の生成に関して記載されてきた。夫々の個別画像センサ構造のコンテンツは、１つの単一画像走査、すなわち、露出、の間に２又はそれ以上の画像センサ構造によって捕捉される情報の関数として生成される。]
[0063] 本発明の様々な実施形態について記載する際に、特定の構成要素及び処理ステップが記載されてきたが、それは代表例に過ぎない。すなわち、他の機能描写又は付加的なステップ及び構成要素が当業者によって加えられてよく、従って、本発明は、開示されている実施例に限定されない。様々な具象的な要素は、ハードウェア、コンピュータで実行されるソフトウェア、又はそれらの組み合わせで実施されてよく、表される実施形態に対する改良及び変形は、ここで開示される発明概念から外れることなく行われ得る。然るに、本発明は、添付の特許請求の範囲の技術的範囲によらない限り、限定されて解されるべきではない。]

权利要求:

請求項1
通信を行う少なくとも２つの異種画像センサを有し、夫々の画像センサは、電磁放射を検知可能であり、外部シーンからの電磁放射を検知して、この検知から前記外部シーンの電子表現を生成するために用いられる、画像センサアレイ。
請求項2
人間の眼の電磁放射周波数範囲、前記人間の眼の電磁放射周波数範囲よりも低い電磁放射周波数範囲、及び前記人間の眼の電磁放射周波数範囲よりも高い電磁放射周波数範囲のうちの少なくとも１つを検知する、請求項１に記載の画像センサアレイ。
請求項3
前記画像センサは、入力される電磁放射刺激に応答して高ダイナミックレンジ出力を生成することができる画像センサを有する、請求項１に記載の画像センサアレイ。
請求項4
入力される電磁放射刺激に応答して高ダイナミックレンジ出力を生成することができない画像センサを有する、請求項１に記載の画像センサアレイ。
請求項5
少なくとも１つの異種画像センサは、入力される電磁放射刺激に応答して高ダイナミックレンジ出力を生成することができ、前記異種画像センサのうちの少なくとも１つは、入力される電磁放射刺激に応答して高ダイナミックレンジ出力を生成することができず、前記少なくとも２つの通信を行う異種画像センサは、画像捕捉処理中に情報を交換する手段を有する、請求項１に記載の画像センサアレイ。
請求項6
複数の個別の画像センサを有し、夫々の画像センサは、電磁放射を検知可能であり、外部シーンからの電磁放射を検知して、この検知から前記外部シーンの電子表現を生成するために用いられ、画像センササブアレイに分けられた複数種類の個別の画像センサを有する、画像センサアレイ。
請求項7
前記画像センササブアレイは、２又はそれ以上の個別の画像センサを有する、請求項６に記載の画像センサアレイ。
請求項8
前記画像センササブアレイは、２又はそれ以上の個別の画像センサを有し、該２又はそれ以上の個別の画像センサのうちの少なくとも１つの画像センサは、入力される電磁放射刺激に応答して高ダイナミックレンジ出力を生成することができる画像センサと、入力される電磁放射刺激に応答して高ダイナミックレンジ出力を生成するができない画像センサとを含むグループから選択される、請求項６に記載の画像センサアレイ。
請求項9
前記画像センササブアレイは、２又はそれ以上の個別の画像センサを有し、該２又はそれ以上の個別の画像センサのうちの少なくとも２つの画像センサは情報を交換することができる、請求項６に記載の画像センサアレイ。
請求項10
外部から画像センサに延在し且つ他の画像センサに接続する信号バスを有し、外部の電磁放射刺激に応答して高ダイナミックレンジ出力を生成することができる画像センサ。
請求項11
前記信号バスは１又はそれ以上の信号を有する、請求項１０に記載の画像センサ。
請求項12
前記信号バスは１又はそれ以上の他の画像センサに接続する、請求項１０に記載の画像センサ。
請求項13
前記信号バスは、前記外部の電磁放射刺激に対する当該画像センサの応答の状態を示す情報を伝播する、請求項１０に記載の画像センサ。
請求項14
前記信号バスは信号を有し、該信号は、前記信号バスに接続されている画像センサに、前記信号の状態に応答して状態変化を起こさせる、請求項１０に記載の画像センサ。
請求項15
前記信号バスは、当該画像センサの前記外部の電磁放射刺激を構成した電磁放射を反射し又は発した画像の電子表現を得るほど、前記外部の電磁放射刺激に対する当該画像センサの応答の状態を示す十分な情報を有する、請求項１０に記載の画像センサ。
請求項16
外部から画像センサに延在し且つ他の画像センサに接続する信号バスを有し、外部の電磁放射刺激に応答して高ダイナミックレンジ出力を生成することができない画像センサ。
請求項17
前記信号バスは１又はそれ以上の信号を有する、請求項１６に記載の画像センサ。
請求項18
前記信号バスは１又はそれ以上の他の画像センサに接続する、請求項１６に記載の画像センサ。
請求項19
前記信号バスは信号を有し、該信号は、当該画像センサに、前記信号の状態に応答して状態変化を起こさせる、請求項１６に記載の画像センサ。
請求項20
前記信号バスは、少なくとも１つの他の画像センサから生成された情報と結合される場合に当該画像センサの前記外部の電磁放射刺激を構成した電磁放射を反射し又は発した画像の電子表現を得るほど、前記外部の電磁放射刺激に対する当該画像センサの応答の状態を示す十分な情報を有する、請求項１６に記載の画像センサ。
請求項21
多数のイベント発生を記憶する内部手段を有し、入力される電磁放射刺激に応答して高ダイナミックレンジ出力を生成することができる画像センサ。
請求項22
前記多数のイベント発生を記憶する前記内部手段は、デジタルカウンタである、請求項２１に記載の画像センサ。
請求項23
前記多数のイベント発生を記憶する前記内部手段は、アナログエネルギ蓄積デバイスである、請求項２１に記載の画像センサ。
請求項24
前記多数のイベント発生を記憶する前記内部手段は、キャパシタを用いて実施されるアナログエネルギ蓄積デバイスである、請求項２１に記載の画像センサ。
請求項25
前記多数のイベントを記憶する前記内部手段は、直ぐ下に作られている他の回路素子の上に重ねられて作られたキャパシタを用いて実施されるアナログエネルギ蓄積デバイスである、請求項２１に記載の画像センサ。
請求項26
前記多数のイベントを記憶する前記内部手段は、直ぐ上に作られている他の回路素子の下に置かれて作られたキャパシタを用いて実施されるアナログエネルギ蓄積デバイスである、請求項２１に記載の画像センサ。
請求項27
複数の個別の画像センサを有し、夫々の画像センサは、電磁放射を検知可能であって、外部シーンからの電磁放射を検知して、この検知から前記外部シーンの電子表現を生成するために用いられ、能力が一様でない複数種類の個別の画像センサを有し、能力が一様でない前記個別の画像センサの少なくとも一部は、画像捕捉処理中にそれらの動作モードを協調させるようにする、画像センサアレイ。
請求項28
入力される電磁放射刺激に応答して高ダイナミックレンジ出力を生成することができる画像センサの全て又は一部は、外部から当該画像センサに延在し且つ１又はそれ以上の画像センサに接続する信号バスを有し、前記個別の画像センサの少なくとも一部が、前記信号バスに含まれる情報により画像捕捉処理中にそれらの動作モードを協調させるようにする、請求項２７に記載の画像センサアレイ。
請求項29
入力される電磁放射刺激に応答して高ダイナミックレンジ出力を生成することができる画像センサの全て又は一部は、外部から当該画像センサに延在し且つ１又はそれ以上の画像センサに接続する信号バスを有し、前記個別の画像センサの少なくとも一部が、１つの信号を含む信号バス内に含まれる情報により画像捕捉処理中にそれらの動作モードを協調させるようにする、請求項２７に記載の画像センサアレイ。
請求項30
入力される電磁放射刺激に応答して高ダイナミックレンジ出力を生成することができる画像センサの全て又は一部は、外部から当該画像センサに延在し且つ１又はそれ以上の画像センサに接続する信号バスを有し、前記個別の画像センサの少なくとも一部が、複数の信号を含む信号バス内に含まれる情報により画像捕捉処理中にそれらの動作モードを協調させるようにする、請求項２７に記載の画像センサアレイ。
請求項31
入力される電磁放射刺激に応答して高ダイナミックレンジ出力を生成することができない画像センサの全て又は一部は、外部から当該画像センサに延在し且つ１又はそれ以上の画像センサに接続する信号バスを有し、前記個別の画像センサの少なくとも一部が、１つの信号を含む信号バス内に含まれる情報により画像捕捉処理中にそれらの動作モードを協調させるようにする、請求項２７に記載の画像センサアレイ。
請求項32
入力される電磁放射刺激に応答して高ダイナミックレンジ出力を生成することができない画像センサの全て又は一部は、外部から当該画像センサに延在し且つ１又はそれ以上の画像センサに接続する信号バスを有し、前記個別の画像センサの少なくとも一部が、複数の信号を含む信号バス内に含まれる情報により画像捕捉処理中にそれらの動作モードを協調させるようにする、請求項２７に記載の画像センサアレイ。
請求項33
画像センサのサブグループの画像取得処理を協調させる入力される電磁放射刺激に応答して高ダイナミックレンジ出力を生成することができる画像センサ。
請求項34
信号バスを介して前記画像取得処理を協調させるよう画像センサのサブグループに情報を送信する、請求項３３に記載の画像センサ。
請求項35
画像センサのサブグループによる画像取得の構成を増補するために用いられる画像取得情報を生成する、請求項３３に記載の画像センサ。
請求項36
画像センサのサブグループと自身の画像取得処理を協調させる入力される電磁放射刺激に応答して高ダイナミックレンジ出力を生成することができない画像センサ。
請求項37
信号バスを介して自身の画像取得処理を協調させるよう画像センサのサブグループから受信される情報を用いる、請求項３６に記載の画像センサ。
請求項38
他の画像センサのサブグループからの画像取得情報とともに自身が生成した画像取得情報を用いて、自身の最終の画像取得情報を生成する、請求項３６に記載の画像センサ。
請求項39
２又はそれ以上の個別の画像センサが画像取得処理中に情報を交換して状態を協調させる手段を有するところの異種画像センサアレイを用いて高忠実度の電子画像表現を得る方法。