シーンの３ｄ映像の記録

专利摘要:
飛行時間原理に基づきシーンの３Ｄ映像を記録する方法は、強度変調を搬送する光を発してシーンに光照射し、シーンを、光学系を用いて画素アレイ上に画像化し、シーンから画素に反射される強度変調光を画素毎に検出し、画素にて検出される光の位相に基づいて距離値を画素毎に特定することを含んで成る。距離値の特定は、光学系で拡がる光により惹起される位相誤差を補償するようにした、画素アレイに画像化されるシーンの位相感知反畳み込みを含んで成る。
公开号:JP2011507429A
申请号:JP2010538566
申请日:2008-12-09
公开日:2011-03-03
发明作者:フランコ、マルタ キャスティロ；グランジジアー、フレデリック；ソリニャック、トーマス；ミルバッハ、ブルーノ
申请人:アイイーイー インターナショナル エレクトロニクス アンド エンジニアリング エス．エイ．Ｉｅｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｎｉｃｓ ＆ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓ．Ａ．；
IPC主号:H04N13-02

专利说明:

[0001] 本発明は一般に、飛行時間（ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ：ＴＯＦ）測定原理に基づきシーン（ＳＣＥＮＥ）の３Ｄ映像を記録する方法、そして同方法を実施するため構成された３Ｄ画像化装置に関する。]
背景技術

[0002] ３Ｄ画像化の分野では、飛行時間測定原理が良く知られている。レンジ（ｒａｎｇｅ）映像を飛行時間（ＴＯＦ）原理に基づき実時間で捕捉する３Ｄカメラ（レンジカメラ）が知られている。そのようなカメラは一般に、３Ｄで画像化しようとするシーンに正弦変調光を発する光源と、シーンが光学系で画像化される画素アレイとを含む。カメラは次いで、画素にて検出される光を発光と相関させ、発光と受光間の位相差を画素毎に特定する。この位相差は、カメラと、当該画素上に画像化されるシーンの部分との間のラジアル距離に比例する。復調は画素アレイの全画素に対して同時に行われるので、カメラは、各々特定の画素に、従ってシーンの特定部分に関連する距離値の一つのアレイを提供する。以下において、「位相差」の代わりに「位相」も用いるものとする。発光を変調するために使用されるか又はこの発光の変調に基づく、発光又はクロック信号の位相はその場合、基準位相の役目をする。また、「位相」及び「位相差」は本明細書に用いられるとき、変調される搬送波の位相では無く、変調の位相を常に指すことを一言しておくべきである。]
[0003] 画素に当たる光の位相の特定に導く復調法は、種々の方法で実施することができる。ＥＰ０７９２５５に開示された３Ｄカメラは、一次元又は二次元の画素アレイを有し、その各画素が、入射光に応答して電荷担体が発生される感光部と、複数の電気スイッチ及びこれ等スイッチの夫々に付随する記憶セルをもつ不感光部とを含むものである。感光部に集積される電荷は、電気スイッチの順次作動により記憶セルに移送される。電気スイッチは、特定の記憶セルに移送される電荷が発光の既知位相における時間間隔（単数又は複数）に属するように制御される。異なる記憶セルに集積される電荷は次いで、画素に当たった光の位相、その振幅及び背景光レベルを特定するのに用いられる。同測定原理に関する更なる詳細は、IEEJournal of Quantum Electronics 31 (1995)におけるSpring el alによる文献”The Lock-in CCD-Two-dimensional Synchronous Detection of Light”に見出される。この復調方法の改良はＥＰ１６５９４１８に記載されている。]
[0004] ＵＳ６８２５４５５には、検出光を復調するもう一つの方法が開示されている。この文献では、各画素の感光部は少なくとも２つの変調光ゲートと不感光域とを有し、不感光域は各々が各変調光ゲートに連携する一つの集積ゲートを有している。第１の露光時間間隔中に、入射光に応答して画素の感光部に発生される電荷担体は、発光の変調周波数にて変調される第１の電圧傾度に曝され、それにより、電圧が第１の極性のとき第１の集積ゲートにドリフトされ、電圧が反対極性のとき第２の集積ゲートにドリフトされる。そのように第１及び第２の変調ゲートに夫々集積される電荷ｑａ及びｑｂが特定される。第２の露光時間間隔中に、画素の感光部に発生される電荷担体は同一周波数で変調され、且つ第１の電圧傾度に対して既知位相でシフトした第２の電圧傾度に曝される。電荷担体は再び、印加電圧の極性に応じて２つの異なる集積ゲートにドリフトさせられ、集積電荷ｑａ及びｑｂを生じる。画素に当たる光の位相は、集積電荷の値を用いて特定される。これ等電圧傾度間の位相差が９０°に達すると、光の位相はφ＝arctan[(qc-qd)/(qa-qb)]として特定することができる。上記引用の文献の全体が、ここに引用により挿入する。]
[0005] ＥＰ０７９２５５５
ＥＰ１６５９４１８
ＵＳ６８２５４５５]
先行技術

[0006] ”The Lock-in CCD-Two-dimensional Synchronous Detection of Light” by Spring el al inIEEJournal of Quantum Electronics 31 (1995)]
発明が解決しようとする課題

[0007] 本発明の理解のため、連続的変調光で作動する３ＤカメラのＴＯＦ原理のよる測定の基本的数学概念を手短に思い起こして見よう。]
[0008] カメラの照射装置の発する連続的変調光の強度は、次式で記述することができる。
S(t)=S0・(1+sin(ωt)) （１）]
[0009] ここで、Ｓ０は平均光強度で、ωは変調周波数ｆで与えられ、即ちω＝２πｆである。従って、シーンには、照射強度Ｓ、光の空間分布及びシーンとカメラ間の距離に依存するパワー密度Ｐの光が照射される。次いで、緩減（ｒｅｍｉｓｓｉｏｎ）係数ρで与えられる光パワーの一部はシーン内の物体により緩減される。「緩減」は本明細書で用いられるとき、物質による光の反射又は散乱を指す。画像化光学装置は、光学系（例えば、レンズ及び／又はプリズム及び／又はフィルタ等類から成る）を通ってカメラの画素アレイに至る緩減光をマップ化する。理想的光学系を仮定すると、時間ｔに画素アレイの画素位置ｘ＝（ｕ，ｖ）に達する受光の強度ｌ（ｘ，ｔ）には従って、以下の特性がある。]
[0010] 光強度ｌ（ｘ，ｔ）は発光のと同一周波数で、且つカメラと画像化装置上の点ｘ＝（ｕ，ｖ）にマップされるシーン部との間の距離ｒに比例する値φだけ遅延された位相で、時間的に変調される。数学的には、受信光の強度は次式により与えられる：
I(x,t)=B(x) + A(x)sin(ωt-φ(x)) （２）
及び
φ(x)=2r(x)f/c （３）
ここで、ｃは光の速度、Ａは受信光の変調の振幅、Ｂ（＞Ａ）は変調光と、シーンを照射する他の光源（例えば太陽）から発せられる背景光との一定のオフセットである。Ａ、Ｂ及びφは変調の時間スケールに関し一定と見なし得るように、高々緩やかに変化しているものと仮定する。]
[0011] 振幅Ａは従って、光学系により対応する画素にマップされるシーンの部分上のパワー密度Ｐ、シーンのその部分の緩減計数ρ及びレンズのＦ数のように、光パワーとは無関係な光学系パラメタに比例する。]
[0012] 理想的な光学系は、シーン内の1点を画像面内の1点にマップ配置する。だが、実際には、シーン内の1点で生じる光は理論画像点の周りの部分に拡がる。種々の物理的機構が、画像点のかかる拡がりを生じ得る。レンズの脱焦は、局部的限定拡がり部分を生じ、これが映像を不鮮明に見せる。鮮明度と脱焦と拡がり部分の間の関係は、被写界深度の概念によって記述される。点拡がりに導く他の機構は、光回折（レンズの開きが小さい場合）、光学系の面上の多重光散乱又は光学系の面の汚れによる光散乱である。これ等の物理的効果は、映像におけるコントラストの低下を招く。]
[0013] 点源の光拡がりの効果は、所謂点像分布関数（ＰＳＦ）により数学的記述が可能である。仮にx=(u, v)及びx’=(u’, v’)が画像面の２つの点を規定する場合、ＰＳＦ関数の値g(x’, x)は、理論画像点がｘのとき点x’にマップ配置される相対光量を指す。重ね合わせの原理（光学画像系のような線形系に対して有効である）のため、映像への光の拡がりの効果は畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ）：
I’＝g＊I (４a)
即ち、
I’(x)=∫g(x,x’)I(x’)dx’, （４ｂ）
により記述が可能である。ここで、Iは理想画像、I’は光学系における光拡により影響される実際画像を示す。１つの画像が離散点（画素）で与えられるとすると、その積分はこれ等画素に亘る和を表す。]
[0014] 光学系の提供する画像I’から理想画像Ｉを再構成するためには、畳み込み(4a)又は(4b)を反転しなければならない。この反転は反畳み込み(ｄｅ−ｃｏｎｖｏｌｕｔｉｏｎ)と呼ばれ、理想的な場合、画像I’を反畳み込み関数g’（gでの畳み込みがディラックのδ関数であると云う条件を少なくとも近似的に満たす）で畳み込むことにより実現される。だが、そのような反畳み込み関数は一般には知られておらず、また必ずしも一義的に定義されない。反畳み込みに対する標準的手法は、画像変換、及びフーリエ空間に対する畳み込み関数に基づくものである。だが、この手法は必ずしも適切ではない。画像処理の分野では、画像を少なくとも近似的に反畳み込みするために、種々の手法が開発されている。]
[0015] ２Ｄ画像化では、光拡は正常状態下では無視できることが多い（周辺光及び良集束光学部品を用いることによって）。その場合、点拡関数g(x’, x)はデルタピーク：
g(x’,x)=(1-ε)δ(x’,x)+ εf(x’,x) （５）
に近くなる。ここで、fは１に正規化された関数、εは光学系で散乱される相対光量である。良集束及び清浄光学系では、εは例えば１０−３オーダーと概して小さい。従って、人の目に見えるぼやけは、極めて光輝な光源（例えば太陽）からの光が光学系内に入って光る場合にのみ生ずる。この場合、光輝光源からの光の拡がりの寄与するところは、その強度がシーン内の物体により反射される光強度より何桁も高いので無視できない。光学系が汚れている（塵又は擦傷による）場合、パラメタεは、より大きいので人の目に見える光の拡がり（以下、光拡）が結果として正常照明条件さえも生じる。]
[0016] シーンを広く照射するＴＯＦカメラ系において、散乱太陽光による画像ぼやけに類似する効果が能動照射により生ずることを本発明者等は認識した。主な理由は、シーン内の物体上の光パワー密度は光源に対する物体の距離ｄに強く依存する（Ｐ〜1/d2）からである。対応する画素位置ｘにおける光強度I’(x)は光パワー密度及び緩減係数ρに比例する、即ち
I’(x)〜ρ/d2 （６）]
[0017] 一例として、距離１ｍにおける緩減係数が５０％の物体は、距離１０ｍにおける緩減係数が５０％の物体が発生する強度値より１０００倍大きい強度値を発生するであろう。従って、（５）を畳み込み積分（４ｂ）に置換すると、点x≠x’における強度の寄与は、光散乱因子εが１０−３のオーダーであっても、最早無視し得なくなる。]
[0018] 位相測定、従って計算距離情報が光拡により歪曲されることを認識することが重要である。このことを今、先ず２つの変調光強度に付き、次いで一般の場合に付いて、より詳細に説明しよう。]
[0019] 式（２）により表現可能な２つの変調光強度を重ね合わせると、
I’(t) = I1(t) + I2(t)=(B1+B2)+A1sin(ωt-φ1)+A2sin(ωt-φ2) （７a）
を生ずる。I’(t)は再び１つの変調光強度の形式で表現できる、即ち
I’(t) =B’+A’sin(ωt-φ’) (７ｂ)
ここで、
B=B1+B2 （８）
A’=(AS’2+AC’2)1/2
φ=arctan(AS’/AC’)
そして、
AS’=A1sinφ1+A2sinφ2=:AS1+AS2 （９）
AC’=A1cosφ1+A2cosφ2=:AC1+AC2]
[0020] 式（７ａ）〜（９）の示すところは、同一周波数、且つ異なる位相及び振幅の２つの変調強度を重ね合わせると、同一周波数であるが、その位相が重ね合わされる個々の強度の位相のみならず、振幅にも依存する変調強度が結果として生じる。云い換えれば、非理想光学系が存在している場合の拡光は測定位相値に誤差を引き起こす。]
[0021] 拡がりによる変調強度の重ね合わせの一般的事例に移る前に、式（９）を複素表示で書き換えると便利であることに注目すべきである。



ここで、ＡＣ及びＡＳは複素振幅



の夫々、実及び虚成分、即ち]
[0022] 振幅に対する重ね合わせ原理（９）又は（１０）は、光学系が光強度を点拡関数ｇで拡げる場合に対し簡単に一般化できる。






を用い、これを式（４ｂ）に代入すると、結果は



である。]
[0023] 結果として生じる位相φ’(x)及び振幅Ａ’(x)は再び、（１１）に定めたように



の実及び虚部を用いて式（８）により与えられる。]
[0024] 無視できない重ね合わせの結果として、位相測定におけるコントラストが低下する。これは、異なる画素で測定される位相は、変調の振幅が最強の画素の位相に向かってシフトされることを意味する。位相シフトのこの効果が強ければ強いほど、対応画素の振幅は小さくなる。従って、光拡により生じる位相シフトは背景画素に最も影響をもたらす。シーンの背景における物体は、特にシーンの背景部の緩減係数が低い場合、実際よりカメラに近く見える。]
[0025] 本発明の目的は、レンジ測定に及ぼす光拡の効果を低減することにある。]
課題を解決するための手段

[0026] この目的は、請求項１に記載の方法によって達成される。本方法の好適な実施態様は従属請求項に記載されている。]
[0027] シーンの３Ｄ映像を記録するこの方法は、
強度変調を搬送する光を発してシーンに光照射し、
シーンを、光学系を用いて画素アレイに画像化し、
シーンから画素上に反射される強度変調光を画素毎に検出し、
画素にて検出される光の位相に基づいて距離値を画素毎に特定することを含む。]
[0028] 本発明によれば、距離値の特定は、光学系で拡がる光により惹起される位相誤差を補償するようにした、画素アレイに画像化されるシーンの位相感知反畳み込みを含んで成る。上記のように、反畳み込みは、２Ｄ画像化装置、即ち深さ（又は距離又はレンジ）情報を提供しない画像化装置における光拡の効果を少なくとも部分的に補償するための既知の手段である。だが、本発明者等が知る限り、光拡による３Ｄ画像化装置における位相コントラストの損失の問題は文献では未だ取り扱われていない。ここに提案の方法は、より正確な３Ｄ画像の検出を可能にする。更に、本方法はより困難な照明条件で正確な距離特定を可能にする。]
[0029] 本方法の第１の実施態様は、迷光がある場合それを含む、映像に当たる光の振幅値と位相値（任意選択としてまた、一定の背景強度、だがこれは更なる検討に対しては重要ではない）を出力する３Ｄ画像化装置に特に好適である。従って、本発明の第１の実施態様によれば、画素で検出される強度変調光の振幅値（上記表記法を用いてA’(x)）及び位相値（φ’(x)）が特定される。画素アレイ上に画像化されるシーンの位相感知反畳み込みは、
第１のデータアレイを生成し、該第１のデータアレイの各アレイ素子には上記画素アレイの一画素が関連付けられ、その値は第１の位相因子で加重される該関連付け画素に対して特定される振幅に対応するようにし、
第２のデータアレイを生成し、該第２のデータアレイの各アレイ素子には上記画素アレイの一画素が関連付けられ、その値は第２の位相因子で加重される該関連付け画素に対して特定される振幅に対応し、上記第２の位相因子が該関連付け画素に対して特定される位相値に依存するようにし、
前記光学系の反畳み込み関数に基づいて上記第１及び第２のアレイを反畳み込みして成る。]
[0030] 距離値はその場合、画素に関連付けられる上記反畳み込みされる第１及び第２のアレイ素子の値に基づいて画素毎に計算される。]
[0031] 前記第１の位相因子は好ましくは関連付け画素に対して特定される位相値のコサイン（すなわちcos(φ’(x))）であり、前記第２の位相因子は好ましくは関連付け画素に対して特定される位相値のサイン（すなわちsin(φ’(x))）であることを当業者は理解するであろう。その場合、第１のデータアレイの素子は値
AC’(x)=A’(x)・cos(φ’(x)) （１５）
を取り、第２のデータアレイのそれ等は値
AS’(x)=A’(x) ・sin(φ’(x)) （１６）
を取る。]
[0032] 或いはまた、第１及び第２の位相因子は、例えば、所謂小位相近似を用いて、位相値のそれぞれコサイン及びサインの近似としても良い。先ず、｜φ’(x)｜＜＜２πと仮定する。この場合、第１の位相因子は１に等しいように設定して良く、特定位相φ’(x)自体が位相のサインの近似として成るようにしても良い。この場合、第１のデータアレイの素子は値
AC’(x)=A’(x) （１７）
を取り、第２のデータアレイのそれ等は値
AS’(x)=A’(x)・φ’(x) （１８）
を取る。]
[0033] 両方の場合において、第１及び第２のデータアレイの反畳み込みバージョンの素子の値を
AC(x)=∫g’(x,x’)AC’(x’)dx’ （１９a）
及び
AS(x)=∫’(x,x’)AC’(x’)dx’ (１９b)
で求めても良い。ここで、g’は光学系の反畳み込み関数である。g’は積分が画素アレイの全画素に亘る和の場合、行列で与えても良い。式（１９ａ）及び（１９ｂ）は



として纏めることができる。]
[0034] 画素毎に対応する距離値は修正位相を
φ(x)=arctan(AS(x)/AC(x)) (２１)
として、又は小位相近似を用いる場合、
φ(x)=(AS(x)/AC(x)) （２２）
として求めることができる。]
[0035] 小位相近似は、異なる画素の位相φ’(x)が必ずしも条件｜φ’(x)｜＜＜２πを満たさず、比較的狭い範囲にある場合にも、用い得ることに言及すべきである。その場合、｜δφ’(x)｜＜＜２πでφ’(x)=φ0’+δφ’(x)と書くことができる。ここで、φ0’はアレイの全画素に共通するオフセット、例えば測定位相値φ’(x)の平均、即ち所定の定数である。この場合、式（１７）及び（１８）においてφ’(x)の代わりにδφ’(x)を用いても良い。第１及び第２のデータアレイの反畳み込みは、式（１９ａ）及び（１９ｂ）を通して得られる。修正位相φ(x)は、δφ(x)=As(x)/AC(x)及びφ(x)=δφ(x)+φ0を用いて見出される。当業者は、φ0の減算と加算が任意に選べる基準位相の変化に対応することに気付くであろう。従って、以下、小位相近似を用いるとき、φ0=0（従って、φ’(x)=δφ’(x)）となるように基準位相が選ばれるものと仮定する。]
[0036] 位相単位以外の単位で距離を表したければ、これは式（３）を用いて行える。]
[0037] 本方法の第２の実施態様によれば、シーンから反射される強度変調光の検出は、変調の異なる位相において画素に当たる強度変調光の強度値を画素毎に特定することを含み、上記異なる位相は、該画素の当たる強度変調光の振幅及び位相が既知の関係を用いて上記強度値の一組から導き出し得るように選ばれる。だが、当業者には分かるように、この第２の実施態様では、未修正の振幅及び位相値が既知の関係を用いて実際に計算されている必要ない。この場合、シーンの位相感知反畳み込みは
データアレイを生成し、該データアレイの各アレイ素子には画素アレイの一画素が関連付けられ、その値は上記変調の位相の１つで特定される関連付け画素の強度値又は上記変調の異なる位相で特定される関連付け画素の少なくとも２つの強度値の一次結合の何れかに対応するようにし、
前記光学系の反畳み込み関数を用いて、データアレイを反畳み込みするようにする。]
[0038] 距離値は、画素に関係付けられる反畳み込みデータアレイのアレイ素子の値に基づいて、例えば、画素に関連付けられる反畳み込みデータアレイのアレイ素子の値から修正位相を特定することにより、画素毎に計算される。]
[0039] 画素毎に、実際に特定される光強度I’(x)は、式（７ａ）又は（７ｂ）により、推論的に未知のパラメタA’(x)、B’(x)及びφ’(x)を用いて、時間の関数として数学的に表現することができる。これ等のパラメタを特定できるようにするため、各画素の強度値は従って、上記引用のSpringによる文献に詳細に説明されているように、或いはＵＳ６８２５４５５の手法（そこでは電荷qa、 qb、 qc及びqdが異なる位相における強度値に対応する）により、変調の少なくとも３つの位相において特定されなければならない。]
[0040] 変調のこれ等少なくとも３つの位相は、好ましくは規則正しく離間される。より好ましくは、これ等強度値は位相の４つの位相において特定される、これ等４つの変調位相は９０°離間される。後者の場合、４つのデータアレイは素子として強度値I0’(x)が変調の０°位相に、I1’(x)が変調の９０°位相に、I2’(x)が変調の１８０°位相に、I3’(x)が変調の２７０°位相にそれぞれ関連付けられる。]
[0041] これ等のデータアレイは次いで、光学系の反畳み込み関数を用いて反畳み込みされ、素子として
Ik（ｘ）＝∫g’(x,x’)Ik’(x’)dx’ （２３）
を有する反畳み込みデータアレイを生ずる。同式で、ｋは夫々＝０、１、２及び３である。次いで、修正位相は、
AS(x)=A(x)・sin(φ(x))=1/2(I2(x)-I0(x)) （２４）
AC(x)=A(x)・cos(φ(x))=1/2(I1(x)-I3(x))
及び式（２１）を用いて、修正強度値l0(x)、l1(x)、l2(x)及びl3(x)に基づき、
画素毎に計算することができる。]
[0042] 各々に変調の特定位相が関連し、式（２３）におけるように変調の位相の１つにて特定される関連画素の強度値に対応する値を有するアレイ素子のデータアレイを反畳み込みする代わりに、アレイ素子として、変調の異なる位相にて特定される関連画素の少なくとも２つの強度値の一次結合、例えばAS’(x)=(l2’(x)-l0’(x))/2及びAC’(x)=(l1’(x)-l3’(x))/2、を有するデータアレイを代替的に反畳み込みするようにしても良い。この場合、反畳み込みは式（１９ａ）及び（１９ｂ）によりAS及びACを計算することによって行うことができる。]
[0043] 本発明の有利な側面によれば、光学系の汚れの程度（レベル）が検査され、位相感知反畳み込みが汚れレベルに基づいて調整される。汚れレベルの検査は好ましくは、欧州特許出願０７１１０３７９．０における説明のようにして達成される。]
[0044] 本発明のもう１つの側面は、前記のような方法を実施するように構成される３Ｄ画像化装置に係る。そのような３Ｄ画像化装置（例えば３Ｄカメラ）は強度変調を搬送する光を発してシーンに光照射する光源と、光学系と、シーンから反射され、画素アレイ上に画像化される強度変調光を検出するように構成される画素のアレイと、画素にて検出される光の位相に基づいて距離値を画素毎に特定する制御及び評価回路とを含む。この制御及び評価回路は、画素アレイ上に画像化される上記シーンの位相感知反畳み込みを、それが上記光学系における光拡により惹起される位相誤差の補償するように行う手段、例えば、特定用途向け集積回路(ASIC)、現場（ｆｉｅｌｄ）設定変更可能ゲートアレイ(FPGA)及び／又はマイクロプロセッサを含んで成る。]
図面の簡単な説明

[0045] 本発明の更なる詳細及び利点は、添付図面を参照して非限定実施態様数例の以下の詳細な記載から明らかになろう。図面において
図１は、ＴＯＦ原理による動作する３Ｄカメラの概略図である。
図２は、光拡の存在下で強度波形のパラメタがどのように影響されるかを示す図である。
図３は、本発明の第１の実施態様による方法のフローチャートである。
図４は、本発明の第２の実施態様による方法のフローチャートである。] 図１ 図２ 図３ 図４
実施例

[0046] 図１は参照番号１０で一般識別される３Ｄカメラを示す。３Ｄカメラ１０は、正弦変調光をシーン内に発する照射装置１２と、二次元画素アレイ１４と、シーンを画像アレイ上に画像化する光学系１４（ここではレンズで表す）を含む。画素アレイ１４は、ＣＣＤ、ＣＭＯＳ及び／又はＴＦＡ等の任意の適宜技術の電子カメラチップとして組み込むことができる。画素アレイは、各々にシーンの小部が画像化される個別のロックイン画素センサセル１８（ここでは単に画素と呼ぶ）を含む。] 図１
[0047] 照射装置１２は、照明ドライバ２０により一括駆動される個々の発光素子、例えば発光ダイオード（ＬＥＤ）１つ又は数個を含んでも良い。クロック信号源（例えば数値制御発振）は入力信号を、照射ドライバ２０と、画素アレイ１４の制御する光ゲートドライバ２４に供給する。画素アレイ１４に接続する評価回路２６（例えばASIC、FPGA又はディジタル信号プロセッサ(DSP)）は、３Ｄカメラの動作時に、画素に発生される電荷に基づいて距離情報を特定する。]
[0048] ３Ｄカメラの動作中に、信号源２２はその出力に変調信号を発生し、この変調信号を照射ドライバ２０に供給する。後者はドライブ信号で照射装置１２を駆動し、照射装置が正弦強度変調を搬送する（ｃａｒｒｙｉｎｇ）光（鎖線１３で表す）をシーン内に発するようにする。例示のため、シーンはここでは、前景物体２８及び背景物体３０を含むものとして表されている。図面は正しい縮小比ではなく、カメラ１０とシーン内の物体２８、３０間の距離は、照射装置１２と光学系１６（好ましくは、単一筐体内に組み込まれる）の間の距離より実質的に大きいことに注意すべきである。変調光は物体２８、３０より緩減（反射又は散乱）され、緩減光の何分の１かが画素アレイ１４により受光される。信号源２２はまた、変調信号を光ゲートドライバ２４に供給し、個々の画素１８を、それ等が例えばＥＰ０７９２５５５又はＵＳ６８２５４５５を参照して前述のように動作するように制御する。]
[0049] 以下において、画素アレイ１４及び光ゲートドライバ２４が前者文献の原理に従って動作するように構成されると仮定する。この場合、各画素１８は、それに当たってシーンから緩減される光に応じて電荷担体が発生される光感知部と、複数の電気スイッチ及びこれ等スイッチの夫々に随伴する記憶素子を有する非光感知部とから成る。この段落の以下の考慮事項は１個の画素に関するものである。光感知部で集積される電荷は、光ゲートドライバ２４の制御下で電気スイッチの順次起動により記憶素子に移送される。これ等電気スイッチは、特定の記憶素子に移送される電荷が発光の既知の位相における単数又は複数の時間間隔に属するように制御される。図２は、これ等の集積時間が変調の１周期中にどのように分布されるかを示す。画素に当たる光強度l’(x, t)は破線３２で示されている。数学的には、式（７ｂ）又は（１３）で表すことができ、ここでパラメタA’(x)、B’(x)及びφ’(x)は初めから未知である。第１の時間間隔T1中に画素の光感知部で発生される電荷担体は、特定時間での対応する電気スイッチの閉鎖によって第１の記憶素子に移送される。その移送後に、第１の電気スイッチが再度開かれ、特定の時間間隔の経過後に第２の時間間隔T2中に発生される電荷担体は、特定時間での第２の電気スイッチの閉鎖によって第２の記憶素子に移送される。同一工程が時間間隔T3及びT4に対して反復される。この工程を変調の数周期に亘って拡げることができる。異なる記憶素子に蓄積される電荷は従って、変調の異なる位相における変調光の強度値に対応し、そして画素に当たった光のパラメタA’(x)、B’(x)及びφ’(x)を特定するのに用いることができる。変調の時間尺に関して、A’(x)、B’(x)及びφ’(x)は（従って、修正パラメタA(x)、B(x)及びφ(x)も）緩やかに変化している。典型的な変調周期は、例えば５０ｎｓであり。これは２０ＭＨｚ変調又はカメラレンジ７．５ｍに対応する。車両シートの占有検出等の用途では、上記パラメタを数変調周期に亘って実質的に一定と看做すことができる。] 図２
[0050] 画素アレイの画素１８の１つ又は複数が基準画素１９として用いられる。照射装置１２により発光される光は、既知長の光ガイド１５（例えば、光ファイバ又は光ファイバ束）を用いて基準画素１９上に案内される。基準画素から検索される強度値は、照射装置１２による発光における変調光の位相に関して既知のオフセットをもつ基準位相を指す。基準画素１９はシーンから発せられる光から適宜保護され、基準位相の歪を回避する。]
[0051] 図１に示すように、シーン内の点Ｘ１から生じる光が、理論画像点の周囲の部分に拡がる。理論画像点Ｘ１の周囲に拡がる光（拡光）は破線円３４で示されている。斯くして、理論画像点Ｘ１に対応する画素３６に理想的には当たるべき光の部分は実際には、画素アレイ１４の異なる画素１８に、例えばシーン内の点Ｘ２の理論画像点に位置する画素３８に当たる。強度値l0’,l1’,l2’及びl3’（異なる集積時間間隔T1, T2,T3及びT4中に集積される電荷から結果として生じる）は従って、理想強度値（光拡に影響されない）とは異なる。強度値l0’(x),l1’(x),l2’(x)及びl3’(x)から再構成される強度波形l’(x)のパラメタ値A’(x), B’(x)及びφ’(x)は従って、理想値A(x), B(x)及びφ(x)とは異なる。これは、実測強度値l0’,l1’,l2’及びl3’（破線ボックス４２で表わされている）と、点線ボックス４４で表される対応理想強度値での理想強度波形（点線曲線４０）とを用いて得られた強度波形３２を示す図２に図示されている。時間軸（水平軸）上の時間表示は変調周期の単位で表され、垂直軸上の強度表示は任意単位で与えられている。波形３２及び４０はオフセット及び振幅だけでなく、位相でも異なることに言及されるべきである。] 図１ 図２
[0052] 本発明の第１に実施態様による方法を３Ｄカメラで実施する場合、評価回路２６が先ず画素毎にパラメタA’(x)及びφ’(x)を特定する。これは、図３にステップＳ１０として図示されている。修正振幅A(x)及び位相φ(x)を得るため、評価回路は第１のデータアレイ[AC’(x)]=[AC’(x1),...,AC’(xn)]及び第２のデータアレイ[AS’(x)]=[AS’(x1),...,AS’(xn)]を計算する。ここで、x1,...,xnはシーンの部分が実際に画像化される（図３の工程Ｓ１２）画素アレイの画素を表す。反畳み込みの意味においては、基準画素はシーンのどの部分もそれ等上に画像化されないので、画像アレイの部分であるとは考えられないことに言及されるべきである。更に、評価回路２６における第１及び第２のデータアレイの内部表示は、図示の目的でここに与えられる表示とは異なることがあることに言及されるべきである。アレイ素子AC’(x)及びAS’(x)の値は、式（１５）及び（１６）を、小位相近似の場合に式（１７）及び（１８）を用いて前述のように特定することができる。評価回路２６は次いで、






夫々により、第１及び第２のデータアレイの反畳み込みバージョン[AC(x)]及び[AS(x)]を特定する（図３の工程１４）。上式は、積分がこの場合、画素アレイの画素に亘る和であることを考慮して、式（１９ａ）及び（１９ｂ）に対応する。反畳み込み関数g’を評価回路のメモリに、例えばマトリックス[g’(x, x)]の形式で記憶させると有利である。評価回路は次いで、式（２１）又は（２２）を小位相近似が用いられるか否かに応じて用い、（基準画像以外の）画素毎に修正位相φ(x)を特定する（図３の工程１６）。最後に、修正位相φ(x)と、基準画素１９で特定される基準位相とを用いて、距離値が計算される。] 図３
[0053] 第１の実施態様による方法は、３Ｄカメラが生データ（上記例では値l0’,l1’,l2’及びl3’）にアクセスできない場合、又はそのようなアクセスが複雑な場合、特に有用である。]
[0054] 以上論述された本発明の第２の実施態様による方法を３Ｄカメラ１０で実施する場合、評価回路２６はデータアレイ[lk’(x)]= [lk’(x1),...,lk’(xn)], k=0,...,3を生成する。斯くして、これ等データアレイの各々には変調の特定位相が関連し、これ等データアレイの各アレイ素子は画素アレイの一画素が関連し、変調の特定位相における関連画素の強度値に対応する値を有する。これ等データアレイは次いで反畳み込みされ、



により定められるアレイ素子を有する反畳み込みデータアレイを生じる。上式は，積分がこの場合、画素アレイの画素に亘る和であることを考慮して、式（２３）に対応する。或いはまた、評価回路は、データアレイ[lk’(x)], k=0,...,3の１次結合から得られるデータアレイを生成し、次いでこれ等１次結合データアレイを、例えば式（１９）におけるように反畳み込みするようにしても良い。図４の実施例では、工程２０で生成されるアレイ[lk’(x)]= [lk’(x1),...,lk’(xn)], k=0,...,3は１次結合され、例えば、変調の４位相が９０°離間するものとして、式AS’(x)=(l2’(x)-l0’(x))/2及びAC’(x)=(l1’(x)-l3’(x))/2を用いて、データアレイ[AC’(x)]=[AC’(x1),...,AC’(xn)]及び [AS’(x)]=[AS’(x1),...,AS’(xn)]を生じする（工程２２）。評価回路は次いで、式（２５）及び（２６）夫々によりデータアレイの反畳み込みバージョンを特定する（図４の工程２４）。評価回路は次いで、式（２１）又は（２２）を、小位相近似が用いられるか否かにより用いて、画素毎に修正位相φ(x)を特定する（図４のステップ２６）。] 図４
[0055] 前実施例のように、関数g’は評価回路に、例えばマトリックスとして内部記憶することができる。評価回路２６は次いで、式（２１）又は（２２）に基づいて修正位相φ(x)、並びに修正位相φ(x)と、基準画素１９で特定された基準位相とを用いて距離値を計算する。]
[0056] 光学的画像化システムの当業者は、所定の光学系に対して適宜の反畳み込み関数をどのようにして特定するかを知得していることが一言されるべきである。それにもかかわらず、点拡関数及び関連する反畳み込み関数の具体例を以下例示のため、論じることにする。]
[0057] 本修正は迷光の同次部の、振幅及び位相測定への影響を補償する。理論画像点の周りのそのような拡光に対応する点拡関数ghは
gh(x’,x)=(1-ε)δ(x’,x)+ εEv(x) （２８）
で与えられる。ここで、Evは場所Vで一定、且つどこかほかの場所でOの関数：



を表す。]
[0058] 点拡関数ghは反転可能である。結果は、
gh’(x,x’)=1/(1-ε)[δ（ｘ,x’）-εEv(x’)] （３０）
である。]
[0059] （５）に式（２１）に代入すると、修正複素振幅に対する表式：



が与えられる。ここで、



は場所Vにおける複素振幅



の平均を表す。これは、修正複素位相が、測定複素位相から複素振幅の平均の特定部分を差し引くことにより得られることを意味する。修正位相及び振幅は次いで、式（２０）を



の実及び虚部に夫々、適用することにより得られる。従って、第１及び第２のデータアレイの反畳み込みは
AC(x)=1/(1-ε)[AC’(x)- ε] （３２）
AS(x)=1/(1-ε)[AS’(x)- ε]
を通して行われる。ここで、及びは場所VにおけるAC’(x)及びAS’(x)の平均を夫々、表す。式（３２）、反畳み込みが同次(ｈｏｍｏｇｅｎｅｏｕｓ)拡がりの場合に、第１のデータアレイ[AC’(x)]の各アレイ素子から第１のデータアレイのアレイ素子の値の平均値の少数部εを、第２のデータアレイ[AS’(x)]の各アレイ素子から第２のデータアレイのアレイ素子の値の平均値の同一少数部εを差し引くことにより行えることを表している。]
[0060] 小振幅近似（式（１７）及び（１８））と組み合わせた同次補償（３０）は、
A(x)=1/(1-ε)[A’(x)- ε] （３３）
AS(x)=1/(1-ε) [A’(x)φ’(x)- ε]
φ(x)=AS(x)/A(x)
を生ずる。]
[0061] 反畳み込みはこのように、場所Vにおける振幅の平均値及び振幅加重位相（又は位相加重振幅）の一度計算を要するのみであるので、計算が簡単である。用語「同次」は迷光振幅を意味するものであり、結果となる修正項Δφ(x)=φ(x)-φ’(x)を意味するものでないことに注意。画素毎に、位相の修正はその画素で測定される位相φ’(x)及び振幅A’(x)に強く依存するであろう、従って、同次関数ではない。これは、式（３３）の結果となる位相シフト：



を計算することにより明らかになる。]
[0062] 同次拡がりの修正は、式（２３）又は（１９）を用いる方法に同様に良く適用が可能であることを指摘すべきである。式（２３）におけるg’(x, x’)
に式（３０）で与えられるgh’(x, x’)を代入すると、式
Ik’(x)=1/(1-ε)[Ik’(x)-ε]、
が得られる。ここで、は場所Vにおける強度値lk’(x)の平均を表す。式（３５）は、変調の夫々の位相に関連するデータアレイが、各アレイ素子lk’(x)からデータアレイのアレイ素子の値の平均値の部分εを差し引くことにより反畳み込みされることを表している。同様の表示が、式（１９）におけるg’(x, x’)にgh’(x, x’)を代入することにより容易に得られる。
パラメタεは、系の光学部品により迷光される光の量を定める。通常、このパラメタは光学測定により特定でき、所定の光学部品に対して一定値を取る。だが、光学系の汚れの場合には、散乱光の量は増大し得る。汚れの程度が動的に特定され、パラメタεがそれに従って調整されれば、本方法は、汚れの程度のための位相及び振幅対比の損失を修正できる。汚れの程度を特定する方法は例えば、欧州特許出願０７１１０２７９．０に開示されており、これを引用によりその全体を本明細書に参照挿入する。]
[0063] １０ ３Ｄカメラ
１２照射装置
１４画素アレイ
１５光ガイド
１６光学系
１８ロックイン画素センサセル
１９基準画素
２０照射ドライバ
２２クロック信号源
２４光ゲートドライバ
２６評価回路
２８前景物体
３０背景物体
３２ （破線曲線）画素の当たる光強度l’(x, t)
３４ 拡がる光
３６ 画素
３８ 画素
４０理想強度波形（点線）
４２実測強度値（破線）
４４ 理想強度値（点線ボックス）]

权利要求:

請求項1
飛行時間原理に基づきシーンの３Ｄ映像を記録する方法であって、強度変調を搬送する光を発してシーンに光照射し、シーンを、光学系を用いて画素アレイ上に画像化し、シーンから画素上に反射される強度変調光を画素毎に検出し、画素にて検出される光の位相に基づいて距離値を画素毎に特定することを含む方法において、上記距離値の特定が、光学系で拡がる光により惹起される位相誤差を補償するように、画素アレイに画像化されるシーンの位相感知反畳み込みを含んで成ることを特徴とする方法。
請求項2
画素について、検出される強度変調光の振幅値及び位相値が画素毎に特定され、前記画像アレイに画像化される前記シーンの前記位相感知反畳み込みが、第１のデータアレイを生成し、該第１のデータアレイの各アレイ素子には上記画素アレイの一画素が関連付けられ、その値は第１の位相因子で加重される該関連付け画素に対して特定される振幅に対応するようにし、第２のデータアレイを生成し、該第２のデータアレイの各アレイ素子には上記画素アレイの一画素が関連付けられ、その値は第２の位相因子で加重される該関連付け画素に対して特定される振幅に対応し、上記第２の位相因子が該関連付け画素に対して特定される位相値に依存するようにし、前記光学系の反畳み込み関数に基づいて上記第１及び第２のアレイを反畳み込みして成り、且つ距離値が、画素に関連付けられる上記反畳み込みされる第１及び第２のアレイ素子の値に基づいて画素毎に計算されるようにして成る、請求項１に記載の方法。
請求項3
前記第１及び第２のアレイの反畳み込みが、該第１のアレイの各アレイ素子から該第１のアレイのアレイ素子の値の平均値のある一定の何分の１かを、上記第２のアレイの各アレイ素子から該第２のアレイのアレイ素子の値の平均値の対応する何分の１かを差し引くことにより行われて成る、請求項２に記載の方法。
請求項4
前記第１の位相因子が関連付け画素に対して特定される位相値のコサインであり、前記第２の位相因子が関連付け画素に対して特定される位相値のサインである、請求項２又は３に記載の方法。
請求項5
距離値を画素毎に計算することが、修正位相を φ(x)=arctan（AS(x)/AC(x)）として特定することを含み、ここでｘは画素を特定し、φ(x)は修正位相、AC(x)は画素に関連付けられる反畳み込み第１のアレイのアレイ素子、AS(x)は画素に関連付けられる反畳み込み第２のアレイのアレイ素子を表して成る、請求項４に記載の方法。
請求項6
前記第１の位相因子が１であり、前記第２の位相因子が位相値自体である、請求項２又は３に記載の方法。
請求項7
距離値を画素毎に計算することが、修正位相を φ(x)=AS(x)/AC(x）として特定することを含み、ここでｘは画素を特定し、φ(x)は修正位相、AC(x)は画素に関連付けられる反畳み込み第１のアレイのアレイ素子、AS(x)は画素に関連付けられる反畳み込み第２のアレイのアレイ素子を表して成る、請求項６に記載の方法。
請求項8
前記シーンから反射される強度変調光の検出が、変調の異なる位相において画素に当たる強度変調光の強度値を画素毎に特定することを含んで成り、上記異なる位相は、該画素の当たる強度変調光の振幅及び位相が既知の関係を用いて上記強度値の一組から導き出し得るように選ばれ、上記シーンの前記位相感知反畳み込みが、データアレイを生成し、該データアレイの各アレイ素子には前記画素アレイの一画素が関連付けられ、その値は上記変調の位相の１つで特定される関連付け画素の強度値又は上記変調の異なる位相で特定される関連付け画素の少なくとも２つの強度値の一次結合の何れかに対応するようにし、前記光学系の反畳み込み関数を用いて、上記データアレイを反畳み込みして成り、画素毎に距離値が、画素に関係付けられる上記反畳み込みデータアレイのアレイ素子の値に基づいて計算されるようにして成る、請求項１に記載の方法。
請求項9
前記データアレイの各々の反畳み込みが、データアレイの各アレイ素子から、データアレイのアレイ素子の値の平均値のある一定の何分の１かを差し引くことにより行われて成る、請求項８に記載の方法。
請求項10
前記強度値が、変調の少なくとも３つの位相において特定されるようにして成る、請求項８又は９に記載の方法。
請求項11
変調の前記少なくとも３つの位相が正規離間して成る、請求項１０に記載の方法。
請求項12
前記強度値が変調の少なくとも４つの位相において特定され、変調の上記４つの位相が９０°離間されて成る請求項１１に記載の方法。
請求項13
前記距離値を画素毎に計算することが、画素に関連付けられる前記反畳み込み第１のデータアレイのアレイ素子の値から修正位相を特定することを含んで成る、請求項８〜１２の何れか１つに記載の方法。
請求項14
前記光学系の汚れの程度が検査され、前記位相感知反畳み込みが上記汚れの程度に調整されるようにして成る、請求項１〜１３の何れか１つに記載の方法。
請求項15
請求項１〜１４の何れか１つに記載の方法を実施するように構成された３Ｄ飛行時間画像化装置。
請求項16
強度変調を搬送する光を発してシーンに光照射する光源と、画素アレイと、シーンを該画素アレイ上に画像化する光学系と、ここで、上記画素アレイの各画素がシーンから上記画素に反射される強度変調光を検出するように構成され、画素にて検出される光の位相に基づいて距離値を画素毎に特定する制御及び評価回路とを含む、請求項１５に記載の３Ｄ飛行時間画像化装置であって、上記制御及び評価回路が、上記画素アレイ上に画像化される上記シーンの位相感知反畳み込みを、それが上記光学系における光拡により惹起される位相誤差の補償するように行う手段を含んで成ることを特徴とする装置。
請求項17
上記手段が、特定用途向け集積回路、現場設定変更可能ゲートアレイ及び又はマイクロプロセッサを含んで成る、請求項１６に記載の３Ｄ飛行時間画像化装置。