基準座標上の視覚的イメージを利用した客体位置の測定方法

专利摘要:
基準座標上の視覚的イメージを利用した客体位置の測定方法が開示される。本発明は、多重ビジュアルイメージを使う客体の位置測定のための効果的な方法に関するものであって、イメージング装置のズーミングとパンニングとを支援する平行投影モデルを提案する。本発明は、客体位置と基準座標との関係を創出するための仮想ビューアブル平面を定義する。本発明で要求される基準座標は、予備−推定（ｐｒｅ−ｅｓｔｉｍｎａｔｉｏｎ）過程から得られる概略的な推定であり得る。本発明は、計算的複雑性が緩和された反復的な接近を通じて、位置測定エラーを最小化する。また、デジタルイメージ装置の非線形歪曲は、反復的な位置測定過程で補償されうる。
公开号:JP2011513724A
申请号:JP2010548594
申请日:2008-04-03
公开日:2011-04-28
发明作者:ジンソク イ；イトク ジョ；ユンヨン ナム；キョンシュ パク；サンジン ホン
申请人:アジョン ユニバーシティ インダストリー コーポレーション ファウンデーション；
IPC主号:G01B11-00

专利说明:

[0001] 本発明は、客体の位置を測定する方法に係り、特に、基準座標とビジュアルイメージを使う基準座標上の視覚的イメージを利用した反復的または非反復的客体位置の測定方法に関する。]
背景技術

[0002] 客体の位置測定は、観測、モニタリング及びトラッキング（ｔｒａｃｋｉｎｇ）アプリケーションのような多くのアプリケーションでの重要な動作中の一つである。トラッキングシステムは、病院及び事務室だけではなく、軍事的アプリケーションのように多様な分野に幅広く適用されている。このようなトラッキングシステムで、客体の位置測定の正確性は、非常に重要な問題である。音波センサー（ａｃｏｕｓｔｉｃ ｓｅｎｓｏｒ）は、柔軟性、低いコスト及び容易な配置などを理由で多くのアプリケーションで幅広く使われている。しかし、音波センサーは、環境に敏感であり、連続的なデータ要求を十分に満足させることができない。したがって、信頼性のあるトラッキング方法として、ビジュアルセンサーが度々使われる。]
[0003] 従来、一つのイメージの単一指標の観点での絶対的な位置を決定するために、ロボットを使う簡単なビジュアル位置測定方法が提示された。このアルゴリズムで、イメージ平面は、光学側と直交し、光学側と焦点の長さほど離れて配される。指標モデルを追跡するために、Ｌｕｃａｌ−Ｋａｎａｄｅ光学流れアルゴリズムは、グラディエントディセント（ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ）を使う。このアルゴリズムを利用した室内環境でのリアルタイム遂行が可能である。しかし、このような接近方式は、単に一つの対応のみが設けられうるピンホール（ｐｉｎｈｏｌｅ）カメラモデルの限界を有する。]
[0004] 適応的なアルゴリズムとして、多数のカメラを使う光学流れ−基盤の人追跡アルゴリズムが室内環境で適用される。このアルゴリズムで、それぞれのカメラは、独立して目標となった人を追跡する。カメラの間に情報を交換することによって、３次元位置及びターゲットの速度が推定される。特に、カメラのうち一つが急にターゲットを逃した場合、このアルゴリズムは、さらに効果的である。イメージでのターゲット位置及び速度が他のカメラからの情報に基づいて推定されるためである。ターゲット位置は、少なくとも二つ以上の追跡カメラの投影線の交点から得られる。さらに、一つのカメラでの深さの範囲を推定するために、このアルゴリズムは、追跡ウィンドウを使う。これは、一つのイメージ平面での検出された人の境界及び身長を表わす。したがって、このアルゴリズムは、完全に抽出された客体領域からの信頼性のある水平位置を要求する。]
[0005] 多数のカメラ及び多数のマイクロホン配列からの多様な情報は、場面の客体を追跡するのに使われる場合、効果的にビデオ−コンファレンシング（ｖｉｄｅｏ−ｃｏｎｆｅｒｅｎｃｉｎｇ）環境で人を追跡するための多様なセンサーの協同を行う追跡フレームワークに基盤を置いたパーティクルフィルター（ｐａｒｔｉｃｌｅ ｆｉｌｔｅｒ）が提案された。位置測定のために、ビューアブルイメージのイメージ座標（ｕ、ｖ）がＤＬＴ（Ｄｉｒｅｃｔ Ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を使って、（Ｘ、Ｙ、Ｚ）座標に変換される。しかし、このような方式で、知られた図形に位置する測定客体（ｃａｌｉｂｒａｔｉｏｎ ｏｂｊｅｃｔ）は、１１個のパラメータを有するマトリックスＰｉを推定することが要求される。さらに、カメラがパンニングまたはズーミングされれば（例えば、カメラのセッティングが変化）、カメラの測定は、必ず反復されなければならない。
このように、客体の位置を推定するための従来の多様なアルゴリズムは、位置測定の正確性と計算の複雑性とのトレードオフ（ｔｒａｄｅｏｆｆ）関係による短所を有する問題がある。]
発明が解決しようとする課題

[0006] 本発明が解決しようとする技術的課題は、客体の位置測定において、正確性を向上させながらも、計算の複雑性を減少させることができる効果的な基準座標上の視覚的イメージを利用した客体位置の測定方法を提供することである。]
課題を解決するための手段

[0007] 前記技術的課題を解決するための本発明の実施形態による客体位置の測定方法は、客体平面に位置する客体及び前記客体に対応する基準点を仮想ビューアブル平面及び実際カメラ平面に投影する段階と、前記客体に対応する基準点の座標を推定する段階と、前記客体の位置と前記基準点の座標との関係を規定する段階と、を備える。]
[0008] 望ましくは、前記仮想ビューアブル平面は、前記客体平面に平行である。]
[0009] 望ましくは、前記客体は、一つのセンサーによって投影されうる。または、前記客体は、多数のセンサーによって投影されうる。]
[0010] 多数のセンサーによって客体が投影される場合、前記客体位置の測定方法は、前記多数のセンサーによる投影された客体及び基準点に対する位置測定の差ほどを互いに補償する段階をさらに備えることができる。この際、前記多数のセンサーは、各センサーのパンファクターに基づいて選択されうる。望ましくは、前記多数のセンサーは、各センサーのパンファクターの絶対値の差が“０”であるセンサーで選択されうる。]
[0011] 望ましくは、前記客体の位置と前記基準点の座標との関係を規定する段階は、前記客体の位置と前記基準点の位置とが一致する場合、前記基準点の位置を前記客体の位置として測定することができる。]
[0012] 望ましくは、前記客体位置の測定方法は、１回行われる。または、前記客体位置の測定方法は、反復的に行われる。]
発明の効果

[0013] 本発明は、多重ビジュアルイメージを使う客体の位置測定のための効果的な方法に関するものであって、イメージング装置のズーミング（ｚｏｏｍｉｎｇ）とパンニング（ｐａｎｎｉｎｇ）とを支援する平行投影モデルを使って、予備−推定（ｐｒｅ−ｅｓｔｉｍｎａｔｉｏｎ）過程から得られる概略的な推定を通じて基準座標を推定して計算の複雑性を減少させながらも、非線形歪曲などを補償することができて、正確な客体位置を測定することができる長所がある。]
図面の簡単な説明

[0014] ２つのカメラが適用される客体の位置測定でのビジュアル位置測定の概念を示す図である。
カメラで投影された実際イメージと平行投影モデルとの関係を示す図である。
ズーミングファクターｚ１及びｚ２に対応して実際カメラ平面に投影された位置の変化Ｐｐ１（ｃ）及びＰｐ２（ｃ）を示す図である。
同一なズーミングに基づいた実際カメラ平面での同一な点に走査される２つの他の客体に対する場合を示す図である。
カメラのパンニングによる多様なビューアブル平面の座標変換を示す図である。
一つのセンサーに基づいた基準点Ｅを使った客体の位置測定を示す図である。
パンファクター及びカメラ角度を有する多数のカメラを示す図である。
２つのカメラが同一な軸に、または反対軸に位置する場合を示す図である。
特別な場合（パンファクターのθｐ１及びθｐ２の値が“０”である場合）の２つのカメラを使う位置測定方法を示す図である。
図９での理想的な場合、すなわち、正確な位置測定結果を出すカメラの中央点と見なされる実際客体を示す図である。
パンファクターのθｐ１及びθｐ２が“０”ではない場合の２つのカメラが回転する状況を示す図である。
２つの平行客体平面を形成する平行な視野を有する２つのカメラを示す図である。
オリジナル位置測定及び反復結果を示す図である。
図１１に基づいた一つの反復実行に対する反復結果を示す図である。
波線及び実線がそれぞれズームファクターｚ＝ｄｅ／Ｌｃ及びｚ’＝（ｄｅ＋△ｄ）／Ｌｃ’である理想的なビューアブル角度及び実際ビューアブル角度を示す、位置測定が要求されるズーミングモデルを示す図である。
カメラからの距離の関数及び多様な実際ズームファクターを有するズーミング歪曲を示す図である。
それぞれ、Ｃａｍｅｒａ１及びＣａｍｅｒａ２での基準点及び実際客体ポイントの間の距離が△ｕ１及び△ｕ２である場合の２つのカメラを使ってディスプレイされたイメージを示す図である。
実際客体を測定するための実験に対する設定を示す図である。
２つのカメラがＯｃ１（１．８、０）及びＯｃ２（０、１．８）に位置して補償アルゴリズムを使わない場合のエラー分布を示す図である。
本発明による位置測定方法によって位置測定エラーが著しく減少することを示す図である。
本発明による位置測定方法の反復遂行の回数に対する位置測定エラーの減少を示す図である。
（ａ）は、位置測定の軌道を表わし、（ｂ）及び（ｃ）は、それぞれｘ軸、ｙ軸に対する追跡性能を示す図である。
位置測定の軌道結果を示す図である。] 図１１ 図９
実施例

[0015] 本発明と本発明の動作上の利点及び本発明の実施によって達成される目的を十分に理解するためには、本発明の望ましい実施形態を例示する添付図面及び図面に記載の内容を参照しなければならない。]
[0016] 以下、添付図面を参照して、本発明の望ましい実施形態を説明することによって、本発明を詳しく説明する。各図面に付された同じ参照符号は、同じ部材を表わす。]
[0017] 図１は、２つのカメラが適用される客体の位置測定でのビジュアル位置測定の概念を示す図である。平行投影モデルで、仮想ビューアブル平面は、実際客体と実際カメラとの関係の公式化を助けるために生成される。本発明は、キャリブレーション（ｃａｌｉｂｒａｔｉｏｎ）なしに多数の客体の位置測定が可能な長所を有する。本発明は、概略的に計算される予備−推定された位置で始まる。そして、追加的な追跡アルゴリズムからの予備−推定がないとしても、概略的に推定された位置は、センサーノード位置に代替されうる。本発明を通じて、最終的に推定された位置Ｐ（ｘｎ，ｙｎ）は、次の数式１から得られる。] 図１
[0018] ]
[0019] ここで、Ｅ（ｘｎ，ｙｎ）は、基準座標を表わし、ｅ（σｘｎ，σｙｎ）は、ビジュアル位置測定を通じて補償された座標を表わす。]
[0020] 以下、まず、一つのカメラを使った平行投影モデルについて簡単に説明した後、多数のカメラを使った２次元座標に対するビジュアル位置測定方法について説明する。次いで、デジタルイメージングデバイスの非線形性補償による位置測定エラーを最小化する方案について説明する。]
[0021] Ｉ．ビューアブルイメージの特性
Ａ．平行投影モデルの基本概念
平行投影モデルは、ビジュアル位置測定を簡単にするために使われる。これは、客体平面、仮想ビューアブル平面及び実際カメラ平面の３つの平面で構成される。図２に示したように、客体Ｐは、客体平面に位置し、投影点ＰＰ（ｖ）及びＰＰ（ｃ）で仮想ビューアブル平面及び実際カメラ平面に投影される。仮想ビューアブル平面は、客体平面に距離ｄｐの差を置いて、平行である。仮想ビューアブル平面の長さは、Ｌｃで、実際カメラ平面の長さは、Ｌｓで示される。仮想ビューアブル平面及び実際カメラ平面に投影された客体の位置は、それぞれＵｐｐ及びＵｐで示される。そして、ポイントＰとＯｃとの間の距離は、ｋｐで示される。] 図２
[0022] 平行投影モデルで、実際客体は、仮想ビューアブル平面を通じる客体平面から実際カメラ平面まで投影される。したがって、Ｕｐｐは、次の数式２のように、二つの平面の比例線を通じてＬｃ、Ｌｓ及びｕｐで表現される。]
[0023] ]
[0024] 実際客体位置は、ｕｐｐ及びｄｐから簡単に求められうる。]
[0025] Ｂ．ズーミング及びパンニング
カメラの特性を考慮するために、ズームファクター（ｚｏｏｍ ｆａｃｔｏｒ）をｚで、パンファクター（ｐａｎ ｆａｃｔｏｒ）をθｐと称する。ズームファクターｚは、次の数式３と定義される。]
[0026] ]
[0027] 図３は、ズーミングファクターｚ１及びｚ２に対応して実際カメラ平面に投影された位置の変化Ｐｐ１（ｃ）及びＰｐ２（ｃ）を示す。仮想ビューアブル平面に投影されたＰｐ１（ｖ）及びＰｐ２（ｖ）は、同一であることを知らせる。すなわち、２つのカメラが他のズーミングファクターを有する場合、客体は、単に実際カメラ平面でのみ異ならせて投影される。したがって、数式２のｕｐｐ及びｕｐの関係から、実際カメラ平面に投影された位置ｕｐ１及びｕｐ２ｓｍｓは、それぞれ次の数式４と数式５とで表現される。] 図３
[0028] ]
[0029] 数式３によって、ｚ１＝ｄｐ／Ｌｃ１であり、ｚ２＝ｄｐ／Ｌｃ２であるので、ｕｐ１及びｕｐ２の関係は、次の数式６のように誘導されうる。]
[0030] ]
[0031] 図４は、同一なズーミングに基づいた実際カメラ平面での同一な点に走査される２つの他の客体に対する場合を示す。実際カメラ平面が一定の間、仮想ビューアブル平面が変化される。仮想ビューアブル平面１及び２は、それぞれ、投影された点Ｐｐ（ｖ１）及びＰｐ（ｖ２）でともに投影された客体Ｐ１及びＰ２に対して表わす。さらに、客体平面１及び２は、それぞれ、客体Ｐ１及びＰ２に対して表わす。ズームファクターｚが、次の数式７で同じであるので、ｕｐｐ１及びｕｐｐ２の関係は、次の数式８のように表われる。] 図４
[0032] ]
[0033] これは、客体とカメラとの間の投影方向での距離が客体の位置測定のための重要なパラメータであることを示す。多数のセンサーを通じる距離の検出は、後術される説明を通じて公式化されうる。]
[0034] 図５に示された投影方向（ｎ−ａｘｉｓ）及びグローバル座標ｙ−ａｉｘｓの間の角度差を表わすパンファクター（θｐ）について説明する。] 図５
[0035] グローバル座標は、固定された座標であるｘ−ｙ軸と定義される。そして、θｃは、カメラ角度を表わす。この際、仮想ビューアブル平面Ｐｐ（ｖ）に客体投影位置は、次の数式９のように誘導されうる。]
[0036] ]
[0037] ここで、ｘｐｖ及びｙｐｖは、ポイントＰｐ（ｖ）を表わし、ｘｃ及びｙｃは、仮想ビューアブル平面の中心点（Ｏｃ）を表わす。θｃ及びθｐは、実際カメラ平面がｘ軸に配される場合、“０”で同一である。]
[0038] Ｃ．一つのカメラに基づいた客体の位置測定
一つのカメラに基づいた位置測定の場合を説明する。図６は、一つのセンサーに基づいた基準点Ｅを使った客体の位置測定を示す。基準点Ｅ及び実際客体Ｐｒは、仮想ビューアブル平面及び実際カメラ平面の２つの平面に投影される。基準点Ｅは、客体平面を生成するので、実際客体Ｐｒは、客体平面に配される点Ｐｒ’で歪曲される。投影された位置の観点で、Ｅｐ（ｖ）及びＰｐ（ｖ）の間の距離は、数式２から得られる。結果的に、客体平面に配された近隣接した客体点Ｐｒ’（ｘｒ’、ｙｒ’）は、次の数式１０のように決定される。] 図６
[0039] ]
[0040] ビジュアル投影方法に基づいた一つのセンサーを通じて推定された位置が基準点で求められる。次いで、ＰｒとＰｒ’との間のエラーを減らすための多数のセンサーを利用した位置測定について説明する。]
[0041] II．２次元座標でのビジュアル位置測定アルゴリズム
Ａ．カメラ位置及びパンファクターの間の関係
図７は、パンファクター及びカメラ角度を有する多数のカメラを示す。Ｃａｍｅｒａ Ａ、Ｂ、Ｃ及びＤの４つのカメラが配される。隣接した軸に位置される一対のカメラが選択される。図７の（ａ）で、カメラ角度θｃは、グローバルｘ軸と関係するカメラ視野角を表わし、パンアングルθｐは、グローバル座標と関係する方向角ｎｉを表わす。θｐの符号は、右側回転である場合は、正の値で、左側回転の場合は、負の値で決定される。これについて論議するために、左側にあるカメラはＣａｍｅｒａ１と言い、右側にあるカメラをＣａｍｅｒａ２と仮定する。] 図７
[0042] 隣接した軸に位置する２つのカメラを使う場合の位置測定公式化のために、Ｃａｍｅｒａ Ａ及びＤが客体と見なされる。そして、パンファクターのθｐ１及びθｐ２の符号は、客体の位置によって変化される。一つのカメラによる視野角が１８０°以下に制限されるためである。隣接した軸に位置する２つのカメラで位置をアドレッシング（ａｄｄｒｅｓｓｉｎｇ）する前に、簡単に、２つのカメラの他の可能な配置について説明する。図８は、２つのカメラが同一な軸に、または反対軸に位置する場合を示す。図８の２つのカメラは、図７（ａ）ないし図７（ｅ）と同一な公式で説明されうる。特に、図８の（ａ）は、図７の（ｅ）と同一であり、図８の（ｂ）は、図７の（ｄ）と同一である。単に、両者は、２つのカメラから得られる視野角の差があるだけである。] 図７ 図８
[0043] Ｂ．多数のカメラに基づいた客体の位置測定
選択された２つのカメラに基づいて、２種の場合に対する客体位置が観察されて公式化されうる。特別な場合（パンファクターのθｐ１及びθｐ２の値が“０”である場合）、パンファクターを考慮しなくても、客体の位置が測定される。]
[0044] 図９は、特別な場合（パンファクターのθｐ１及びθｐ２の値が“０”である場合）の２つのカメラを使う位置測定方法が示される。与えられた基準点Ｅ（ｘｅ、ｙｅ）で、２つのカメラに対する客体平面が決定される。各カメラの客体平面上の点Ｐ’ｒ１（ｘ’ｒ１、ｙ’ｒ１）及びＰ’ｒ２（ｘ’ｒ２、ｙ’ｒ２）が、それぞれ仮想ビューアブル平面上の点Ｐｐ１及びＰｐ２に垂直して投影される。同様に、基準点が点のＥｐ１及びＥｐ２に投影される。カメラ１の視野で、投影された点のＰｐ１及びＥｐ１の間の差△ｕ１は、カメラ２の客体平面及び点Ｐ’ｒの間の距離を支援する。同様に、カメラ２の視野で、投影された点のＰｐ２及びＥｐ２の間の差△ｕ２は、カメラ１の客体平面及び点Ｐ’ｒの間の距離を支援する。言い換えれば、補償アルゴリズムは与えられた基本点Ｅによって、カメラ１をｙ方向を△ｕ１ほど補償し、カメラ２はｘ方向を△ｕ２ほど補償する。] 図９
[0045] 一つの追加的なセンサーを通じて、ｙ方向での△ｕ１、ｘ方向での△ｕ２いずれも、次の数式１１のように実際客体に近い基準点を補償する。]
[0046] ]
[0047] この際、Ｐ’ｒ１（ｘ’ｒ１、ｙ’ｒ１）は、実際客体位置Ｐｒ１（ｘｒ１、ｙｒ１）に対するエラーを依然として引き起こす２つのカメラを通じる客体位置で位置測定される。]
[0048] Ｅが、客体の実際位置にさらに近接するように与えられる。そして、Ｐ’ｒがＰｒにさらに近接するように決定される。言い換えれば、客体の実際位置Ｐｒにさらに近い基準点Ｅを得ることによって、エラーは減ることができる。]
[0049] 正確な位置測定のためのまた他の方法は、いかなる歪曲もなく、仮想ビューアブル平面に実際客体を投影するものである。図１０に示したように、実際客体位置Ｐｒは、正確に点のＰｒ及びＰ’ｒをマッチングする各カメラの中央に位置する。これは、基準点Ｅの位置とは関係なく、位置測定エラーが“０”に減ったことを意味する。したがって、どんなに実際客体がカメラの中央点として検討されるかどうかが考慮されなければならない。] 図１０
[0050] 以上で、実際入力は、実際カメラ平面の上の点に投影される。しかし、説明の便宜上、実際カメラ平面は省略される。但し、実際カメラ平面は、仮想ビューアブル平面で数式２から簡単に変換されうる。]
[0051] それ以外の一般的な場合（パンファクターのθｐ１及びθｐ２の値が“０”ではない場合）は、次による。客体が空間で移動することによって、制限された視野角を克服するために、カメラは、パンファクターの制御が要求されうる。以下で、前述された特別な場合を含んだ一般的な多数のセンサー位置測定が公式化される。]
[0052] 図１１は、パンファクターのθｐ１及びθｐ２が“０”ではない場合の２つのカメラが回転する状況を示す。仮想ビューアブル平面及び実際カメラ平面への投影を含み、位置測定方法は、前述された特別な場合と同一である。但し、△ｕ１及び△ｕ２は、各パンファクターθｐ１及びθｐ２によってスキュー（ｓｋｅｗ）される。] 図１１
[0053] 特別な場合が、加算及び／または減算の簡単な計算を要求する長方形などを構成する一方、４つの点のＰ’ｒ、Ｐ’ｒ１、Ｐ’ｒ２及びＥで連結される四角形はスキューされる。パンファクターのθｐ１及びθｐ２、△ｕ１及び△ｕ２を有する２つのスキューされたカメラは、次の数式１２を通じて基準点を補償する。]
[0054] ]
[0055] ここで、位置測定された位置Ｐ’ｒ（ｘ’ｒ、ｙ’ｒ）は、２つの仮想投影されたラインの交点を表わす。２つの仮想投影されたラインのｌ１は、Ｐ’ｒ１（ｘ’ｒ１、ｙ’ｒ１）とＰ’ｒ（ｘ’ｒ、ｙ’ｒ）とを繋ぐ線であり、ｌ２は、Ｐ’ｒ２（ｘ’ｒ２、ｙ’ｒ２）とＰ’ｒ（ｘ’ｒ、ｙ’ｒ）とを繋ぐ線である。θ１及びθ２は、それぞれ−θｐ１及び９０−θｐ２と同一な各カメラの投影ライン傾きである。Ｐ’ｒ１及びＰ’ｒ２は、次の数式１３で誘導される。]
[0056] ]
[0057] ここで、位置測定された位置Ｐ’ｒ（ｘ’ｒ、ｙ’ｒ）を立証するために、（ｉ）θ１及びθ２が９０°と２７０°となくなければならず、（ｉｉ）ｔａｎθ１及びｔａｎθ２が“０”ではなくなければならない。]
[0058] 実際にカメラが９０°で回転することが不要であるために、条件（ｉ）は、選択されたカメラによって十分に満足される。条件（ｉｉ）は、θｐ１＝−θ１であり、θｐ２＝９０−θ２で、θｐ２−θｐ１≠９０°のようである。２つのパンファクターのθｐ２−θｐ１が９０°と言うことは、２つの客体平面だけではなく、２つの投影ラインｌ１、ｌ２が平行であることを意味する。したがって、交点Ｐ’ｒは、客体の位置測定のために求められることができない。さらに、Ｐ’ｒが実際位置Ｐｒより大きなエラーを有しうる。]
[0059] 次いで、カメラ選択について説明する。パンファクターの条件は、次の数式１４で表われる。]
[0060] ]
[0061] この際、最も良い条件は、次の数式１５のようであると言える。]
[0062] ]
[0063] したがって、カメラの選択は、θｐ２の絶対値からθｐ１の絶対値を差引いた値が“０”に近いカメラ一対で決定されうる。]
[0064] Ｃ．考慮事項
基準点：基本的に、平行投影モデルは、パーティクルフィルターやカルマンフィルター（Ｋａｌｍａｎ Ｆｉｌｔｅｒ）のような推定アルゴリズムによって与えられた基準点を通じて、客体の位置を測定する。平行投影モデルの位置測定は、客体位置及びパンファクターがキー（ｋｅｙ）の役割である。特に、さらに正確な位置測定のために、点のＰｒ及びＰ’ｒの間の差は減ることが要求される。理想的な方法として、ラインｌ１がＰ’ｒ１−Ｐ’ｒと正確に一致され、ラインｌ２がＰ’ｒ２−Ｐ’ｒと正確に一致されることは、ゼロエラーをもたらす。二つの点のＰｐ１及びＯｃ１がマッチされるだけではなく、二つの点のＰｐ２及びＯｃ２がマッチされれば、Ｐ’ｒは、Ｐｒにさらに近くに位置される。図１２で、カメラ中央フォワードラインＦ１及びＦ２は、それぞれラインｌ１及びｌ２と合わせられる。しかし、条件は、客体の知られた位置に達成されなければならない。したがって、最も良い場合は、ラインｌ１のＯｃ１−Ｅ及びラインｌ２のＯｃ２−Ｅがいずれも整列されることである。この条件は、カメラ選択に含まれうる。] 図１２
[0065] もし、基準点Ｅが知られていなければ、例えば、基準点が与えられていないか、近似な客体位置に対する如何なる情報も支援されていないならば、基準点はランダムな点として選択される。この場合、本発明は、反復される接近を通じて、ランダムに選択された点がＰｒに近接される。そして、反復的な方法は、知られた基準点の場合にも、位置決定の正確性を向上させる。これについてさらに詳しく説明する。]
[0066] Ｄ．エラーを減らすための反復的位置の測定方法
次に説明される反復的技法の基本概念は、基準点で位置Ｐ’ｒが位置測定に使われるものである。この方法は、各客体点に対する基準が提供されることを要求しない。そして、位置測定された位置Ｐ’ｒは、基準点Ｅが実際位置Ｐｒに近接したように、実際位置Ｐｒにさらに近接するように求められる。図１３は、オリジナル位置測定及び反復結果を示す。実線は、投影ラインであり、点線は、客体平面であり、ドット−ソリッドラインは、カメラ視野ラインである。オリジナル及び反復的位置の測定方法を比較すれば、カメラ視野ラインは、他のラインが反復的過程に対して移動した一方、一定である。ｉｔｈは、反復回数を表わす。反復過程で、新たな基準点（ｘｅ（１）、ｙｅ（１））は、既存の位置測定された点（ｘ’ｒ、ｙ’ｒ）に置き換えられる。] 図１３
[0067] 図１４は、図１１に基づいた一つの反復実行に対する反復結果を示す。Ｐ’ｒは、反復過程が反復的に実行されることによって、Ｐｒに近接される。反復は、Ｐ’ｒ（ｉ−１）及びＰ’ｒ（ｉ）の間の差がスレショルド値（ｔｈｒｅｓｈｏｌｄ ｖａｌｕｅ）δより小くなるまで続けられる。ここで、ｉは、反復回数を表わし、Ｐ’ｒ（０）は、元の方法で求められた位置Ｐ’ｒと同一である。] 図１１ 図１４
[0068] さらに、反復方法を通じて、位置測定は、非線形特性にも鈍感になる。以下では、いかに反復方法が非線形特性の補償に影響を与えるかについて記述される。]
[0069] Ｅ．レンズ非線形歪曲の補償
カメラレンズは、非線形ビューアブルラインを有する。図１５は、波線及び実線がそれぞれズームファクターｚ＝ｄｅ／Ｌｃ及びｚ’＝（ｄｅ＋△ｄ）／Ｌ’ｃである理想的なビューアブル角度及び実際ビューアブル角度を表わす、位置測定が要求されるズーミングモデルを示す。もし、カメラが理想的なズーミング角度を有するならば、ズームファクターｚは定数である。これは、ｚが基準点Ｅに無関係であることを意味する。しかし、実際カメラは、レンズ歪曲を有する。] 図１５
[0070] このようなエラーは、ズーミング効果及びレンズ歪曲によって引き起こされるが、このエラーは、スケール歪曲の理由となる。ズーミングファクターに起因して、前述された数式２によってｕ’ｐｐがｕｐ（Ｌ’ｃ／Ｌｓ）と表現される。さらに、前述された数式３に起因して、Ｌｃ及びＬ’ｃは、それぞれｄｅ／ｚ及びｄｅ＋△ｄ／ｚ’で誘導される。したがって、実際ズーミングモデルでの実際距離ｕ’ｐｐは、次の数式１６によって補償される。]
[0071] ]
[0072] レンズの非線形特性が補償されうる一方、これは、依然として根本的なエラーである。ここで、反復的な過程を通じて基準点Ｅを客体位置Ｐｒに近接させることによって、エラーが最小化されうる。]
[0073] 図１６は、カメラからの距離の関数及び多様な実際ズームファクターを有するズーミング歪曲を示す。] 図１６
[0074] 以上、本発明の構成及び機能について説明した。次で、本発明について分析し、本発明のシミュレーション結果を説明する。]
[0075] III．分析及びシミュレーション
Ａ．シミュレーション
図１７は、それぞれ、Ｃａｍｅｒａ１及びＣａｍｅｒａ２での基準点及び実際客体ポイントの間の距離が△ｕ１及び△ｕ２である場合の２つのカメラを使ってディスプレイされたイメージを示す。簡略化のために、実際カメラ動作での基準点ではない、図１７（ａ）及び図１７（ｂ）のイメージフレームでの基準点Ｅを示す。] 図１７
[0076] 図１８は、実際客体を測定するための実験に対する設定を示す。この実験で、客体の実際位置は、平行投影モデル基盤の基準から計算される。図１８で、２つのカメラがＣａｍｅｒａ１の左側に、Ｃａｍｅｒａ２の下側に配される。各カメラのパンファクターθｐ１及びθｐ２は、いずれも“０”である。] 図１８
[0077] 実際ズームファクターは、客体平面と仮想ビューアブル平面との距離がｄｅ１＋△ｄ１である時、ｚ’１がズームファクターである場合及び客体平面と仮想ビューアブル平面との距離がｄｅ２＋△ｄ２である時、ｚ’２がズームファクターである場合、それぞれｚ１＝ｄｅ１／Ｌｃ１及びｚ２＝ｄｅ２／Ｌｃ２である。]
[0078] Ｂ．位置測定エラー評価
図１９は、２つのカメラがＯｃ１（１．８、０）及びＯｃ２（０、１．８）に位置して補償アルゴリズムを使わない場合のエラー分布を示す図である。図１９は、基準点の作用としてのｘ軸、ｙ軸及び両軸での位置測定エラーの量を示す。各カメラは制限された視野角を有するので、視野角外に存在する基準点は黒い地域として示される。エラーは、基準点が実際客体点に最も隣接した場合に最小化される。] 図１９
[0079] 位置測定エラーは、本発明による位置測定方法の多数の反復遂行を通じてさらに減られうる。図２０は、エラーが著しく減少することを示す。図２１は、反復遂行の回数に対する位置測定エラーの減少を示す。] 図２０ 図２１
[0080] Ｃ．客体追跡性能
本発明によって客体位置の測定方法は、また追跡に対しても適用される。例えば、客体が４ｍ＊４ｍ地域で動き、イメージが実際カメラから得られるとする。まず、本発明による非反復的位置の測定方法を用いて追跡問題が補償されうる。経時的に客体の座標が変化されるが、これらに対応する推定が生成される。図２２の（ａ）は、位置測定の軌道を示す。補償後に、追跡性能は向上する。図２２の（ｂ）及び（ｃ）は、それぞれｘ軸、ｙ軸に対する追跡性能を示す。図２２は、追跡性能の向上を証明しているが、依然として位置測定エラーが存在する問題がある。] 図２２
[0081] 同様に、本発明による反復的位置の測定方法が同一な追跡問題に適用される。この場合、単に一つの基準座標が全体的な位置測定に使われる。選択された推定は、図２３の軌道の外部に示される。図２３は、位置測定の軌道結果を示す。推定された座標が客体と近接しないために、一回の反復遂行では著しいエラーが発生する。エラーは、客体が推定された座標から遠く位置するほど増加する。しかし、本発明による反復的位置測定によって位置測定エラーが除去される。] 図２３
[0082] 前述した本発明は、伝統的なデジタルイメージングデバイスから得られるビジュアルイメージを使う環境での客体の位置測定のための効果的で簡単な方法を提示した。具体的に、本発明による平行投影モデルは、ズーミング及びパンニング特性をいずれも支援する客体の位置を決定するための計算的複雑性を簡素化した。さらに、本発明による位置測定方法は、カメラレンズの光学特性のような非理想的な特性を十分に補償した。基準座標と呼ばれる以前の情報は、パーティクルフィルタリングのような推定アルゴリズムの一部から得られる経時的に変化する一つまたは多数のポイントであり得る。本発明によるビジュアル位置測定は、不明確性を補償することができる。]
[0083] 以上、図面と明細書とで最適の実施形態が開示された。ここで、特定の用語が使われたが、これは、単に本発明を説明するための目的で使われたものであって、意味限定や特許請求の範囲に記載の本発明の範囲を制限するために使われたものではない。したがって、当業者ならば、これより多様な変形及び均等な他実施形態が可能であるという点を理解できるであろう。したがって、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想によって決定されるべきである。]
[0084] 本発明は、ユビキタス産業分野のうち、特に、客体位置の測定分野に利用されうる。]

权利要求:

請求項1
客体位置の測定方法において、客体平面に位置する客体及び前記客体に対応する基準点を仮想ビューアブル平面及び実際カメラ平面に投影する段階と、前記客体に対応する基準点の座標を推定する段階と、前記客体の位置と前記基準点の座標との関係を規定する段階と、を備える客体位置の測定方法。
請求項2
前記仮想ビューアブル平面は、前記客体平面に平行である請求項１に記載の客体位置の測定方法。
請求項3
前記各平面は、イメージング装置のズーミング及びパンニングを支援する請求項１に記載の客体位置の測定方法。
請求項4
前記客体は、一つのセンサーによって投影される請求項１に記載の客体位置の測定方法。
請求項5
前記客体は、多数のセンサーによって投影される請求項１に記載の客体位置の測定方法。
請求項6
前記多数のセンサーにより投影された客体及び基準点に対する位置測定の差を互いに補償する段階をさらに備える請求項５に記載の客体位置の測定方法。
請求項7
前記多数のセンサーは、各センサーのパンファクターに基づいて選択される請求項５に記載の客体位置の測定方法。
請求項8
前記多数のセンサーは、各センサーのパンファクターの絶対値の差が“０”であるセンサーで選択される請求項７に記載の客体位置の測定方法。
請求項9
前記客体の位置と前記基準点の座標との関係を規定する段階では、前記客体の位置と前記基準点の位置とが一致する場合、前記基準点の位置を前記客体の位置として測定する請求項１に記載の客体位置の測定方法。
請求項10
前記客体位置の測定方法は、１回行われる請求項１に記載の客体位置の測定方法。
請求項11
前記客体位置の測定方法は、反復的に行われる請求項１に記載の客体位置の測定方法。