パーティクルフィルターに基づく音響センサーを利用した3次元空間での客体追跡方法
专利摘要:
パーティクルフィルターに基づく音響センサーを利用した3次元空間での客体追跡方法が開示される。従来のベアリング−オンリートラッキングのためのパーティクル・フィルタリング・アルゴリズムを3次元空間で直接的に確張する代わりに、本発明は、3次元パーティクルフィルターを多様でなおかつ簡単な2次元パーティクルフィルターに再構成する。2次元パーティクルフィルターに対する再構成及び選択は、ノイズ環境での音響センサーの特性に基づく。本発明は、多重パーティクルフィルター結合で拡張されるが、本発明の剛健さと性能は、ラオの理論限界(Cramer−Rao Lower Bound:CRLB)を使って証明されうる。本発明は、計算の複雑性を減少させながらも、正確な3次元客体追跡を行うことができる長所がある。 公开号:JP2011516825A 申请号:JP2010548595 申请日:2008-04-04 公开日:2011-05-26 发明作者:ジンソク イ;イトク ジョ;ユンヨン ナム;サンジン ホン;スタナシェビッチ ミルティン 申请人:アジョン ユニバーシティ インダストリー コーポレーション ファウンデーション; IPC主号:G01S5-20
专利说明:
[0001] 本発明は、受動音響センサー(passive acoustic sensors)を備えるパーティクルフィルター(particle filter)を使う3次元空間での客体追跡方法に係り、特に、従来のベアリング−オンリートラッキング(bearings−only tracking)のためのパーティクル・フィルタリング・アルゴリズムを3次元空間で直接的に拡張する代わりに、3次元パーティクルフィルターを多様でなおかつ簡単な2次元パーティクルフィルターに再構成することによって、計算の複雑性を減少させながらも、正確な3次元客体追跡を行うことができる3次元空間での客体追跡方法に関する。] 背景技術 [0002] 室内外での受動センサーを使った客体の位置測定及び追跡は、多様なアプリケーションの重要な関心事である。受動センサーを使った客体の追跡のために、時間−遅延測定(TDE:Time−Delay Estimation)及びビーム形成(beamforming)方法のような多様な方法が提案される。TDE方法は、受信機での信号の到着時間遅延に基づく。ビームフォーミング方法は、調整されたビーム形成器の周波数−平均出力パワーを使う。TDE方法及びビーム形成方法は、単に現在時間に得られるデータを用いて現在ソース位置を決定する。各方法は、ソースに対応する位置でのピークとして表われる関数で音響データを変換する。] [0003] しかし、このような方法の正確度測定は、ノイズを含んだ信号に敏感である。これを克服するために、パーティクルフィルターに基づいた状態−空間ドリブンアプローチ方式(state−space driven approach)が提案される。パーティクルフィルタリングは、連続的な信号プロセッシングに強力なツールである。特に、非線形及び非ガウス(non−Gaussian)問題においてそうである。パーティクルフィルターを利用した従来の追跡作業は、ソース位置測定に対して公式化される。これは、パーティクルフィルターを使う変換されたTDEベースまたはビーム形成方法のフレームワークであり、センサーは、2次元空間で客体の軌道を推定するために特定の場所に配される。しかし、このような方法は、3次元空間への拡張が容易ではない。多くのマイクロホンが、3次元への拡張のために要求される。さらに、センサーの移動性は、固定された位置により、得られない。このような移動性問題を克服するために、ベアリング−オンリートラッキングに基づいたDOA(到来方向:Direction of Arrival)が多くのアプリケーションに幅広く使われる。] [0004] 本発明で、3次元追跡に対する柔軟で正確な受動センサーに基づいた追跡方法が提案される。2次元ベアリング−オンリートラッキング(bearings−only tracking)のためのパーティクル・フィルタリング・アルゴリズムを3次元空間に直接的に拡張する代わりに、本発明は、3次元パーティクルフィルターを多様でなおかつ簡単な2次元パーティクルフィルターに再構成する。2次元パーティクルフィルターに対する再構成及び選択は、ノイズ環境での音響センサーの特性に基づく。受動音響ローカライザー(passive acoustic localizer)は、M.Stanacevic,G.Cauwenberghs,“Micropower Gradient Flow acoustic Localizer”,in Solid−StateCircuits Conf.(ESSCIRC03),pp.69−72,2003.に紹介された受動音響ローカライザーが使われる。音響ローカライザーは、センサーと客体との間の二つの角度要素(方位角θ、仰角φ)を検出する。本発明は、多重パーティクルフィルターの結合で拡張され、本発明の性能は、ラオの理論限界(Cramer−Rao Lower Bound:CRLB)を使って調査される。] 発明が解決しようとする課題 [0005] 本発明が解決しようとする技術的課題は、計算の複雑性を減少させながらも、正確性を増大させることができるパーティクルフィルターに基づく音響センサーを利用した3次元空間での客体追跡方法を提供することである。] 課題を解決するための手段 [0006] 前記技術的課題を解決ための本発明の実施形態による3次元客体追跡方法は、3次元空間内の任意の二つの平面を選択する段階と、前記選択された平面に対してそれぞれ2次元パーティクルフィルタリングを行う段階と、前記それぞれの平面に対する2次元パーティクルフィルタリングの結果を結合する段階と、を備える。] [0007] 望ましくは、前記二つの平面を選択する段階は、一つのセンサーにより形成された3次元空間内の平面のうちから二つの平面を選択することができる。この際、前記選択された二つの平面は、前記一つのセンサーに関連する3次元空間内の三つの平面の仰角を基準に決定されうる。] [0008] または、前記二つの平面を選択する段階は、多数のセンサーのそれぞれにより形成された3次元空間上の平面のうちから二つの平面を選択することができる。この際、前記選択された二つの平面は、前記多数のセンサーのそれぞれに関連する3次元空間内の平面の方位角及び仰角を基準に決定されうる。] [0009] 望ましくは、前記二つの平面を選択する段階は、独立したk個のセンサーを使用(IMS:Independant K−Multiple Sensors)できる。または、前記二つの平面を選択する段階は、共通リサンプリング(コモン−リサンプリング)するk個のセンサー(CRMS:Common−Resampling K−Multiple Sensors)を使用できる。また、前記二つの平面を選択する段階は、一つにマージ(統合又は併合)されたk個のセンサー(OMMS:One Merged K−Multiple Sensors)を使用できる。] [0010] 望ましくは、前記それぞれの平面に対する2次元パーティクルフィルタリングの結果を結合する段階は、相異なる二つの平面の同一要素に対するウェイトを同一であるとして結合することができる。または、前記それぞれの平面に対する2次元パーティクルフィルタリングの結果を結合する段階は、相異なる二つの平面の同一要素に対するそれぞれのウェイトを加重して結合することができる。] 発明の効果 [0011] 本発明によるパーティクルフィルターに基づく音響センサーを利用した3次元空間での客体追跡方法は、3次元パーティクルフィルターを多様でなおかつ簡単な2次元パーティクルフィルターに再構成することによって、計算の複雑性を減少させながらも、正確な3次元客体追跡を行うことができる長所がある。] 図面の簡単な説明 [0012] 角度変換過程を示す図である。 yz平面に投影された角度変数を示す図である。 zx平面に投影された角度変数を示す図である。 本発明による平面選択でxy及びyz平面が選択された場合を示す図である。 本発明による結合方法を使っていないyz平面での追跡偏差を示す図である。 本発明による結合方法に基づいた客体追跡を示す図である。 3次元分布されたパーティクルウェイトの割り当てのためのコーン形状の可能性を示す図である。 一つの角を有するラジアルエラー推定を示す図である。 グローバル座標に対する関連する座標系(プライマリーセンサーに対する座標系)を示す図である。 本発明による共通リサンプルされたパーティクルに対する二つの可能な方法を示す図である。 多重センサーのリサンプリング過程を示す図である。 CRMS−IIでのウェイト計算を示す図である。 本発明による選択されたRセンサーからの測定されたあらゆる値によって計算されるwn(i)(P)でのパーティクルウェイト計算を示す図である。 IMSの二つの選択された最適の平面を使った多重センサー性能を示す図である。 角方向でのローバウンドを示す図である。 角方向でのローバウンドを示す図である。 一つのセンサーを使う場合を示す図である。 多重センサーを使う場合を示す図である。] 実施例 [0013] 本発明と本発明の動作上の利点及び本発明の実施によって達成される目的を十分に理解するためには、本発明の望ましい実施形態を例示する添付図面及び図面に記載の内容を参照しなければならない。] [0014] 以下、添付図面を参照して、本発明の望ましい実施形態を説明することによって、本発明を詳しく説明する。各図面に付された同じ参照符号は、同じ部材を表わす。 3次元ローカライザーモデル及びそれの具現は、前述したように、M.Stanacevic,G.Cauwenberghs,“Micropower Gradient Flow acoustic Localizer”,in Solid−StateCircuits Conf.(ESSCIRC03),pp.69−72,2003.に紹介される。ローカライザーは、DOA(到来方向:Direction of Arrival)を決定するための勾配流れ(gradient flow)に基づく。] [0015] 図1は、角度変換過程を示す図である。測定された二つの角度(方位角θ(0≦θ≦2π)、仰角φ(2≦φ≦π))に基づいて、音響ローカライザーから、2次元に対する三つの角θxy、θyz、θzxが誘導される。三つの角は、それぞれパーティクルフィルターを使う2次元追跡に使われる。例えば、θxyはxy平面に、θyzはyz平面に、θzxはzx平面に、それぞれ使われる。角は、次の数式1のように定義される。] 図1 [0016] ] [0017] 数式1で、(y≧0、z≧0)でβ=0であり、(y<0)でβ=πであり、(y≧0、z<0)でβ=2πである。そして、(z≧0、x≧0)でγ=0であり、(x<0)でγ=πであり、(z≧0、x<0)でγ=2πである。] [0018] 簡単化のために、元の測定されたθ及びφの変数σ(θ)2及びσ(φ)2が理想的であると仮定し、σ2で表示される。θ及びφ変数σ2を有する背景ノイズ(noise−corrupted)量は、次の数式2のように、変数σ2xy、σ2yz及びσ2zxを有する投影された平面角度θxy、θyz及びθzxに伝達される。] [0019] ] [0020] ここで、 、nは、p平面(xy平面、yz平面またはzx平面)での真の角度である。そして、Eは、p平面での変数σ2を有する投影されたノイズである。元の変数σ2は、それぞれ投影を通じてσ2xy、σ2yz及びσ2zxで表われる。] [0021] 各投影された測定変数は、前述した数式1から誘導される。しかし、これは、要求される変数生成及び非線形関数の変数のための数学的誘導を表現しにくい。さらに、数学的誘導は、単に、近接した解答であるだけである。図2及び図3は、yz及びzx平面での投影された角度変数を示す図である。これは、10,000回の実験的結果として生成される。図2及び図3は、θ及びφの変数σ2がいずれも1である時の投影された角度変数σ2xy、σ2yz及びσ2zxを示す図である。xy平面での投影された角度θxyは、元のθと同じであり、σ2xyは、σ2と同じである。しかし、yz及びzx平面でのθ及びφは、変化される。yz平面で、φは45°から135°の範囲を有して、元の正の変数である1より小さな変数になる。さらに、θは、0°から180°の範囲を有して、その変数減少がさらに激しい。同様に、zx平面図φ及びθの元の変数より小さな値を有する。投影された変数を通じて、本発明は、3次元空間での客体追跡にアプローチする。] 図2 図3 [0022] 3次元空間推定のための公式化の問題について説明する。] [0023] 客体状態ベクトルXnが、次の数式3と同じであるとする。] [0024] ] [0025] ここで、fnは、Xnの非線形、状態変異関数であり、Qn−1は、nとn−1との間の時間間隔での非ガウスノイズプロセスである。客体状態ベクトルの量は、次の数式4のように表現される。] [0026] ] [0027] ここで、hnは、客体状態の非線形及び時間−変化関数であり、Enは、IID(独立して同一の分布:Independant Identically Distributed)ホワイトノイズであるメジャーメントノイズシーケンス(measurement noise sequence)であるメジャーメントエラーである。次いで、予想pdf(確率密度関数:probability density function)は、次の数式5によって求められる。] [0028] ] [0029] ここで、Z1:nは、時間−インスタントnに至るメジャーメントのシーケンスであり、p(Xn|Xn−1)は、前述した数式3のfn(・)及びQn−1に関係したマルコフ(Markov)プロセスの状態変異デンシティ(密度:density)である。p(Xn−1|Z1:n−1)は、時間−インスタントn−1から得られる。 Bayesのルールに基づいた後、時間−インスタント推定のために、予想pdfを含むポステリア(事後:posterior)pdfは、次の数式6によって得られる。] [0030] ] [0031] ここで、p(Zn|Xn)は、測定モデルhn(・)及びノイズプロセスEnに関係した前述した数式4の可能または測定デンシティである。そして、Znは、数式6のカレントポステリアデンシティ(現在の事後デンシティ)を求めるために、数式5の以前デンシティを変更して使われる。] [0032] 変数の一貫した属性のために、時間−インスタントnでの投影された平面角度θxy、θyz及びθzxは、Zn(xy)、Zn(yz)及びZn(zx)で表示され、2次元平面での客体状態ベクトルXn(xy)、Xn(yz)及びXn(zx)及び3次元平面での客体状態ベクトルXnは、次の数式7ないし数式10と定義される。] [0033] ] [0034] ここで、{xn、yn、zn}及び{Vxn、Vyn、Vzn}は、それぞれ3次元デカルト座標での真のソース位置及び速度であり、{xn(xy)、yn(xy)}及び{Vxn(xy)、Vyn(xy)}は、xy平面での真のソース位置及び速度である。yz平面及びzx平面に対しても、同じ方法で適用される。xn、xn(xy)及びxn(xz)は、いずれも異なる。xn(xy)及びxn(zx)が独立して推定されるために、xnは、xn(xy)及びxn(zx)に基づいた最終結合値である。残りの要素に対しても、類似している。予想pdfのp(Xn(xy)|Z1:n(xy))、p(Xn(yz)|Z1:n(yz))及びp(Xn(zx)|Z1:n(zx))を含む三つのポステリアpdfが、次の数式11ないし数式13で与えられる。] [0035] ] [0036] 目標は、ポステリアpdfから三つの2次元推定が利用され、それらを一つの3次元推定で融合することである。] [0037] 前述した数式11ないし数式13は、単に線形ガウス状態空間モデルのような特別な場合を除き、一般的に分析的な計算であることができない概念的目的のためのものである。非線形システムで、パーティクルフィルターは、パーティクルのクラウド(cloud)を使ったポステリア分布にアプローチする。SIS(逐次重点サンプリング:sequential importance sampling)が、非線形フィルタリング遂行に幅広く適用される。SISアルゴリズムは、結合されたウェイト(weight)を有するランダムサンプルの集合によるポステリアpdfに対するものであり、サンプル及びウェイトに基づいた推定を計算するためのものである。さらに、これは、あらゆる時間−インスタントでリサンプリング段階を行い、重要なデンシティ(density)の候補を選択するSIR(sequential importance sampling)パーティクル・フィルター・アルゴリズムを誘導する。SIRアルゴリズムは、提案されたパーティクルフィルターの大部分の基本を形成する。本発明で、客体追跡のためのパーティクル・フィルター・アルゴリズムであるSIRパーティクル・フィルター・アルゴリズムが適用される。数式11及び数式13の非線形関数fn−1及びhnが知られたということの仮定下で、SIR PF方法は、重要なウェイトが容易に評価され、重要なデンシティが容易にサンプリングされる長所がある。] [0038] 動的モデル及び観察可能関数(observation likelihood function)について説明する。] [0039] 多様な動的モデルが、周辺位置及び速度に対して提案される。特に、ベアリング−オンリートラッキングで、CV(Constant Velocity)モデル、CT(Clockwise Coordinated Turn)モデル及びACT(Anti−clockwise Coordinated Turn)モデルが、次の数式14及び数式15として表われる。] [0040] ] [0041] ここで、p=2、3であり、 は、次のように表現されるmode conditioned turning rates(モード条件ターニング率)と呼ばれる。 ここで、αは、回転した角度を決定するベクトルである。] [0042] 本発明で、CAモデルで、前述した数式14は、次の数式16のように変更されうる。] [0043] ] [0044] ここで、Ax及びAyは、xy平面での加速を表わす。他の平面(yz、zx)に対して、Ax及びAyは、対応するターゲット状態ベクトルに置き換えられる。さらに、CAモデルは、Ax及びAyが“0”である場合に、CVモデルになる。] [0045] 動的モデルが、各平面Pの以前のMパーティクルの集合Xn−1(1:m)(P)に展開された後、新たなパーティクル集合Xn(1:m)(P)が生成される。そして、観察可能関数p(Zn(p)|Xn(1:m)(P))が、ガウス分布に公式化される。観察可能関数は、各平面でのリサンプリング過程を通じて、客体状態ベクトルXn(p)を推定し、生成されたパーティクルのウェイトを計算する。] [0046] 本発明による3次元での客体追跡のための投影された平面選択について説明する。以下、本発明による投影された平面選択方法をPPS(Projected Plans Selection)方法と言う。まず、PPS方法での平面選択及びパーティクル生成について説明し、次いで、リダンダンシー(冗長性)を考慮した結合方法について説明する。] [0047] 平面選択及びパーティクル生成:3次元のためのパーティクルフィルター公式を直接的に使う代わりに、本発明は、三つの可能な2次元パーティクルフィルター公式のうち、少なくとも二つ以上を使って3次元情報を推定する。PPS方法で、図2及び図3に対応する最も小さな変数を有する二つの平面が選択された。xy平面は、この平面に対する変数が元の測定された方位角としての同一の変数を有する二番目に良い平面であるので、常に選択される。残りの一つは、測定された角度によって選択される。例えば、正角が45°から135°であるyz平面が選択される。そうではなければ、zx平面が選択される。] 図2 図3 [0048] 各平面が選択されれば、2次元パーティクルフィルターは、独立して状態を推定する。図4は、本発明による平面選択で、xy及びyz平面が選択された場合を示す図である。図4は、3次元状態ベクトル推定のために選択された二つの2次元パーティクルフィルターを示す図である。選択された平面のパーティクルフィルターが、状態ベクトルを推定する間、選択されていない平面は選択されるのを待つ。観察された客体が残された平面に対する投影された変数が小くなる範囲に入れば、平面選択は変更される。] 図4 [0049] 二つの平面が選択されるにもかかわらず、両平面に表われる一つの余剰要素がある。例えば、y要素が、xy平面及びyz平面に表われる。しかし、二つのパーティクルフィルターが独立して状態を推定するために、二つの平面でのy要素は異なる。前述した数式7ないし数式10で論議されたように、媒介2次元ターゲット状態ベクトルは、xy平面パーティクルフィルターから、{xn(xy)、Vxn(xy)、yn(xy)、Vyn(xy)}であり、yz平面パーティクルフィルターから、{yn(yz)、Vyn(yz)、zn(yz)、Vzn(yz)}である。最終3次元ターゲット状態ベクトルXnは、二つの推定の結合によって決定されうる。] [0050] リダンダンシー考慮結合方法:前述された平面選択方法は、常にリダンダンシーを発生させた。例えば、xy及びyz平面が選択されれば、y方向状態ベクトルが二つの平面からのパーティクルフィルターによって求められる。y方向状態ベクトルに対する余剰の情報を結合する平面加重された結合及び同一のウェイト結合方法について説明する。同一のウェイト結合方法は、単純に、余剰の要素yのウェイトを同じ値で設定する。] [0051] 言い換えれば、平面加重された結合方法で、余剰要素は、パーティクルウェイトの和に対応して加重される。パーティクルウェイトの和 は、概略的に状態推定の信頼性を表わす。二つのフィルターのウェイトの和 は、選択された平面(p平面)の最終推定に対する各フィルターのウェイトである。各平面ウェイトに基づいて、平面加重された結合方法が考慮される。選択された平面が、xy及びyz平面である場合、平面加重された結合方法に基づいた最終3次元ターゲット状態ベクトルXnは、次の数式17のようになる。] [0052] ] [0053] ここで、Xn(x|xyz)、Xn(y|xyz)及びXn(z|xyz)は、それぞれ、次の数式18ないし数式20で表現される最終3次元状態ベクトルに対する最終x、y及びz状態ベクトルを表わす。] [0054] ] [0055] ここで、Xn(x|xy)は、xy平面での2次元状態ベクトルのx要素を表わす。同一のウェイト結合方法は、各平面のウェイトの和を無視し、数式19の余剰のy要素は、次の数式21に置き換えられる。] [0056] ] [0057] 以下、本発明によるPPS方法に対する効果及び直接的に3次元客体追跡に拡張される方法(以下、“直接的な3次元方法”と称する)との比較について記述する。] [0058] 平面加重された結合方法の効果:非線形動的変異行列fnが知られたと仮定した。もし、動的モデルfnが、パーティクルフィルターに対するいずれかの情報の変化なしに、追跡の中間でgnに変化される場合、追跡は外れる。客体が、P平面で動的モデルgnに置き換えられたとしても、パーティクルフィルタリングは、動的モデルfnを使う。真のソース状態ベクトルは、パーティクルフィルターが次の数式22の観察可能関数を公式化する間、gn(Xn−1(P))である。] [0059] ] [0060] 動的モデル及びパーティクルフィルターが異なるために、推定は確実に、次の数式23に表現されたように、外れるようになる。] [0061] ] [0062] さらに、一致していないモデルの状態が持続されれば、推定は、モデルのマッチング後にも回復されないことがある。平面加重された結合方法は、p(Zn(p)|Xn(1:m)(P))に基づいた無関心なパーティクルウェイトの和を有する平面からの推定を廃棄する。] [0063] 同一のウェイト結合及び平面加重された結合方法は、すべて選択された平面パーティクルフィルターが客体をよく追跡するならば、類似した追跡性能を有する。しかし、そうではなければ、加重された結合方法の性能がさらに良い。次の表1及び表2は、二つの結合方法の比較を表わす。1000個のパーティクルが、この結果を生成するのに使われた。] [0064] ] [0065] 表1は、あらゆる平面パーティクルフィルターが良い追跡正確性を有する場合のエラー率を表わす。テーブルに表われたように、二つの方法がほぼ同じ結果を生成する。しかし、二つのうち一つのフィルターに信頼性がない場合、平面加重された結合方法が、表2に表われたように、補償される。表1及び表2は、y方向要素に関するものである。以上の現象は、図5に示され、図6は、シミュレーション結果を示す図である。選択された平面がxy及びyzであり、y方向推定状態ベクトルが変更される。図5は、本発明による結合方法を使っていないyz平面での追跡偏差を示す図である。図6は、本発明による結合方法に基づいた追跡を示す図である。特に、図6(b)は、平面加重された結合方法が追跡性能を向上させることを証明する。] 図5 図6 [0066] 直接的な3次元方法との比較:PPS方法は、3次元ターゲット状態モデルを有する直接的な3次元方法の推定にアプローチする。図7は、3次元分布されたパーティクルウェイトの割り当てのためのコーン形状の可能性を示す図である。PPS方法は、二つの変数観察可能関数及び3次元分布パーティクルが、二つの選択された平面に投影される同一の効果を有する。平面は、小さな変数によって選択されるために、PPSは、直接的な3次元方法と比較する時、さらに良い推定器である。性能の比較は、前述したCRLBに基づく。CRLBについてのさらに詳しい説明は、後述する。] 図7 [0067] 以下、多重センサーを使う場合の本発明の実施形態による3次元客体追跡方法について説明する。] [0068] 前述した数式23の客体動的モデルの予想できない変化に起因した追跡軌道離脱は部分的に、平面加重された結合方法によって解決されうる。しかし、一つのパーティクルフィルターは、図8に示されたラジアルエラー(radial error)の区別が不可能である。このような理由で、追跡の正確性を高めるために、多重のセンサーが使われる。以下、本発明による多様な接近及びセンサー選択方法について説明する。] 図8 [0069] まず、動的モデル及び測定関数変換について説明する。] [0070] (xn(s)k、yn(s)k)に位置したk番目のセンサーから得られた追加的に測定された角度に対して、測定関数は、次の数式24のように変換される。] [0071] ] [0072] この際、h’(Xnk)は、次の数式25のようになる。] [0073] プライマリーセンサー(primary sensor)S1は、図9に示したように、原点に位置すると仮定される。図9は、グローバル座標に対する関連する座標系(プライマリーセンサーに対する座標系)を示す図である。座標系は、前述した数式25を満足しなければならない。] 図9 [0074] 客体動的モデルは、また、各センサーに対して変換される。図9に示された追加的なセンサーが、それぞれ異なる座標系を使うために、ターゲット動的モデルは、それぞれ次の数式26ないし数式28のプライマリーセンサー座標系に変換される。] 図9 [0075] ] [0076] ここで、Fn[S2]、Fn[S3]及びFn[S4]は、それぞれ対応するセンサーS2、S3及びS4を有する変化された動的モデルである。] [0077] 本発明による多重センサーを使う3次元客体追跡方法のうち、最初の方法であるIMS(独立したK個のセンサー:Independant K−Multiple Sensors)方法について説明する。] [0078] 本発明で、K個のセンサーのうち二つのセンサーを利用する場合を説明する。目的は、追跡に最適である二つのセンサーを選択することである。但し、センサーの数が二つ以上に拡張されうる。まず、各センサーの最適の平面(最も小さなメジャーメント変数を有する平面)が選択される。この選択されたK個の平面のうち、最適の二つの平面がθ及びφ値に基づいて選択される。φが45°及び135°の範囲を有し、θが0°または180°に近接した値を有する場合、yz平面が選択される。一方、φが0°から45°または135°から180°の範囲を有し、θが90°または270°に近接した値を有する場合、zx平面が選択される。このような選択は、前述した図3に基づく。選択された二つの平面による同一要素の推定を避けるために、他の平面に対する二番目に最適である平面選択の考慮が要求される。] 図3 [0079] 平面選択後に、各パーティクルフィルターは、独立してターゲット状態ベクトルを推定する。この推定された3次元状態ベクトルに対して、一つのセンサーに対する平面加重された結合方法と類似したノード加重された結合方法が選択されたセンサーノードを加重するのに提案される。各センサーノードの信頼性のために、二つの平面から求められるパーティクルウェイトの和が、一つのセンサーを使う場合と同様に考慮される。] [0080] センサーUからのyz平面及びセンサーVからのzx平面が選択される場合、ノードウェイトは、次の数式29及び数式30で誘導される。] [0081] ] [0082] wnk(i)(P)は、k番目のセンサーのp平面のi番目のパーティクルウェイトを表わす。] [0083] 同一な平面選択において、各要素の最終推定された状態ベクトルXn(x|xyz)、Xn(y|xyz)及びXn(z|xyz)は、次の数式31ないし数式33のように表わされる。] [0084] ] [0085] 最終的に、前述した数式17が、最終的な3次元状態ベクトルを求めるのに使われる。 次いで、本発明による多重センサーを使う3次元客体追跡方法のうち、二番目の方法であるCRMS(共通リサンプリングするK個のセンサー:Common−Resampling K−Multiple Sensors)方法について説明する。] [0086] CRMSアルゴリズムが選択された平面でのリダンダンシーを利用する。CRMSは、最小の観察入力変数を有するR平面を選択する。CRMSで、多重センサーは、互いに依存する。図10は、本発明による共通リサンプルされたパーティクルに対する二つの可能な方法を示す図である。] 図10 [0087] CRMS−I:図10の(a)に示したように、各センサーは、パーティクルを生成し、それらのウェイトを独立して計算する。しかし、共通リサンプルされたパーティクルは、あらゆるパーティクルの統合によって得られる。図11は、多重センサーのリサンプリング過程を示す図である。サークルの大きさは、パーティクルのウェイトを表わす。リサンプリング過程から、さらに大きいパーティクルのウェイトの和を有する平面は、最終推定にさらに多く寄与する。] 図10 図11 [0088] CRMS−II:図10の(b)は、共通リサンプルされたパーティクルを生成する他の方法を示す図である。この方法で、パーティクルは、独立して生成される。しかし、ウェイト計算は、同時にあらゆるパーティクルに対して行われる。共通パーティクルウェイト計算後に、リサンプリング過程は、CRMS−Iと同様に行われる。CRMS−IIは、CRMS−Iがリサンプリング過程からパーティクルを結合する間、ウェイト計算から各センサーノードのパーティクルを結合する。残りの推定過程は、CRMS−Iと同一である。図12は、CRMS−IIでのウェイト計算を示す図である。R平面からパーティクルの各クラスターは集められ、パーティクルウェイトwn(i)(P)は、選択されたRセンサーで測定された角度によって計算される。パーティクルウェイトは、次の数式34のR*Mパーティクルに対してR回計算される。] 図10 図12 [0089] ] [0090] ここで、wnk(i)(P)は、次の通りである。 この場合、p(Zn|Xn)は、次の数式35のような割り当てられたパーティクルウェイトに対する可能関数である。] [0091] ] [0092] 次いで、本発明による多重センサーを使う3次元客体追跡方法のうち、三番目の方法であるOMMS(一つにマージされたK個のセンサー:One Merged K−Multiple Sensors)方法について説明する。] [0093] OMMSアルゴリズムも二つ以上の選択された平面を使う。R選択されたセンサーからすべて受信された角度が直接的に考慮される。センサーは、開始状態(パーティクル生成状態)に結合する。すべての選択されたパーティクルクラスターは、単一センサーノードとして動作する各平面に集められる。OMMS及び単一センサーPFの差は、測定された角度の個数である。図13は、本発明による選択されたRセンサーからの測定されたあらゆる値によって計算されるwn(i)(P)でのパーティクルウェイト計算を示す図である。このウェイト計算方法は、パーティクル個数を除き、CRMS−IIでのウェイト計算と同一である。OMMSパーティクル計算は、次の数式36で表現される。残りの推定過程は、一つのセンサーノードを使う場合と同一である。] 図13 [0094] ] [0095] 以下、前述した本発明による多重センサーを使う3次元客体追跡方法に対してセンサーノード結合及び複雑性と関連して論議する。] [0096] センサーノード結合:前述した四つの多重センサーアルゴリズムは、表3に示したように、ノード結合タイミングに分類されうる。IMSアルゴリズムは、ノード加重された結合方法に基づいて結合された最終状態ベクトルの結合を除いては、完全に独立的な多重センサーノードを使ったパーティクルフィルタリングを具現する。CRMS−I、CRMSII及びOMMSは、それぞれ異なるパーティクルフィルタリング段階でセンサーノードデータまたはパーティクルを結合する。FCは、センサーノード結合後に、状態ベクトルを推定する。] [0097] ] [0098] 複雑性:一般的に、各平面に対する選択されたR平面で、IMSは、選択された3R平面パーティクルフィルターのそれぞれが独立して具現されるために、完全に3R2次元パーティクルフィルターを要求する。しかし、単に二つの最適の平面が適用されるスケジューリング方法が適用されれば、PPS方法に基づいた一つのセンサーの場合と同様に、単に二つの2次元パーティクルフィルターが要求される。] [0099] RMS方法は、それぞれ選択されたRセンサーが三つの平面でのパーティクルを生成するために、3R2次元パーティクルフィルターを要求する。共通的に、R*Mパーティクルは、各平面にMパーティクルにリサンプルされる。さらに、CRMS−IIで、R*Mパーティクルは、各平面に集められ、ウェイトが決定される。] [0100] OMMS方法は、完全に、単に二つまたは三つの2次元パーティクルフィルターを要求する。したがって、FCは、少数の平面に対するパーティクルフィルターを簡単に制御することができる。一つのセンサーを使う場合とR回のウェイト計算を除いては、あらゆる推定過程が一つのセンサー推定の複雑性と同一である。したがって、OMMS方法が提案された他の方法より全般的な複雑性を減らすのに適する。] [0101] 次では、本発明による3次元客体追跡方法に対する性能分析について記述する。特に、CRLB(Cramer−RAO Lower Bound)によって、性能分析が行われる。まず、一般的なCRLBについて説明した後、本発明についてのCRLBによる分析を記述する。] [0102] CRLBは、ソリューションの評価に幅広く使われている。CRLBは、ローバウンド(low bound)を定義することで、良い性能を有する。バウンド数式は、CV及びCAモデルに対するプロセスノイズQnが“0”であることを仮定して誘導される。状態ベクトルのバイアスされていない推定器Xnのエラー共分散行列Cnは、次の数式37によってバウンドされる。] [0103] ] [0104] ここで、Eは、期待オペレーター(expectation operator)である。] [0105] CRLB数式は、次の数式38と定義される情報行列の逆行列から求められる。] [0106] ここで、Jnは、情報行列であり、▽xnは、状態ベクトルXnに関するグラディエントオペレーター(gradient operator)である。そして、Jn−1の対角成分は、ローバウンドを表わす。] [0107] プロセスノイズが不在であれば、状態ベクトルの展開は、次の数式39のようになる。] [0108] ここで、Fnは、前述した数式16のCV及びCAモデルを表わす変異行列であり、Rn+1は、メジャーメント変数σθ2であり、Hnは、メジャーメント関数hnのグラディエント成分である。Hnは、hnのヤコビアン(Jacobian)によって推論されて、次の数式40のように表わすことができる。] [0109] ] [0110] さらに、イニシャルバウンド(initial bound)に対するJ1は、次の数式41のように状態推定のイニシャル共分散行列によって誘導される。] [0111] ] [0112] ここで、C1は、xy平面に対して次の数式42のようになる。他の平面に対しても、同じ方法で適用可能である。] [0113] ] [0114] 数式42のイニシャル共分散行列は、イニシャル位置、速度及び加速度の範囲のターゲットによって与えられる。ここで、イニシャルターゲット範囲は、 を有する であり、イニシャル速度及び加速度は、 及び がイニシャル距離、角度、速度及び加速度の平均であり、σr2、σθ2、σs2及びσa2がイニシャル距離、角度、速度及び加速度の変数とするとき、 及び である。 デカルト座標に対する極座標変換を通じて、σx2、σy2及びσxy2は、次の数式43ないし数式45で誘導される。] [0115] ] [0116] 以下、本発明による一つのセンサーに対するPPS方法でのCRLB分析を記述する。] [0117] 3次元構築のための投影方法で、前述した数式39の三つの情報行列が、各平面で生成される。混同を避けるために、情報行列Jnの右側の上側に平面タイプを表示する(JnP)。さらに、変異行列、メジャーメント変数及びhnのヤコビアンも同じ方式で表示する。動的モデルは、x軸でのCVであり、y軸及びz軸でのAy及びAzを有するCAと仮定する。前述した数式16に基づいて、変異行列FnPは、次の数式46ないし数式48で誘導される。] [0118] ] [0119] 測定変数RnPの共分散行列は、投影された平面でのベアリングメジャーメント変数であるσP2である。推定性能が向上したメジャーメント変数について考える。投影されたメジャーメント変数は、図2及び図3で示したように、ローベアリング(raw bearings)方位角及び仰角が、客体位置によって他の角度変数で三つの平面に投影される。したがって、小さな角度変数に基づいた平面選択は、推定正確性を増加させることができる。] 図2 図3 [0120] 最終段階で、ヤコビアンHnPは、次の数式49ないし数式51で誘導される。] [0121] ] [0122] 次いで、一つのセンサーを使う直接的な3次元方法でのCRLB分析について記述する。] [0123] 直接的な3次元方法で、情報行列Jnは、6x6行列で表現される。ここで、3次元ベクトルの変異行列、メジャーメント変数及びhnのヤコビアンには、2次元投影方法と異なって、右側の上に平面の表示をしない。ローバウンドは、前述した数式39から行列に基づいた2次元状態ベクトルを確張することによって、直接的に求められる。変異行列は、次の数式52のように表現される。] [0124] ] [0125] この方法で、測定されたベアリングベクトル[θ,φ]Tは、変数σθ2及びσφ2で与えられる。二つのベアリング追跡は、多重センサー追跡に簡単に拡張される。3次元ベクトル推定のために、単に一つのセンサーが物理的にベアリングを検出する。しかし、ベアリング測定は、他の二つのセンサーが同じ場所でそれぞれ角度を検出しなければならない。したがって、多重センサーでの測定エラー共分散Rn及びヤコビアンHn+1は、それぞれ次の数式53ないし数式55のように表現される。] [0126] ] [0127] ここで、hn(1)及びhn(2)は、ベアリング方位角及び仰角の測定関数である。] [0128] 次いで、本発明による多重センサーに対するPPS方法でのCRLB分析について記述する。] [0129] ローバウンドに基づいた継続的な推定評価のために、多重センサーによる評価が、前述した本発明で提案された多様な方法に対して考慮される。しかし、その方法は、完全にCRLBが適用されない。バウンドは、単に、動的モデル、エラー共分散及びイニシャル状態ベクトルの以前情報及びプロセスノイズの不在に対する外部ベクトルを考慮するためである。したがって、単に、直接的な3次元方法及び多重センサーによる本発明によるPPS方法に対する多様な可能なバウンドが説明される。そして、与えられた可能な範囲で、提案された方法に対する性能及び単一センサー推定との比較について説明される。直接的な3次元方法は、単に一つのバウンダリーに対して動作するだけである。一方、PPS方法は、多様な結果を生成する。したがって、本発明が、直接的な3次元方法より柔軟である。] [0130] 多重センサーを使うPPS方法で、一般的に6Rローバウンダリーが得られる。ここで、Rは、選択された平面の数を表わす。CRLBに影響を与えるあらゆるベクトルRn、Fn、Hnは、それぞれ選択されたセンサーによって変化されうる。他のベクトルに基づいて、展開された3R情報行列は、次の数式56のように誘導されうる。] [0131] ] [0132] ここで、pは、平面を、kは、センサーインデックスを表わす。] [0133] 動的モデルFnP[k]は、前述した数式26ないし数式28によって誘導された動的モデルでの角度位置に対して変換される。そして、kは、選択されたセンサーの数を表わす。3R動的モデルのFnP[k]は、前述した数式46ないし数式48及び数式26ないし数式28によって誘導される。] [0134] 測定共分散エラーRn+1P−1[k]は、ベアリング測定の変数として表われる。多重センサーの使用の主な利点は、数回の試みによる推定の正確性増加だけではなく、最も小さなベアリング変数を有する平面選択の幅が広くなることである。] [0135] ヤコビアンHn+1PT[k]は、2個の仮想センサーが二つのベアリングを測定する前述した数式53のように拡張されうる。一般的に、ヤコビアンは、次の数式57のように表現される。] [0136] ] [0137] 数式57は、例えば、xy平面に対して、次の数式58のような行列で表現される。] [0138] 次いで、多重センサーを使う直接的な3次元方法に対するCRLB分析について記述する。] [0139] 一つのセンサーを使う直接的な3次元方法と同様に、情報行列Jnは、6*6行列である。ローバウンドは、次の数式59のようになる。] [0140] ] [0141] 動的モデルFn[k]は、各センサー位置によって変換される。] [0142] K個のセンサーからのベアリングθ1、φ1、θ2、φ2、θk及びφkに基づいて、ベアリングメジャーメントベクトルは、次の数式60及び数式61によって誘導された前述した数式53及び数式54でのRn及びHnの方程式が拡張された[θ1、φ1、θ2、φ2、θk及びφk]Tで表示される。] [0143] ] [0144] 以上、本発明についての説明及び分析が記述された。最後に、本発明についてのシミュレーション結果及びそれによる分析が記述される。] [0145] 本発明によるPPS方法の性能を直接的な3次元方法と比較して説明する。次のシナリオ1及び2は、φによる平面選択に基づいた一つのセンサーを使う場合を示す。シナリオ3は、φによって選択された平面が変化される場合を示す。シナリオ4は、θ及びφによる平面及びセンサー選択に基づいた多重センサーを使う場合を示す。] [0146] シナリオ1:このシナリオで、客体は、45°から64°のφ範囲の間を動く。一つのセンサーは、原点(0、0、0)に位置する。客体の開始位置は、(1m、1m、3m)である。ここで、イニシャル速度(開始速度)は、(1m/s、1m/s、1m/s)を有する。センサーは、0.1秒間隔で方位角、仰角を測定する。観察された客体は、それぞれ0.1m/s2及び0.5m/s2でx方向からCV移動し、y及びz方向からCA移動する。φが45°及び64°の間にあるので、xy及びyz平面が選択される。] [0147] シナリオ2:このシナリオで、客体は、24°から32°のφ範囲の間を動く。一つのセンサーは、原点(0、0、0)に位置する。イニシャル速度(開始速度)は、(1m/s、1m/s、1m/s)を有する。センサーは、0.1秒間隔で方位角、仰角を測定する。観察された客体は、それぞれ0.1m/s2及び0.5m/s2でx方向からCV移動し、y及びz方向からCA移動する。客体の開始位置は、(2m、1m、2m)である。この際、φが24°及び32°の間にあるので、xy及びzx平面が選択される。] [0148] シナリオ3:このシナリオで、客体は、40°から48°のφ範囲の間を動く。一つのセンサーは、原点(0、0、0)に位置する。イニシャル速度(開始速度)は、(1m/s、1m/s、1m/s)を有する。センサーは、0.1秒間隔で方位角、仰角を測定する。観察された客体は、それぞれ0.1m/s2及び0.5m/s2でx方向からCV移動し、y及びz方向からCA移動する。客体の開始位置は、(2m、1m、2.5m)である。初めの13時間−インスタントの間、φが45°及び48°の間にあるので、xy及びyz平面が選択される。最後の37時間−インスタントの間、φが45°以下にあるので、xy及びyz平面が選択される。] [0149] シナリオ4:このシナリオで、客体は、シナリオ3のように動く。原点(0、0、0)に位置したセンサーをセンサー1と言い、(10、0、0)に位置したセンサーをセンサー 2と言い、(10、10、10)に位置したセンサーをセンサー3と言う。測定された角φは、図14に示したように、異なる。図14は、IMSの二つの選択された最適の平面を使った多重センサー性能を示す図である。他の多重センサーアルゴリズムは、ノード結合に焦点を置くためである。] 図14 [0150] 初めの13時間−インスタントの間、センサー1からのyz平面及びセンサー3からのzx平面が選択される。この過程を経た後、あらゆる三つのセンサーのφが、zx平面の選択を誘導する。したがって、14ないし27時間−インスタントで、センサー3からzx平面が選択される。さらに、投影に鈍感なxy平面が選択される。最後に、28ないし50時間−インスタントで、xy平面とセンサー2によるzx平面が選択される。平面選択が、投射された変数特性によるということは、前述した図2及び図3で説明された。] 図2 図3 [0151] 図15及び図16は、それぞれ角度方向でのローバウンドを示す図である。図15でのxy平面とともに選択されたyz平面及び図16でのxy平面とともに選択されたzx平面が、本発明によるPPS方法の良い性能を示す。あらゆるバウンダリーは、他の平面選択と比較されて説明される。さらに、一つのセンサーを使う場合と多重センサーを使う場合との比較が、図17及び図18に示される。図17及び図18は、センサーの個数を除いた状況が、いずれも同一である場合を示す図である。多重センサーは、平面選択において幅広い選択を提供するので、単一センサーを使う場合より性能がさらに良く表われる。] 図15 図16 図17 図18 [0152] 以上、図面と明細書とで最適の実施形態が開示された。ここで、特定の用語が使われたが、これは、単に本発明を説明するための目的で使われたものであって、意味限定や特許請求の範囲に記載の本発明の範囲を制限するために使われたものではない。したがって、当業者ならば、これより多様な変形及び均等な他実施形態が可能であるという点を理解できるであろう。したがって、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想によって決定されるべきである。] [0153] 本発明は、3次元客体位置追跡関連の技術分野に利用されうる。]
权利要求:
請求項1 パーティクルフィルターに基づく音響センサーを利用した3次元空間での客体追跡方法において、3次元空間内の任意の二つの平面を選択する段階と、前記選択された平面に対してそれぞれ2次元パーティクルフィルタリングを行う段階と、前記それぞれの平面に対する2次元パーティクルフィルタリングの結果を結合する段階と、を備える3次元客体追跡方法。 請求項2 前記二つの平面を選択する段階は、一つのセンサーにより形成された3次元空間内の平面のうちから二つの平面を選択する請求項1に記載の3次元客体追跡方法。 請求項3 前記選択された二つの平面は、前記一つのセンサーに関連する3次元空間内の三つの平面の仰角を基準に決定される請求項2に記載の3次元客体追跡方法。 請求項4 前記二つの平面を選択する段階は、複数のセンサーのそれぞれにより形成された3次元空間内の平面のうちから二つの平面を選択する請求項1に記載の3次元客体追跡方法。 請求項5 前記選択された二つの平面は、前記多数のセンサーのそれぞれに関連する3次元空間内の平面の方位角及び仰角を基準に決定される請求項4に記載の3次元客体追跡方法。 請求項6 前記二つの平面を選択する段階は、独立したk個のセンサーを使う請求項4に記載の3次元客体追跡方法。 請求項7 前記二つの平面を選択する段階は、共通リサンプリング(コモン−リサンプリング)するk個のセンサーを使う請求項4に記載の3次元客体追跡方法。 請求項8 前記二つの平面を選択する段階は、一つにマージされたk個のセンサーを請求項4に記載の3次元客体追跡方法。 請求項9 前記それぞれの平面に対する2次元パーティクルフィルタリングの結果を結合する段階は、相異なる二つの平面の同一要素に対するウェイトを同一であるとして結合する請求項1に記載の3次元客体追跡方法。 請求項10 前記それぞれの平面に対する2次元パーティクルフィルタリングの結果を結合する段階は、相異なる二つの平面の同一要素に対するそれぞれのウェイトを加重して結合する請求項1に記載の3次元客体追跡方法。
类似技术:
公开号 | 公开日 | 专利标题 Argentieri et al.2015|A survey on sound source localization in robotics: From binaural to array processing methods Sarradj2012|Three-dimensional acoustic source mapping with different beamforming steering vector formulations Orton et al.2002|A Bayesian approach to tracking multiple targets using sensor arrays and particle filters US7302345B2|2007-11-27|Method and apparatus for generating magnetic field map and method and apparatus for checking pose of mobile body using the magnetic field map Huang et al.2013|A quadratic-complexity observability-constrained unscented Kalman filter for SLAM Hawkes et al.2003|Wideband source localization using a distributed acoustic vector-sensor array Ho et al.2004|An accurate algebraic solution for moving source location using TDOA and FDOA measurements Bishop et al.2009|Bearing-only localization using geometrically constrained optimization Stoyanov et al.2011|Comparative evaluation of range sensor accuracy in indoor environments Ahmad et al.2013|Extended Kalman filter-based mobile robot localization with intermittent measurements Vermaak et al.2005|Monte Carlo filtering for multi target tracking and data association Kurz et al.2016|Recursive Bayesian filtering in circular state spaces Selezneva et al.2016|Development of a measurement complex with intelligent component Brandstein et al.1997|A closed-form location estimator for use with room environment microphone arrays Bar-Shalom et al.2002|One-step solution for the general out-of-sequence-measurement problem in tracking Ma et al.2006|Tracking an unknown time-varying number of speakers using TDOA measurements: A random finite set approach Moreno-Salinas et al.2016|Optimal sensor placement for acoustic underwater target positioning with range-only measurements Nardone et al.1997|A closed-form solution to bearings-only target motion analysis Jourdan et al.2008|Optimal sensor placement for agent localization CN1664609B|2012-04-18|提高定位估计的精度的系统和方法 Zhou et al.1999|Tracking the direction-of-arrival of multiple moving targets by passive arrays: Algorithm JP2008527394A|2008-07-24|マルチパス信号を用いて位置決めを行うためのシステム及び方法 JP3881367B2|2007-02-14|位置情報推定装置、その方法、及びプログラム Okello et al.2011|Comparison of recursive algorithms for emitter localisation using TDOA measurements from a pair of UAVs US9562965B2|2017-02-07|Two-stage filtering based method for multiple target tracking
同族专利:
公开号 | 公开日 CN101960322B|2013-04-24| KR100951321B1|2010-04-05| US20100316233A1|2010-12-16| US8213265B2|2012-07-03| WO2009107895A1|2009-09-03| JP5361008B2|2013-12-04| CN101960322A|2011-01-26| KR20090092603A|2009-09-01|
引用文献:
公开号 | 申请日 | 公开日 | 申请人 | 专利标题 JP2002062348A|2000-08-24|2002-02-28|Sony Corp|信号処理装置及び信号処理方法| WO2007129731A1|2006-05-10|2007-11-15|Honda Motor Co., Ltd.|音源追跡システム、方法、およびロボット| JP2008026974A|2006-07-18|2008-02-07|Mitsubishi Electric Corp|人物追跡装置|KR101470367B1|2013-09-30|2014-12-09|중앙대학교 산학협력단|이중층 파티클 필터를 이용한 다중 객체 검출 및 추적 장치와 그 방법|US4223311A|1956-02-29|1980-09-16|The United States Of America As Represented By The Secretary Of The Navy|Long range listening system| US3940769A|1974-01-21|1976-02-24|Rca Corporation|Binaural auditory presentation apparatus| FR2504275B1|1981-04-15|1983-06-10|Thomson Csf|| US7206421B1|2000-07-14|2007-04-17|Gn Resound North America Corporation|Hearing system beamformer| JP2007085825A|2005-09-21|2007-04-05|Denso It Laboratory Inc|到来方向推定装置| KR100757839B1|2006-04-04|2007-09-11|삼성전자주식회사|제어시스템, 제어시스템을 갖는 이동로봇장치 및 그제어방법| CN101051385B|2006-04-07|2011-11-23|欧姆龙株式会社|特定被摄体跟踪方法和装置以及特征部跟踪方法和装置| JP4032125B1|2006-07-05|2008-01-16|国立大学法人北陸先端科学技術大学院大学|移動体位置推定システム、及び、移動体位置推定方法| JP4032126B1|2006-07-05|2008-01-16|国立大学法人北陸先端科学技術大学院大学|移動体位置推定システム、及び、移動体位置推定方法| JP2008249640A|2007-03-30|2008-10-16|Japan Advanced Institute Of Science & Technology Hokuriku|位置推定システム、及び、位置推定方法|CN102338870B|2011-08-25|2013-09-11|北京理工大学|一种采用前向散射雷达的三维目标跟踪方法| US10595146B2|2017-12-21|2020-03-17|Verizon Patent And Licensing Inc.|Methods and systems for extracting location-diffused ambient sound from a real-world scene| KR102165835B1|2019-12-27|2020-10-14|국방과학연구소|밀리미터파 통신 파티클 필터 기반 빔 추적 방법 및 그 방법을 구현하는 기지국|
法律状态:
2012-07-12| A977| Report on retrieval|Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120712 | 2012-09-05| A131| Notification of reasons for refusal|Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120904 | 2012-11-29| A524| Written submission of copy of amendment under section 19 (pct)|Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20121128 | 2013-07-30| TRDD| Decision of grant or rejection written| 2013-08-07| A01| Written decision to grant a patent or to grant a registration (utility model)|Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130806 | 2013-09-05| A61| First payment of annual fees (during grant procedure)|Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130830 | 2013-09-13| R150| Certificate of patent or registration of utility model|Ref document number: 5361008 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 | 2016-09-20| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 | 2017-07-18| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 | 2018-07-31| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 | 2019-07-16| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 | 2020-07-10| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 | 2021-07-13| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
优先权:
[返回顶部]
申请号 | 申请日 | 专利标题 相关专利
Sulfonates, polymers, resist compositions and patterning process
Washing machine
Washing machine
Device for fixture finishing and tension adjusting of membrane
Structure for Equipping Band in a Plane Cathode Ray Tube
Process for preparation of 7 alpha-carboxyl 9, 11-epoxy steroids and intermediates useful therein an
国家/地区
|