![]() ポイントクラウドデータの可視化方法
专利摘要:
可視化及び解釈を向上させるため、3次元レンジデータのカラー表現を提供する方法。本方法はまた、色調、彩度及び強さを3次元レンジデータの高さ座標にマッピングするためのカラーマップに従って、色調、彩度及び強さの各値を選択的に決定することを含む。カラーマップは、彩度及び強さの値が所定のターゲット高さ範囲の上限高さにほぼ対応する第1の所定の高さにおいて第1ピーク値を有するように規定される。彩度及び強さに対して規定される値は、自然のシーン内の木の頂上の予想高さにほぼ対応する第2の所定の高さにおいて第2ピークを有する。 公开号:JP2011513860A 申请号:JP2010549776 申请日:2009-03-02 公开日:2011-04-28 发明作者:グラヴナ,カティー;ジー ブラスク,スティーヴン;ミネアー,キャサリン 申请人:ハリス コーポレイションHarris Corporation; IPC主号:G06T15-08
专利说明:
[0001] 本発明の構成は、ポイントクラウドデータの可視化を向上させるための技術に関し、より詳細には、自然風景の内部にあるターゲット要素の可視化を向上させるための技術に関する。] 背景技術 [0002] イメージングシステムによりしばしば生じる1つの問題は、センサがターゲットを適切に照射及び画像形成することを妨げる他のオブジェクトによってターゲットが部分的に不明りょうになるということである。例えば、従来の光学タイプのイメージングシステムの場合には、ターゲットは葉やカモフラージュネットによって塞ぐことができ、これにより、システムがターゲットを適切にイメージングする能力が限定される。さらに、ターゲットを塞ぐオブジェクトはしばしばやや多孔質なものであることが認識される。葉やカモフラージュネットは、しばしば光を透過可能な開口を有するため、このような多孔質な障害物の良い例である。] [0003] 多孔質な障害物の背後に隠されているオブジェクトは適切な技術を利用することによって検出及び認識可能であることが知られている。障害物を介したターゲットの瞬間的なビューはターゲットの表面の一部しか含んでいないことが理解されるであろう。この部分的なエリアは、障害物の多孔質なエリアを介し可視的であるターゲットの断片から構成される。このような多孔質なエリアを介し可視的であるターゲットの断片は、イメージングセンサの位置に依存して変動する。しかしながら、複数の異なるセンサ位置からデータを収集することによって、データ集合体が取得可能である。多くの場合、データ集合体はその後にターゲットの認識可能な画像を再構成するため解析可能である。通常、これは、異なるセンサ位置から撮影された特定のターゲットの画像フレームシーケンスが補正され、単一の複合画像が当該シーケンスから構成可能となるレジストレーション処理を伴う。このレジストレーション処理は、複数のシーン(フレーム)からの3Dポイントクラウドを揃え、3Dポイントクラウドにより表されるターゲットの観察可能な断片が有用な画像に合成される。] [0004] 塞がれたオブジェクトの画像を再構成するため、3次元(3D)タイプのセンシングシステムを利用することが知られている。3Dタイプセンシングシステムの一例は、LIDAR(Light Detection And Ranging)システムである。LIDARタイプ3Dセンシングシステムは、画像フレームを生成するため、単一パルスのレーザ光からの複数のレンジエコーを記録することによって、画像データを生成する。このため、LIDARデータの各画像フレームは、センサ開口内の複数のレンジエコーに対応する3次元の点群(3Dポイントクラウド)から構成されることになる。これらのポイントは、3次元空間の通常のグリッド上の値を表す“ボクセル”と呼ばれることもある。3Dイメージングに用いられるボクセルは、2Dイメージング装置に関して用いられるピクセルと類似している。これらのフレームは、上述したようにターゲットの画像を再構成するため処理可能である。これについて、3Dポイントクラウドの各ポイントは、3Dのシーン内の実際の表面を表す個別のx,y及びz値を有することが理解されるべきである。] [0005] ここに記載される3Dタイプセンシングシステムに関する効果は多数であるにもかかわらず、結果として得られるポイントクラウドデータは解釈することが困難なものとなりうる。人間の肉眼にとって、未処理のポイントクラウドデータは、3次元座標系で不定形かつ有用でない点群として見える可能性がある。カラーマップは、ポイントクラウドデータを可視化するのを支援するのに利用されてきた。例えば、カラーマップは、高さなどの所定の変数に従って3Dポイントクラウドの各ポイントのカラーを選択的に変化させるのに利用可能である。このようなシステムでは、カラーの変化は異なる地上の高さ又は高度にあるポイントを表すのに利用される。このような従来のカラーマップの利用にもかかわらず、3Dポイントクラウドデータは解釈するのに依然として困難である。] 発明が解決しようとする課題 [0006] 本発明は、可視化及び解釈を向上させるため、3次元レンジデータのカラー表現を提供するための方法に関する。] 課題を解決するための手段 [0007] 本方法は、色調、彩度及び強さにより規定されるカラー空間を用いて、3次元レンジデータを含むデータポイント群を表示することを含む。本方法はまた、色調、彩度及び強さを3次元レンジデータの高さ座標にマッピングするためのカラーマップに従って、色調、彩度及び強さの各値を選択的に決定することを含む。カラーマップは、彩度及び強さの値が所定のターゲット高さ範囲の上限高さにほぼ対応する第1の所定の高さにおいて第1ピーク値を有するよう規定される。本発明の一態様によると、彩度及び強さについて規定される値がシーン内の木の頂上の予想高さにほぼ対応する第2の所定の高さにおいて第2ピーク値を有するように、カラーマップが選択される。] [0008] 所定のターゲット高さ範囲外の第2高さ範囲と比較して、所定のターゲット高さ範囲の第1高さ範囲内の高さの各増分的変化に対して、色調、彩度及び強さの少なくとも1つのより大きな値の変化を有するように、カラーマップが選択可能である。例えば、彩度及び強さの少なくとも1つが所定のターゲット高さ範囲を超える所定の高さ範囲上の非単調関数に従って変化するように、カラーマップが選択可能である。本方法は、周期関数となるように非単調関数を選択することを含むことが可能である。例えば、非単調関数は、正弦関数となるよう選択可能である。] [0009] 本方法はさらに、シーン内の地形の表面にほぼ対応する地上においてブラウンの色調を、ターゲット高さ範囲の上限高さにおいて黄色の色調を、シーン内の木の頂上の予想高さにほぼ対応する第2の所定の高さにおいて緑色の色調を生成知るように色調、彩度及び強さを提供するカラーマップを選択することを含むことが可能である。本方法はさらに、ブラウンの色調から黄色の色調及び地上と第2の所定の高さとの間の高さでは緑色の色調に増加的に変化する連続的に移行するようにカラーマップを選択することを含むことが可能である。] [0010] 本方法はまた、3Dポイントクラウドの3次元レンジデータにより規定されるボリュームを、各サブボリュームが地形の表面の所定部分で揃えられる複数のサブボリュームに分割することを含む。3次元レンジデータは、複数のサブボリュームのそれぞれに対して地上を規定するのに用いられる。] 図面の簡単な説明 [0011] 図1は、3Dポイントクラウドデータが1以上のセンサによりどのように収集されるか理解するのに有用な図である。 図2は、ポイントクラウドデータを有するフレームの一例を示す。 図3は、ターゲットを含む自然のシーンの内部に含まれる所定の高さ又は高度を理解するのに有用な図である。 図4は、メータ単位の高さに関してプロットされた色調、彩度及び強さを示す正規化曲線群である。 図5Aは、より大きなスケールでプロットされた図4のカラーマップの一部を示す。 図5Bは、より大きなスケールでプロットされた図4のカラーマップの一部を示す。 図6は、高さに対する色調の変化を示した図4のカラーマップの他の表現を示す。 図7は、3Dポイントクラウドデータボリュームを含むフレームがどのように複数のサブボリュームに分割可能であるか示す。 図8は、3Dポイントクラウドデータの各サブボリュームがどのようにさらに複数のボクセルに分割可能であるか示す図である。] 図1 図2 図3 図4 図5A 図5B 図6 図7 図8 実施例 [0012] 本発明は、本発明の例示的な実施例が示される添付した図面を参照して以降において十分に説明される。しかしながら、本発明は、多数の異なる形態により実現されてもよく、ここに与えられる実施例に限定されるものとして解釈されるべきでない。例えば、本発明は、方法、データ処理システム又はコンピュータプログラムプロダクトとして実現可能である。従って、本発明は、完全にハードウェアの実施例、完全にソフトウェアの実施例又はハードウェア/ソフトウェアの実施例としての形態をとることも可能である。] [0013] 3Dイメージングシステムは、3Dポイントクラウドデータの1以上のフレームを生成する。このような3Dイメージングシステムの一例は、従来のLIDARイメージングシステムである。一般に、このようなLIDARシステムは、高エネルギーレーザ、光検出手段及びタイミング回路を用いてターゲットとの距離を決定する。従来のLIDARシステムでは、1以上のレーザパルスがシーンを照射するのに使用される。各パルス波、ディテクタアレイと共に動作するタイミング回路をトリガする。一般に、システムは、光パルスの各ピクセルがレーザからターゲットまで向かい、そしてディテクタアレイに戻ってくるまでの往復のパスを通過する時間を測定する。ターゲットから反射した光がディテクタアレイにおいて検出され、それの往復伝搬時間が、ターゲットのあるポイントまでの距離を決定するのに測定される。計算されたレンジ又は距離情報は、ターゲットを構成する多数のポイントに対して取得され、これにより、3Dポイントクラウドが生成される。3Dポイントクラウドは、オブジェクトの3D形状をレンダリングするのに利用可能である。] [0014] 図1では、センサ102−i,102−jにより画像形成された物理ボリューム108は、車両などの1以上のオブジェクト又はターゲット104を含みうる。本発明のため、物理ボリューム108は、地表上の地理的位置であると理解することができる。例えば、地理的位置は、木を有するジャングル又は森林エリアの一部とすることが可能である。このため、センサ102−i,102−jとターゲットとの間の視線は、障害物106により部分的に不明りょうとなりうる。この障害物は、対象となるターゲットの3Dポイントクラウドデータを取得するためのセンサの能力を制限する何れかのタイプの物質を含みうる。LIDARシステムのケースでは、障害物は、樹木の葉などの自然物又はカモフラージュネットなどの人工物でありうる。] 図1 [0015] 多くの例では、障害物106は本来的に多孔質であることが理解されるべきである。このため、センサ102−i,102−jは、障害物の多孔質なエリアを介し可視的なターゲットの断片を検出することが可能である。このような多孔質なエリアを介し可視的なターゲットの断片は、センサの位置に応じて変化する。複数の異なるセンサ位置からデータを収集することによって、データ集合体が取得可能である。典型的には、データの集合はレジストレーション処理により実行される。レジストレーション処理は、データが意味をなすように合成できるように、センサの回転及び位置に関して各フレーム間の変化を補正することによって、2以上のフレームからのデータを合成する。当業者に理解されるように、データをレジストレーションするのに利用可能な技術は複数存在する。このようなレジストレーションの後、2以上のフレームから集計された3Dポイントクラウドデータは、1以上のターゲットを特定しようとするため解析可能である。] [0016] 図2は、レジストレーション終了後の集計された3Dポイントクラウドデータを含むフレームの一例である。3Dポイントクラウドデータは、図1のセンサ102−i,102−jにより取得される3Dポイントクラウドデータの2以上のフレームから集計され、適切なレジストレーション処理を用いてレジストレーションされたものである。また、3Dポイントクラウドデータ200は、ボリュームのデータポイント群の位置を規定し、各データポイントは、x,y及びz軸上の位置によって3次元空間で定義することができる。センサ102−i,102−jにより実行される測定とその後のレジストレーション処理が、各データポイントのx,y及びz位置を規定する。] 図1 図2 [0017] フレームの3Dポイントクラウドデータ200は、可視化を向上させるためカラー符号化可能である。例えば、3Dポイントクラウドデータの各点の表示カラーは、各点の高さ又はz軸位置に従って選択することができる。様々なz軸座標位置にある点に対して何れのカラーが表示されるか決定するため、カラーマップが利用可能である。例えば、極めてシンプルなカラーマップでは、赤色が3メータ未満の高さにあるすべての点について用いられ、緑色が3〜5メータの範囲内の高さにあるすべての点について用いられ、青色が5メータ以上にあるすべてのポイントについて用いることができる。より詳細なカラーマップは、z軸に沿ってより小さなインクリメントにより変換するより広範なカラーを使用することも可能である。カラーマップは公知であるため、ここでは詳細には説明されない。] [0018] カラーマップの使用は、3Dポイントクラウドデータにより表される構造を可視化するのに役立つ。しかしながら、従来のカラーマップは、このような可視化を向上させるためにはあまり効果的でない。このような従来のカラーマップの限定的な有効性は、カラーマップを定義するのに従来用いられるカラー空間に少なくとも原因があると考えられている。例えば、赤色、緑色及び青色(RGBカラー空間)に基づくカラー空間が選択される場合、広範なカラーが表示可能である。RGBカラー空間は、赤色、緑色及び青色の混合としてすべてのカラーを表現する。合成されると、これらのカラーはスペクトル上の任意のカラーを生成可能である。しかしながら、RGBカラー空間それ自体は、3Dポイントクラウドデータを可視化するのに真に有用なカラーマップを提供するのに不適切なものとなりうる。RGBカラー空間に関してのみ規定されるカラーマップは制限される。任意のカラーがRGBカラー空間を用いて提供可能であるが、このようなカラーマップは高さの関数としてカラー情報を直感的に提供するための効果的な方法を提供するものでない。] [0019] 改良されたポイントクラウド可視化方法は、色調、彩度及び強さ(HSIカラー空間)に従って規定された新たな非線形カラーマップを利用可能である。色調は純粋なカラーを表し、彩度は度合いやカラーコントラストを表し、強さはカラーの明るさを表す。従って、HSIカラー空間における特定のカラーは、HSI値(h,s,i)と呼ばれる三つ組みの集合により一意的に表現できる。hの値は、通常は0〜360度(0°≦h≦360°)の範囲とすることができる。s及びiの値は、通常は0〜1(0≦s,i≦1)の範囲とすることができる。便宜上、ここで説明されるhの値は、h/360として計算される正規化された値として表現されることもある。] [0020] HSIカラー空間は、人間がカラーを知覚する方法によりモデル化され、このため、3Dポイントクラウドデータを可視化するためにカラーマップを生成するときに役立ちうる。HSIの三つ組みは、赤色、緑色及び青色(原色)の組み合わせが他のすべてのカラーを表現するのに利用される周知のRGBカラー空間システムなどの他のカラー空間定義に容易に変換可能であることが知られている。従って、HSIカラー空間で表現されるカラーは、RGBベース装置に使用されるRGB値に容易に変換可能である。他方、RGBカラー空間で表現されるカラーは、HSIカラー空間に数学的に変換可能である。この関係の具体例が、以下のテーブルに与えられる。] [0021] 図3は、新たな非線形カラーマップを理解するのに役立つ図である。ターゲット302は、多孔質の障害を一緒になって規定する樹木の林冠の下方の地面301にある。このシナリオでは、地上の軍事車両の構造は一般に所定の対象高度範囲306内にあることが観察できる。例えば、ターゲットの構造は、地上305からある上限高さ308まで延びている。実際の上限高さは、車両のタイプに依存するであろう。本発明のため、ターゲット車両の典型的な高さは訳3.5メータであると仮定することができる。しかしながら、本発明はこれに限定されるものでないことが理解されるべきである。樹木304は、地上305から地上からある高さの木の頂上310まで延びていることが観察できる。木の頂上の実際の高さは、関係する木のタイプに依存する。しかしながら、予想される木の頂上の高さは、既知の地理的エリア内の予測可能な範囲内でありうる。例えば、限定することなく、木の頂上の高さは約40メータとすることができる。] 図3 [0022] 図4を参照するに、本発明を理解するのに有用な正規化カラーマップ400が示される。カラーマップ400は、地上の高さ又は高度に従って変わるHSIカラー空間に基づくことが観察できる。カラーマップ400を理解するための助けとして、様々なリファレンスポイントが図3において特定されたように与えられる。例えば、カラーマップ400は、地上305、ターゲット高さ範囲306の上限高さ308及び木の頂上の高さ310を示す。] 図3 図4 [0023] 図4において、色調402、彩度404及び強さ406の正規化された曲線は地上305(高さ0)とターゲット範囲の上限高さ308(この例では約3.5メータ)との間の所定の範囲において、それぞれ線形に変換する。色調402について正規化された曲線は、上限高さ308においてピーク値に到達し、その後、高さが木の頂上310まで増加するに従って、着実かつ全体的に線形に減少する。] 図4 [0024] 彩度及び強さを表す正規化された曲線もまた、ターゲットレンジの上方高さ理もっと308においてローカルなピーク値を有する。しかしながら、彩度と強さの正規化された曲線404,406は非単調であり、これは、高度(高さ)の増加に従って値の着実な増加又は減少がないことを意味する。本発明の実施例によると、これらの曲線はそれぞれ最初にターゲット高さ範囲308を超えた所定の高さ範囲内の値に減少し、その後に増加する。例えば、図4において、約22.5メータにおいて正規化された彩度曲線404には変曲点が存在することが観察できる。同様に、正規化された強さ曲線406にも約32.5メータにおいて変曲点がある。正規化された彩度曲線404と正規化された強さ曲線406との非線形部分における遷移及び変曲は、正弦曲線などの周期関数としてこれらの曲線のそれぞれを規定することによって実現できる。さらに、本発明はこれに限定されるものでない。特に、正規化された彩度曲線404は、このケースでは約40メータである木の頂上においてピーク値に戻る。] 図4 [0025] 特に、彩度及び強さに対する正規化された曲線404,406のピークは、3Dポイントクラウドデータを閲覧する際のスポットライティング効果をもたらす。すなわち、ターゲット高さレンジのほぼ上限高さにあるデータポイントは、ピークの彩度と強さを有する。視覚的効果は、ターゲットの上部に光を照らすことと同様であり、これにより、ターゲットの存在とタイプを特定することが可能になる。木の頂上における彩度曲線404の第2のピークは、3Dポイントクラウドデータを閲覧するときと同様の視覚的効果を有する。しかしながら、この場合、スポットライティング効果でなく、木の頂上で輝く日光と同様のものとなる。強さ曲線406は、それが木の頂上に接近するに従って、ローカルのピークを示す。合成された効果は、3Dポイントクラウドデータの可視化及び解釈において大きく寄与し、データをより自然なものに見せる。] [0026] 図5において、カラーマップ座標が、x軸に沿って示される高さとy軸上のカラーマップの正規化された値とによってより詳細に示される。図5Aを参照するに、色調、彩度及び強さを示す正規化された曲線402,404,406の線形部分が、より明らかに大きなスケールにより示される。図5Aにおいて、色調及び彩度曲線はターゲット高さ範囲に対応する高さの範囲でほぼ揃えられていることが観察できる。] 図5A [0027] 図5Bを参照するに、所定のターゲット高さ範囲306の上限高さ308を超える高さについて正規化された色調、彩度及び強さ曲線402,404,406の一部がより詳細に示される。図5Bにおいて、ピーク及び変曲点が明らかに観察できる。] 図5B [0028] 図6を参照するに、図4及び5に示される曲線のより直感的な理解を得るのに有用なカラーマップの他の表現が示される。図6はまた、ここに説明されるカラーマップが自然シーンを表す3Dポイントクラウドデータの可視化に適している理由を理解するのに有用である。ここで用いられる“自然シーン(natural scene)”という表現は、一般にターゲットが樹木などの植物により主として遮断されているエリアを表す。] 図4 図6 [0029] 図4と図6との間の関係がさらに詳細に説明される。図1では、ターゲット高さ範囲306は地上305から約地上3.5メータの上限高さ308まで延びていた。図4では、この高さ範囲に対応する色調値は−0.08(331°)から0.20(72°)まで延び、彩度と強さは共に0.1〜1の範囲である。これを表す他の方法は、ターゲット高さ範囲306内のカラーが焦げ茶から黄色に変化するということである。これは、色調が正規化された数値として表されているため、図4及び5に示される曲線からは直感的には明らかでない。従って、図6は、図4及び5に与えられた情報を解釈するのに利用するため価値がある。] 図1 図4 図6 [0030] 図6を再び参照するに、ターゲット高さ範囲の上限高さ308から木の頂上310までの高さにあるデータポイントは、0.20(72°)〜0.34(122.4°)の色調、0.6〜1.0の強さの値及び0.4〜1の彩度の値までとなる。すなわち、ターゲット高さ範囲の上限高さ308から樹木エリアの木の頂上310までに含まれるデータは、明るく輝く緑色から低彩度の薄暗い緑色に移行し、その後に明るく輝く高彩度の緑色に戻る。これは、彩度及び強さカラーマップの正弦の利用によるものであるが、色調の線形カラーマップの利用による。また、地上305からターゲット高さ範囲306の上限高さ308までのカラーマップ曲線の部分は、色調、彩度及び強さについて線形カラーマップを利用していることに留意されたい。] 図6 [0031] 図6のカラーマップは、地面に最も近いポイントクラウドデータの色調が、0メータからターゲット高さ範囲のほぼ上限高さ308までの高さに対応するz軸に対して急激に変化することを示している。この例では、上限高さは約3.5メータである。しかしながら、本発明はこれに限定されるものでない。例えば、この高さ範囲内では、データポイントはダークブラウン(0メータから始まって)からミディアムブラウン、ライトブラウン、黄褐色そして黄色(約3.5メータ)まで色調について変化しうる。便宜上、図6の色調は、ダークブラウン、ミディアムブラウン、ライトブラウン及び黄色によって概ね表現される。しかしながら、カラーマップに用いられる実際のカラーバリエーションは、図4及び5に示されるようにかなり微妙なものであることが理解されるべきである。] 図4 図6 [0032] 図6を再び参照するに、ダークブラウンは、土壌や地面を表すのに効果的な視覚的意味を提供するため、最も低い高さにあるポイントクラウドデータに対して選択されることが効果的である。カラーマップ内では、色調は、このダークブラウンの色調からミディアムブラウン、ライトブラウン及び黄褐色の色調に着実に移行し、これらすべては岩や他の指標を表すのに有用な喩えとなる。もちろん、自然シーン内のこれらの高さにあるオブジェクト、植物又は地形の実際の色調は他の色調とすることが可能である。例えば、地面は緑色の芝で覆うことも可能である。しかしながら、3Dポイントクラウドデータの可視化のため、地表に最も近いダークブラウンの色調によって、これらの色調で低高度(0〜5メータ)のポイントクラウドデータを表すことが有用であることが判明している。] 図6 [0033] 図6のカラーマップはまた、高さ約3.5メータに対応するz座標を有するポイントクラウドデータに対して、黄褐色の色調から黄色の色調への移行を規定する。3.5メータはターゲット高さ範囲306のほぼ上限高さ308であることに留意されたい。ターゲット高さ範囲の上限高さで黄色に遷移するカラーマップを選択することは、いくつかの効果を有している。このような効果を理解するため、まず上限高さ306にほぼあるポイントクラウドデータはしばしばターゲット車両の形状に対応する輪郭又は形状を構成しうることを理解することが重要である。例えば、戦車の形状のターゲット302について、ポイントクラウドデータは、砲塔及び砲口の輪郭を規定することができる。] 図6 [0034] 上限高さ308にある3Dポイントクラウドデータを黄色の色調により表示するよう図6のカラーマップを選択することによって、いくつかの効果が実現される。黄色の色調は、より低い高さにあるポイントクラウドデータに用いられるダークブラウンの色調と著しいコントラストを提供する。これは、地形の表面との明確なコントラストにより車両の輪郭を表示することによって、車両の人間による可視化を助ける。しかしながら、他の効果もまた得られる。黄色の色調は、車両の上部で輝く日光の有用な視覚的喩えになる。これについて、彩度及び強さ曲線もまた上限高さ308においてピークを示していることに留意されたい。この視覚的効果は、車両の上部を照らす強い日光の様相を生じさせることである。これらの特徴の組み合わせは、3Dポイントクラウドデータ内に含まれるターゲットの可視化に大変役立つ。] 図6 [0035] 図6を再び参照するに、上限高さ308(約3.5メータ)のすぐ上の高さについて、ポイントクラウドデータの色調は葉に対応する明るい緑色として規定される。明るい緑色は、図4に規定されるピークの彩度及び強さの値に一致している。図4に示されるように、明るい緑色の色調の彩度及び強さは、上限高さ308(本例では3.5メータに対応する)の近くでピーク値から減少する。彩度曲線40は、約22メータの高さに対応して0を有する。強さ曲線は、約32メータに対応する高さで0となる。最後に、彩度曲線404と強さ曲線406はそれぞれ、木の頂上310において第2のピークを有する。特に、色調は、上限高さ308を超える高さで緑色を維持する。従って、ターゲット高さ範囲306の上限高さ308を超える3Dポイントクラウドデータの視覚的様相は、明るい緑色から中程度の緑色、暗めのオリーブの緑色、最後に木の頂上310において明るいライムグリーンに変化するように見える。これらの高さの3Dポイントクラウドデータの様相の遷移は、図4及び5に示される曲線によって規定される緑色の色調に係る彩度及び強さの変化に対応する。] 図4 図6 [0036] 特に、木の頂上310において、彩度及び強さ曲線404,406の第2のピークが現れる。図6に示されるように、色調はライムグリーンである。この組み合わせの視覚的効果は、自然シーン内の木の頂上を照射する明るい日光の様相を生じさせることである。他方、彩度及び強さ曲線404,406におけるゼロは、木の頂上の下方の木陰の低木層の植物及び葉の視覚的様相を生じさせる。] 図6 [0037] ここに記載されるようにカラーマップが効果的に採用するため、地上305がシーンの各部分において正確に規定されることを保障することが効果的である。これは、地形が平らでなく又は高さに変化があるシーンにおいて特に重要となりうる。考慮されない場合、3Dポイントクラウドデータにより表されるシーン内の地上におけるこのような変化は、ターゲットの可視化を困難にしうる。これは、カラーマップが様々な高さにおけるシーンの内容に対して視覚的例えをもたらすよう意図的に選択される場合に特に真である。] [0038] 地形の高さの変化を考慮するため、3Dポイントクラウドデータにより表されるシーンのボリュームは、複数のサブボリュームに分割可能であることが効果的である。このコンセプトは、図7及び8に示される。図示されるように、3Dポイントクラウドデータの各フレーム700は複数のサブボリューム702に分割される。このステップは、図7を参照して最も良く理解される。各サブボリューム702は、3Dポイントクラウドデータの各フレームにより表されるボリューム全体と比較して、トータルボリュームにおいてかなり小さくなるよう選択可能である。例えば、一実施例では、各フレームから構成されるボリュームは16個のサブボリューム702に分割可能である。各サブボリューム702の正確なサイズは、シーン内に出現する選択されたオブジェクトの予想されるサイズに基づき選択可能である。さらに、本発明はサブボリューム702に関して何れか特定のサイズに限定されるものでない。図8を再び参照するに、各サブボリューム702はさらにボクセル802に分割可能であることが観察できる。ボクセルはシーンデータのキューブである。例えば、1つのボクセルは(0.2m)3のサイズを有することが可能である。] 図7 図8 [0039] サブボリューム702の各カラムは、3Dポイントクラウドデータにより表される地形の表面の特定部分と揃えられる。本発明の実施例によると、各サブボリュームについて地上305が規定できる。地上波、サブボリューム内で最低の高さの3Dポイントクラウドデータのポイントとして決定できる。例えば、LIDARタイプレンジング装置の場合、これは、サブボリューム内のレンジング装置により受信された最後のリターンとなる。各サブボリュームの地上リファレンスレベルを確定することによって、カラーマップがシーンの当該部分の真の地上に適切に参照されることを保障することができる。] [0040] 本発明の上記説明に関して、本発明がハードウェア、ソフトウェア又はハードウェアとソフトウェアの組み合わせにより実現可能であることが認識されるべきである。本発明の構成による方法は、1つの処理システムにおいて集中的に実現可能であり、あるいは異なる要素が複数の相互接続されたシステム全体に分散された分散的な方法により実現可能である。ここに記載された方法を実行するのに適した何れかのタイプのコンピュータ又は他の装置が適している。ハードウェアとソフトウェアの典型的な組み合わせは、ロード及び実行されると、ここに記載された方法を実行するようコンピュータシステムを制御するコンピュータプログラムを有する汎用コンピュータプロセッサ又はデジタル信号プロセッサとすることが可能である。] [0041] 本発明はまた、ここに記載された方法の実現を可能にするすべての特徴を有し、コンピュータシステムにロードされると、これらの方法を実行可能なコンピュータプログラムプロダクトにより実現可能である。ここでのコンピュータプログラム又はアプリケーションは、a)他の言語、コード又は記号への変換、b)異なる物質形態による再生の一方又は双方の後に又は直接的に特定の機能を情報処理機能を有するシステムに実行させる命令セットの何れかの言語、コード又は記号による何れかの表現を意味する。さらに、上記説明は単なる例示のためのものであり、以下の請求項に与えられるものを除いて本発明を限定することを意図したものでない。]
权利要求:
請求項1 可視化及び解釈を向上させるため、3次元レンジデータのカラー表現を提供する方法であって、前記3次元レンジデータを構成する複数のデータポイントを表示するステップと、色調、彩度及び強さにより規定されるカラー空間を使用するステップと、前記色調、彩度及び強さを前記3次元レンジデータの高さ座標にマッピングするためのカラーマップに従って、前記色調、彩度及び強さの各値を選択的に決定するステップと、前記彩度及び強さについて規定された値が所定のターゲット高さ範囲の上限高さにほぼ対応する第1の所定の高さにおいて第1ピーク値を有するように前記カラーマップを選択するステップと、を有する方法。 請求項2 前記彩度及び強さについて規定された値がシーン内の木の頂上の予想高さにほぼ対応する第2の所定の高さにおいて第2ピーク値を有するように前記カラーマップを選択するステップをさらに有する、請求項1記載の方法。 請求項3 前記所定のターゲット高さ範囲外の第2高さ範囲と比較して、前記所定のターゲット高さ範囲の第1高さ範囲内の高さの各増加的変化に対して、前記色調、彩度及び強さの少なくとも1つのより大きな値の変化を有するように前記カラーマップを規定するステップをさらに有する、請求項1記載の方法。 請求項4 前記彩度及び強さの少なくとも1つが前記所定のターゲット高さ範囲を超える所定の高さ範囲上の非単調関数に従って変化するように前記カラーマップを選択するステップをさらに有する、請求項1記載の方法。 請求項5 周期関数となるよう前記非単調関数を選択するステップをさらに有する、請求項4記載の方法。 請求項6 正弦関数となるよう前記非単調関数を選択するステップをさらに有する、請求項5記載の方法。 請求項7 シーン内の地形の表面にほぼ対応する地上においてブラウンの色調と、前記シーン内の木の頂上の予想高さにほぼ対応する第2の所定の高さにおいて緑色の色調とを生成する色調、彩度及び強さを提供するよう前記カラーマップを選択するステップをさらに有する、請求項1記載の方法。 請求項8 前記地上と前記シーン内の木の頂上の予想高さにほぼ対応する第2の所定の高さとの間の高さにおいて、前記ブラウンの色調から前記緑色の色調に連続的に移行するよう前記カラーマップを選択するステップをさらに有する、請求項7記載の方法。 請求項9 前記3次元レンジデータにより規定されるボリュームを、各サブボリュームが前記地形の表面の所定の部分に揃えられる複数のサブボリュームに分割するステップをさらに有する、請求項7記載の方法。 請求項10 前記3次元レンジデータを用いて前記複数のサブボリュームのそれぞれに対して前記地上を規定するステップをさらに有する、請求項9記載の方法。
类似技术:
公开号 | 公开日 | 专利标题 Fisher et al.2016|Comparing Landsat water index methods for automated water classification in eastern Australia Dandois et al.2015|Optimal altitude, overlap, and weather conditions for computer vision UAV estimates of forest structure Štular et al.2012|Visualization of lidar-derived relief models for detection of archaeological features Yang et al.2003|Urban land-cover change detection through sub-pixel imperviousness mapping using remotely sensed data Mucher et al.2000|Land cover characterization and change detection for environmental monitoring of pan-Europe De Kauwe et al.2011|An assessment of the MODIS collection 5 leaf area index product for a region of mixed coniferous forest Rosell et al.2009|Obtaining the three-dimensional structure of tree orchards from remote 2D terrestrial LIDAR scanning Zha et al.2003|Use of normalized difference built-up index in automatically mapping urban areas from TM imagery St‐Onge et al.2008|Mapping canopy height using a combination of digital stereo‐photogrammetry and lidar Popescu et al.2002|Estimating plot-level tree heights with lidar: local filtering with a canopy-height based variable window size Balthazar et al.2012|Evaluation and parameterization of ATCOR3 topographic correction method for forest cover mapping in mountain areas Buckley et al.2013|Terrestrial lidar and hyperspectral data fusion products for geological outcrop analysis Korpela2004|Individual tree measurements by means of digital aerial photogrammetry Erdody et al.2010|Fusion of LiDAR and imagery for estimating forest canopy fuels Small et al.2005|Spatial analysis of global urban extent from DMSP-OLS night lights Doneus et al.2006|Full-waveform airborne laser scanning as a tool for archaeological reconnaissance Johnson et al.2011|Unsupervised image segmentation evaluation and refinement using a multi-scale approach Wing et al.2012|Prediction of understory vegetation cover with airborne lidar in an interior ponderosa pine forest Thiel et al.2017|Comparison of UAV photograph-based and airborne lidar-based point clouds over forest from a forestry application perspective Doneus et al.2011|Airborne Laser Scanning in forested areas–potential and limitations of an archaeological prospection technique Doneus et al.2014|New ways to extract archaeological information from hyperspectral pixels Baltsavias et al.2008|High‐quality image matching and automated generation of 3D tree models Smith et al.2005|Methods for the visualization of digital elevation models for landform mapping Morsdorf et al.2010|Discrimination of vegetation strata in a multi-layered Mediterranean forest ecosystem using height and intensity information derived from airborne laser scanning Radoux et al.2007|A quantitative assessment of boundaries in automated forest stand delineation using very high resolution imagery
同族专利:
公开号 | 公开日 EP2272048A1|2011-01-12| JP5025803B2|2012-09-12| US20090231327A1|2009-09-17| CA2716814A1|2009-09-17| WO2009114308A1|2009-09-17| TW200945251A|2009-11-01|
引用文献:
公开号 | 申请日 | 公开日 | 申请人 | 专利标题 JPH07249114A|1994-03-08|1995-09-26|Alps Shiya:Kk|地図の作製方法および装置| JPH10207351A|1997-01-20|1998-08-07|Nissan Motor Co Ltd|ナビゲーションシステム及びそれに用いるナビゲーションプログラムを記憶した媒体| JP2002074323A|2000-09-01|2002-03-15|Kokusai Kogyo Co Ltd|三次元市街地空間モデル作成方法およびシステム| US20040160341A1|2003-02-18|2004-08-19|Honeywell International, Inc.|Display methodology for encoding simultaneous absolute and relative altitude terrain data|JP2011123060A|2009-11-27|2011-06-23|Thales|三次元画像を形成するための識別専用オプトロニックシステムおよび方法| JP2013054499A|2011-09-02|2013-03-21|Asia Air Survey Co Ltd|Forest land stereoscopic image generation method|US5247587A|1988-07-15|1993-09-21|Honda Giken Kogyo Kabushiki Kaisha|Peak data extracting device and a rotary motion recurrence formula computing device| US6418424B1|1991-12-23|2002-07-09|Steven M. Hoffberg|Ergonomic man-machine interface incorporating adaptive pattern recognition based control system| US5875108A|1991-12-23|1999-02-23|Hoffberg; Steven M.|Ergonomic man-machine interface incorporating adaptive pattern recognition based control system| US6081750A|1991-12-23|2000-06-27|Hoffberg; Steven Mark|Ergonomic man-machine interface incorporating adaptive pattern recognition based control system| US5416848A|1992-06-08|1995-05-16|Chroma Graphics|Method and apparatus for manipulating colors or patterns using fractal or geometric methods| US5495562A|1993-04-12|1996-02-27|Hughes Missile Systems Company|Electro-optical target and background simulation| JP3030485B2|1994-03-17|2000-04-10|富士通株式会社|3次元形状抽出方法及び装置| US5901246A|1995-06-06|1999-05-04|Hoffberg; Steven M.|Ergonomic man-machine interface incorporating adaptive pattern recognition based control system| US6206691B1|1998-05-20|2001-03-27|Shade Analyzing Technologies, Inc.|System and methods for analyzing tooth shades| US5781146A|1996-03-11|1998-07-14|Imaging Accessories, Inc.|Automatic horizontal and vertical scanning radar with terrain display| US5988862A|1996-04-24|1999-11-23|Cyra Technologies, Inc.|Integrated system for quickly and accurately imaging and modeling three dimensional objects| US6420698B1|1997-04-24|2002-07-16|Cyra Technologies, Inc.|Integrated system for quickly and accurately imaging and modeling three-dimensional objects| IL121431A|1997-07-30|2000-08-31|Gross David|Method and system for display of an additional dimension| US6405132B1|1997-10-22|2002-06-11|Intelligent Technologies International, Inc.|Accident avoidance system| US20040109608A1|2002-07-12|2004-06-10|Love Patrick B.|Systems and methods for analyzing two-dimensional images| US20020176619A1|1998-06-29|2002-11-28|Love Patrick B.|Systems and methods for analyzing two-dimensional images| US6448968B1|1999-01-29|2002-09-10|Mitsubishi Electric Research Laboratories, Inc.|Method for rendering graphical objects represented as surface elements| US6400996B1|1999-02-01|2002-06-04|Steven M. Hoffberg|Adaptive pattern recognition based control system and method| US6904163B1|1999-03-19|2005-06-07|Nippon Telegraph And Telephone Corporation|Tomographic image reading method, automatic alignment method, apparatus and computer readable medium| GB2349460B|1999-04-29|2002-11-27|Mitsubishi Electric Inf Tech|Method of representing colour images| US6476803B1|2000-01-06|2002-11-05|Microsoft Corporation|Object modeling system and process employing noise elimination and robust surface extraction techniques| US7027642B2|2000-04-28|2006-04-11|Orametrix, Inc.|Methods for registration of three-dimensional frames to create three-dimensional virtual models of objects| US6690820B2|2001-01-31|2004-02-10|Magic Earth, Inc.|System and method for analyzing and imaging and enhanced three-dimensional volume data set using one or more attributes| AUPR301401A0|2001-02-09|2001-03-08|Commonwealth Scientific And Industrial Research Organisation|Lidar system and method| WO2002093916A2|2001-05-14|2002-11-21|Elder James H|Attentive panoramic visual sensor| US6526352B1|2001-07-19|2003-02-25|Intelligent Technologies International, Inc.|Method and arrangement for mapping a road| WO2004025556A2|2002-09-12|2004-03-25|Baylor College Of Medecine|System and method for image segmentation| US7242460B2|2003-04-18|2007-07-10|Sarnoff Corporation|Method and apparatus for automatic registration and visualization of occluded targets using ladar data| US7298376B2|2003-07-28|2007-11-20|Landmark Graphics Corporation|System and method for real-time co-rendering of multiple attributes| US7046841B1|2003-08-29|2006-05-16|Aerotec, Llc|Method and system for direct classification from three dimensional digital imaging| US7103399B2|2003-09-08|2006-09-05|Vanderbilt University|Apparatus and methods of cortical surface registration and deformation tracking for patient-to-image alignment in relation to image-guided surgery| US7831087B2|2003-10-31|2010-11-09|Hewlett-Packard Development Company, L.P.|Method for visual-based recognition of an object| US20050171456A1|2004-01-29|2005-08-04|Hirschman Gordon B.|Foot pressure and shear data visualization system| WO2006121457A2|2004-08-18|2006-11-16|Sarnoff Corporation|Method and apparatus for performing three-dimensional computer modeling| US7777761B2|2005-02-11|2010-08-17|Deltasphere, Inc.|Method and apparatus for specifying and displaying measurements within a 3D rangefinder data set| US7974461B2|2005-02-11|2011-07-05|Deltasphere, Inc.|Method and apparatus for displaying a calculated geometric entity within one or more 3D rangefinder data sets| US7477360B2|2005-02-11|2009-01-13|Deltasphere, Inc.|Method and apparatus for displaying a 2D image data set combined with a 3D rangefinder data set| US7822266B2|2006-06-02|2010-10-26|Carnegie Mellon University|System and method for generating a terrain model for autonomous navigation in vegetation| US7990397B2|2006-10-13|2011-08-02|Leica Geosystems Ag|Image-mapped point cloud with ability to accurately represent point coordinates| US7940279B2|2007-03-27|2011-05-10|Utah State University|System and method for rendering of texel imagery| US8218905B2|2007-10-12|2012-07-10|Claron Technology Inc.|Method, system and software product for providing efficient registration of 3D image data| US20090225073A1|2008-03-04|2009-09-10|Seismic Micro-Technology, Inc.|Method for Editing Gridded Surfaces| US20090232388A1|2008-03-12|2009-09-17|Harris Corporation|Registration of 3d point cloud data by creation of filtered density images| US20090232355A1|2008-03-12|2009-09-17|Harris Corporation|Registration of 3d point cloud data using eigenanalysis| US8155452B2|2008-10-08|2012-04-10|Harris Corporation|Image registration using rotation tolerant correlation method| US8427505B2|2008-11-11|2013-04-23|Harris Corporation|Geospatial modeling system for images and related methods| US8179393B2|2009-02-13|2012-05-15|Harris Corporation|Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment| US20100208981A1|2009-02-13|2010-08-19|Harris Corporation|Method for visualization of point cloud data based on scene content| US8290305B2|2009-02-13|2012-10-16|Harris Corporation|Registration of 3D point cloud data to 2D electro-optical image data| US20110115812A1|2009-11-13|2011-05-19|Harris Corporation|Method for colorization of point cloud data based on radiometric imagery| US20110200249A1|2010-02-17|2011-08-18|Harris Corporation|Surface detection in images based on spatial data|US7983835B2|2004-11-03|2011-07-19|Lagassey Paul J|Modular intelligent transportation system| US20090232388A1|2008-03-12|2009-09-17|Harris Corporation|Registration of 3d point cloud data by creation of filtered density images| US20090232355A1|2008-03-12|2009-09-17|Harris Corporation|Registration of 3d point cloud data using eigenanalysis| US8155452B2|2008-10-08|2012-04-10|Harris Corporation|Image registration using rotation tolerant correlation method| US8179393B2|2009-02-13|2012-05-15|Harris Corporation|Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment| US20100208981A1|2009-02-13|2010-08-19|Harris Corporation|Method for visualization of point cloud data based on scene content| US8290305B2|2009-02-13|2012-10-16|Harris Corporation|Registration of 3D point cloud data to 2D electro-optical image data| US20110115812A1|2009-11-13|2011-05-19|Harris Corporation|Method for colorization of point cloud data based on radiometric imagery| US20110200249A1|2010-02-17|2011-08-18|Harris Corporation|Surface detection in images based on spatial data| US9053562B1|2010-06-24|2015-06-09|Gregory S. Rabin|Two dimensional to three dimensional moving image converter| US9147282B1|2011-11-02|2015-09-29|Bentley Systems, Incorporated|Two-dimensionally controlled intuitive tool for point cloud exploration and modeling| US8963921B1|2011-11-02|2015-02-24|Bentley Systems, Incorporated|Technique for enhanced perception of 3-D structure in point clouds| US9165383B1|2011-11-21|2015-10-20|Exelis, Inc.|Point cloud visualization using bi-modal color schemes based on 4D lidar datasets| US10162471B1|2012-09-28|2018-12-25|Bentley Systems, Incorporated|Technique to dynamically enhance the visualization of 3-D point clouds| US9530225B1|2013-03-11|2016-12-27|Exelis, Inc.|Point cloud data processing for scalable compression| US9992021B1|2013-03-14|2018-06-05|GoTenna, Inc.|System and method for private and point-to-point communication between computing devices| US9523772B2|2013-06-14|2016-12-20|Microsoft Technology Licensing, Llc|Object removal using lidar-based classification| US9110163B2|2013-06-14|2015-08-18|Microsoft Technology Licensing, Llc|Lidar-based classification of object movement| US9330435B2|2014-03-19|2016-05-03|Raytheon Company|Bare earth finding and feature extraction for 3D point clouds| US20170309060A1|2016-04-21|2017-10-26|Honeywell International Inc.|Cockpit display for degraded visual environmentusing millimeter wave radar | US10410403B1|2018-03-05|2019-09-10|Verizon Patent And Licensing Inc.|Three-dimensional voxel mapping| US10353073B1|2019-01-11|2019-07-16|Nurulize, Inc.|Point cloud colorization system with real-time 3D visualization| US20200302654A1|2019-03-19|2020-09-24|Tencent America LLC|Method and apparatus for tree-based point cloud compressionmedia stream using moving picture experts group -dynamic adaptive streaming over http |
法律状态:
2012-02-08| A131| Notification of reasons for refusal|Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120207 | 2012-05-08| A521| Written amendment|Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120507 | 2012-05-31| TRDD| Decision of grant or rejection written| 2012-06-06| A01| Written decision to grant a patent or to grant a registration (utility model)|Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120605 | 2012-06-07| A01| Written decision to grant a patent or to grant a registration (utility model)|Free format text: JAPANESE INTERMEDIATE CODE: A01 | 2012-06-28| A61| First payment of annual fees (during grant procedure)|Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120619 | 2012-06-29| R150| Certificate of patent or registration of utility model|Free format text: JAPANESE INTERMEDIATE CODE: R150 | 2012-06-29| FPAY| Renewal fee payment (event date is renewal date of database)|Free format text: PAYMENT UNTIL: 20150629 Year of fee payment: 3 | 2015-06-29| LAPS| Cancellation because of no payment of annual fees|
优先权:
[返回顶部]
申请号 | 申请日 | 专利标题 相关专利
Sulfonates, polymers, resist compositions and patterning process
Washing machine
Washing machine
Device for fixture finishing and tension adjusting of membrane
Structure for Equipping Band in a Plane Cathode Ray Tube
Process for preparation of 7 alpha-carboxyl 9, 11-epoxy steroids and intermediates useful therein an
国家/地区
|