![]() 医療用訓練方法及び装置
专利摘要:
医療専門家を訓練するための現実的な医療用訓練方法及び装置の提供。解剖学的構造を画像化できる医療用イメージング装置の出力をシミュレーションする方法が開示されており、当該方法は、解剖学的構造のモデルを表すモデルデータにアクセスする工程と、画像化される解剖学的構造の選択された領域を表すセレクションデータにアクセスする工程と、選択された領域を画像化する際に、医療用イメージング装置の出力のシミュレーションを表す出力データを生成するために、モデルデータとセレクションデータを処理する工程とを備える。 公开号:JP2011513776A 申请号:JP2010548162 申请日:2008-02-25 公开日:2011-04-28 发明作者:キュビット,アダム;スミス,アンドリュー;ブルース マーティン,コリン;ジェーン ライト,スーザン 申请人:インベンティブ メディカル リミテッド; IPC主号:G09B9-00
专利说明:
[0001] 本願発明は概して医療用訓練の促進に関するものであるが、これ以外のものにも適用される。] 背景技術 [0002] 医療用イメージング装置は、多くの医療用途に重要な診断ツールを与えている。医療用イメージング装置の一例として超音波スキャナが挙げられる。超音波スキャンは高周波の超音波を人体内へ伝えることによって実行され、体内の器官や他の構造の画像を作成するために、伝えられた音の反射を受信して処理する。] [0003] 診断のため、医療専門家は、人体表面に直接載せて、人体表面上を移動させるハンドヘルドのプローブ(一般的にはトランスデューサーと呼ばれる)を用いて超音波スキャンを実行する。基本的には、トランスデューサーが人体の中に音波を伝え、臓器,体液,細胞組織から反射される反射波を受ける。反射波は、電子分析器に送信される対応する電気パルスに変更されて、コンピュータによって表示され、リアルタイムの画像がモニターに次から次へと作成される。] [0004] 心臓超音波、または心エコー図は、標準的な超音波技術を用いて心臓の2次元の断面を画像化する。心エコー図は、医療専門家が心臓の状態を監視し、心臓血管系疾患を診断するために、心拍を分析し、心臓の構造を視覚化することを可能にする。] [0005] 心エコー図は主として2種類、すなわち経胸壁心エコー図(TTE)と経食道心エコー図(TEEもしくはTOEとして知られている)とに分けられる。] [0006] TTEは標準的な非侵襲姓の処置であり、トランスデューサーを胸壁上に置き、超音波ビームを胸部を通じて心臓に向けることで行われる。同様にトランスデューサーは、音波が患者の胸部の内部構造に反射しているときに、音波のエコーを記録する。この処置において、肺及び肋骨が図を分かり難くする可能性があり、画像を改善するため静脈に少量の染料を点滴してもよい。] [0007] TTEは高精密な処置と考えられるが、肥満,慢性閉塞性肺疾患又は胸壁の奇形により精度が低下し得る。これらの状況では、TOEが推奨される。TOE処置では、トランデューサーを含んだフレキシブルなチューブが患者の喉に沿って食道の下部へと案内される。この処置では、心臓のより明瞭な2次元の心エコー図を得ることができる。] [0008] 心エコー図検査は診断ツールとして広く用いられるようになったため、心エコー図検査の訓練や認定も極めて重要になっている。心エコー図検査の訓練には、超音波の基本的側面についての教育,心臓の3次元構造の理解を完全なものとするための心エコー図検査の実施,2次元のスクリーン画像の解釈,及び多数の2次元画像から心臓のメンタルモデルを構築する方法の習得が含まれている。] 先行技術 [0009] Harmonic Coordinates for Character Articulation(Joshi他,ACMTransations on Graphics(TOG),2007年7月発行,26巻,3号)] 発明が解決しようとする課題 [0010] したがって、心エコー図検査装置の使用、またその結果として生じた2次元の超音波画像の解釈について医療専門家を訓練するための現実的な訓練装置の提供が望まれている。] [0011] 同様のニーズは、例えば磁気共鳴画像法(MRI)スキャナやX線装置などの他の医療用イメージング装置に関しても高まり得る。] 課題を解決するための手段 [0012] 上記問題を考慮して、本願発明は、選択された領域を画像化する際に、医療用イメージング装置の出力のシミュレーションを表す出力データを生成するために、モデルデータとセレクションデータを処理することによって、医療用イメージング装置の出力をシミュレーションする方法(及び対応する装置)を提供する。さらに、ダミーやシミュレータプローブを含むがこれに制限されない装置及び方法も提供され得る。これらの装置及び方法は必ずしも医療用イメージング装置の分野に制限されない。] [0013] 添付図面に示す実施形態について詳細に記載する前に、一般的で限定されない意見をいくつか述べる。] [0014] ある実施形態においては、医療用イメージング装置の出力をシミュレーションする方法が提供される。この医療用イメージング装置は解剖学的構造を画像化することが可能である。この方法は、解剖学的構造のモデルを表すモデルデータにアクセスする工程と、画像化されるべき解剖学的構造の選択された領域を表すセレクションデータにアクセスする工程と、当該選択された領域を画像化する際に、医療用イメージング装置の出力のシミュレーションを表す出力データを生成するために、セレクションデータとモデルデータを処理する工程とからなる。] [0015] 医療用イメージング装置の出力のシミュレーションを表す出力データを生成するために解剖学的構造を表すモデルデータにアクセスすることによって、より多用なシミュレーションを提供することができる。例えば、必要に応じてモデルに適切な改良を加えることにより、さらに正確なシミュレーションを提供することができる。] [0016] 構造に関してここで用いられている用語“モデル”とは、好ましくは構造の図面または描写を意味しており、とりわけ構造の構成部品の数学的又は幾何学的な抽象概念を表し得る。そのような幾何学的抽象概念は、例えば問題となっている構造の複雑な表面又は体積に近似する表面又は体積を形成する連結されたポリゴンのセットを含み得る。 用語“イメージング”は、好ましくは、(例えば医療専門家のような)使用者に(最終的に)解釈され得る画像(又は映像)を形成するためにセンサ入力を処理することを意味する。医療用イメージング装置は例えば、治療又は手術の用途で使用するためにイメージング機能を実行し得るどんな機器にも関連し得る。例えば(表面又は体積のような)患者の身体の選択された領域の構成を測定するために、典型的には(当該装置が起こし得る)電磁気,電子,磁石,音の又は他の摂動を検知することを要し得る。用語“構造”は特定の臓器や身体の一部に関連し、もしくは、より一般的には、既定の体積又は領域内に含まれる、身体の特定されない領域に関連し得る。セレクションデータについて以下でより詳細に論ずるが、セレクションデータは、例えばキーボード上のキー入力,又はポインティングデバイス(例えばマウス)や(例えばその方法が単一のコンピュータ機器でのみ実行されるような実施形態においては)他の入力機器によって選ばれたポイントや領域を記録して、通常いくつかの形式のユーザ入力を符号化する。] [0017] 本明細書に記載した一例においては、解剖学的構造は心臓であり、医療用イメージング装置は超音波プローブである。この例において、モデルデータは、ポリゴンのモデル化技術を用いた心臓及びその関連する下位構造の3Dの定義を含む。この例では、体内における技術に依存することなく、医療専門家に心臓に関する先進的な医療用訓練を提供することができる。他の解剖学的構造,医療用イメージング装置及び(他のものの中にある)モデルデータの用例であっても当然実現可能である。以下にさらなる実施例を示す。] [0018] セレクションデータ及びモデルデータを処理する工程はさらに、医療用イメージング装置で行われる画像処理工程をシミュレーションする工程を有する。この処理は、例えば画像の鮮明化(シャープニング)、シミュレーションされた医療情報のオーバーレイ,トリミングのイメージング,感度(ゲイン)及びコントラストの調整のなどの、シミュレーションされた医療用イメージング装置よって又はその中で行われる処理に類似する処理工程を実行する(又はシミュレーションする)工程を含み得る。これにより、より現実に近い医療用イメージング装置の出力のシミュレーションが提供され、医療専門家がシミュレーションされた出力と実際の出力をより直接的に比較することが可能となる。] [0019] 医療用イメージング装置は、患者を通じて伝播する信号を検出するセンサを備えてもよく、セレクションデータ及びモデルデータ処理する工程はさらに、前記信号の伝播に関する物理的な影響をシミュレーションする工程を有する。これにより、全体的にシミュレーションの精度がさらに改善され得る。物理的な効果のシミュレーションは、(とりわけ、センサもしくはセンサプローブ自体、又は例えばX線の場合のような遠隔光源であってもよい周知のエミッターから信号が放たれる場合には)信号をレイトレーシングする工程、又は例えば特定のタイプの信号の伝播に関する物理的な現象を考慮する工程を含み得る。] [0020] モデルデータとセレクションデータを処理する工程はさらに、出力画像を形成するために、セレクションデータによって特定された前記モデルの一部分をレンダリングする工程を有し得る。レンダリングは、例えば(伝統的なコンピュータ読取可能画像である)ピクセル並びにボクセルのアレイ、又は(ベクタグラフィック画像のような)グラフィック操作のリストとして、モデルの選択された範囲の2次元又は3次元図面を形成する工程を伴う。この画像は、例えば従来のディスプレイハードウェアを用いるコンピュータや他のディスプレイ上で表示することができる。] [0021] より詳細には、モデルの一部分をレンダリングする工程は、断面画像を形成する工程を有する。通常断面画像は患者の体内構造に関する情報を得るために用いられるため、多くの医療用イメージング装置によって出力される。医療用訓練では、とりわけ与えられた体内構造の断面1図又はそのセットに基づいて、医者が解剖学的構造の心的イメージを形成できるようにすることが求められる。] [0022] モデルデータとセレクションデータを処理する工程はさらに、前記出力画像に少なくとも1つの視認可能なアーチファクトを加える工程を有する。例えば、超音波の場合には、エネルギー組織の相互作用による基本的な物理的過程のような様々なメカニズム、又は患者の動きに起因するデータ収集誤差によって、視認可能なアーチファクトが生じる。] [0023] 例えば超音波トランスデューサーのような半径方向のスキャニング方式を用いる医療用イメージング装置について、複数の視認可能なアーチファクトが、1つの伝播経路と平行に(又いくつかのケースにおいては潜在的に伝播経路に対して横断方向に)生じ得ることが計測された。これらのような装置では、少なくとも1つの視認可能なアーチファクトを加える工程はさらに、半径方向のスキャンによって探索された領域に対応する極座標空間を出力画像に関して定義する工程と、出力画像を、定義された極座標空間から、一方が前記半径方向のスキャンの半径方向に対応し、他方が半径方向スキャンの探索方向に対応する2つの直行軸を有する平面座標に変換して平面座標変換画像を形成する工程と、平面座標変換画像に視認可能なアーチファクトを加えるために、平面座標変換画像の個々のロウ及びカラムの少なくとも1つを処理する工程と、平面座標変換画像を極座標空間に再変換する工程とを有し得る。] [0024] 平面座標変換画像において、個々の信号経路は、画像の個々のロウ(又はカラム)に分けられ、その後(例えばスキャニングの解像度に応じて)他から独立して処理される得るため、アーチファクトを加えるために出力画像を極座標空間から平面座標に変換し、その後極座標空間に再変換することによって、アーチファクトの生成はより効果的に実行され得る。] [0025] この特徴は独立した形式でも与えられる。したがって、他の実施形態において、半径方向のスキャンを実行することができるイメージング装置の出力をシミュレーションするための画像生成方法であって、イメージング装置の出力の概略を表す画像を受信する工程と、半径方向のスキャンによって探索された領域に対応する極座標空間を出力画像に関して定義する工程と、出力画像を、定義された極座標空間から、一方が半径方向のスキャンの半径方向に対応し、他方が半径方向スキャンの探索方向に対応する2つの直行軸を有する平面座標に変換して平面座標変換画像を形成する工程と、平面座標変換画像に視認可能なアーチファクトを加えるために、平面座標変換画像の個々のロウ及びカラムの少なくとも1つ処理する工程を含む、少なくとも1つの視認可能なアーチファクトを生成して出力画像に加える工程と、出力画像データを形成するために、平面座標変換画像を極座標空間に再変換する工程とを有することを特徴とするイメージング装置の出力をシミュレーションするための画像生成方法が提供される。] [0026] その方法はさらに、出力画像データ内のエッジ遷移に関する情報を符号化したエッジ検出データを生成する工程を有し得る。エッジ検出データは例えば、検出されたエッジの位置及び/又は質(例えば硬さなど)を符号化するデータを含む。エッジ検出データを生成する工程は、エッジを検出するために出力画像データをスキャニングする工程及びエッジ検出データの検出されたエッジについての特徴を記録する工程を有していてもよく、また例えばモデルによって表されたエッジと、出力画像データにおけるそれぞれの位置との間の対応関係を決めるためにモデルデータにアクセスする工程を有していてもよい。医療用イメージング装置の出力の中の多くのアーチファクトが、患者の内部構造のエッジ遷移によって生じる影響に関連することが観測されている。エッジ遷移は、異なるタイプの組織の間,固体構造と空間の間,相違する構造の間,患者の内部と外部の間などの境界と一致し得る。エッジ検出データを生成することによって、連続する多くの画像処理工程が単純化され及び/又はより効率的となり得る。] [0027] 前記少なくとも1つの視認可能なアーチファクトを生成する工程は、出力画像データに反射によるアーチファクトを加えるためにエッジ検出データを処理する工程を備えてもよく、反射によるアーチファクトは、多くのエッジ遷移において、プローブ信号の反射から生じるゴースト画像を表す。この処理工程はさらに、処理工程の合計数を減らすために、検出される反射の数を有限数に制限する工程を有してもよく、また発生する反射の数に応じてゴースト画像の大きさを小さくする工程を有してもよい。] [0028] 加えて、又は代わりに、前記少なくとも1つの視認可能なアーチファクトを生成する工程は、出力画像データに陰影によるアーチファクトを加えるためにエッジ検出データを処理する工程を備えてもよく、陰影によるアーチファクトは、多くのエッジ遷移において、プローブ信号の減衰によって生じる、画像化される領域の特定の部分のマスキングを表す] [0029] また、前記少なくとも1つの視認可能なアーチファクトを生成する工程は、平面座標変換画像にシステマティックアーチファクト(systematic artefacts)を加える工程を有し、システマティックアーチファクトは、平面座標の座標軸のうちの1に応じて変化する特徴を有し得る。このシステマティックアーチファクトは例えば、画像の弱化であってもよい。この場合、弱化は、スキャンにおいて半径方向の距離に対応する軸に沿った距離の増加と共にその大きさが増加するという強度特性を有し得る。このことは、画像が例えばシミュレーションされたセンサからの距離に応じて段々と消える原因となる。これは、(例えば超音波トランスデューサーにはあることだが)プローブの信号がセンサを含む送受信機から発せられた際に信号の減衰の影響をシミュレーションする手助けとなり得る。] [0030] (ガウス又は他の)ノイズのような他のタイプのアーチファクトも当然実現可能であり、他のさまざまな特性が実現可能である。例えば半径方向のスキャン領域の外側限界における信号のフェーディングが、横軸(すなわち半径方向スキャンの角度)に応じて画像を弱化させることにより、そして特に横軸の最端部ではより画像を弱化させることにより行われ得る。加えて、検出されたエッジ遷移に応じて出力画像に(ガウスノイズのような)画像ノイズを挿入することによって、散乱による影響が与えられ得る。] [0031] ある実施形態においては、出力画像は複数のカラムの画像要素を備えてもよく、エッジ検出データを生成する工程は、エッジ遷移の位置を表すデータのスパースアレイを生成する工程を有し、アパースアレイは、出力画像データのそれぞれのカラムに対応する複数のカラムと、複数のロウを備え、特定のカラムの連続するロウそれぞれの値は、出力画像データのそれぞれのカラムにおける連続するエッジ遷移それぞれの位置を表し得る。] [0032] 処理工程の単純化を目的として、(上述のように)画像要素の各カラムを1又は複数のプローブ信号の信号経路にマッピングするために、出力画像データは前述の極座標から平面座標への変換方法のいずれかを用いて予め処理され得る。スパースアレイのロウは、スパースアレイのカラムに、そして逆にもし望まれれば同様に出力画像データのロウ及びカラムに代入される。画像要素は、例えば必要に応じてさらに細かく分割される得るピクセル,又はボクセル(3次元ピクセル)のロウもしくはカラムでよい。連続するエッジ遷移それぞれは、最後に検出されたエッジに対応するロウのあとにスタートする出力画像データの関連するカラムをスキャンすることによって測定されるのが好ましい。スパースアレイへの各入力値は出力画像データのロウ番号を符号化した数字でよい。その数字は(スパースアレイをGPUによって処理可能とするために)カラーデータのような適切な形式で符号化され得る。] [0033] 例えば出力画像データのサイズがm×nピクセルの場合、スパースアレイのサイズはm×sユニット(実際にはピクセル)となり得る。ここで、sは通常nよりもかなり小さい。このようにして、エッジ検出情報はメモリの比較的小さな領域に保存されることが可能である。] [0034] データのスパースアレイを生成する工程は、それぞれがスパースアレイのロウに対応しているデータのベクタ(一次元配列)を複数生成する工程と、先行するデータのベクタそれぞれのデータにアクセスする、連続する各データのベクタを処理する工程と、データのスパースアレイを形成するために、複数のデータのベクタを結合する工程を有し得る。] [0035] データのベクタは、サイズがm×1の画像であるのが好ましい(前述のようにスパースアレイのサイズが全体としてm×sの場合)。これにより各画像をGPUにより処理することができ、CPUに掛かる負荷を減らすことができる。加えて、GPUの高い並列性により、各画像の各カラムの値を同時に計算することが可能となる(本件においてこれが可能となるのは、出力画像データの個々のカラム内でエッジが検出されるためである。したがって、スパースアレイの各カラムの値は他のカラムの値と完全に独立している)。スパースアレイ内の所定のカラムの種々のロウの値は他のロウに依存し、そのため並列的に処理することができない。スパースアレイを一連のロウのスライスに分割することによって、GPUの並列処理性を最大限に利用することができる。] [0036] 別の実施例では、前記少なくとも1つの視認可能なアーチファクトを生成する工程は、解剖学的構造を包囲する体積部分(volume)内にランダムに生成されたノイズデータ値の分布を表すボリュームノイズデータ(volumetric noise data)にアクセスする工程と、多数のノイズデータ値を出力画像データの要素にマッピングするためにボリュームノイズデータを処理する工程と、出力画像データの要素それぞれに、マッピングされたノイズデータ値を重ね合わせるために出力画像データを処理する工程とを有し得る。] [0037] これにより、画像化されるべき選択された領域(位置と方位を含む)に関わらず、ランダムに生成されたノイズデータ値を絶えずかつ繰り返し適用することが可能となる。これにより、(異なる位置及び方向から見ても同じように一定な)組織密度の変化などの現実的なシミュレーションが可能となる。] [0038] ボリュームノイズデータは、例えば複数のボクセル(3つの直交軸に沿って構成される3次元ピクセル値のアレイ又はマトリクス)から構成されてもよく、またアルゴリズム的に生成されてもよい(より具体的には、例えば体積部分内のポイントを特定する3つの縦座標を含むアルゴリズムに応じて、乱数発生器のためのシードが生成され得る)。] [0039] GPUに関する上述の方式は、より全般的に、前述の方法の他の態様にも適用され得ることが理解されるであろう。したがって、モデルデータとセレクションデータを処理する工程はさらに、GPUを用いてモデルデータとセレクションデータを処理する工程を有し得る。] [0040] ある実施形態において、この方法はさらに、モデルの少なくとも1つのパラメータを定義するモデルパラメータデータにアクセスする工程を備えてもよく、モデルデータとセレクションデータを処理する工程はさらに、モデルパラメータデータを用いてモデルを変形させる工程を有する。] [0041] このモデルパラメータデータは、モデルの諸態様に関する仕様又は制約を含み得る。例えば、パラメータがモデルの特定の部分又は全体に適用される(モデルの定められた方位に関して用いられる長さや幅の倍率のような)倍率を特定し得る。このパラメータは、定義されたアニメーションサイクル内のポイントに対して絶対的又は相対的となり得るタイミングにも関連し得る。例えば、モデルはタイミングサイクル(timing cycle)に従って繰り返し変形してもよく、その変形は、パラメータに従って又はルックアップテーブルもしくは同様のものを用いてアルゴリズム的に行われてもよい。パラメータを使用することにより、関連する多数のモデルを表示するために必要とされるメモリストレージの容量を減らすことができる。] [0042] この方法はさらに、実際の解剖学的構造に関する実際の医療用イメージングデータを受信する工程と、実際の解剖学的構造のパラメータを見積もることによってパラメータデータを生成するために、実際の医療用イメージングデータ及びモデルデータを処理する工程とを有し得る。ここで、“実際の”とは、単に“シミュレーションされた”と対照をなすものである。言い換えると、“実際の”医療用イメージングデータは(シミュレーションされたものではない)医療用イメージング装置によって出力されたデータであり、“実際の”解剖学的構造は(シミュレーションされたものではない)医療用イメージング装置によって画像化された解剖学的構造である。例えば、パラメータデータを見積るために、ベイジアン又はその他の統計的手法が用いられ得る。見積られ得たパラメータは、次元に関するパラメータや、例えばサイクル内の相対的なタイミングといったタイミングに関するパラメータを含む。] [0043] 解剖学的構造のモデルと実際の医療用イメージングデータを結合することにより、実際の解剖学的構造についての情報を、医療専門家にとってより役立ち得る、より抽象的な条件で表すことができる。例えば、パラメータ化されたモデルと“健康状態の”モデルを比較することにより、病状をより有効に特定することができる。例えば、パラメータデータは保存され又は送信され得る(下記参照)。] [0044] パラメータデータを生成する工程はさらに、実際の医療用イメージングデータと関連付けられた画像化された領域を特定するイメージング位置データにアクセスする工程と、 イメージング位置データに対応する領域のための出力画像データを生成する工程と、実際のイメージングデータと出力画像データを比較することによってパラメータを決定する工程とを有し得る。] [0045] イメージング位置データは、例えば、医療用イメージング装置から直接受信され、又は実際の医療用イメージングデータに重ね合わされた(テキストのような)情報から導き出され得る。また、例えばモデルデータを参照して実際の医療用イメージングデータから見積られ得る。] [0046] この方法はさらに、ネットワーク経由でパラメータデータを受信する工程を有し得る。また、(例えばホストコンピュータに取り付けられたリムーバブルメディアからパラメータをロードするなど、)他の適切な入力処理を用いることができる。これにより、特にモデルの仮編成済みバージョンを、モデル(又はモデルのバージョンのセット)それ自体の移動を要することなく共有することが可能となる。これによって、例えば、関連する構造の特定の病状に関して、訓練及び参考資料の配布を容易にすることができる。同様の手段によって、前述のようなデータの他の項目も共有され得ることが理解されるであろう。この方法がさらにネットワーク経由でパラメータデータを送信する工程を有し得ることも理解され得るであろう。] [0047] 上述のタイミングパラメータに関して、別のアプローチが可能である。すなわち、前述の方法はさらに、タイミングデータにアクセスする工程を備えてもよく、モデルデータにアクセスする工程はさらに、タイミングデータに応じて複数のモデルデータのセットからモデルデータを選択する工程を備えてもよい。このように、モデルの複数のバージョンが保存され、タイミングデータに従ってモデルの適切なバージョンが選択される。このタイミングデータは例えばアニメーションサイクルにおける現在の位置を表す。他の態様が同様の方法で制御され得ることが理解されるであろう。例えば、モデルの現在のバージョンに対応するために必要な変形が施された状態で、タイミングデータに従って(前述のような)ボリュームノイズデータの適切なバージョンも選択され得る。] [0048] タイミングデータが時間期間(time period)を特定する場合、前述の方法はさらに、最初に選択されるモデルデータは特定された時間期間より前の時間期間と関連付けられ、後に選択されるモデルデータは特定された時間期間よりも後の時間期間と関連付けられる、複数のモデルデータのセットからタイミングデータに応じてさらにモデルデータを選択する工程と、補間モデルデータを生成するために、最初に選択されるモデルデータと後に選択されるモデルデータを補間する工程と有し得る。上述のように、アニメーション“フレーム”の所定の総数に対して、それよりも少ないモデルデータセットを与えるよう要求することで、必要なストレージの容量を減らすことができる。時間期間は、例えば定義されたアニメーションサイクルの範囲内の絶対タイミング(absolute timing)値又は時間オフセットであってもよい。] [0049] 解剖学的構造に関する実施形態においては、モデルデータは解剖学的構造の複数の下位構造を定義し、前述の方法はさらに、出力画像データの選択された部分を特定するユーザセレクションデータを受信する工程と、出力画像データの選択された部分と関連付けられた解剖学的データを選択するため、下位構造それぞれと関連付けられた解剖学的情報を含む解剖学的データを処理する工程と、選択された解剖学的データを出力する工程とを有し得る。] [0050] これにより、ユーザセレクションが出力画像の特定の部分から形成されるときに、関連する解剖学的データを出力する(及び、例えば出力画像の近くに表示する)ことを許容することによって、医療専門家を訓練する方法の有用性が改善される。解剖学的データは選択された下位構造の名称及び/又は説明を含んでもよく、また、例えば下位構造の階層制の中において選択された下位構造の関連する構成を示す階層性情報を含んでもよい。ユーザセレクションデータは、出力画像データの中に(X及びYの位置などの)ピクセル(又はボクセル)座標を含んでもよく、また、多くのピクセル又はボクセルをカバーする選択された領域の識別子等を含んでもよい。ユーザによる1もしくはそれ以上のマウスクリック又はこれと同等の他のタイプの入力装置に応じてユーザセレクションデータが生成されてもよい。] [0051] 前述の方法はさらに、解剖学的構造を包囲する体積部分内で、複数のポイントにおいて、関連する下位構造の識別子を表すボリュームセレクションデータ(volumetric selection data)にアクセスする工程と、ユーザセレクションデータに対応するボリュームセレクションデータ内の1つのポイントを決めるために、またそのポイントと結び付けられた関連する下位構造を決めるためにボリュームセレクションデータを処理する工程とを有し、解剖学的データは関連する下位構造に応じて選択され得る。これにより、コンピュータによる計算上より効率的な、選択された下位構造を特定する方法が提供され得る。ボリュームセレクションデータはGPUによる処理に適したボリュームテクスチャ(volumetric texture)に保存されるのが好ましい。] [0052] ある実施形態においては、ボリュームセレクションデータは、複数の下位構造を体積部分内の各ポイントと関連付けることができ、ボリュームセレクションデータを処理する工程はさらに、予め選択された下位構造を、ユーザセレクションデータに対応するボリュームセレクションデータ内のポイントと関連付けるか否かを決定する工程と、関連付ける場合に、ボリュームセレクションデータ内の同じポイントに対応する繰り返されるユーザセレクションがすべての関連する下位構造を循環するように、ボリュームセレクションデータ内のポイントと関連付けられる次の下位構造を選択する工程とを有する。] [0053] これにより、潜在的に大量にある下位構造の選択を便利にする単純なユーザインターフェースを提供することができる。階層制の中の序列を上げ下げする際に、各ポイントの下位構造が配列され得るのが好ましく、この結果、画像の同じ場所で繰り返しクリックすることで、段階的に大きく(又は小さく)した下位構造を選択できるようになる。(例えば)心臓のボリュームセレクションデータの特定のポイントは、例えば(階層制の中で序列が上がっていくように)心室の表面,心室自体,心臓の特定の態様及び心臓自体に関する下位構造の特定を含み得る。] [0054] ボリュームセレクションデータは時間期間を特定するタイミングパラメータに応じてアクセスされてもよく、この場合においては、当該方法は時間期間に応じてボリュームセレクションデータを変形する工程を有してもよい。また、前述の方法はさらに、最初に選択されるボリュームセレクションデータは特定された時間期間より前の時間期間と関連付けられ、後に選択されるボリュームセレクションデータは特定された時間期間よりも後の時間期間と関連付けられる、タイミングパラメータに応じてさらにボリュームセレクションデータを選択する工程と、補間ボリュームセレクションデータを生成するため、最初に選択されるボリュームセレクションデータと後に選択されるボリュームセレクションデータを補間する工程と有し得る。] [0055] これにより、特定の下位構造に関連するモデルの部分が著しく変形し得る際に、例えばアニメーションサイクルの過程において正確な選択が可能となる。時間期間は上述の時間期間となり得る。ボリュームセレクションデータを補間する工程はボリュームベクタデータ(volumetric vector data)を処理する工程を含むことが好ましい。また、ボリュームベクタデータは、ボリュームセレクションデータの各ポイントのために、アニメーションサイクルに設定された先の(又は後の)ボリュームベクタデータに対して相対的にポイントが移動してくる又は移動する場所を指示する。] [0056] 前述の方法はさらに、アニメーションシーケンスを形成する複数の出力画像を出力する工程を有し得る。“ライブ”シミュレーションを提供するために、出力画像は例えば持続的な及びリアルタイムとなる方法で出力され得る。] [0057] 前述の方法はさらに、シミュレーションされた医療用イメージング装置のシミュレーションされたセンサの位置を表す位置データを受信する工程と、シミュレーションされた解剖学的構造に対するシミュレーションされたセンサの相対的位置を特定する位置データを処理する工程と、シミュレーションされたセンサの相対的位置に応じてセレクションデータを生成する工程とを有し得る。これにより、医療用イメージング装置の実際の制御により厳密に近似するツールを用いて領域を選択することができることによって、シミュレーションの精度が改善され得る。] [0058] 用語“位置”は、例えば、位置(例えば3次元においては、デカルト座標系のX,Y,Z座標によって特定され得る)及び/又は方位(例えば2次元もしくは3次元ベクトル,又は適切なデータを参照して定義された方位角,方向及び仰角のうちの1もしくは複数によって特定され得る)を含み得る。] [0059] 位置データはシミュレーションされたセンサの位置の表示を含んでもよく、位置データはシミュレーションされたプローブ上の基準点の位置の表示を含み、シミュレーションされたセンサは、基準点から離れた位置においてシミュレーションされたプローブ上に設けられてもよい。シミュレーションされるプローブの寸法を知った上で、基準点の位置に基づく適切なベクタ(又は他)の計算によって、シミュレーションされたセンサの位置は推測され得る。] [0060] シミュレーションされたプローブが少なくとも1自由度を有する場合には、位置データは1自由度に関する状態情報を有し得る。自由度は、例えばプローブがその先端で1又はそれ以上の方向に曲がることができるようにする能力を含み得る。長さに沿って制御可能に可変性を有する、より複雑なプローブも実現可能である。状態情報は自由度の性質に依存する。例えば、状態情報は角度の変形に関連し得る。プローブの先端が柔軟な上述の実施例では、例えば状態情報は、柔軟性を制御できるダイヤルの現在の位置を含み得る(また、このことから角度の変形が推測され得る)。他の実施例では、自由度は、(例えば食道のような)チャネルを通じてプローブが移動した距離であってもよい。そして、状態情報はチャネルを通じて移動した長さ(又はこの長さが計測され始めた計測結果)を含み得る。そのようなチャネルはねじ曲げられて複雑な経路となり得る。その場合に、プローブが移動した長さとプローブセンサの位置及び方位との間に単純な相関関係がなくてもよいことは明らかである。この場合、プローブ先端の位置と方位を得るために、例えば本来備わっている座標機能が用いられ得る。] [0061] 前述の方法は患者をシミュレーションするためのダミーとともに用いられ得る。この場合、位置データを処理する工程はさらに、ダミーのモデルを表すダミーモデルデータにアクセスする工程を有し得る。ダミーモデルデータは、単に前述のようなシミュレーションされたセンサの位置を計算することを可能にすれば十分である。例えば、ダミーモデルデータは、シミュレーションされたプローブが通過するチャネルの形状を定義する公式であり得る。あるいは、例えば、ダミーの内側及び/又は外側表面の3次元の描写を含む、より詳細なモデルが提供され得る。この場合、ダミーモデルデータを用いて(モデルに適切な制限及び/又はパラメータを適用することによって)、部分的に不完全な位置データを完全な位置データに変換することができる。] [0062] 前述の方法はさらに、キャリブレーション位置データを受信する工程を有し、位置データ処理工程はさらに、キャリブレーション位置データを用いて、受信された位置データを調整する工程を有し得る。これにより、(例えば、位置データは本質的な又は相対的な座標を用いて定義されていないため)位置データがダミーとの相対的な位置を定義していないにも関わらず、実際のプローブの位置(故にシミュレーションされたセンサの位置)をダミーと比較して測定することができる。キャリブレーション位置データは、例えばダミーに対して予め定められた相対的な位置にプローブを配置することによって、キャリブレーションの段階中に提供され得る。] [0063] 解剖学的構造は、人間又は動物の身体の臓器であってもよく、具体的には心臓,肺,胃,肝臓,腎臓のうちの1又は複数であってもよい。先に述べた様々な方法を考慮すると、前述の方法はとりわけ複雑な構造及び/又は原動力を有する(心臓のような)臓器に適用され得る方法であることが理解されるであろう。] [0064] 医療用イメージング装置は、例えば超音波トランスデューサー,X線装置,磁気共鳴イメージング装置及びポジトロン断層撮影装置のいずれか1であってもよいが、これらに限定されない。適切な場合には、他の医療用イメージング装置がシミュレーションされてもよいことは明らかである。] [0065] 他の実施形態において、前述の方法はさらに、患者の体内に挿入するために、医療用機器の位置を表す医療用機器位置データにアクセスする工程と、医療用機器に関する画像データを出力画像データに加える工程とを有し得る。これにより、(ステントや他のインプラントのような)医療用機器を患者に挿入し、適切なイメージング装置を用いて監視する手術の視覚化が可能となる。この方法はさらに、患者の体内に挿入するために、医療用機器のモデルを表す医療用機器モデルデータにアクセスする工程と、医療用機器モデルデータを用いて画像データ生成する工程とを有し得る。これにより、シミュレーションされた画像に重ね合わせられる医療用機器を正確に表示することが可能となる。前述のような画像処理工程は医療用機器の表示にも適用され得る。さらに、ユーザ入力に応じて医療用装置位置決めデータが生成され得る。例えば従来のコンピュータ入力方法(例えばキーボードやポインティングデバイス)からのユーザ入力に従って、又は前述のようなシミュレーションされるプローブの実施方法と同様の方法で実施され得る、シミュレーションされた医療用機器の挿入処置に従って、位置決めデータはアップデートされ得る。] [0066] 他の実施形態において、解剖学的構造を画像化することできる医療用イメージング装置の出力をシミュレーションする装置であって、解剖学的構造のモデルを表すモデルデータにアクセスするモデルデータアクセス手段と、画像化される解剖学的構造の選択された領域を表すセレクションデータにアクセスするセレクションデータアクセス手段と、選択された領域を画像化する際に、医療用イメージング装置の出力のシミュレーションを表す出力データを生成するために、モデルデータとセレクションデータを処理するセレクションデータ及びモデルデータ処理手段とを有することを特徴とする医療用イメージング装置の出力をシミュレーションする装置が提供される。] [0067] さらなる実施形態においては、患者を画像化するための医療用イメージング装置に関する訓練を容易にする装置であって、患者をシミュレーションするダミーと、医療用イメージング装置のプローブをシミュレーションするためのシミュレータプローブと、前述のイメージング装置とを備えることを特徴とする医療用イメージング装置に関する訓練を容易にする装置が提供される。ダミーはシミュレータプローブを収容する(例えば食道や他の体の空洞の概略のような)チャネルを有し得る。] [0068] 前述の装置はさらに、シミュレータプローブの位置を決めるための位置決め手段を備えてもよく、位置決め手段はイメージング装置に位置データを送信することができる。位置決め手段は、USB接続や無線送受信機などのような便利な方法を用いて、位置データを送信し得る。位置決め手段は、プローブがチャネル内を移動する長さを測定するための長さ測定装置を備え得る。長さ測定装置は、例えばプローブの端部に取り付けられ、リールの回転数を測定することができ、それ故伸張する長さを測定することができるばね付リールであってもよい。プローブの位置及び/又はシミュレーションされたセンサの位置を測定するために、例えば磁気センサ及び/又は無線送受信機を用いる三角測量を含む他の技術が使用されてもよい。] [0069] 位置決め手段は、プローブの位置と方位のうち少なくとも1つを追跡するために、プローブに固定された加速度計(又はジャイロスコープのような同様の装置)を備え得る。これにより、プローブは例えばダミーの周りや内部を自由に移動することが可能となる。] [0070] 位置決め手段は、プローブの態様を構成するために、少なくとも1つのユーザ制御可能な入力装置を備え得る。この態様は、例えばプローブの先端又は他の部分の変形であってもよいし、回転するダイヤル,ボタン又は他の制御装置であってもよい。ユーザが制御可能な入力手段は、実際のプローブ上に提供される同様の装置を反映してもよい。] [0071] 前述の装置はさらに、キャリブレーション基準位置を備えてもよく、位置決め手段は、プローブがキャリブレーション基準位置に位置するときにキャリブレーション位置データを送信するよう構成されていてもよい。キャリブレーション基準位置は、例えば、プローブが完全にチャネルの中に挿入される、又はプローブがダミー上に特別に示された位置に配置される等のように定義された位置であってもよい。] [0072] 前述のダミーはさらに、患者の胸部をシミュレーションする内部構造を備えてもよい。これにより、より正確に患者をシミュレーションするために、外側表面の定義と同様に、必要な弾力と硬さが与えられる。] [0073] 前述のダミーはさらに、患者の皮膚層をシミュレーションするため、変形可能な外膜を備え得る。超音波のようないくつかのイメージング技術には経皮性がある(皮膚を通じて実行される)ため、皮膚層をより正確に表現することによって、シミュレーションの精度が高まる。変形可能な外膜は、シリコン,ゴム又は他の適切な変形可能材料を含み得る。] [0074] 関連する実施形態において、超音波トランスデューサーを用いた患者の画像化に関する訓練を容易にする装置であって、ダミーは、患者をシミュレーションする内部構造と、患者の皮膚層をシミュレーションするための変形可能な外膜と、患者の超音波検査のシミュレーションを可能とするために、ダミーに適用され、シミュレーションされる超音波プローブの位置と方位を測定する(センサのような)手段とを備えることを特徴とする患者の画像化に関する訓練を容易にする装置が提供される。この装置はさらに、患者の侵襲的な超音波検査のシミュレーションを可能とするために、シミュレーションされる超音波プローブを収容するためのチャネルを備え得る。] [0075] 他の実施形態は、患者を画像化するための医療用イメージング装置に関する訓練を容易にする方法であって、患者をシミュレーションするダミーを提供する工程と、医療用イメージング装置のプローブをシミュレーションするためのシミュレータプローブを供給する工程と、前述の方法を実行する工程とを有することを特徴とする医療用イメージング装置に関する訓練を容易にする装置を提供する。] [0076] さらなる実施形態において、プロセッサが実行可能な命令を保存する命令メモリと、命令メモリに保存された命令に応じてデータを処理することができるプロセッサとを備えるコンピュータであって、命令メモリに保存された命令が、前述の方法を実行するためにプロセッサを制御するための命令を備えることを特徴とするコンピュータが提供される。] [0077] 前述のコンピュータはさらに、モデルデータ及びセレクションデータを処理する工程の一部分を実施することができるGPUを備え得る。] [0078] 本明細書に記載された実施形態は、例えば専用のハードウェア,又は専用のハードウェアとソフトウェアの組合せを用いて、使い易い形式で実行され得る。本願発明は特に、ワークステーションもしくはラップトップパソコン(シミュレーションされた画像を出力するための方法及び装置の場合),又はサーバーシステム(例えば特定の解剖学的構造の病状を符号化するパラメータデータなどのパラメータデータを送受信する場合)によって実行されるコンピュータソフトウェアとして(一部分において)実施されるのに適する。本発明はさらに、ローカルエリアネットワークもしくはワイドエリアネットワーク,従来の陸上又は無線通信ネットワークを含み得るネットワークを含む。システムは、汎用コンピュータ,PDA(パーソナルデジタルアシスタント),携帯電話(例えばWAP又は3Gに準拠した電話など)などのような、プログラムで適切に制御可能な装置を含み得る。本願発明の態様は、プログラムで制御可能な装置上で実行可能なコンピュータソフトウェアを含む。コンピュータソフトウェアは、従来のキャリア媒体を用いてプログラムで制御可能な装置に提供され得る。キャリア媒体は、電気的,光学的,電磁波的,音響的,無線周波数的なコンピュータのコードを運ぶ信号のような一時的なキャリア媒体も含み得る。そのような一時的な媒体の例として、インターネットのようなIPネットワーク上でコンピュータコードを運ぶTCP/IP信号が挙げられる。キャリア媒体はまた、フロッピー(登録商標)ディスク,ハードディスク,CD−ROM,磁気テープ装置又はソリッドステートメモリ装置などのプロセッサ読取可能コードを保存する記憶媒体を含み得る。] [0079] 本願発明の各態様及び種々の特徴は上述の通り独立して定義されているが、適切な場合には、各態様が本願発明の他の態様又は特徴と組み合わされて用いられ得ることが理解されるであろう。] 発明の効果 [0080] 本発明により、医療専門家はより現実的な医療用訓練を行うことができる。] 図面の簡単な説明 [0081] 図1は従来の超音波スキャン装置の動作図である。 図2は、経食道心エコー図(超音波検査)処置を示す、患者の概略断面図である。 図3は超音波イメージング装置からの典型的な出力を示す図である。 図4は第1の実施形態で用いられるのに適した典型的なコンピュータシステムの構成要素を示す概略図である。 図5は第1の実施形態に係る超音波シミュレーションシステムの構成要素を示す概略図である。 図6は図5のモデルデータストア内のデータ構造を示す図である。 図7は超音波シミュレーションシステムの画面表示部を示す概略図である。 図8は超音波シミュレーションシステムの画面表示部のスクリーンショットである。 図9は本実施形態で用いられる解剖学的データを示す図である。 図10は図7,8の超音波画像を形成するための処理工程を示すフローチャートである。 図11は図10の超音波アーチファクトの追加の処理工程をより詳細に説明したフローチャートである。 図12は図10のアーチファクトや情報をさらにオーバーレイする処理工程をより詳細に説明したフローチャートである。 図13は図10〜12の処理工程を概観図である。 図14は図10〜13の処理工程の概観図である。 図15はさらなる実施形態に係る超音波シミュレーションシステムを示す図である。 図16はシミュレータシステムの構成要素のより詳細な概略図である。 図17はシミュレーションを必要とする制御や動作を示す典型的な超音波トランスデューサーの操作を説明する図である。 図18は図15〜17記載の実施形態の変形例を示す図である。 図19は図15〜17記載の実施形態のさらなる変形例を示す図である。 図20はパラメータ化を伴うさらなる実施形態を示す図である。] 図1 図10 図11 図12 図13 図14 図15 図16 図17 図18 実施例 [0082] 上述の種々の実施形態について、添付図面を参照してさらに詳細に説明する。] [0083] まず初めに、図1〜3を参照して従来の医療用イメージング装置を簡潔に説明する。] 図1 図2 図3 [0084] 図1は従来の超音波スキャン装置の動作図である。] 図1 [0085] 超音波イメージング装置100及び超音波プローブ110は、患者120の体内の解剖学的構造を画像化するために用いられる。画像装置100は、適切な超音波信号を発生させるよう制御し,受信した超音波の反射を解読するための超音波イメージングプロセッサ102と、プロセッサ102の処理結果を出力するための出力ディスプレイ104とを備えている。プローブ110は、プローブ制御装置112(詳細については後述する)と、超音波を発生・受信する超音波トランスデューサー114とを備える。] [0086] 使用時には、例えば画像化される構造のタイプによらず、入力装置(図示せず)によって超音波スキャンの種々の特性を制御することができる。超音波トランスデューサーは密度の異なる体積部分間の境界からの反射を受信する。この情報から超音波イメージングプロセッサ102は患者120の体内の構造の画像を形成する。] [0087] 超音波イメージングはトランスデューサー114を外側から皮膚に当てることで行われ得る。しかしながら、体内の構造(例えば肋骨や他の骨)が超音波を妨げることがあり、このことが例えば心臓や肺などの身体の特定の部分を画像化することを困難にしている。したがって、超音波は身体の内側からも用いられており、図2を参照してこれについて説明する。] 図2 [0088] 図2は経食道心エコー図(超音波検査)処置を示す、患者の概略断面図である。] 図2 [0089] 図2において患者200は概略的に示されている。心臓などの主要な臓器が符号202で示されている。肋骨も符号204で示されており、これによって胸部の外側(図の最上部)と臓器202との間の照準線(LOS)が妨げられていることが理解され得る。従って、超音波検査は、符号206で示された位置(又は同様の位置)に超音波トランスデューサーを配置することによって実施され得る。この検査は(例えば全身麻酔の状態で)食道に沿ってトランスデューサーを入れることによって行われ得る。位置206から出ている破線はセンサの典型的な視界を示している。] 図2 [0090] 図3は、上述の超音波イメージング装置100のような超音波イメージング装置からの典型的な(略図形式の)出力を示す図である。] 図3 [0091] 出力画像は略コーン状300にトリミングされ、超音波スキャンの範囲を表す。スキャンは、座標空間の原点を示す頂点302,矢印304で概略的に示された半径方向,及び矢印306で概略的に示された角度方向を有する極座標空間に描かれ得る。破線308は原点から一定の半径距離にある線を概略的に示す。この座標系において半径方向は超音波トランスデューサーからの距離の増加に対応する。スキャンは本質的に解剖学的構造の2次元断面を図示しており、対象の角度範囲と最大半径によって制限される。この例においては、臓器202が心臓である図2の構成に対応して、例えば図3は心臓の断面を表しており、そこには下位の特徴である第1及び第2の心室312,314が示されている。] 図2 図3 [0092] 実際には超音波画像は視認できる多くのアーチファクトを含んでおり、このアーチフェクトは例えば反響,陰影,散乱及び組織密度の相違などの物理的な影響から生ずる。] [0093] 超音波(及び類似のイメージング技術)は解剖学的構造の2次元断面しか表示しないため、医療専門家が元々の3次元構造を視覚化するのは困難となり得る。また、心臓のような構造は、筋肉運動の決まったサイクルに合わせて絶えず変化している。このことが視覚化プロセスをより複雑なものにし得る。] [0094] 図4〜14を参照して第1の実施形態について説明する。この実施形態は、例えば医療専門家が、シミュレーションされた超音波画像を元に、基礎となっている解剖学的構造を認識し、視覚化する訓練を受けることができるようにする超音波スキャニング装置の出力をシミュレーションするためのシステムに関する。] 図10 図11 図12 図13 図14 図4 図5 図6 図7 図8 [0095] 図4は本実施形態に使用するのに適した典型的なコンピュータシステムの構成要素を示す概略図である。] 図4 [0096] コンピュータ400は、CPU402,プログラム(及びプログラムデータ)メモリ404,ストレージ406(例えばハードディスク又はこれと同等のもの),入/出力モジュール408,及びGPU412と専用のグラフィックメモリ414を有するグラフィックカード410を備える。ユーザ入力装置420及びディスプレイ装置422はコンピュータ400に取り付けられ得る。] [0097] CPU402は、入/出力モジュール408経由で与えられるユーザ入力に応じてコンピュータ400内のプログラムの全般的な実行動作を制御し調整する。GPU412にはタスク、とりわけグラフィック出力の生成に関するタスクがCPU402から委任される。GPU412は、その効率を高める(例えば一般的に使われるグラフィックである“テクスチャ”を保存する)ため、専用のグラフィックメモリ414を用いて委任されたタスクを引き受ける。プログラムコードは、CPU402による制御のもと、ストレージ406からプログラムメモリ404に移され得る。] [0098] 図5は第1の実施形態に係る超音波シミュレーションシステムの構成要素を示す概略図である。このシステムは心臓の経食道心エコー図(超音波検査)をシミュレーションするために設計されたものである。心臓は内部構造が非常に複雑であり、絶えず動いているため、2次元の超音波イメージから視覚化する事が非常に難しい。そのため、心臓は特に超音波訓練の対象となっている。] 図5 [0099] 図5において、超音波シミュレーションシステム500は、(図4のCPU及び/又はGPUのような)プロセッサ502,心臓のモデルを保存しておくモデルデータストア504,画像化されるべき選択された領域を表すセレクションデータ506,及びシミュレーション画像出力を保存する出力画像データストア508を備える。] 図4 図5 [0100] 使用時には、シミュレーションされた画像508を生成するため、プロセッサ502がモデルデータ504とセレクションデータ506を処理する。画像508を形成する際、プロセッサ(CPU及び/又はGPUであってもよい)は、シミュレーションされている超音波画像装置によって実行される処理をシミュレーションするために、超音波信号の伝達に関する物理的な効果をシミュレーションするための多くの処理工程と同様に、多くの処理工程を実行する。] [0101] 図6を参照してモデルデータ504についてより詳細に説明する。] 図6 [0102] 図6は図5のモデルデータストア内のデータ構造を示す図である。] 図5 図6 [0103] モデルデータストア600が示され、心臓のマスターモデル602も示されている。心臓のマスターモデル602は心臓の3次元モデルであり、従前の3次元モデリング技術を用いて作られている。例えば本実施形態においては、心臓のマスターモデルは、ポリゴンのプリミティブ(基本的な構成要素)から形成され、表面のテクスチャの情報を含む複数の表面で構成される。加えて、再び従来の3次元モデリング技術を使用して心周期を通じて心臓の動きをシミュレーションするために、心臓のマスターモデル602には時間経過に応じた変形が加えられる。心臓のマスターモデルをモデルデータストア600内のモデルに変換するためにレンダリングエンジン604も設けられている。] [0104] モデルデータストア600は複数のモデルを含んでおり、各モデルは心周期のアニメーションの1フレームに対応している。したがって、(合計n個のフレームに対して)アニメーションのn番目のフレームである心臓のモデルフレーム610に至るまで、第1の心臓のモデルフレーム606,第2の心臓のモデルフレーム608他が含まれる。レンダリングエンジン604は、本質的には、適切な時間オフセットして心臓のマスターモデルのスナップショットを撮り、結果的に生じた変形バージョンを心臓データストア600内に保存する。] [0105] レンダリング操作の結果、(コンピュータにとって負荷が大きいであろう)モデルを変形する代わりに、プロセッサが単に適切なバージョンのモデルを選択しなければならないだけであるため、心臓のアニメーションは簡略化される。] [0106] 超音波シミュレータは、保存されているモデル606,608,610の間を補間することによって、画定されているアニメーションのフレームの時間期間の間に収まる時間期間を示すモデルデータを生成することができる。従来の補間法が用いられる。例えば、加重平均は、隣接する2つのモデルのポリゴンの各頂点のx,y,z座標から求めることができる。] [0107] 加えて、モデルデータストア600は、モデルについての情報を含むモデルメタデータ612を含んでいる。メタデータ612は、例えばモデルの異なる部分を特定するグルーピングデータなど、モデルについての追加的な情報を含んでいる。] [0108] 使用時には、心周期の特定のポイントでの心臓の立体図面を表示するために、選択され又は補間された心臓のモデルがレンダリングされる。さらに、シミュレーションされた超音波画像を形成するため、さらなるレンダリングが実施される。] [0109] 図7,8を参照して、モデルデータの処理についてより詳細に説明する。] 図7 [0110] 図7は超音波シミュレーションシステムの画面表示部を示す概略図である。] 図7 [0111] 画面表示部700は、心臓及びイメージングプローブの3次元図702と,シミュレーションされた超音波プローブの制御及び形状の概略704と,シミュレーションされた超音波画像装置の出力706と,心周期が与えられた状態のタイムライン708とを備える。] [0112] 3次元図702には心臓710及び経食道プローブ712が示されている。プローブの視界714が示されている。視界714と心臓が交わる箇所で心臓の断面716が示され、(断面716を表すことができるように)心臓の残りの部分718がワイヤーフレーム/半透明図で示されている。] [0113] 画像装置の出力ウィンドウ706にはシミュレーションされた超音波画像が示されている。断面画像720は、3次元図702に示された断面716に対応するが、アーチファクトや、超音波出力をよりよくシミュレーションするための追加の画像処理をも含む。] [0114] タイムライン708には、現在時刻722が示されている。] [0115] 使用時において、使用者は、種々のキーボード入力を用いたり、マウスでクリックやドラッグをすることによって、プローブの位置や方向性を制御することができる。これに対応して視界714が変化し、断面716,720も順に変化する。視界714は、画像化されるべき心臓の領域の選択を表す。この選択は図5のセレクションデータに対応する。] 図5 [0116] 図8は超音波シミュレーションシステムの画像表示部のスクリーンショットである。] 図8 [0117] このスクリーンショットは図7の概略図に対応する。] 図7 [0118] モデル及び/又はシミュレーションウィンドウの異なる図も実行可能であることが理解されるであろう。例えば、ある状態において心臓は完全に固体の状態でレンダリングされるのに対し、別の状態においてはモデルの異なる部分を選択することができ、各部分の表示を独立してオン・オフすることができる。加えて、モデルのセクションは3次元図502やシミュレーション出力ウィンドウ504中の関連する部分をクリックすることによって選択され得る。以下においてこれらの特徴のいくつかをより詳細に説明する。] [0119] 使用者は“仮想の”心臓を回転させて、その外側を異なる角度から調べることもでき、また仮想の心臓を拡大し、拡大図を得ることもできる。] [0120] 本実施形態においては、モデルとされた心臓の各種図をレンダリングするためにオープン・グラフィックス・ライブラリ(OpenGL)のアプリケーション・プログラミング・インターフェース(API)が用いられている。処理の中には、(コンピュータの効率を理由に)拡張オープン・グラフィックス・ライブラリ(OpenGL)の機能を用いているものもあるが、他のインターフェースでも可能であり、これらは必ずしも別な所でサポートされていなくてもよい。] [0121] 図9は本実施形態で用いられている解剖学的データを示す図である。] 図9 [0122] 解剖学的データ900は心臓のモデルの内部構造を定める階層的なデータを有する。心臓の解剖学的データ902は、下位要素904,906,908を備える。同様に、下位要素904,906,908はさらなる下位要素910,912を備えていてもよい。階層性は上述のように画定される。] [0123] 解剖学的データ900は、心臓の各構造(例えば心室,静脈など)に関する情報を含んでおり、例えば図7,8のメインの画面表示部に表示され得る。解剖学的データは関連する解剖学的構造に対応するモデルのパーツ(本実施形態においては一組のポリゴン)も定義する。これによって、例えばモデルの特定のパーツをオン・オフすることができるようにする上述の機能が可能となる。] 図7 [0124] さらに心臓の各下位要素の選択を可能とするデータも与えられる。とりわけ、体積測定用のセレクションテクスチャが与えられる(図示せず)。このテクスチャは3次元配列で構成された多数のボクセル(体積測定用のピクセル)を備える。各ボクセルは、所定のポイントと関連付けられた下位要素の識別子を符号化する。これによって、使用者が3次元モデル又は2次元シミュレーション画像上の特定の点をクリックすると、(従来のアルゴリズムを使って)クリックした点の3次元位置を計算して、セレクションテクスチャ内の最も近いボクセルをルックアップする。] [0125] (階層的特徴のため)各ボクセルが沢山の下位構造に対応し得るので、システムはどの下位構造を選択すべきかを決めるためにさらなるアルゴリズムを用いる。新たに選択された際、システムは先に選択した下位構造が選択されたボクセルと関連があるか否かについて判断する。もし関連がある場合には、リスト中の次の下位構造が選択される。そうでなければ、最初の下位構造が選択される。このアルゴリズムによって、特定のポイントと関連付けられたすべての下位構造は確実に選択され得る。このアルゴリズムは下位構造に規則正しく行き渡っている(下位構造は各ボクセルに対して階層的に順序付けられている)。] [0126] 本実施形態においては、単一のセレクションテクスチャが生成され、タイミング値に応じて変形される。これを行うため、「Harmonic Coordinates for Character Articulation(Joshi他,ACMTransations on Graphics(TOG),2007年7月発行,26巻,3号)」に記載された技術に類似する技術が用いられる。] [0127] 概して、この論文には、メッシュの内部体積をその頂点に関してパラメータ化する技術が記載されており、そのため、内部体積の内のどのポイントにおいてもメッシュの変形の効果が測定され得る。論文にはとりわけ、任意の格子を用いてメッシュを変形させるためのメカニズムとしてこの技術が記載されている。] [0128] 本実施形態においても、(リアルタイムに)3次元テクスチャの変形を達成するために、心臓のモデルの内部体積をパラメータ化するよう同様のアプローチが取られている。ピクサーの論文は本質的に空間マッピングについて記載しているのに対し、本実施の形態は逆の空間マッピングを利用する。このマッピングを実現するために、変形された各フレーム(ピクサーの論文においてはポーズ)から3次元テクスチャに対応するベースポーズに戻るマッピングを作り出す技術が用いられている。これらの逆の空間マッピングは一連の3次元テクスチャとして符号化され、そのテクスチャの中では各ボクセルが変形されていない体積部分の範囲内でそれが生ずる位置を符号化する。4次元(すなわち空間的又は時間的)のいずれかにおいてその解像度を変更することによって、この4次元のデータセットの品質はメモリフットプリント(foot print)と相殺される。] [0129] レンダリング時に、データセットによって符号化された体積の境界の内側のスペースにあるポイントは、データセットの起源となる変形していない体積の範囲内にポイントを定めるため、4次元のデータセット内でルックアップされ得る。] [0130] 本実施形態の変形においては、モデルと同じくらい多くのセレクションテクスチャが作り出され、保存される(定義されたn個のアニメーションフレーム各々に対し1つ)。セレクションテクスチャは、複数の心臓のモデルを作るのと同様の処理で、マスターモデルから作られる。これにはより多くのメモリが必要となるが、より正確な結果が提供され得る。] [0131] シミュレーションされた超音波画像を生成する工程についてより詳細に説明する。] [0132] 図10は図7,8の超音波画像を形成するための処理工程を示すフローチャートである。] 図10 図7 [0133] 処理は工程S1000から始まる。上述のように工程S1002において断面画像がレンダリングされた後、画像に極座標系を適用する(工程S1004)。図3を参照して上述したように、極座標系は超音波画像の頂点にその原点を有する。極座標系の半径方向は超音波プローブの信号の方向に広がっている。そして、工程S1006において画像は平面座標に“アンラップされる(unwrapped)”。このようにしてコーン状の画像が直線的な画像に変換される。このことは、平面画像の各カラムがプローブの信号の経路に対応し、次の計算を単純化することを意味する。以下で詳述するように、工程S1008で画像に多くの超音波アーチファクトが加えられる。それから、画像は極座標空間に再度変換され(工程S1010)、さらなるアーチファクトと情報がオーバーレイされる(工程S1012)。画像を極座標空間へ変換し、さらに再変換することは、超音波トランスデューサーから遠くに離れた箇所の解像度の低下をシミュレーションするのに役立つ。その後、工程S1014において処理は終了する。] 図3 [0134] 図11を参照して、超音波アーチファクトの追加処理についてより詳細に説明する。] 図11 [0135] 図11は、図10の超音波アーチファクトの追加の処理工程(工程S1008)をより詳細に示したフローチャートである。] 図10 図11 [0136] 処理が始まる(工程S1100)と、エッジ検出アルゴリズムがアンラップされた超音波画像上で動作し(工程S1102)、画像の各カラムのためのエッジ遷移を含むスパースアレイを生成する。エッジ検出データはその後反響によるアーチファクト(工程S1104),陰影によるアーチファクト(工程S1106),散乱によるアーチファクト(工程S1108)を追加するために用いられるが、これらすべてのアーチファクトは超音波に関する根本的な身体的影響から生じる。工程S1110において減衰の効果をシミュレーションする追加的なアーチファクトも追加される。これで処理は終了する(工程S1112)。] [0137] より詳細には、反響によるアーチフェクトの影響は、画像化された組織におけるエッジ遷移間の多重反射の影響を反映し、ゴーストを作り出す。アルゴリズムの計算効率をよい状態に保つために、トレースされる反射の数が制限される。陰影によるアーチファクトは、鮮明なエッジ遷移の背後にある画像の弱化を伴うが、実際の身体的影響を反映する。散乱によるアーチファクトは、超音波の散乱と関連し、明瞭なエッジ遷移近辺に局所的なガウスノイズを追加することによって実行される。] [0138] 超音波に関連する身体的影響は、例えば、伝搬と反射との間の振幅及び位相を計算すること及び心臓の周りの音圧レベルの分布を把握するために直接音とすべての反射音とを合計することによって算出され得る。さらに、反射及び陰影をモデル化する例には、レイトレーシング,コーントレーシング,ピラミッドトレーシングが含まれる。] [0139] 図12は、図10のアーチファクトや情報をさらにオーバーレイする処理工程(工程S1012)をより詳細に説明したフローチャートである。] 図10 図12 [0140] 処理が始まる(工程S1200)と、ランダムな組織密度の変化の影響をシミュレーションするため、ボリュームノイズ(volumetric noise)が加えられる(工程S1202)。オリジナルのボリュームノイズテクスチャ(volumetric noise texture)が、ガウスノイズアルゴリズムを用いて作り出され、各動画フレーム(及び中間フレーム)のために変形される。ボリュームテクスチャの関連する箇所が選択され、画像データ上にオーバーレイされる。これにより、視角が変わるときでも、一貫性があって繰り返しが可能なノイズテクスチャが超音波画像に供給される。工程S1204においては、画像がコーン状の超音波形状にトリミングされる。そして工程1206では、シミュレーションされた超音波画像装置の出力をシミュレーションするため、基本的なグラフィックス(スキャンのエッジにある破線と情報テキスト)が加えられる。これで処理は終了する(工程1208)。] [0141] エッジ効果を高めるために、画像に数種類のシャープニングも適用され得る。] [0142] 図13は、図11のエッジ検出の処理工程(工程S1102)をより詳細に説明したフローチャートである。] 図11 図13 [0143] 処理が始まる(工程S1300)と、工程S1302でサイズm×nのスパースアレイが生成(というよりはむしろ再利用)される。後述する理由のため、スパースアレイは、各ピクセルのカラー値がデータ,とりわけ連続して検出されたエッジのロウ数を符号化する画像の形式をとっている。より詳細には、画像の各カラムを下方にスキャンすることにより出力画像上でエッジ検出が行われる。各カラムで検出された連続するエッジは、スパースアレイのそれぞれのカラムにて隣り合う空のロウに保存される。このようにして(また、配列処理の観点から有意に)、スペースアレイの各カラムのデータ値は他のカラムのデータ値から独立している(ただし、各ロウの値は前もって検出されたエッジの数に依存するため、各カラムのロウは相互に依存する)。ケースの大多数に正確な処理を与えるため、sに適切な数値が選択されるが、一方でメモリの使用は最小限に維持される。それ故、最大でもsのエッジ遷移の合計が記録され得る。] [0144] 工程S1304では、アレイが、それぞれのサイズがm×1である、計s個のサブ画像に分割される。これは、スパースアレイの各カラムのエッジ検出値が独立していることを利用するために行われる。アレイをサブ画像に変更することによって、アレイをGPUで処理することが可能となる。ただし、これには相当な量の並列処理が必要となる。連続するロウが相互に依存している(これがアレイ全体に適用されるGPUの並列処理を妨げる)ため、画像はロウ単位で分割する必要がある。工程S1306から1316はループであり、その中ですべてのロウ(及び対応するサブ画像)が順番に処理される。そのループの最初では、カウンターsubimageに1が設定され(工程S1306)、スパースアレイの最初のロウ(サブ画像番号1)に、最初に検出されたエッジに対応する変換画像のロウの番号が書き込まれる(工程S1308)。ループが別に繰り返されるときには、前回のサブ画像(すなわちスパースアレイの前回のロウ)から前回のロウの番号がロードされ、エッジが前のポイントから検出され(工程S1310)、これにより要求される計算の量を減らすことになる。決められた次のロウがスパースアレイの関連するカラムに記録される(工程S1312)。ロウのポインタ(サブ画像番号)がインクリメントされ(工程S1314)、ロウが残っている場合にはループが反復される(工程S1316)。その後検出されたエッジのスパースアレイを形成するため、サブ画像は適切な順番で再結合される。これで処理は終了となる(工程S1320)。] [0145] 画像の最後のエッジが検出されると、スパースアレイの関連するカラムに特別なフラグが設定される。] [0146] エッジを検出する処理は、(計算効率を高めるために)変換画像上で従来のエッジ検出アルゴリズムを使用する,もしくは変換画像上のポイントをモデルに戻るように描くことによるものであってもよいし、(精度を高めるために、またエッジ遷移の性質に関する情報がより入って来得るために)変換画像上でモデル内の表面交差部を検出するために従来のレイトレーシングアルゴリズムを使用するものでもよい。] [0147] 上述のように、スパースアレイ内の情報は、計算効率のよい反射,陰影,散乱及び他の視覚上のアーチファクトを与えるために用いられ得る(というのも、これらのアーチファクトは概してエッジ遷移に関連付けられるからである)。] [0148] 図14は、図10〜13の処理工程の概観図である。] 図10 図11 図12 図13 図14 [0149] 画像1400は、極座標空間から平面座標に変換された断面画像を示す図面である。画像1402は、画像1400中のエッジを検出するプロセスを示している。画像1404は、エッジ検出情報を保持するために用いられるスパースアレイを示している。画像1406は、スパースアレイがどのように(画像の上から下へと続く)複数のサブ画像に分割されるのかを示している。画像1408は、(スパースアレイを使用する)変換画像1400に対する視認できるアーチファクトの追加を示している。画像1410は、視認できる様々なアーチファクトの追加による影響を概略的に示している。そして、分散の効果をシミュレーションするためにガウスノイズ1412が加えられ、画像1414を形成する。画像1414は変換されて平面座標に戻り、画像1416を形成するためさらに情報がオーバーレイされる。] [0150] 図15から19を参照してさらなる実施形態について説明する。この実施形態においては、TOE超音波訓練のための総合的な超音波シミュレータが設けられている。] 図15 [0151] 図15は、さらなる実施形態に係る超音波シミュレーションシステムを示す図である。] 図15 [0152] 図15には、ダミー1500,コンピュータ1520,シミュレータのプルーブ1540が示されている。] 図15 [0153] ダミーは、食道のような空洞内にプローブ1540を収容するためのチャネル1502を有する人型の胴体である。] [0154] コンピュータ1520は出力ディスプレイ1522とユーザ入力装置1524(例えばキーボードやマウスなど)に接続されている。] [0155] シミュレータのプローブ1540は、本物の経食道超音波プローブと同一又は類似するよう設計されたハンドル兼制御ユニット1542と、食道チャネル1502に挿入されるプローブ本体1544とを備える。プローブは紐1548でばね付リール1546に接続されている。ハンドル兼制御ユニット1542とばね付リール1546はプローブ制御ユニット1550にデータを出力し、このプローブ制御ユニット1550はハンドル兼制御ユニット1542とばね付リール1546によって出力されたデータを監視して、これらのデータをダミーの中のプローブの先端部の位置を表すデータに変換する。その後、この位置データはコンピュータ1520に送信される。(別の実施形態においては、ロー(raw)データがコンピュータ1520に送信され、関連する位置の計算はそのコンピュータ上で実行される。)] [0156] プローブは、TOE処置において一般的に使われる医療用プローブの実際の図面を真似た柔軟性のある管状構造を有する。] [0157] ユニット1550からコンピュータ1520にデータを送信するために従来のUSBインターフェースが用いられるが、当然ながら他のインターフェースやデータプロトコルが用いられ得る。] [0158] さらに詳しく言えば、プローブのハンドルはプローブの位置を推定するために用いられる一組の加速度計を含んでおり、またリールはプローブの先端部にまで伸びる紐の長さを追跡する(これから、プローブが体内を移動した距離が推定され得る)。本目的には、例えばFREESCALESEMICONDUCTOR社のMMA7260QTのような低コストの静電容量式加速度計で十分であることがわかった。] [0159] 図16はシミュレータシステムの構成要素のより詳細な概略図である。] 図16 [0160] 図16は超音波シミュレータシステム1600,シミュレータプローブシステム1610,ダミー1620を概略的に示している。] 図16 [0161] シミュレータシステム1600は、第1の実施形態に関して既に述べたように、超音波画像制御装置1602と、(他のものの中に)出力ディスプレイ1604を備える。シミュレータプローブ1610はプローブ操縦装置1612(後述),位置センサ1614(上述の加速度計)及びプローブ制御装置1616を備える。ダミーは位置センサ1622(ばね付リール)を備える。] [0162] 図17は典型的な超音波トランスデューサーの動作を説明する図であり、シミュレーションを必要とする制御や動作を示す。] 図17 [0163] プローブ1700は、ユーザが制御可能なダイヤル1704及び1706,本体部1708,先端部1710並びに超音波トランスデューサー1712自体を有するハンドル兼制御部1702を備える。] [0164] 先端部1710はダイヤル1704及び1706によって特定の方向に曲げるよう制御可能である。プローブのある実施例においては、ダイヤル1704によって矢印1714によって示される横方向(左右方向)の屈曲が引き起こされ、またもう一方のダイヤル1706によって図面の平面の内外側で前後の屈曲が引き起こされる。実際には、矢印1716で示すように、単にプローブ1700全体を回転するだけで他の角度にすることができるため、前後方向に屈曲させるダイヤルのみが使用される。] [0165] その結果、超音波トランスデューサー1712の位置と方向を計算するには、少なくとも、(シミュレータプローブで再現されている)ユーザが制御可能なダイヤルの状態、プローブハンドルの方向、及びプローブが移動した見掛け上の長さを考慮する必要がある。この情報から、(もしそれが現実であったならば)プローブによって画像化されるであろう領域が決められ得る。したがって、3次元図においてプローブの位置を示すためにシミュレータシステムに、また得られるであろう対応する超音波(図7,8参照)にこの領域の情報が提供され得る。] 図7 [0166] その結果、図15から17に示されるシステムは、ダミー内におけるシミュレータプローブの見掛け上の位置に基づいて、リアルタイムにシミュレーションされた超音波出力を提供することができる。] 図15 [0167] 本実施形態の変形例においては、プローブの先端部の見掛け上の位置を決めるために異なる検出案が設けられ得る。ある変形例においてはダミーの食道管が現実的に作られ、プローブの先端部の位置は、通常トランスデューサーであるプローブのセンサ及び/又は送信機を用いて、磁気並びに無線周波数の三角測量又は同様のものによって決められる。他の変形例においては、プローブの先端部が磁気を帯びており、ダミーの食道管内に配置された複数のホール効果センサ(又は同様のもの)にポーリングすることにより先端部の位置が測定される。] [0168] 図18は、図15〜17記載の実施形態の変形例を示す図である。] 図15 図16 図17 図18 [0169] 図18には、ダミー1800と、移動の自由なプローブ1810とが示されている。] 図18 [0170] ダミー内のチャネルの制約及びプローブ本体の復元力によって、プローブの配置範囲を求めるためにプローブの先端部の位置を計算することが可能となる。この変形例においては、このことに基づいて、プローブの位置と方位を追跡するためにプローブのハンドル内の加速度計が利用され、これからプローブの先端部の位置が推測される。プローブ及びダミーの相対的な位置関係を計算するためには、さらなる計算が必要となる。] [0171] これを許容するためにキャリブレーションモードがあり、このモードでは、ダミー上に適切なマーキング又は係合モジュール1802によって示される既知の位置に既知の方位でプローブが位置する。そして、キャリブレーションの位置及び方位を参考として使用し、プローブの相対的位置及び方位が測定され得る。加速度計によって計算される位置における長期間にわたるドリフトのため、時々プローブは再度キャリブレーションされる必要があるかもしれない。] [0172] 三角測量や他の検出案において同様の原理が使用されてもよい。加えて、プローブ先端部の計算を補助するために、ダミーとチャネルの形状を定義するモデルがコンピュータに保存されてもよい] [0173] 図19は図15〜17記載の実施形態のさらなる変形例を示す図である。] 図15 図16 図17 図19 [0174] 本変形例では、ダミー1900は、肋骨状の構造1902,及び皮膚層の一貫性と共通している変形可能な外層1904を備える。このダミーは、経胸壁超音波又は外側からの他の超音波技術を許容するよう構成されている。位置を追跡するために上述した適切な位置決め技術のうちのどれか、及び超音波シミュレーションの結果をリアルタイムで表示するためにシミュレータコンピュータシステムを使用して、上述したプローブ又はシミュレーションされたトランスデューサー(図示せず)のうちのいくつかの形式を用いることができる。] [0175] 肋骨状の特徴1902と変形可能な外層1904を設けることにより、経胸壁超音波検査を行うことにより得られる効果をより正確に再現し、その結果シミュレーションの精度を高めることができる。] [0176] 上述の通り、チャネル1906はシミュレーションにおいて高い柔軟性を備え得るが、必須のものではない。] [0177] さらなる実施形態及び上記実施形態の変形例をいくつか説明する。] [0178] ある実施形態においてはモデルの様々な態様がパラメータ化されている。すなわち、種々の方法で可変量を用いてモデルの様々な態様を修正することができる。例えば、あるパラメータはモデルの形状全体に適用される倍率かもしれない。別のパラメータは1つの次元にのみ適用される倍率かもしれない。他のパラメータは、例えば、モデルの個々の構成要素の倍率に関するものかもしれない。実施形態の変形例においては、例えばサイクルのいくつかのパーツの、他のパーツと比較した相対的な長さを定めるため、パラメータがモデルに関するタイミングにも関係している。] [0179] モデルをリアルタイムで変形させることによって、パラメータはモデルデータをレンダリングしている間の影響も受ける。また、パラメータは、マスターモデルからアニメーションフレームモデルをレンダリングする間に考慮され得る。] [0180] パラメータを使用することにより、僅かなデータを特定するだけで、効率的に全く新しいモデルを作り出すことが可能となる。また、様々な症状や奇形の特徴を医学的に有意義な方法で明らかにすることも可能となる。さらに、教育補助教材としてパラメータのセットを作ることも可能となる。] [0181] 図20は、身体モデルのパラメータ化を伴うさらなる実施形態を示す図である。] 図20 [0182] この実施形態においては、画像化された実際の解剖学的構造に対応するシミュレーションされたモデルを変形させるパラメータを推測するため、実際の医療データが分析される。] [0183] 処理が始まった後(工程S2000)、実際の医療用画像が、例えば実際の超音波スキャナの出力として受信される(工程2002)。例えばスキャナからスキャナで画像化された領域の表示が受信され、又はその代わりに(目視又は医療用画像の統計的分析と、保存されているモデルとの比較によって)見積もられる(工程S2004)。ついで、確定した(又は見積もられた)領域に基づいて、シミュレーションされた画像が生成される(工程S2006)。そして、シミュレーションされた及び実際の画像は互いに比較され(工程S2008)、重大な相違点が分析される。この後、実際に画像化された臓器の関連するパラメータを見積もるために、工程S2010にて統計的な分析(又は好ましくは目視による評価)が始められる(時間ベースのパラメータを見積もるために連続する画像が比較される)。そして、これらのパラメータは保存され、シミュレータのモデルに適用される(工程S2012)これにてこの処理は完了する(工程S2014)。] [0184] このようにして見積もられたパラメータは、その後医療用画像のロー(raw)データから必然的に明らかとなるであろう方法よりも役に立つ方法で表された基準からの偏差の情報を用いて、画像化された臓器に含まれる、起こり得る病状を調査するために用いられ得る。パラメータは、例えば現在の医療記録に加えるため又は遠隔診断に着手できるために、ネットワーク経由で中央データベースにアップロードが可能である。] [0185] 変形例において工程S2006及びS2008は省略可能であり、提供される実際の医療用画像上で単に統計的分析が(必要な場合には、モデルデータを参照する)実施される。(例えば超音波アーチファクトの標準モデルや知識からの)すべての既知の情報が考慮されているとき、例えばコンピュータがデマンドしている間に、ベイジアン分析はパラメータについて合理的な見積りを導くことができる。] [0186] 別の実施形態では、シミュレータシステムは、ステントやペースメーカーなどの医療機器のインプラントをシミュレーションするために使用され得る。これらの機器のインプラントは、病院において局部麻酔の状態で、心臓専門医の補助のもと外科医により行われる。これらの機器は、刺激を求められる心臓の領域に配置される。それゆえ、これらの機器の適切な位置決めを経験し、視覚化するため、医療学生にとってトレーニングが重要となり得る。] [0187] インプラントされた医療機器は、(アニメーション情報及び複合モデルは必要とされないために省略されるが、)上述した心臓のモデルのようにモデルデータが入手可能な状態でモデル化され得る。キーボード・マウス又は同様のものによるユーザインプットによって、又は超音波プローブに関連して上述したシミュレーションと同様のシミュレーションによって、医療機器の位置は変更され得る。そのとき、医療機器は、3次元のレンダリングと2次元のイメージングシミュレーションの両方で表わされることによって、上述の心臓のモデルと同様の方法で表示され得る。] [0188] さらなる実施形態において、モデルデータは、シミュレーションされた画像出力を提供するためだけではなく、プロトタイピングプリンタ(又は同様の装置)を駆動するためのデータを出力することによって、心臓の物理モデル(又は他のモデル化された臓器や構造)を作成するためにも用いられ得る。プロトタイピングプリンタは、連続した二次元のスライスを積み上げることにより、効率的な任意の3次元構造を構築することができる。] [0189] このようにして、訓練を目的として、又は(例えば上述のようにモデルがパラメータ化された場合に)病状の診断を支援することを目的として、モデルは作り出され得る。これにより、精度を非常に厳密に制御することが可能となるため、現在の医療モデルよりも高い柔軟性が提供され、また心周期の任意の点における心臓から印刷物を作ることができる。さらに、モデルのパーツを選択的に隠すことが容易なため、物理モデルのより広い範囲を出力することができる。] [0190] 上記方法及び装置は主に経食道心エコー図検査に関して記載されているが、(経胸壁心エコー図を含む)他の形式の超音波検査とともに使用するのに適する場合にこれらの方法及び装置が採用され得ることが理解されるであろう。] [0191] また、別の又は追加の身体構成要素のイメージングもシミュレーションできることが理解されるであろう。例えば、心臓のモデルは必要に応じて肺,胃,肝臓,腎臓などのモデルに交換され又はこれらで補完され得る。画像化/シミュレーションされ得る他の特定の構造には、周囲の頭や首の構造とともに、鼻咽頭,中咽頭,喉頭,気管気管支樹が含まれる(nasendoscopy及びファイバー挿管の潜在的なシミュレーションによる)。本方法及び装置はまた、心外膜の心エコー図検査のシミュレーションを発展させるために適用される(これは、心臓に直接触れる超音波プローブを握る外科医によって現在でも手術の現場で行われている)。] [0192] 胎児の超音波検査の訓練という他の用途も提供される。異なるアニメーションのフレームに関する複数のモデルを提供する上述の方法は、例えば胎児の成長など異なる段階を表す多様なモデルを提供するためにも用いられ得る。ここに記載された方法及び装置は、哺乳類や他の動物,及び(例えば非破壊的なテストやクラック等のための材料試験などの)そうしなければ訓練自体が危険な可能性のある特定の工業的な状況に関する人間以外のもののシミュレーションにも適用され得る。] [0193] 医療用イメージング装置はまた、超音波トランスデューサー以外のものであってもよい。医療用イメージング装置は例えば、X線装置,磁気共鳴イメージング装置及びポジトロン断層撮影装置のうちのどれか1つであってもよい。図10から12で説明されたアーチファクト発生方法は、異なるイメージング技術を処理するために、必要に応じて変更され得る。] 図10 [0194] 上述の画像処理方法は(医療分野だけでなく)より一般的なイメージング装置にも適用可能であることがさらに理解されるであろう。例えば、(レーダーのような)半径方向のスキャニングを必要とするイメージング方法は、図10から12に関連して記載されたアーチファクト処理のいくつかの態様にうまく適応することが可能であり、またシミュレーションシステムは、全体としてそのような状況にふさわしい場合に適用され得る。] 図10 [0195] 例えばマスターモデルからのモデル,ボリュームテクスチャ等の生成など上述のシステムの多くは計算効率を理由に提供されている。処理能力の上昇に伴って、確実にこれらの処理の多くを単純化することが可能である。例えば、マスターモデルは、モデルを表示する時や、シミュレーションした出力画像を作り出すために断面を形成する時等に、直接レンダリング及び処理され得る。] [0196] 種々の実施形態や変形例が上述されている。しかしながら、発明がこれらの実施形態に限定されることを意図していない。本願発明の精神及び範囲内におけるさらなる修正は当業者に明らかであろう。別の構成においても同様の効果を与えるために、上述の構成の特徴が種々の方法で結合され得る。] [0197] 100超音波イメージング装置 110超音波プローブ 114超音波トランスデューサー 120患者 202臓器 204肋骨 400コンピュータ 402 CPU 406ストレージ 412 GPU 420ユーザ入力装置 422ディスプレイ 500 超音波シミュレーションシステム 504モデルデータストア 506セレクションデータ 600 モデルデータストア 900解剖学的データ 902心臓の解剖学的データ 1500ダミー 1502 チャネル]
权利要求:
請求項1 解剖学的構造を画像化することできる医療用イメージング装置の出力をシミュレーションする方法であって、前記解剖学的構造のモデルを表すモデルデータにアクセスする工程と、画像化される前記解剖学的構造の選択された領域を表すセレクションデータにアクセスする工程と、前記選択された領域を画像化する際に、前記医療用イメージング装置の出力のシミュレーションを表す出力データを生成するために、前記モデルデータと前記セレクションデータを処理する工程とを有することを特徴とする医療用イメージング装置の出力をシミュレーションする方法。 請求項2 請求項1記載の医療用イメージング装置の出力をシミュレーションする方法において、前記モデルデータとセレクションデータを処理する工程はさらに、医療用イメージング装置によって実行される画像処理工程をシミュレーションする工程を有することを特徴とする医療用イメージング装置の出力をシミュレーションする方法。 請求項3 請求項1又は2記載の医療用イメージング装置の出力をシミュレーションする方法において、前記医療用イメージング装置は、患者を通じて伝播する信号を検出するセンサを有し、前記モデルデータとセレクションデータを処理する工程はさらに、前記信号の伝播に関する物理的な影響をシミュレーションする工程を有することを特徴とする医療用イメージング装置の出力をシミュレーションする方法。 請求項4 請求項1乃至3のいずれか1に記載の医療用イメージング装置の出力をシミュレーションする方法において、前記モデルデータとセレクションデータを処理する工程はさらに、出力画像を形成するために、前記セレクションデータによって特定された前記モデルの一部分をレンダリングする工程を有することを特徴とする医療用イメージング装置の出力をシミュレーションする方法。 請求項5 請求項4記載の医療用イメージング装置の出力をシミュレーションする方法において、前記モデルの一部分をレンダリングする工程は、断面画像を形成する工程を有することを特徴とする医療用イメージング装置の出力をシミュレーションする方法。 請求項6 請求項4又は5記載の医療用イメージング装置の出力をシミュレーションする方法において、前記モデルデータとセレクションデータを処理する工程はさらに、前記出力画像に少なくとも1つの視認可能なアーチファクトを加える工程を有することを特徴とする医療用イメージング装置の出力をシミュレーションする方法。 請求項7 請求項6記載の医療用イメージング装置の出力をシミュレーションする方法において、前記医療用イメージング装置は半径方向のスキャンを実行し、前記少なくとも1つの視認可能なアーチファクトを加える工程はさらに、前記半径方向のスキャンによって探索された領域に対応する極座標空間を前記出力画像に関して定義する工程と、前記出力画像を、前記定義された極座標空間から、一方が前記半径方向のスキャンの半径方向に対応し,他方が前記半径方向スキャンの探索方向に対応する2つの直行軸を有する平面座標に変換して平面座標変換画像を形成する工程と、前記平面座標変換画像に視認可能なアーチファクトを加えるために、前記平面座標変換画像の個々のロウ及びカラムの少なくとも1つを処理する工程と、前記平面座標変換画像を極座標空間に再変換する工程とを有することを特徴とする医療用イメージング装置の出力をシミュレーションする方法。 請求項8 半径方向のスキャンを実行することができるイメージング装置の出力をシミュレーションするための画像生成方法であって、前記イメージング装置の出力の概略を表す画像を受信する工程と、前記半径方向のスキャンによって探索された領域に対応する極座標空間を前記出力画像に関して定義する工程と、前記出力画像を、前記定義された極座標空間から、一方が前記半径方向のスキャンの半径方向に対応し、他方が前記半径方向スキャンの探索方向に対応する2つの直行軸を有する平面座標に変換して平面座標変換画像を形成する工程と、前記平面座標変換画像に視認可能なアーチファクトを加えるために、前記平面座標変換画像の個々のロウ及びカラムの少なくとも1つ処理する工程を含む、少なくとも1つの視認可能なアーチファクトを生成して前記出力画像に加える工程と、出力画像データを形成するために、前記平面座標変換画像を極座標空間に再変換する工程とを有することを特徴とするイメージング装置の出力をシミュレーションするための画像生成方法。 請求項9 請求項6乃至8のいずれか1に記載の方法において、該方法はさらに、出力画像データ内のエッジ遷移に関する情報を符号化したエッジ検出データを生成する工程を有することを特徴とする方法。 請求項10 請求項9記載の方法において、前記少なくとも1つの視認可能なアーチファクトを生成する工程は、前記出力画像データに反射によるアーチファクトを加えるために前記エッジ検出データを処理する工程を有し、前記反射によるアーチファクトは、多くの前記エッジ遷移において、プローブ信号の反射から生じるゴースト画像を表すことを特徴とする方法。 請求項11 請求項9又は10記載の方法において、前記少なくとも1つの視認可能なアーチファクトを生成する工程は、前記出力画像データに陰影によるアーチファクトを加えるためにエッジ検出データを処理する工程を有し、前記陰影によるアーチファクトは、多くの前記エッジ遷移において、プローブ信号の減衰によって生じる,画像化される領域の特定の部分のマスキングを表すことを特徴とする方法。 請求項12 請求項9乃至11のいずれか1に記載の方法において、前記少なくとも1つの視認可能なアーチファクトを生成する工程は、平面座標変換画像にシステマティックアーチファクトを加える工程を有し、前記システマティックアーチファクトは、平面座標の座標軸のうちの1に応じて変化する特徴を有することを特徴とする方法。 請求項13 請求項9乃至12のいずれか1に記載の方法において、前記出力画像は複数のカラムの画像要素を有し、前記エッジ検出データを生成する工程は、エッジ遷移の位置を表すデータのスパースアレイを生成する工程を有し、前記アパースアレイは、前記出力画像データのそれぞれのカラムに対応する複数のカラムと、複数のロウを備え、特定のカラムの連続するロウそれぞれの値は、前記出力画像データのそれぞれのカラムにおける連続するエッジ遷移それぞれの位置を表すことを特徴とする方法。 請求項14 請求項13記載の方法において、前記データのスパースアレイを生成する工程は、それぞれがスパースアレイのロウに対応しているデータのベクタを複数生成する工程と、先行するデータのベクタそれぞれのデータにアクセスする、連続するデータのベクタそれぞれを処理する工程と、データのスパースアレイを形成するために、複数のデータのベクタを結合する工程を有することを特徴とする方法。 請求項15 請求項6乃至14のいずれか1に記載の方法において、前記少なくとも1つの視認可能なアーチファクトを生成する工程は、解剖学的構造を包囲する体積部分内にランダムに生成されたノイズデータ値の分布を表すボリュームノイズデータにアクセスする工程と、多数の前記ノイズデータ値を前記出力画像データの要素にマッピングするために前記ボリュームノイズデータを処理する工程と、前記出力画像データの前記要素それぞれに、マッピングされた前記ノイズデータ値を重ね合わせるために前記出力画像データを処理する工程とを有することを特徴とする方法。 請求項16 請求項1乃至15のいずれか1に記載の方法において、前記モデルデータとセレクションデータを処理する工程はさらに、GPUを用いてモデルデータとセレクションデータを処理する工程を有することを特徴とする方法。 請求項17 請求項1乃至7のいずれか1に記載の医療用イメージング装置の出力をシミュレーションする方法において、該方法はさらに、モデルの少なくとも1つのパラメータを定義するモデルパラメータデータにアクセスする工程を有し、前記モデルデータとセレクションデータを処理する工程はさらに、前記モデルパラメータデータを用いて前記モデルを変形させる工程を有することを特徴とする医療用イメージング装置の出力をシミュレーションする方法。 請求項18 請求項17記載の医療用イメージング装置の出力をシミュレーションする方法において、該方法はさらに、実際の解剖学的構造に関する実際の医療用イメージングデータを受信する工程と、前記実際の解剖学的構造のパラメータを見積もることによってパラメータデータを生成するために、前記実際の医療用イメージングデータ及び前記モデルデータを処理する工程とを有することを特徴とする医療用イメージング装置の出力をシミュレーションする方法。 請求項19 請求項18記載の医療用イメージング装置の出力をシミュレーションする方法において、前記パラメータデータを生成する工程はさらに、前記実際の医療用イメージングデータと関連付けられた画像化された領域を特定するイメージング位置データにアクセスする工程と、前記イメージング位置データに対応する領域のための出力画像データを生成する工程と、前記実際のイメージングデータと前記出力画像データを比較することによってパラメータを決定する工程とを有することを特徴とする医療用イメージング装置の出力をシミュレーションする方法。 請求項20 請求項17乃至19のいずれか1に記載の医療用イメージング装置の出力をシミュレーションする方法において、該方法はさらに、ネットワーク経由でパラメータデータを受信する工程を有することを特徴とする医療用イメージング装置の出力をシミュレーションする方法。 請求項21 請求項17乃至20のいずれか1に記載の医療用イメージング装置の出力をシミュレーションする方法において、該方法はさらに、ネットワーク経由でパラメータデータを送信する工程を有することを特徴とする医療用イメージング装置の出力をシミュレーションする方法。 請求項22 請求項1乃至21のいずれか1に記載の方法において、該方法はさらに、タイミングデータにアクセスする工程を有し、前記モデルデータにアクセスする工程はさらに、前記タイミングデータに応じて複数のモデルデータのセットからモデルデータを選択する工程を有することを特徴とする方法。 請求項23 請求項22記載の方法において、該方法はさらに、最初に選択されるモデルデータは特定された時間期間より前の時間期間と関連付けられ、後に選択されるモデルデータは特定された時間期間よりも後の時間期間と関連付けられる、複数のモデルデータのセットから前記タイミングデータに応じてさらにモデルデータを選択する工程と、補間モデルデータを生成するために、前記最初に選択されるモデルデータと後に選択されるモデルデータを補間する工程と有し、前記タイミングデータは時間期間を特定することを特徴とする方法。 請求項24 請求項1乃至7及び17乃至21のいずれか1に記載の医療用イメージング装置の出力をシミュレーションする方法において、前記モデルデータは解剖学的構造の複数の下位構造を定義し、前記シミュレーションする方法はさらに、出力画像データの選択された部分を特定するユーザセレクションデータを受信する工程と、出力画像データの選択された部分と関連付けられた解剖学的データを選択するため、前記下位構造それぞれと関連付けられた解剖学的情報を含む解剖学的データを処理する工程と、選択された解剖学的データを出力する工程とを有することを特徴とする医療用イメージング装置の出力をシミュレーションする方法。 請求項25 請求項24記載の医療用イメージング装置の出力をシミュレーションする方法において、該方法はさらに、解剖学的構造を包囲する体積部分内で、複数のポイントにおいて、関連する下位構造の識別子を表すボリュームセレクションデータにアクセスする工程と、前記ユーザセレクションデータに対応する前記ボリュームセレクションデータ内の1つのポイントを決めるために、またそのポイントと結び付けられた関連する下位構造を決めるために前記ボリュームセレクションデータを処理する工程とを有し、解剖学的データは関連する下位構造に応じて選択されることを特徴とする医療用イメージング装置の出力をシミュレーションする方法。 請求項26 請求項25記載の医療用イメージング装置の出力をシミュレーションする方法において、ボリュームセレクションデータは、複数の下位構造を前記体積部分内の各ポイントと関連付けることができ、前記ボリュームセレクションデータを処理する工程はさらに、予め選択された下位構造を、前記ユーザセレクションデータに対応するボリュームセレクションデータ内のポイントと関連付けるか否かを決定する工程と、関連付ける場合に、ボリュームセレクションデータ内の同じポイントに対応する繰り返されるユーザセレクションがすべての関連する下位構造を循環するように、ボリュームセレクションデータ内のポイントと関連付けられる次の下位構造を選択する工程とを有することを特徴とする医療用イメージング装置の出力をシミュレーションする方法。 請求項27 請求項25又は26記載の医療用イメージング装置の出力をシミュレーションする方法において、前記ボリュームセレクションデータは時間期間を特定するタイミングパラメータに応じてアクセスされ、前記シミュレーションする方法はさらに、最初に選択されるボリュームセレクションデータは特定された時間期間より前の時間期間と関連付けられ、後に選択されるボリュームセレクションデータは特定された時間期間よりも後の時間期間と関連付けられる、前記タイミングパラメータに応じてさらにボリュームセレクションデータを選択する工程と、補間ボリュームセレクションデータを生成するため、前記最初に選択されるボリュームセレクションデータと後に選択されるボリュームセレクションデータを補間する工程と有することを特徴とする医療用イメージング装置の出力をシミュレーションする方法。 請求項28 請求項1乃至27のいずれか1に記載の方法において、該方法はさらに、アニメーションシーケンスを形成する複数の出力画像を出力する工程を有することを特徴とする方法。 請求項29 請求項1乃至7,17乃至21及び24乃至27のいずれか1に記載の医療用イメージング装置の出力をシミュレーションする方法において、該方法はさらに、シミュレーションされた医療用イメージング装置のシミュレーションされたセンサの位置を表す位置データを受信する工程と、シミュレーションされた解剖学的構造に対するシミュレーションされたセンサの相対的位置を特定する前記位置データを処理する工程と、シミュレーションされたセンサの相対的位置に応じてセレクションデータを生成する工程とを有することを特徴とする医療用イメージング装置の出力をシミュレーションする方法。 請求項30 請求項29記載の医療用イメージング装置の出力をシミュレーションする方法において、前記位置データは前記シミュレーションされたセンサの位置の表示を含むことを特徴とする医療用イメージング装置の出力をシミュレーションする方法。 請求項31 請求項29又は30記載の医療用イメージング装置の出力をシミュレーションする方法において、前記位置データはシミュレーションされたプローブ上の基準点の位置の表示を含み、前記シミュレーションされたセンサは、前記基準点から離れた位置においてシミュレーションされたプローブ上に設けられることを特徴とする医療用イメージング装置の出力をシミュレーションする方法。 請求項32 請求項31記載の医療用イメージング装置の出力をシミュレーションする方法において、前記シミュレーションされたプローブは少なくとも1自由度を有し、前記位置データは前記1自由度に関する状態情報を有することを特徴とする医療用イメージング装置の出力をシミュレーションする方法。 請求項33 請求項29乃至32のいずれか1に記載の医療用イメージング装置の出力をシミュレーションする方法において、該方法は患者をシミュレーションするためのダミーとともに用いられ、前記位置データを処理する工程はさらに、前記ダミーのモデルを表すダミーモデルデータにアクセスする工程を有することを特徴とする医療用イメージング装置の出力をシミュレーションする方法。 請求項34 請求項33記載の医療用イメージング装置の出力をシミュレーションする方法において、該方法はさらに、キャリブレーション位置データを受信する工程を有し、前記位置データ処理工程はさらに、前記キャリブレーション位置データを用いて、受信された位置データを調整する工程を有することを特徴とする医療用イメージング装置の出力をシミュレーションする方法。 請求項35 請求項1乃至7,17乃至21,24乃至27及び29乃至34のいずれか1に記載の医療用イメージング装置の出力をシミュレーションする方法において、前記解剖学的構造は人間又は動物の身体の臓器であることを特徴とする医療用イメージング装置の出力をシミュレーションする方法。 請求項36 請求項35記載の医療用イメージング装置の出力をシミュレーションする方法において、前記解剖学的構造は心臓,肺,胃,肝臓,腎臓のうちの1又は複数であることを特徴とする医療用イメージング装置の出力をシミュレーションする方法。 請求項37 請求項1乃至7,17乃至21,24乃至27,29乃至36のいずれか1に記載の医療用イメージング装置の出力をシミュレーションする方法において、医療用イメージング装置は、超音波トランスデューサー,X線装置,磁気共鳴イメージング装置及びポジトロン断層撮影装置のいずれか1であることを特徴とする医療用イメージング装置の出力をシミュレーションする方法。 請求項38 請求項1乃至7,17乃至21,24乃至27及び29乃至37のいずれか1に記載の医療用イメージング装置の出力をシミュレーションする方法において、該方法はさらに、患者の体内に挿入するために、医療用機器の位置を表す医療用機器位置データにアクセスする工程と、前記医療用機器に関する画像データを出力画像データに加える工程とを有することを特徴とする医療用イメージング装置の出力をシミュレーションする方法。 請求項39 請求項38記載の医療用イメージング装置の出力をシミュレーションする方法において、該方法はさらに、患者の体内に挿入するために、医療用機器のモデルを表す医療用機器モデルデータにアクセスする工程と、前記医療用機器モデルデータを用いて前記画像データ生成する工程とを有することを特徴とする医療用イメージング装置の出力をシミュレーションする方法。 請求項40 請求項38又は39記載の医療用イメージング装置の出力をシミュレーションする方法において、該方法はさらに、ユーザ入力に応じて前記医療用機器位置決めデータを生成する工程を有することを特徴とする医療用イメージング装置の出力をシミュレーションする方法。 請求項41 解剖学的構造を画像化することできる医療用イメージング装置の出力をシミュレーションする装置であって、解剖学的構造のモデルを表すモデルデータにアクセスするモデルデータアクセス手段と、画像化される解剖学的構造の選択された領域を表すセレクションデータにアクセスするセレクションデータアクセス手段と、前記選択された領域を画像化する際に、医療用イメージング装置の出力のシミュレーションを表す出力データを生成するために、前記モデルデータと前記セレクションデータを処理するセレクションデータ及びモデルデータ処理手段とを有することを特徴とする医療用イメージング装置の出力をシミュレーションする装置。 請求項42 請求項41記載の医療用イメージング装置の出力をシミュレーションする装置において、前記モデルデータ及びセレクションデータ処理手段は、医療用イメージング装置によって実行される画像化処理をシミュレーションするよう構成されていることを特徴とする医療用イメージング装置の出力をシミュレーションする装置。 請求項43 請求項41又は42記載の医療用イメージング装置の出力をシミュレーションする装置において、前記医療用イメージング装置は、患者を通じて伝播する信号を検出するセンサを有し、前記モデルデータ及びセレクションデータ処理手段は、前記信号の伝播に関する物理的な影響をシミュレーションするよう構成されていることを特徴とする医療用イメージング装置の出力をシミュレーションする装置。 請求項44 請求項41乃至43のいずれか1に記載の医療用イメージング装置の出力をシミュレーションする装置において、前記モデルデータ及びセレクションデータ処理手段は、出力画像を形成するために、前記セレクションデータによって特定された前記モデルの一部分をレンダリングするよう構成されていることを特徴とする医療用イメージング装置の出力をシミュレーションする装置。 請求項45 請求項44記載の医療用イメージング装置の出力をシミュレーションする装置において、前記モデルデータ及びセレクションデータ処理手段はさらに、断面画像を形成するよう構成されていることを特徴とする医療用イメージング装置の出力をシミュレーションする装置。 請求項46 請求項44又は45記載の医療用イメージング装置の出力をシミュレーションする装置において、前記モデルデータ及びセレクションデータ処理手段は、前記出力画像に少なくとも1つの視認可能なアーチファクトを加えるよう構成されていることを特徴とする医療用イメージング装置の出力をシミュレーションする装置。 請求項47 請求項46記載の医療用イメージング装置の出力をシミュレーションする装置において、前記医療用イメージング装置は半径方向のスキャンを実行し、前記モデルデータ及びセレクションデータ処理手段はさらに、前記半径方向のスキャンによって探索された領域に対応する極座標空間を前記出力画像に関して定義し、前記出力画像を、前記定義された極座標空間から、一方が前記半径方向のスキャンの半径方向に対応し、他方が前記半径方向スキャンの探索方向に対応する2つの直行軸を有する平面座標に変換して平面座標変換画像を形成し、前記平面座標変換画像に視認可能なアーチファクトを加えるために、前記平面座標変換画像の個々のロウ及びカラムの少なくとも1つを処理し、前記平面座標変換画像を極座標空間に再変換するよう構成されていることを特徴とする医療用イメージング装置の出力をシミュレーションする装置。 請求項48 半径方向のスキャンを実行することができるイメージング装置の出力をシミュレーションするための画像生成装置であって、前記イメージング装置の出力の概略を表す画像を受信するための画像入力手段と、処理手段を備え、該処理手段は、前記半径方向のスキャンによって探索された領域に対応する極座標空間を前記出力画像に関して定義し、前記出力画像を、前記定義された極座標空間から、一方が前記半径方向のスキャンの半径方向に対応し、他方が前記半径方向スキャンの探索方向に対応する2つの直行軸を有する平面座標に変換して平面座標変換画像を形成し、前記平面座標変換画像に視認可能なアーチファクトを加えるために、前記平面座標変換画像の個々のロウ及びカラムの少なくとも1つを処理する工程を含み、少なくとも1つの視認可能なアーチファクトを生成して前記出力画像に加え、出力画像データを形成するために、前記平面座標変換画像を極座標空間に再変換するよう構成されていることを特徴とするイメージング装置の出力をシミュレーションするための画像生成装置。 請求項49 請求項46乃至48のいずれか1に記載の装置において、該装置はさらに、出力画像データ内のエッジ遷移に関する情報を符号化したエッジ検出データを生成するためのエッジ検出手段を有することを特徴とする装置。 請求項50 請求項49記載の装置において、前記モデルデータ及びセレクションデータ処理手段はさらに、前記出力画像データに反射によるアーチファクトを加えるために前記エッジ検出データを処理するよう構成され、前記反射によるアーチファクトは、多くの前記エッジ遷移において、プローブ信号の反射から生じるゴースト画像を表すことを特徴とする装置。 請求項51 請求項49又は50記載の装置において、前記モデルデータ及びセレクションデータ処理手段はさらに、前記出力画像データに陰影によるアーチファクトを加えるためにエッジ検出データを処理するよう構成され、前記陰影によるアーチファクトは、多くの前記エッジ遷移において、プローブ信号の減衰よって生じる、画像化される領域の特定の部分のマスキングを表すことを特徴とする装置。 請求項52 請求項49乃至51のいずれか1に記載の装置において、前記モデルデータ及びセレクションデータ処理手段はさらに、前記平面座標変換画像にシステマティックアーチファクトを加えるよう構成され、前記システマティックアーチファクトは、前記平面座標の座標軸のうちの1に応じて変化する特徴を有することを特徴とする装置。 請求項53 請求項49乃至52のいずれか1に記載の装置において、前記出力画像は複数のカラムの画像要素を有し、前記モデルデータ及びセレクションデータ処理手段はさらに、エッジ遷移の位置を表すデータのスパースアレイを生成するよう構成され、前記アパースアレイは、前記出力画像データのそれぞれのカラムに対応する複数のカラムと、複数のロウを備え、特定のカラムの連続するロウそれぞれの値は、前記出力画像データのそれぞれのカラムにおける連続するエッジ遷移それぞれの位置を表すことを特徴とする装置。 請求項54 請求項53記載の装置において、前記モデルデータ及びセレクションデータ処理手段はさらに、それぞれがスパースアレイのロウに対応しているデータのベクタを複数生成し、先行するデータのベクタそれぞれのデータにアクセスして、連続するデータのベクタそれぞれを処理し、データのスパースアレイを形成するために、複数のデータのベクタを結合するよう構成されていることを特徴とする装置。 請求項55 請求項46乃至54のいずれか1に記載の装置において、前記モデルデータ及びセレクションデータ処理手段はさらに、解剖学的構造を包囲する体積部分内にランダムに生成されたノイズデータ値の分布を表すボリュームノイズデータにアクセスし、多数の前記ノイズデータ値を前記出力画像データの要素にマッピングするために前記ボリュームノイズデータを処理し、前記出力画像データの前記要素それぞれに、マッピングされた前記ノイズデータ値を重ね合わせるために前記出力画像データを処理するよう構成されていることを特徴とする装置。 請求項56 請求項41乃至55のいずれか1に記載の装置において、該装置はさらに、前記モデルデータと前記セレクションデータを処理するためのGPUを備えることを特徴とする装置。 請求項57 請求項41乃至47のいずれか1に記載の医療用イメージング装置の出力をシミュレーションする装置において、該装置はさらに、モデルの少なくとも1つのパラメータを定義するモデルパラメータデータにアクセスするためのモデルパラメータアクセス手段を備え、前記モデルデータ及びセレクションデータ処理手段はさらに、前記モデルパラメータデータを用いて前記モデルを変形させるよう構成されていることを特徴とする医療用イメージング装置の出力をシミュレーションする装置。 請求項58 請求項57記載の医療用イメージング装置の出力をシミュレーションする装置において、該装置はさらに、実際の解剖学的構造に関する実際の医療用イメージングデータを受信する医療用イメージングデータ入力手段と、前記実際の解剖学的構造のパラメータを見積もることによって前記パラメータデータを生成するために、前記実際の医療用イメージングデータ及び前記モデルデータを処理するパラメータデータ生成手段とを備えることを特徴とする医療用イメージング装置の出力をシミュレーションする装置。 請求項59 請求項58記載の医療用イメージング装置の出力をシミュレーションする装置において、前記パラメータデータ生成手段はさらに、前記実際の医療用イメージングデータと関連付けられた画像化された領域を特定するイメージング位置データにアクセスし、前記イメージング位置データに対応する領域のための出力画像データを生成し、前記実際のイメージングデータと前記出力画像データを比較することによってパラメータを決定するよう構成されていることを特徴とする医療用イメージング装置の出力をシミュレーションする装置。 請求項60 請求項57乃至59のいずれか1に記載の医療用イメージング装置の出力をシミュレーションする装置において、該装置はさらに、ネットワーク経由でパラメータデータを受信するパラメータデータ受信手段を備えることを特徴とする医療用イメージング装置の出力をシミュレーションする装置。 請求項61 請求項57乃至60のいずれか1に記載の医療用イメージング装置の出力をシミュレーションする装置において、該装置はさらに、ネットワーク経由でパラメータデータを送信するパラメータデータ送信手段を備えることを特徴とする医療用イメージング装置の出力をシミュレーションする装置。 請求項62 請求項41乃至61のいずれか1に記載の装置において、該装置はさらに、タイミングデータにアクセスするタイミングデータアクセス手段を備え、前記モデルデータ及びセレクションデータ処理手段はさらに、前記タイミングデータに応じて複数のモデルデータのセットからモデルデータを選択するよう構成されていることを特徴とする装置。 請求項63 請求項62記載の装置において、前記タイミングデータは時間期間を特定し、前記モデルデータ及びセレクションデータ処理手段はさらに、最初に選択されるモデルデータは特定された時間期間より前の時間期間と関連付けられ、後に選択されるモデルデータは特定された時間期間よりも後の時間期間と関連付けられるモデルデータを複数のモデルデータのセットから前記タイミングデータに応じてさらに選択し、補間モデルデータを生成するために、前記最初に選択されるモデルデータと後に選択されるモデルデータを補間するよう構成されていることを特徴とする装置。 請求項64 請求項41乃至47及び57乃至61のいずれか1に記載の医療用イメージング装置の出力をシミュレーションする装置において、前記モデルデータは解剖学的構造の複数の下位構造を定義し、前記シミュレーションする装置はさらに、出力画像データの選択された部分を特定するユーザセレクションデータを受信するユーザセレクションデータ受信手段と、出力画像データの選択された部分と関連付けられた解剖学的データを選択するため、前記下位構造それぞれと関連付けられた解剖学的情報を含む解剖学的データを処理するための解剖学的データ処理手段と、選択された解剖学的データを出力するための出力手段と備えることを特徴とする医療用イメージング装置の出力をシミュレーションする装置。 請求項65 請求項64記載の医療用イメージング装置の出力をシミュレーションする装置において、該装置はさらに、解剖学的構造を包囲する体積部分内で、複数のポイントにおいて、関連する下位構造の識別子を表すボリュームセレクションデータにアクセスするためのボリュームセレクションデータアクセス手段と、前記ユーザセレクションデータに対応する前記ボリュームセレクションデータ内の1つのポイントを決めるために、またそのポイントと結び付けられた関連する下位構造を決めるために、前記ボリュームセレクションデータを処理するボリュームセレクションデータ処理手段とを有し、前記解剖学的データは関連する下位構造に応じて選択されることを特徴とする医療用イメージング装置の出力をシミュレーションする装置。 請求項66 請求項65記載の医療用イメージング装置の出力をシミュレーションする装置において、前記ボリュームセレクションデータは、複数の下位構造を前記体積部分内の各ポイントと関連付けることができ、前記ボリュームセレクションデータ処理手段はさらに、予め選択された下位構造を、前記ユーザセレクションデータに対応するボリュームセレクションデータ内のポイントと関連付けるか否かを決定し、関連付ける場合に、ボリュームセレクションデータ内の同じポイントに対応する繰り返されるユーザセレクションがすべての関連する下位構造を循環するように、ボリュームセレクションデータ内のポイントと関連付けられる次の下位構造を選択するよう構成されている、ことを特徴とする医療用イメージング装置の出力をシミュレーションする装置。 請求項67 請求項65又は66記載の医療用イメージング装置の出力をシミュレーションする装置において、前記ボリュームセレクションデータは時間期間を特定するタイミングパラメータに応じてアクセスされ、前記ボリュームセレクションデータ処理手段はさらに、最初に選択されるボリュームセレクションデータは特定された時間期間より前の時間期間と関連付けられ、後に選択されるボリュームセレクションデータは特定された時間期間よりも後の時間期間と関連付けられるボリュームセレクションデータを前記タイミングパラメータに応じてさらに選択し、補間ボリュームセレクションデータを生成するため、前記最初に選択されるボリュームセレクションデータと後に選択されるボリュームセレクションデータを補間するよう構成されていることを特徴とする医療用イメージング装置の出力をシミュレーションする装置。 請求項68 請求項41乃至67のいずれか1に記載の装置において、該装置はさらに、アニメーションシーケンスを形成する複数の出力画像を出力する手段を備えることを特徴とする装置。 請求項69 請求項41乃至47,57乃至61,64乃至67のいずれか1に記載の医療用イメージング装置の出力をシミュレーションする装置において、該装置はさらに、シミュレーションされた医療用イメージング装置のシミュレーションされたセンサの位置を表す位置データを受信するための位置データ受信手段と、シミュレーションされた解剖学的構造に対するシミュレーションされたセンサの相対的位置を特定する前記位置データを処理するための位置データ処理手段と、シミュレーションされたセンサの相対的位置に応じてセレクションデータを生成するためのセレクションデータ生成手段とを備えることを特徴とする医療用イメージング装置の出力をシミュレーションする装置。 請求項70 請求項69記載の医療用イメージング装置の出力をシミュレーションする装置において、前記位置データは前記シミュレーションされたセンサの位置の表示を含むことを特徴とする医療用イメージング装置の出力をシミュレーションする装置。 請求項71 請求項69又は70記載の医療用イメージング装置の出力をシミュレーションする装置において、前記位置データはシミュレーションされたプローブ上の基準点の位置の表示を含み、前記シミュレーションされたセンサは、前記基準点から離れた位置においてシミュレーションされたプローブ上に設けられることを特徴とする医療用イメージング装置の出力をシミュレーションする装置。 請求項72 請求項71記載の医療用イメージング装置の出力をシミュレーションする装置において、前記シミュレーションされたプローブは少なくとも1自由度を有し、前記位置データは前記1自由度に関する状態情報を有することを特徴とする医療用イメージング装置の出力をシミュレーションする装置。 請求項73 請求項69乃至72のいずれか1に記載の医療用イメージング装置の出力をシミュレーションする装置において、該装置は患者をシミュレーションするためのダミーとともに用いられ、前記位置データ処理手段はさらに、前記ダミーのモデルを表すダミーモデルデータにアクセスするよう構成されていることを特徴とする医療用イメージング装置の出力をシミュレーションする装置。 請求項74 請求項73記載の医療用イメージング装置の出力をシミュレーションする装置において、該装置はさらに、キャリブレーション位置データを受信するためのキャリブレーション位置データ受信手段を備え、前記位置データ処理手段はさらに、前記キャリブレーション位置データを用いて、受信された位置データを調整するよう構成されていることを特徴とする医療用イメージング装置の出力をシミュレーションする装置。 請求項75 請求項41乃至47,57乃至61,64乃至66及び69乃至74のいずれか1に記載の医療用イメージング装置の出力をシミュレーションする装置において、前記解剖学的構造は人間又は動物の身体の臓器であることを特徴とする医療用イメージング装置の出力をシミュレーションする装置。 請求項76 請求項75記載の医療用イメージング装置の出力をシミュレーションする装置において、前記解剖学的構造は心臓,肺,胃,肝臓,腎臓のうちの1又は複数であることを特徴とする医療用イメージング装置の出力をシミュレーションする装置。 請求項77 請求項41乃至47,57乃至61,64乃至66及び69乃至76のいずれか1に記載の医療用イメージング装置の出力をシミュレーションする装置において、医療用イメージング装置は、超音波トランスデューサー,X線装置,磁気共鳴イメージング装置及びポジトロン断層撮影装置のいずれか1であることを特徴とする医療用イメージング装置の出力をシミュレーションする装置。 請求項78 請求項1乃至7,17乃至21,24乃至27,29乃至37のいずれか1に記載の医療用イメージング装置の出力をシミュレーションする装置において、該装置はさらに、患者の体内に挿入するために、医療用機器の位置を表す医療用機器位置データにアクセスする工程と、前記医療用機器に関する画像データを出力画像データに加える工程とを有することを特徴とする医療用イメージング装置の出力をシミュレーションする装置。 請求項79 請求項78記載の医療用イメージング装置の出力をシミュレーションする装置において、該装置はさらに、患者の体内に挿入するために、医療用機器のモデルを表す医療用機器モデルデータにアクセスする工程と、前記医療用機器モデルデータを用いて前記画像データ生成する工程とを有することを特徴とする医療用イメージング装置の出力をシミュレーションする装置。 請求項80 請求項78又は79記載の医療用イメージング装置の出力をシミュレーションする装置において、該装置はさらに、ユーザ入力に応じて前記医療用機器位置決めデータを生成する工程を有することを特徴とする医療用イメージング装置の出力をシミュレーションする装置。 請求項81 患者を画像化するための医療用イメージング装置に関する訓練を容易にする装置であって、患者をシミュレーションするダミーと、前記医療用イメージング装置のプローブをシミュレーションするためのシミュレータプローブと、請求項41乃至80のいずれか1に記載のイメージング装置とを備えることを特徴とする医療用イメージング装置に関する訓練を容易にする装置。 請求項82 請求項81記載の医療用イメージング装置に関する訓練を容易にする装置において、前記ダミーは前記シミュレータプローブを収容するチャネルを有することを特徴とする医療用イメージング装置に関する訓練を容易にする装置。 請求項83 請求項81又は82記載の医療用イメージング装置に関する訓練を容易にする装置において、該装置はさらに、前記シミュレータプローブの位置を決めるための位置決め手段を備え、前記位置決め手段は前記イメージング装置に位置データを送信することができることを特徴とする医療用イメージング装置に関する訓練を容易にする装置。 請求項84 請求項83記載の医療用イメージング装置に関する訓練を容易にする装置において、前記位置決め手段は、前記プローブが前記チャネル内を移動する長さを測定するための長さ測定装置を備えることを特徴とする医療用イメージング装置に関する訓練を容易にする装置。 請求項85 請求項83又は84記載の医療用イメージング装置に関する訓練を容易にする装置において、前記位置決め手段は、前記プローブの位置と方位のうち少なくとも1つを追跡するために、前記プローブに固定された加速度計を備えることを特徴とする医療用イメージング装置に関する訓練を容易にする装置。 請求項86 請求項83乃至85のいずれか1に記載の医療用イメージング装置に関する訓練を容易にする装置において、前記位置決め手段は、前記プローブの態様を構成するために、少なくとも1つのユーザが制御可能な入力装置を備えることを特徴とする医療用イメージング装置に関する訓練を容易にする装置。 請求項87 請求項83乃至86のいずれか1に記載の医療用イメージング装置に関する訓練を容易にする装置において、該装置はさらに、キャリブレーション基準位置を備え、前記位置決め手段は、前記プローブが前記キャリブレーション基準位置に位置するときにキャリブレーション位置データを送信するよう構成されていることを特徴とする医療用イメージング装置に関する訓練を容易にする装置。 請求項88 請求項81乃至87のいずれか1に記載の医療用イメージング装置に関する訓練を容易にする装置において、前記ダミーはさらに、前記患者の胸部をシミュレーションする内部構造を備えることを特徴とする医療用イメージング装置に関する訓練を容易にする装置。 請求項89 請求項81乃至88のいずれか1に記載の医療用イメージング装置に関する訓練を容易にする装置おいて、前記ダミーはさらに、患者の皮膚層をシミュレーションするため、変形可能な外膜を備えることを特徴とする医療用イメージング装置に関する訓練を容易にする装置。 請求項90 超音波トランスデューサーを用いた患者の画像化に関する訓練を容易にするダミーであって、前記ダミーは、患者をシミュレーションする内部構造と、患者の皮膚層をシミュレーションするための変形可能な外膜と、患者の超音波検査のシミュレーションを可能とするために、前記ダミーに適用される、シミュレーションされる超音波プローブの位置と方位を測定する手段とを備えることを特徴とする患者の画像化に関する訓練を容易にするダミー。 請求項91 請求項90記載の超音波トランスデューサーを用いた患者の画像化に関する訓練を容易にするダミーにおいて、該装置はさらに、患者の侵襲的な超音波検査のシミュレーションを可能とするために、シミュレーションされる超音波プローブを収容するためのチャネルを備えることを特徴とする患者の画像化に関する訓練を容易にするダミー。 請求項92 患者を画像化するための医療用イメージング装置に関する訓練を容易にする方法であって、患者をシミュレーションするダミーを提供する工程と、前記医療用イメージング装置のプローブをシミュレーションするためのシミュレータプローブを供給する工程と、請求項1乃至40のいずれか1に記載の方法を実行する工程とを有することを特徴とする医療用イメージング装置に関する訓練を容易にする装置。 請求項93 プロセッサが実行可能な命令を保存する命令メモリと、前記命令メモリに保存された命令に従ってデータを処理することができるプロセッサとを備えるコンピュータであって、前記命令メモリに保存された命令は、前記請求項1乃至40のいずれか1に記載の方法を実行するために前記プロセッサを制御するための命令を含むことを特徴とするコンピュータ。 請求項94 請求項93記載のコンピュータにおいて、該コンピュータはさらに、前記モデルデータ及びセレクションデータを処理する工程の一部分を実施することができるGPUを備えることを特徴とするコンピュータ。 請求項95 請求項1乃至40のいずれか1に記載の方法を実行するためにコンピュータを制御するためのコンピュータ読取可能コードを搬送するキャリア媒体。 請求項96 請求項1乃至40のいずれか1に記載の方法を実行するためにコンピュータを制御するためのコンピュータ読取コードを搬送する信号。 請求項97 図4乃至20を参照して実質的に記載されている方法。 請求項98 図5,15,16,18及び19を参照して実質的に記載されている装置。
类似技术:
公开号 | 公开日 | 专利标题 JP2017124286A|2017-07-20|情報処理装置、情報処理方法及びプログラム US9561016B2|2017-02-07|Systems and methods to identify interventional instruments CN101259026B|2012-11-14|用于追踪超声图像中的点的方法和设备 US8244506B2|2012-08-14|Ultrasound simulation apparatus and method EP0766857B1|2000-08-16|Method and system for constructing and displaying three-dimensional images EP1253855B1|2010-03-10|Ultrasonic imager US7033320B2|2006-04-25|Extended volume ultrasound data acquisition JP5474342B2|2014-04-16|3−d画像および表面マッピングによる解剖学的モデル化 US5817022A|1998-10-06|System for displaying a 2-D ultrasound image within a 3-D viewing environment US5609485A|1997-03-11|Medical reproduction system JP6453857B2|2019-01-16|超音波画像の3d取得のためのシステムおよび方法 CN102309338B|2014-11-19|用于超声数据处理的方法和系统 US7151545B2|2006-12-19|System and method for applying accurate three-dimensional volume textures to arbitrary triangulated surfaces CN104080407B|2017-03-01|任意路径的m模式超声成像 John2007|The impact of Web3D technologies on medical education and training Nelson et al.1993|Visualization of 3D ultrasound data US7261565B2|2007-08-28|Endoscopic tutorial system for the pancreatic system US5540229A|1996-07-30|System and method for viewing three-dimensional echographic data US5737506A|1998-04-07|Anatomical visualization system US6295464B1|2001-09-25|Apparatus and method for dynamic modeling of an object US10580325B2|2020-03-03|System and method for performing a computerized simulation of a medical procedure CN102525551B|2016-04-20|用于组织存储的超声数据的方法和系统 CN100496407C|2009-06-10|超声波诊断装置 JP2016527994A|2016-09-15|Computerized visualization of anatomical items US7672790B2|2010-03-02|System and method for stochastic DT-MRI connectivity mapping on the GPU
同族专利:
公开号 | 公开日 AU2008351907A1|2009-09-03| JP5567502B2|2014-08-06| CN102016957A|2011-04-13| CA2716746C|2016-05-10| CN102016957B|2015-01-14| US20110170752A1|2011-07-14| WO2009106784A1|2009-09-03| EP2248122A1|2010-11-10| CA2716746A1|2009-09-03| US8917916B2|2014-12-23|
引用文献:
公开号 | 申请日 | 公开日 | 申请人 | 专利标题
法律状态:
2013-05-29| A131| Notification of reasons for refusal|Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130528 | 2013-08-24| A601| Written request for extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20130823 | 2013-09-02| A602| Written permission of extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20130830 | 2013-10-17| A601| Written request for extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20131016 | 2013-10-24| A602| Written permission of extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20131023 | 2013-11-29| A521| Written amendment|Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131128 | 2013-12-25| A131| Notification of reasons for refusal|Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131224 | 2014-03-19| A601| Written request for extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20140318 | 2014-03-27| A521| Written amendment|Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140326 | 2014-03-27| A602| Written permission of extension of time|Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20140326 | 2014-05-14| TRDD| Decision of grant or rejection written| 2014-05-21| A01| Written decision to grant a patent or to grant a registration (utility model)|Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140520 | 2014-06-26| A61| First payment of annual fees (during grant procedure)|Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140619 | 2014-06-27| R150| Certificate of patent or registration of utility model|Ref document number: 5567502 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 | 2017-06-06| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 | 2018-06-05| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 | 2019-06-04| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 | 2020-05-29| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
优先权:
[返回顶部]
申请号 | 申请日 | 专利标题 相关专利
Sulfonates, polymers, resist compositions and patterning process
Washing machine
Washing machine
Device for fixture finishing and tension adjusting of membrane
Structure for Equipping Band in a Plane Cathode Ray Tube
Process for preparation of 7 alpha-carboxyl 9, 11-epoxy steroids and intermediates useful therein an
国家/地区
|