物体検出装置、方法

专利摘要:
本発明は、物体検出装置及び方法を開示している。画像の特徴量を抽出する特徴抽出部と、前記特徴抽出部が抽出した前記特徴量に基づいて前記画像の弱分類を決定する関数マッピング部とを備える弱分類器を一つ以上有する強分類器を一つ以上備え、前記画像から所定の物体を検出するための物体検出装置において、前記特徴抽出部は、前記画像から所定の特徴点対の組み合わせを抽出する特徴点抽出部と、前記特徴点対の組み合わせにおける各特徴点の画素値を取得する画素値取得部と、画素値取得部が取得した画素値に基づいて各特徴点対における二つの特徴点について比較を行い、論理値を取得する特徴点比較部と、該論理値に応じて前記画像の特徴量を決定する特徴量取得部と、を備えることを特徴とする物体検出装置である。
公开号:JP2011508325A
申请号:JP2010540018
申请日:2008-12-24
公开日:2011-03-10
发明作者:世紅 労；隆義 山下；海舟 艾；▲暢▼ 黄
申请人:オムロン株式会社；ツィンファ ユニバーシティ；
IPC主号:G06T7-00

专利说明:

[0001] 本発明は物体検出装置及び方法に関する。]
背景技術

[0002] 現在、人間の顔検出（face detection）を代表とする物体検出はますます広く注目されている。人間の顔検出とは、ランダムに指定された画像に対し、一定の方策で探索してその中に人間の顔が含まれているかを確認し、含む場合は人間の顔の位置、サイズ及び姿勢を返すことを指す。通常、人間の顔はとても豊富な生体特徴情報を含み、マンマシンインタラクション、追跡監視、個人識別等の分野に用いられる。人間の顔に関する情報を抽出する際にまず人間の顔領域を位置づける工程から始まるはずである。このようにして、人間の顔の検出技術に通常と比べられないほどの意義と非常に幅広い適用将来性を備えさせることになる。人間の顔検出の実用性は検出精度及び検出速度の二点の向上で決まる。]
[0003] 従来技術における検出器の階層構造では、上から下に行くと、検出器、強分類器、弱分類器、特徴抽出及び関数マッピングになる。つまり、従来技術における検出器は複数の強分類器を含み、強分類器ごとに複数の弱分類器を含み、弱分類器ごとに特徴抽出部及びマッピング部を含むことになる。特徴抽出部は特徴の抽出を行い、マッピング部は探索表（Look Up Table）による方法等の方法で弱分類をする。]
[0004] 以下の従来文献に示すように、通常の顔検出方法では特徴を抽出する際に画像の輝度差情報（差値）を抽出し、弱分類器はそれを基に顔であるかの判断（顔らしさ又は弱分類とも呼ばれる）をし、複数のこれらの特徴を組み合わせて強分類器を作り出す。
特許文献１ 米国特許出願公開第2002/0102024号明細書
特許文献２ 日本特許出願特開2007-109229号
非特許文献1 「Robust Real-Time Face Detection」,Paul A. Viola , Michael Jones, International Journal of Computer Vision No.572Vol.2,pp137-154(2004)
非特許文献2 「高速全方向顔検出」山下 労 他、画像の認識・理解シンポジウム（MIRU2004）Vol.II, pp271-276]
[0005] 次にこれらの従来技術について簡単な説明を行う。
米国特許出願公開第2002/0102024号明細書においてAdaBoostを開示しており、AdaBoostは識別能力の低い弱分類器を多数組み合わせて、判別能力を高めた強分類器を取得する学習方法であり、アンサンブル学習（Ensemble Learning）方法の一つである。
AdaBoostのような方法において、予め用意した特徴の中から識別に適した特徴を選択し、弱分類器を作成する。できるだけ少ない弱分類器で強分類器を学習するには識別能力を高める特徴を予め用意することが重要である。]
[0006] 特開2007-109229において、木構造の検出器により、複数の顔向きを検出する手段であり、木構造の各ノードは複数のHaar特徴を用いた弱分類器から構成されている。
この発明ではHaar特徴を用いているため、正規化された２つの領域間の輝度差の強度分布により、特徴量を計算している。そのため、加減算と除算を各弱分類器の計算に用いるため、計算コストが大きくなる。]
[0007] 「Robust Real-Time Face Detection」及び「高速全方向顔検出」において、顔検出方法では、隣接する２つの領域に着目し、領域間の輝度差（差値）をもとに特徴量を計算する特徴が一般的である。輝度差は顔の明るさにより異なる。例えば、暗い顔の場合、輝度差は小さくなり、明るい顔の場合は輝度差が大きくなる。そのため、顔の明暗状態に応じ
て輝度差を補正する必要がある。
２つの領域間の輝度差を計算するために、各領域の平均輝度を算出する必要がある。高速に計算するために積分画像を非特許文献１及び２では用いている。
積分画像により明暗状態の高速な計算及び補正を行っているが、積分画像はメモリの使用量が大きくなり、また補正は特徴量計算に時間がかかる原因となっている。]
[0008] 即ち、図13に示すように、三種類の異なる輝度における顔について算出されたHaar特徴は共に標準的な特徴量に補正される必要がある。図13では、白い枠内の平均輝度から黒い枠内の平均輝度を引いて輝度差を取得する。白い枠は粒子の組み合わせ係数が正である粒子を表し、黒い枠は粒子の組み合わせ係数が負である粒子を表す。]
[0009] 上記の説明からわかるように、従来の顔検出の一般的な手法では、顔の輝度差（差値）に着目した特徴量を用いて顔らしさを判別していた。顔の輝度にいかなる変化が発生した場合でも標準な特徴量を算出するための特徴量補正が必要であり、特徴量計算に時間がかかっていた。]
[0010] 本発明は従来技術における上記欠点と制限に鑑みてなされたものであり、従来技術の一つ以上の欠点を解決し、少なくとも一種の有益な選択肢を与えられる物体検出装置及び方法を提供する。]
[0011] 上記目的を実現するために、本願は以下の発明を提供する。]
[0012] 第１の発明において、画像の特徴量を抽出する特徴抽出部と、前記特徴抽出部が抽出した前記特徴量に基づいて前記画像の弱分類を決定する関数マッピング部とを備える弱分類器を一つ以上有する強分類器を一つ以上備え、前記画像から所定の物体を検出するための物体検出装置において、前記特徴抽出部は、前記画像から所定の特徴点対の組み合わせを抽出する特徴点抽出部と、前記特徴点対の組み合わせにおける各特徴点の画素値を取得する画素値取得部と、画素値取得部が取得した画素値に基づいて各特徴点対における二つの特徴点について比較を行い、論理値を取得する特徴点比較部と、該論理値に応じて前記画像の特徴量を決定する特徴量取得部と、を備えることを特徴とする。]
[0013] 第２の発明において、第１の発明に記載の物体検出装置を基に、前記画素値は輝度であることを特徴とする。]
[0014] 第３の発明において、第１の発明に記載の物体検出装置を基に、前記画素値はエッジ抽出で得られた強度、角度、又は、勾配であることを特徴とする。]
[0015] 第４の発明において、第１〜第３のいずれかの発明に記載の物体検出装置を基に、前記特徴点比較部は、各特徴点対における二つの特徴点の画素値について直接比較を行い、その大小関係に基づいて、所定の規則によって論理値を取得することを特徴とする。]
[0016] 第５の発明において、第１〜第３のいずれかの発明に記載の物体検出装置を基に、前記特徴点比較部は、各特徴点対における二つの特徴点の画素値について累積比較を行い、その大小関係に基づいて、所定の規則によって論理値を取得することを特徴とする。]
[0017] 第６の発明において、第１〜第３のいずれかの発明に記載の物体検出装置を基に、前記特徴点比較部は、各特徴点対における二つの特徴点の画素値について展開累積比較を行い、その大小関係に基づいて、所定の規則によって論理値を取得することを特徴とする。]
[0018] 第７の発明において、第１の発明に記載の物体検出装置を基に、画像に処理を行って特徴量計算に適する画像を生成する前処理部を更に備えることを特徴とする。]
[0019] 第８の発明において、第１の発明に記載の物体検出装置を基に、前記画像から物体を探索する子窓を決定するための探索窓決定部を備え、前記特徴抽出部は前記画像が前記子窓における部分の特徴量を抽出することを特徴とする。]
[0020] 第９の発明において、第１の発明に記載の物体検出装置を基に、前記画像をズームする画像ズーム部を備え、前記特徴抽出部はズームされた前記画像の特徴量を抽出することを特徴とする。]
[0021] 第１０の発明において、第１の発明に記載の物体検出装置を基に、前記特徴点は複数の画素点を含み、前記画素値取得部は前記複数の画素点の平均画素値を前記特徴点の画素値として算出することを特徴とする。]
[0022] 第１１の発明において、第1の発明に記載の物体検出装置を基に、前記特徴点は複数の画素点を含み、前記物体検出装置は前記特徴点に含む画素点の数に基づき前記画像を縮小させる縮小画像作成部を備え、前記特徴抽出部は縮小した前記画像の特徴量を抽出することを特徴とする。]
[0023] 第１２の発明において、第１１の発明に記載の物体検出装置を基に、前記縮小画像作成部は、倍率の二乗と同じ数の縮小画像を作成し、前記特徴抽出部は適合位置にある前記縮小画像の特徴量を抽出することを特徴とする。]
[0024] 第１３の発明において、第１の発明に記載の物体検出装置を基に、カスケード構造、ネスト型カスケード構造、ツリー型構造のうちのいずれかに構成される強分類器を複数備えることを特徴とする。]
[0025] 第１４の発明において、第１の発明に記載の物体検出装置を基に、前記物体は、人体、特定の動物、自動車又は人間の顔であることを特徴とする。]
[0026] 第１５の発明において、物体検出方法であって、前記物体検出方法は一つ以上の強分類工程を有し、各強分類工程は一つ以上の弱分類工程を有し、各弱分類工程は検出される画像の特徴量を抽出する特徴抽出工程と、前記特徴抽出工程が抽出した前記特徴量に基づいて前記画像の弱分類を決定する関数マッピング工程とを有しており、前記特徴抽出工程は、前記画像から所定の特徴点対の組み合わせを抽出する特徴点抽出工程と、前記特徴点対の組み合わせにおける各特徴点の画素値を取得する画素値取得工程と、画素値取得工程が取得した画素値に基づいて各特徴点対における二つの特徴点について比較を行い、論理値を取得する特徴点比較工程、及び該論理値に応じて前記画像の特徴量を決定する特徴量取得工程と、を有することを特徴とする。]
[0027] 第１６の発明において、第１５の発明に記載の物体検出方法を基に、前記画素値は輝度であることを特徴とする。]
[0028] 第１７の発明において、第１５の発明に記載の物体検出方法を基に、前記画素値はエッジ抽出で得られた強度、角度、又は、勾配であることを特徴とする。]
[0029] 第１８の発明において、第１５〜第１７のいずれかの発明に記載の物体検出方法を基に、前記特徴点比較工程は、各特徴点対における二つの特徴点の画素値について直接比較を行い、その大小関係に基づいて、所定の規則によって論理値を取得することを特徴とする
。]
[0030] 第１９の発明において、第１５〜第１７のいずれかの発明に記載の物体検出方法を基に、前記特徴点比較工程は、各特徴点対における二つの特徴点の画素値について累積比較を行い、その大小関係に基づいて、所定の規則によって論理値を取得することを特徴とする。]
[0031] 第２０の発明において、第１５〜１７のいずれかの発明に記載の物体検出方法を基に、前記特徴点比較工程は、各特徴点対における二つの特徴点の画素値について展開累積比較を行い、その大小関係に基づいて、所定の規則によって論理値を取得することを特徴とする。]
[0032] 第２１の発明において、第１５の発明に記載の物体検出方法を基に、画像に処理を行って特徴量計算に適する画像を生成する前処理工程を更に有することを特徴とする。]
[0033] 第２２の発明において、第１５の発明に記載の物体検出方法を基に、前記画像から物体を探索する子窓を決定するための探索窓決定工程を有し、前記特徴抽出工程は前記画像が前記子窓における部分の特徴量を抽出することを特徴とする。]
[0034] 第２３の発明において、第１５の発明に記載の物体検出方法を基に、前記画像をズームする画像ズーム工程を有し、前記特徴抽出工程はズームされた前記画像の特徴量を抽出することを特徴とする。]
[0035] 第２４の発明において、第１５の発明に記載の物体検出方法を基に、前記特徴点は複数の画素点を含み、前記画素値取得工程は前記複数の画素点の平均画素値を前記特徴点の画素値として算出することを特徴とする。]
[0036] 第２５の発明において、第１５の発明に記載の物体検出方法を基に、前記特徴点は複数の画素点を含み、前記物体検出方法は前記特徴点に含む画素点の数に基づき前記画像を縮小させる縮小画像作成工程を有し、前記特徴抽出工程は縮小した前記画像の特徴量を抽出することを特徴とする。]
[0037] 第２６の発明において、第２５の発明に記載の物体検出方法を基に、前記縮小画像作成工程は、倍率の二乗と同じ数の縮小画像を作成し、前記特徴抽出工程は適合位置にある前記縮小画像の特徴量を抽出することを特徴とする。]
[0038] 第２７の発明において、第１５の発明に記載の物体検出方法を基に、カスケード構造、ネスト型カスケード構造、ツリー型構造のうちのいずれかに構成される強分類工程を複数備えることを特徴とする。]
[0039] 第２８の発明において、第１５の発明に記載の物体検出方法を基に、前記物体は、人体、特定の動物、自動車又は人間の顔であることを特徴とする。]
[0040] 本発明によると、以下の技術効果が得られる。
・画素値（輝度等）の大小比較結果（論理値）のみにより特徴量を計算できるので、非常に高速な特徴量計算を実現できるようになる；
・掛け算、割り算を用いないため、ハード化しやすくなる。]
図面の簡単な説明

[0041] 図面は本願の一部をなし、文面説明と共に本発明の原理に対して説明を行うものである
。図面において、
図１は本発明を適用した物体検出装置を説明するための構造概念図である。
図２は本発明による特徴抽出部を示す構造概念図である。
図３は抽出された三対の特徴点を示す。
図４は従来技術における計算方法と本発明における計算方法の計算回数の比較を示す。
図５は探索窓の決定を示す。
図６は強分類器がカスケード構造、ネスト型カスケード構造、ツリー型構造に組み合わせられた構造を示す概念図である。
図７は学習により得られた識別器構成記録を示す概念図である。
図８は本発明による物体検出方法の一実施形態を示すフローチャートである。
図９は本発明による物体検出方法の他の一実施形態を示すフローチャートである。
図１０は本発明による物体検出方法のさらに他の一実施形態を示すフローチャートである。
図１１は縮小画像のずらし作成を例示する。
図１２は本発明の物体検出用特徴量が照明光変化の影響を受けることなく、補正計算する必要がないことを示す。
図１３は従来技術の物体検出用特徴量が照明光変化の影響を受けることから、補正計算する必要があることを示す。] 図１ 図１０ 図１１ 図１２ 図１３ 図２ 図３ 図４ 図５ 図６
実施例

[0042] 以下に図面と合わせて本発明の具体的な実施形態を詳しく説明する。]
[0043] 図１は本発明を適用した物体検出装置を説明するための構造概念図である。図１に示すように、本発明の物体検出装置は一つ以上の強分類器２０１（図において二つのみ示している）を含み、強分類器ごとに一つ以上の弱分類器２０２（図において二つのみ示している）を含み、弱分類器ごとに特徴抽出部２０３及び関数マッピング部２０４を備える。前記特徴抽出部２０３は特定物体が検出される画像の特徴量を抽出し、前記関数マッピング部２０４は前記特徴抽出部が抽出した前記特徴量に基づいて前記画像の弱分類を決定する。] 図１
[0044] 図２は本発明による特徴抽出部を示す構造概念図である。図２に示すように、本発明による特徴抽出部２０３は、前記画像から所定の特徴点対の組み合わせを抽出する特徴点抽出部３０１と、前記特徴点対の組み合わせにおける各特徴点の輝度を取得する輝度取得部３０２と、輝度取得部３０２が取得した輝度に基づき、各特徴点対における二つの特徴点の比較を行って論理値を取得する特徴点比較部３０３と、その論理値に応じて前記画像の特徴量を決定する特徴量取得部３０４とを備える。] 図２
[0045] 特徴点抽出部３０１は前記画像から所定の特徴点対の組み合わせを抽出する。]
[0046] 図３に示すように、例えば３対の特徴点を抽出することとする。その中で暗い色で正点を表すのに対し、明るい色で負点を表す。正点と負点は後述の比較の比較順序を決定するのに用い、対応する（同一番号）の正点と負点とを比較すると、大きい場合では論理値が１となり、そうでない場合では０となる（０又は１になることは定則によって決まるが、上記場合と反対のことも可能である）。] 図３
[0047] ここで、特徴点は一つの画素に対応しても、４つの画素の組み合わせや１６の画素の組み合わせのような複数の画素の組み合わせに対応してもよいことに注意すべきである。一般的な組み合わせは画素数が４の整数べき乗であり、一つの方形画像領域（１×１、２×
２、４×４、８×８の画像ブロックのようなもの）に対応して粒子と呼ばれる。図に示すように、同一粒子対においても各粒子の画素数が異なる場合がある。]
[0048] 輝度取得部３０２は前記特徴点対の組み合わせにおける各特徴点の輝度を取得する。前記特徴点が複数の画素の組み合わせである場合、輝度取得部３０２は前記複数の画素の平均輝度を取得する。説明するために、以下の記載において輝度取得部３０２が取得した正点の輝度をそれぞれ２１０、８４、１２６とし、取得した負点の輝度をそれぞれ９３、１３７、１４５とする。]
[0049] 本発明は上記の輝度を取得することに限らず、さらに階調値、ルミナンス、エッジ抽出時の明度等の他の画素値を用いてもよいことに注意すべきである。]
[0050] 具体的には、画素値とはエッジ抽出で得られた輝度、強度、角度又は勾配などの特徴量が挙げられる。例えば、sobelフィルタにより入力された画像をエッジ画像に変換すると共に、強度と角度と勾配を計算することができる。例えば、強度は下記の式で計算される。




角度は下記の式で計算される。




勾配は下記の式で計算される。




ここで、Gxは次のフィルタ（sobel演算子）で計算された値である：




ここで、Gyは次のフィルタで計算された値である：




要素数Ｋにより角度を量子化することができる。例えば、Ｋ＝４の場合、bin0, bin1, bin2, bin3の４つの量子化された角度範囲で表され、そのうち、
bin0は0度から45度までの範囲（0度≦bin0＜45度）を表し、
bin1は45度から90度までの範囲（45度≦bin1＜90度）を表し、
bin2は90度から135度までの範囲（90度≦bin2＜135度）を表し、
bin3は135度から180度までの範囲（135度≦bin3＜180度）を表す。binkは４つの量子化された角度範囲のいずれかを適宜表すことができる。更に、要素数Ｋにより範囲の大きさを変更してもよく、例えば、Ｋ＝４の場合、binkは差が45度の範囲、例えば[0度, 45度）、[45度, 90度）、[90度, 135度）又は[135度, 180度）のいずれかである。一方、Ｋ＝３の場合、binkは差が60度の範囲、例えば[0度, 60度）、[60度, 120度）又は[120度, 180度）のいずれかである。]
[0051] 上記以外の従来の方法で得られた如何なる特徴であってもよい。上記したsobelフィルタはただの例であり、sobelフィルタ以外の他の方法でエッジ抽出をしてもよい。輝度取得部３０２は本発明の画素値取得部に対応する。]
[0052] 特徴点比較部３０３は輝度取得部３０２が取得した輝度に基づいて、各特徴点対における二つの特徴点を比較して論理値を取得する。]
[0053] 比較する際に三種の方法が採用され、本文においてそれぞれを直接比較法、累積比較法及び展開累積比較法と呼ぶ。直接比較法は特徴点の間において直接比較をし、累積比較法は特徴点の間において累積比較をし、展開累積比較法は特徴点の間において展開累積比較をする。それぞれ下記の式１、２、３に従って働く。




式における関数のsignは以下に示すように、




bi(S)、bi(C)、及びbi(EC)は直接比較法、累積比較法及び展開累積比較法によって取得された、i対目の粒子に対する論理値をそれぞれ表す。gi+とgi-はi対目の粒子における正粒子と負粒子の画素値（例えば輝度）をそれぞれ表す。]
[0054] 特徴量取得部３０４は特徴点比較部３０３が取得した論理値に基づき、前記画像の特徴量を決定する。具体的に、論理値を組み合わせてもよい。]
[0055] そのため、上記輝度の場合では、特徴点比較部３０３が直接比較法、累積比較法及び展開累積比較法をそれぞれ採用するときに、特徴量取得部３０４が取得した結果Ｚは下式に示すようなものになる。]
[0056] したがって、以上のように、本発明において、局所領域間での画素値（例えば輝度）大小の論理関係（本文において大小関係とも呼ばれる）に着目し、複数の領域間での輝度大小の論理関係に基づいて顔らしさを総合的に判断できる特徴量を設計した。]
[0057] １対の領域間の大小関係（両領域間のそれぞれの平均輝度の大小関係を指す。領域は対ずつ現れ、Haar特徴の白い枠領域と黒い枠領域のようなものであるが、両枠が隣接する必要はない）だけでは、顔と非顔の判断能力が低いため、複数対の領域間の大小関係を基に統合的に判断することにする。]
[0058] 図４と図５は従来技術における物体検出方法と本発明における物体検出方法とを比較する。これからわかるように、特徴形状が同じであるとした場合、本発明の技術案によって特徴量の演算コストが大幅に削減できる。] 図４ 図５
[0059] 具体的に、従来技術の方法では、検出のために、
１．黒い枠の■とそれに対応する白い枠の□との輝度差をそれぞれ計算すること（３回）；
２．輝度差の合計（１回）；
３．輝度差の補正（１回）
が必要である。
一方、本発明において、直接比較法では、黒い枠の■１、２及び３とそれに対応する白い枠の□１、２及び３との平均輝度の大小の比較（３回）を行えばよい。]
[0060] そこで、本発明は、顔の輝度差（差分の量、整数値）ではなく、明暗の大小関係（論理値、即ち二値の０又は１）に着目している。上記の式１、２、及び３から分かるように、特徴点比較部３０３が直接比較法、累積比較法及び展開累積比較法のいずれを採用しても特徴量取得部３０４が取得した結果Ｚは入力画像のリニア変化によって変わることないから、たとえ顔の輝度変化が発生した場合でも、その輝度大小の論理関係は変わらないため、特徴量補正が必要なく、特徴量計算の時間を大幅に削減できる。なお、本発明は乗除算を必要としないため、計算コストを削減することもできる。特徴量補正に用いていた積分画像が不必要になるため、メモリ使用量をも削減できる。図１２に本発明の特徴量の安定性を示している。それは照明などの外部要素から影響を受けないことから補正する必要がない。] 図１２
[0061] 本発明にはさらに前処理部を備えることが好ましい。前処理部は本発明で用いる特徴量を計算するのに適する画像を生成する。また、顔検出率が向上するようにあらかじめ画像に対してガンマ補正などの補正をしてもよい。前処理部は選択性の部分であり、設けなく
てもかまわない。]
[0062] なお、本発明には探索窓決定部を備えてもよい。探索窓決定部は探索するための窓を決定する。入力画像を基に、探索窓を用いて対象物体を探索するための探索画像を決定する。探索画像は切り出して作成してもよいし、探索画像の位置を設定するだけでもよい。画像中を走査して探索画像を作成する。設定したサイズ（即ち探索窓のサイズ）で走査し、画面の終端まで行った場合は、探索画像のサイズを変えて走査する。探索窓は、画像全体から徐々に小さくしてもよいし、小さなサイズから徐々に画像全体へ大きくしてもよい。具体的に図５に示している。探索画像を決定した場合、前記特徴抽出部は前記探索画像の特徴量を抽出する。] 図５
[0063] 特定サイズの探索窓によって探索画像を取得することで、本発明の物体検出装置のトレーニング量を減らし、記憶空間を節約して、実用性を高めることができる。]
[0064] それと似たように、本発明には、入力された画像を所定のサイズまでズームする画像ズーム部を備えてもよく、前記特徴抽出部はズームした画像の特徴量を抽出する。これにより、本発明の物体検出装置のトレーニング量を減らし、記憶空間を節約するというメリットを同じく得られ、実用性を高めることができる。]
[0065] 上記のように、本発明における特徴点は一つの画素でも複数の画素の組み合わせでもよく、特徴点が複数の画素の組み合わせである場合、輝度取得部３０２は前記複数の画素の平均輝度を取得する。しかし、平均輝度を計算すると、物体検出速度を減少させることになる。したがって、元画像（即ち入力された画像）を基に、１／２に縮小した画像、１／４に縮小した画像、１／８に縮小した画像の４パターンの画像を用意しておけばよい。]
[0066] 縮小画像を利用することで、下記のように異なる矩形サイズの領域の平均画素値を１ピクセルの参照で対応できるため、高速化を図ることができる。
元画像の２×２の領域は１／２画像の１×１
元画像の４×４の領域は１／４画像の１×１
元画像の８×８の領域は１／８画像の１×１]
[0067] 縮小画像を作成する際に、倍率数の二乗と同じ数の複数の縮小画像を作成してもよい。例えば、１／２画像を作成する場合、４つの画像を作成する。１／４画像を作成する場合、１６枚の画像を作成する。１／８画像を作成する場合、６４枚の画像を作成する。異なる縮小画像を作成する際に、縮小画像の作成する開始位置をずらせる。これにより、元画像の任意の位置に対して、指定した領域サイズの平均画素を参照することができる。それは、採用する枠が共に１×１、２×２、…、８×８のような正方形であるため、それに対応した縮小後の画像の対応位置における画素の輝度が枠における複数の画素の平均輝度になり、そうすると平均輝度を計算する過程を省略しているからである。図１１は縮小画像のずらし作成を例示する。] 図１１
[0068] 図１に戻ると、関数マッピング部は特徴取得部が取得した特徴値（ビット列値であり、３つの大小比較の場合、０−７の８通りの値を出力する）に基づき、予め学習で得られた物体（顔）らしさの分布から、判断結果を顔らしさとして得る。具体的に、判断する際に、特定の閾値より大きければ候補、即ち物体（人の顔）である可能性がある、として判定する。強分類器はそれに含む一つ以上の弱分類器の分類結果に基づいて、該候補が確実に物体（人の顔）であるかを判別する。判別時に、前記一つ以上の弱分類器の分類結果（顔らしさ）を組み合わせて又は各弱分類器が取得した特徴量を組み合わせて該候補が確実に物体（人の顔）であるかを判別してもよい。] 図１
[0069] 図６に示すように、複数の強分類器で分類してもよい。これらの強分類器は、例えばカスケード構造、ネスト型カスケード構造（一つ前の層の結果を次の層に受け渡し、前層の結果を考慮した判定方法）やツリー型構造（複数のクラスを判別し、分岐又は複数のパスを通過する）として構成される。これらの構造は物体の各角度、方位、遮蔽及び顔の内在変化などを識別でき、適応性と識別の正確性を高められる。具体的に、２００６年９月２０日に提出した中国特許出願第200610127853.7号に参照できる。引用にて該文献を本文に組み込める。] 図６
[0070] 判定部で顔と判定された領域について、位置や大きさがわずかにずれている領域を一つの顔として統合する処理を行う。]
[0071] なお、一実施例において、本発明の物体検出装置はさらに、物体検出結果を出力する結果出力部と、学習により得た分類器情報を記録する記録部とを備える。]
[0072] 本発明の学習手段は以下のように処理を行う。
多数の学習サンプル（正解画像、非正解画像）を予め用意する。
本発明で用いる特徴パターンを特徴プールとして作成する（即ち粒子対及びそれが構成する列を形成する）。
各学習サンプルについて、各特徴パターンから特徴量を得る（前述の計算方式によって）。
特徴パターンのうち、正解画像と非正解画像を最も判別できる特徴パターンを選び出す。
判別結果をもとに、学習サンプルごとの重みを更新する。
上記の処理を一定回数繰り返し、強分類器とする。
正解物体を含まない画像の中から、強分類器が誤って検出する領域を抽出し、一定以上集め、それらの非正解画像とする。
正解画像と新たな非正解画像を用いて、上記の処理を繰り返し、階層構造とする。
学習により得られた分類器を検出処理のために保持する。
図７には記録部で保持されるデータ構造の例を示す。
探索処理のある位置において、記録部に記録された検出器を用いて、顔であるかどうかを判定する。] 図７
[0073] 図８は本発明による物体検出方法の一実施形態を示すフローチャートである。
図８に示すように、まず工程８０１において、特定の物体を検出すべき画像から、所定の特徴点対の組み合わせを抽出する。これらの特徴点対は画像の所定位置における特徴点対でもよい。該工程は例えば前記特徴点抽出部によって行われる。
次に工程８０２において、各特徴点対における特徴点の画素値を計算する。前記画素値は例えば輝度でもよい。該工程は例えば前記輝度取得部によって行われる。
そして工程８０３において、対ごとに二つの特徴点の画素値を比較し、論理値を取得する。前記の式１−３のいずれかの方法によりこの比較をすることができる。該工程は例えば前記特徴点比較部によって行われる。
また、工程８０４において、比較の結果に基づき、特徴量を取得する。該特徴量は取得した論理値の組み合わせである。該工程は例えば前記特徴点取得部によって行われる。] 図８
[0074] 図９は本発明による物体検出方法の他の一実施形態を示すフローチャートである。
図９に示すように、本発明の他の一実施形態による物体検出方法は、図８に示す物体検出方法に、特定の物体を検出すべき画像に対して前処理をし、特徴量計算に適する画像を生成する前処理工程９０１を加える。該工程において、顔検出率が向上するように、さらに画像に対してガンマ補正等の補正をしてもよい。] 図８ 図９
[0075] なお、本発明のこの実施形態において、さらに探索窓を決定する工程９０２を含んでも良い。この工程では、前記画像で前記物体を探索するための子窓を決定する。図８の特徴点抽出等の工程は共に画像の該探索窓における部分に対して行われる。] 図８
[0076] 図１０は本発明による物体検出方法のさらに他の一実施形態を示すフローチャートである。
図１０に示すように、本発明のさらに他の一実施形態による物体検出方法は、図８に示す物体検出方法に、特定の物体を検出すべき画像を所定サイズまでズームする画像ズーム処理を行う工程１００１を加え、その後の工程においてはズームされた画像に対して行われる。このように、本発明の物体検出装置のトレーニング量を減らし（所定の画像サイズに対してトレーニングすればよい）、記憶空間を節約して実用性を高められる。] 図１０ 図８
[0077] さらに、本発明のこの実施形態には縮小した画像を作成する工程を備えてもよい。前述のように、それにより、元画像の任意の位置に対して、指定した領域サイズの平均画素を参照することができ、平均画素値（輝度）を計算する過程が省略できる。]
[0078] 本発明における上記実施形態、実施例のいずれも例示的なものであることを、当業者として考え付けるはずである。上記方法の工程順序は実情に応じて調整することができ、並行に行ってもよいし、異なる装置又は同一装置で行ってもよい。]
[0079] 上記の装置及び方法は専用のハードウェアによっても、特定のコンピュータプログラムを実行するコンピュータ又は論理設備によっても実現できることを、当業者としてさらに考え付けるはずである。このコンピュータプログラムは、前記コンピュータ又は論理設備に上記方法又は上記方法の各工程を実行させたり、該コンピュータ又は論理設備を上記装置又は装置の部分として働かせたりすることができる。このコンピュータプログラム及び該コンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の保護範囲以内にある。前記コンピュータ読み取り可能な記録媒体は、例えばＣＤ、ＶＣＤ、ＤＶＤ、磁気ディスク、ＭＯ、フラッシュメモリ、テープ等の磁気、電気、光又はそれらのいかなる組み合わせの技術を利用した各種類の記録媒体として当業者が思いつけられるものであればよい。]
[0080] 以上の実施例によって本発明を説明したにもかかわらず、本発明の範囲はそれに限定されないものである。本発明の範囲は特許請求の範囲及びその均等物によって決定される。]

权利要求:

請求項1
画像の特徴量を抽出する特徴抽出部と、前記特徴抽出部が抽出した前記特徴量に基づいて前記画像の弱分類を決定する関数マッピング部とを備える弱分類器を一つ以上有する強分類器を一つ以上備え、前記画像から所定の物体を検出するための物体検出装置において、前記特徴抽出部は、前記画像から所定の特徴点対の組み合わせを抽出する特徴点抽出部と、前記特徴点対の組み合わせにおける各特徴点の画素値を取得する画素値取得部と、画素値取得部が取得した画素値に基づいて各特徴点対における二つの特徴点について比較を行い、論理値を取得する特徴点比較部と、該論理値に応じて前記画像の特徴量を決定する特徴量取得部と、を備えることを特徴とする物体検出装置。
請求項2
前記画素値は輝度であることを特徴とする請求項１に記載の物体検出装置。
請求項3
前記画素値は、エッジ抽出で得られた強度、角度、又は、勾配であることを特徴とする請求項１に記載の物体検出装置。
請求項4
前記特徴点比較部は、各特徴点対における二つの特徴点の画素値について直接比較を行い、その大小関係に基づいて、所定の規則によって論理値を取得することを特徴とする請求項１〜３のいずれかに記載の物体検出装置。
請求項5
前記特徴点比較部は、各特徴点対における二つの特徴点の画素値について累積比較を行い、その大小関係に基づいて、所定の規則によって論理値を取得することを特徴とする請求項１〜３のいずれかに記載の物体検出装置。
請求項6
前記特徴点比較部は、各特徴点対における二つの特徴点の画素値について展開累積比較を行い、その大小関係に基づいて、所定の規則によって論理値を取得することを特徴とする請求項１〜３のいずれかに記載の物体検出装置。
請求項7
画像に処理を行って特徴量計算に適する画像を生成する前処理部を更に備えることを特徴とする請求項１に記載の物体検出装置。
請求項8
前記画像から物体を探索する子窓を決定するための探索窓決定部を備え、前記特徴抽出部は前記画像が前記子窓における部分の特徴量を抽出することを特徴とする請求項１に記載の物体検出装置。
請求項9
前記画像をズームする画像ズーム部を備え、前記特徴抽出部はズームされた前記画像の特徴量を抽出することを特徴とする請求項１に記載の物体検出装置。
請求項10
前記特徴点は複数の画素点を含み、前記画素値取得部は前記複数の画素点の平均画素値を前記特徴点の画素値として算出することを特徴とする請求項１に記載の物体検出装置。
請求項11
前記特徴点は複数の画素点を含み、前記物体検出装置は前記特徴点に含む画素点の数に基づき前記画像を縮小させる縮小画像作成部を備え、前記特徴抽出部は縮小した前記画像の特徴量を抽出することを特徴とする請求項１に記載の物体検出装置。
請求項12
前記縮小画像作成部は、倍率の二乗と同じ数の縮小画像を作成し、前記特徴抽出部は適合位置にある前記縮小画像の特徴量を抽出することを特徴とする請求項１１に記載の物体検出装置。
請求項13
カスケード構造、ネスト型カスケード構造、ツリー型構造のうちのいずれかに構成される強分類器を複数備えることを特徴とする請求項１に記載の物体検出装置。
請求項14
前記物体は、人体、特定の動物、自動車又は人間の顔であることを特徴とする請求項１に記載の物体検出装置。
請求項15
物体検出方法であって、前記物体検出方法は一つ以上の強分類工程を有し、各強分類工程は一つ以上の弱分類工程を有し、各弱分類工程は検出される画像の特徴量を抽出する特徴抽出工程と、前記特徴抽出工程が抽出した前記特徴量に基づいて前記画像の弱分類を決定する関数マッピング工程とを有しており、前記特徴抽出工程は、前記画像から所定の特徴点対の組み合わせを抽出する特徴点抽出工程と、前記特徴点対の組み合わせにおける各特徴点の画素値を取得する画素値取得工程と、画素値取得工程が取得した画素値に基づいて各特徴点対のうちの二つの特徴点について比較を行い、論理値を取得する特徴点比較工程、及び該論理値に応じて前記画像の特徴量を決定する特徴量取得工程と、を有することを特徴とする物体検出方法。
請求項16
前記画素値は輝度であることを特徴とする請求項１５に記載の物体検出方法。
請求項17
前記画素値は、エッジ抽出で得られた強度、角度、又は、勾配であることを特徴とする請求項１に記載の物体検出方法。
請求項18
前記特徴点比較工程は、各特徴点対における二つの特徴点の画素値について直接比較を行い、その大小関係に基づいて、所定の規則によって論理値を取得することを特徴とする請求項１５〜１７のいずれかに記載の物体検出方法。
請求項19
前記特徴点比較工程は、各特徴点対における二つの特徴点の画素値について累積比較を行い、その大小関係に基づいて、所定の規則によって論理値を取得することを特徴とする請求項１５〜１７のいずれかに記載の物体検出方法。
請求項20
前記特徴点比較工程は、各特徴点対における二つの特徴点の画素値について展開累積比較を行い、その大小関係に基づいて、所定の規則によって論理値を取得することを特徴とする請求項１５〜１７のいずれかに記載の物体検出方法。
請求項21
画像に処理を行って特徴量計算に適する画像を生成する前処理工程を更に有することを特徴とする請求項１５に記載の物体検出方法。
請求項22
前記画像から物体を探索する子窓を決定するための探索窓決定工程を有し、前記特徴抽出工程は前記画像が前記子窓における部分の特徴量を抽出することを特徴とする請求項１５に記載の物体検出方法。
請求項23
前記画像をズームする画像ズーム工程を有し、前記特徴抽出工程はズームされた前記画像の特徴量を抽出することを特徴とする請求項１５に記載の物体検出方法。
請求項24
前記特徴点は複数の画素点を含み、前記画素値取得工程は前記複数の画素点の平均画素値を前記特徴点の画素値として算出することを特徴とする請求項１５に記載の物体検出方法。
請求項25
前記特徴点は複数の画素点を含み、前記物体検出方法は前記特徴点に含む画素点の数に基づき前記画像を縮小させる縮小画像作成工程を有し、前記特徴抽出工程は縮小した前記画像の特徴量を抽出することを特徴とする請求項１５に記載の物体検出方法。
請求項26
前記縮小画像作成工程は、倍率の二乗と同じ数の縮小画像を作成し、前記特徴抽出工程は適合位置にある前記縮小画像の特徴量を抽出することを特徴とする請求項２５に記載の物体検出方法。
請求項27
カスケード構造、ネスト型カスケード構造、ツリー型構造のうちのいずれかに構成される強分類工程を複数有することを特徴とする請求項１５に記載の物体検出方法。
請求項28
前記物体は、人体、特定の動物、自動車又は人間の顔であることを特徴とする請求項１５に記載の物体検出方法。