• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:
    デジタル画像とアプリケーションにおける顔の表情を検出する方法及びシステムがひいては開示される。デジタル画像の分析は、人の顔において笑顔及び／又は瞬きが存在するか否かを判定する。顔認識及び／又は姿勢または照明状態の判定は、特定の、相対的に小さな分類器カスケードの適用を可能にする。
    公开号:JP2011511977A
    申请号:JP2010544617
    申请日:2009-01-20
    公开日:2011-04-14
    发明作者:エミリアン，デイビッド；ガンガイア，ミフネア；ザラコフ，エリック；スタインバーグ，エラン；ネギナ，カタリナ；ビヂオイ，ペトロネル；ぺトレスク，ステファン
    申请人:テセラ テクノロジーズ アイルランド リミテッド；
    IPC主号:G06T7-20
    专利说明:

    [0001] 本発明の実施の形態は、概してデジタル画像及びそれのアプリケーションにおける顔の表情を検出する分野に関する。]
    背景技術

    [0002] デジタル画像中の顔の表情を正確かつ自動的に識別することは、非常に困難であることが証明された。顔の画像のおよそ３０％は、様々な顔の表情を有する顔を表わしているスナップ写真のような画像である。従来の顔分類装置が一般的な画像の顔を検出するために使用される場合に、検出における正確さは、実質的に同じ顔の表情を有している画像と比較して、低下する。したがって、先行技術のスキームの顔分類装置は、顔の表情、及び笑顔、しかめ面、などのような特定の顔の表情を正確に検出することができない問題がある。]
    [0003] 技術は、取得処理（acquisition process）の一部として一または複数の顔を含む静止画像のカメラ内（in-camera）処理に提供される。かかる技術は、携帯用カメラに関する少なくとも一のデジタル処理で取得された画像内の顔に相当する一群のピクセルを識別することを含む。顔を含む相対的により低解像度画像のコレクションは、カメラ内で生成されたか、捕捉されたか、或いはカメラ内で得られたものであり、その顔は、当該コレクション内で追跡（track）される。当該コレクションの多数の画像の切り出された版（cropped versions）が得られる。顔の笑顔状態情報が、多数の画像に関して蓄積される。顔の統計的な笑顔状態は、蓄積された笑顔状態情報に基づいて分類される。一または複数の笑顔の状態に依存する動作は、かかる分析の結果に基づいて選択される。]
    [0004] 顔認識は、多数の画像の１つまたは複数に適用され得る。画像の相対的に短い分類器カスケードは、各々、明確に認識された人の顔を含むようにトレーニングされることができる。かかる相対的に短い分類器カスケードは、明確に認識された人の顔の異なる姿勢及び照明を含むことができる。姿勢及び／又は照明状態は判定され、また、相対的に短い分類器カスケードは、該判定された姿勢及び／又は照明に基づいて調整される。画像取得は、顔が一人の或いは複数の特定の人のものとして認識される又は認識されない場合、及び／又は、当該顔が笑顔を有する又は笑顔を有しないものとして分類される場合に、開始され又は先延ばしにされることができる。]
    [0005] 本技術は、顔についての姿勢及び／又は照明状態を判定すること、及び、該判定された姿勢及び／又は照明状態に基づいて調節された顔分類器の特定の設定をトレーニングすることをさらに含むことができる。]
    [0006] 前記笑顔状態を統計的に分類することは、一続き（chain）のハール（Haar）及び／又はセンサス（census）特徴（features）を割り当てることを含むことができる。]
    [0007] 顔に相当する一群のピクセルを識別することは、前記分類に適用するときと略同一のハール及び／又はセンサス特徴を適用することを含むことができる。]
    [0008] 前記切り出された版は、各々、顔を含んでいる又は単に顔の口領域だけを含んでいる画像の領域だけを実質的に含むことができる。]
    [0009] 前記分類は、分類結果が笑顔、非笑顔、あるいは不明であることのいずれか一つを含むような閾値化を含むことができる。かかる閾値化は、統計的な笑顔状態を、笑顔である可能性が６０％から９０％の範囲での第１の閾値、または笑顔である可能性が１０％から４０％の範囲での第２の閾値、またはこの両方と比較し、前記６０％から９０％又は該数値を越える範囲が笑顔結果に対応し、前記１０％から４０％又は該数値未満の範囲が笑顔でない結果に対応し、前記１０％から４０％と前記６０％から９０％との間の範囲が不確定の結果に対応することを含むことができる。前記第１の閾値は近似的に８０％とすることができ、また前記第２の閾値は、近似的に２０％とすることができる。]
    [0010] 前記分類することは、さらに、相対的により低解像度の画像の前記コレクションのフレームら間の統計的な笑顔差分ベクトルを計算すること、及び、特定の閾値またはより多くの差異が、姿勢、照明、あるいは他の画像パラメータの突然の変化に、あるいは変化する笑顔状態に対応することを判定すること、を含めることができる。前記特定の閾値あるいはより多くの差異の特有の原因が確認され得る。]
    [0011] 多数の顔が識別され追跡されることができる。多数の顔の各々に対する笑顔状態情報が分類されることができる。顔の第１の閾値数を越えるものが笑顔でないとして分類され、及び／又は顔の第２の閾値数に満たないものが笑顔であるとして分類される場合に、笑顔依存団体写真動作を開始することができる。かかる笑顔依存団体写真動作は、ユーザに対する警告信号を契機とすること、又は、前記顔の第１の閾値数に満たないものが非笑顔であるとして分類されると、及び／又は顔の第２の閾値数を越えるものが笑顔であるとして分類されると判定するまで団体写真の取得を先延ばしにすること、を含むことができる。]
    [0012] 少なくとも１つのデジタル処理で獲得された画像の一以上の顔領域と、相対的により低解像度の画像のコレクションの画像の一以上の最良笑顔領域と、を組み合わせることにより、最良笑顔画像が合成されることができる。かかる最良笑顔領域は、笑顔として分類されるものとして最も高い可能性のある口領域を含むことができる。]
    [0013] デジタル画像を取得するためにレンズと画像センサーを含む携帯用デジタル画像取得装置もさらに提供され、かかる装置は、プロセッサーと、上述した或いは後述する任意の技術を遂行するようにプロセッサーをプログラミングするために埋め込まれたコードを有する一又は複数のプロセッサー読込み可能な媒体とを含む。]
    [0014] 一又は複数のプロセッサー読込み可能な媒体は、上述した或いは後述する任意の技術を遂行するようにプロセッサーをプログラミングするために埋め込まれたコードを備えて提供される。]
    [0015] 取得処理の一部としての一又は二以上の顔を含む静止画像のカメラ内処理の方法も提供される。携帯用カメラについてのデジタル処理で獲得された少なくとも一の画像内の顔に対応する一群のピクセルが識別される。かかる方法はまた、顔を含み相対的により低解像度の画像のコレクションをカメラ内（in-camera）で生成し、捕捉し、あるいはカメラ内に取得し、相対的により低解像度の画像の前記コレクション内の前記顔を追跡することを含む。かかるコレクションの多数の画像の切り出された版は、顔を含めて獲得される。かかる方法はさらに、多数の画像に関する顔の笑顔状態情報を蓄積することを含む。蓄積された笑顔状態情報に基づいて、顔の統計的な笑顔状態が分類される。かかる分析の結果に基づいて、笑顔状態に依存した一又は複数の動作が選択され及び／又は開始される。]
    [0016] かかる方法は、多数の画像の一又は複数に対して顔認識を適用することを含むことができる。顔についての姿勢又は照明あるいはこの両方が判定されることができる。該判定された姿勢又は照明或いはこの両方に基づいて、顔分類器の特定の設定が調節されることができる。]
    [0017] 統計的な笑顔状態の分類は、一続きのハール及び／又はセンサス特徴を割り当てることを含むことができる。]
    [0018] 前記切り出された版らは、各々、顔を含む画像の領域だけ、あるいは顔の口領域を含む画像の領域だけを実質的に含むことができる。]
    [0019] 前記分類は、分類結果が笑顔、非笑顔あるいは不明であることを含むような閾値化を含むことができる。]
    [0020] 分類は、相対的により低解像度の画像のコレクションのフレームら間の統計的な笑顔差分ベクトルを計算すること、及び、特定の閾値またはより多くの差異が、姿勢、照明、あるいは他の画像パラメータの突然の変化に、あるいは変化する笑顔状態に対応することを判定すること、を含むことができる。分類は、特定の閾値またはより多くの差異の特有の原因を確認することを含むことができる。]
    [0021] 多数の顔は、識別され追跡され得る。多数の顔の各々に対する笑顔状態情報が分類されることができる。かかる方法は、非笑顔として顔の第１の閾値を越えた数が分類される場合、または笑顔として顔の第２の閾値に満たない数が分類される場合、またはこの両方の場合に、笑顔依存団体写真動作を開始することを含むことができる。]
    [0022] かかる方法は、少なくとも一のデジタル処理で獲得された画像の一以上の顔領域と、前記相対的により低解像度の画像のコレクションの一以上の画像の最良笑顔領域と、を組合せることを含む最良笑顔画像を合成することを含むことができる。]
    図面の簡単な説明

    [0023] 本発明は、実施の形態を例示するために以下のように簡潔に記述された添付図面を参照することにより、最も良く理解されるであろう。
    顔を含む静止画像の処理の技術を示す図である。
    顔を含む静止画像の処理のさらなる技術を示す図である。
    図１の技術を使用して特定の分類化及び識別化の処理を示す図である。
    笑顔及び非笑顔の顔の表情分類器をトレーニングするための代替の実施の形態を示す図である。
    画像が笑顔の顔を含んでいるかについて、訓練された分類器でテストするための代替の実施の形態を示す図である。
    笑顔無しとして分類され正面を見ている顔を示す図である。
    笑顔無しとして分類され下を見ている顔を示す図である。] 図１
    実施例

    [0024] 幾つかの実施の形態の詳細な説明

    顔の表情（例えば、笑顔）を検出するためのシステム及び方法の他に、そのようなシステム及び方法のためのアプリケーションもまた記述される。この記述では、多数の特定の詳細が説明される。しかしながら、本発明の実施の形態は、これらの特定の詳細を伴わずして実施され得ることが理解されるだろう。他の事例中で、良く知られた構造と技術は、この記述についての理解を不明瞭にしないために、詳細には示されていない。]
    [0025] 本明細書全体にわたる「一の実施の形態」あるいは「実施の形態」への参照は、実施の形態に関して記述された特定の機能、構造、あるいは特性が本発明の少なくとも一の実施の形態に含まれていることを意味する。したがって、本明細書の全体にわたる様々な場所での「一の実施の形態における」或いは「実施の形態中の」の句の出現は、必ずしも全て同じ実施の形態を参照する必要はない。さらに、特定の機能、構造、あるいは特性は、１つ以上の実施の形態において任意の適切な方法で組み合わせられ得る。]
    [0026] 本発明の実施の形態は、デジタル画像中の顔の表情を検出することが望まれる様々な設定において適用可能である。]
    [0027] 特定の実施の形態のために、バイナリー分類器が付与され、各々の顔が認識されるために使用される。すなわち、対象となる顔のサンプルは、顔検出アルゴリズムの動作を通じて獲得され、また、これらのサンプルは、肯定的なサンプルとしてバイナリー分類器に使用される。]
    [0028] 図１乃至図３は、典型的な実施の形態に従った笑顔検出器を図示する。最初に図１を参照すると、ブロック１０２で、顔を含んでいるデジタル静止画像が取得される。ブロック１０４で、当該デジタル静止画像中の顔に対応するピクセルのグループが識別される。ブロック１０６で、顔の多数のインスタンス（instance）を含む低解像度画像のコレクションが、カメラ内で生成され、捕捉され、或いはそうでなければカメラ内で得られる。ブロック１０８で、低解像度画像のコレクション内で、顔が追跡される。ブロック１１０で、顔を含むコレクションの画像の切り出された版が取得される。ブロック１１２で、切り出された版に基づいて、顔の笑顔状態情報が蓄積される。ブロック１１４で、顔の統計的な笑顔状態が分類される。ブロック１１６で、１つ又は複数の笑顔状態に依存した動作が開始される。] 図１ 図３
    [0029] 図２は、ブロック２０２で顔認識を適用することを含む技術を示す。ブロック２０４で、特異的に認識された人間の顔を含む画像の相対的に短い分類器カスケードが訓練される。ブロック２０６で、かかる相対的に短い分類器カスケードのために、特異的に認識された人間の顔の異なる姿勢及び／又は照明が選択される。] 図２
    [0030] 図３は、図１の方法において有利に使用され得る特定の動作を示す。ブロック３０２では、ブロック１０４での分類において、一続きのハール及び／又はセンサス特徴が割り当てられる。ブロック３０４で、識別において、ブロック１１４での分類におけるものと略同じようなハール及び／又はセンサス特徴を適用する。] 図１ 図３
    [0031] 顔検出器カスケードに基づいた笑顔検出器

    本発明の実施の形態は、１つの顔を別のものから区別するために使用される新しい分類器のインカメラ・トレーニングを（すなわち、正確な検出分類器を再使用する代わりに）採用する。特定の実施の形態では、バイナリー分類器は、いずれも又はいずれかが認識されるべきである顔らのために構築される。対象の顔のユーザリクエストサンプル上のこのトレーニング手段は、検出アルゴリズムの使用により得られる。その後、これらのサンプルは、肯定的なサンプルとしてバイナリー分類器に使用される。否定的なサンプルは、局所的に格納された、総括的な顔の小さなコレクションから及び／又は他の予め訓練された顔から使用される。その後、相対的に短い分類器カスケードが訓練される。]
    [0032] 特定の実施の形態では、かかる処理は、ユーザが将来の認識用に選択する顔のために繰り返され得る。典型的な実況（live）表示モードにおいて、カメラは、追跡アルゴリズムを実行するであろう。新たに検出された顔は、認識データベース中の相対的に短いカスケードの分類器と比較されるであろう。分類器の応答及び信頼度（confidence）の蓄積によって、投票アルゴリズムは、いくつかのフレームに関して、データベース顔のうちの１つを選択するか、あるいは顔が認識設定に属さないと判断するだろう。]
    [0033] 特定の実施の形態では、検出処理からの情報は、認識処理を調節するために使用される。そのような一の実施の形態のために、認識処理の調節は、検出器／追跡器に基づいて動的に達成される。]
    [0034] 照明状態が分類器の応答を非常に著しく変更することができるので、様々な実施の形態に従って、特定の顔は、沢山の認識プロファイルを有し得る。以前に訓練された顔が特定条件下で正確に認識されない場合、その顔に、自動的に又はユーザ入力でのいずれかで、新たな認識プロファイルが加えられることができる。]
    [0035] 一般に、特定の実施の形態は、検出分類器の使用が検出確率（detection probability）に基づいた認識を行なうことを可能にする。すなわち、顔検出器確率出力は、認識装置に対して分類器を再測定（re-scale）するために使用される。そのような一の実施の形態のために、検出器は、顔が「強い」又は「弱い」顔であるかどうか、続いて、表示に従って当該結果が促進されるか抑制されるかを示す。]
    [0036] 特定の実施の形態については、笑顔検出は、顔追跡アルゴリズムへの追加（add-on）機能として働く。それは、入力として、長方形のような多角形、或いは正方形、菱形、三角形、円の形状で、或いはそうでなければ同様に、予め計算された不可欠な画像（integral image）及び他の利用可能な写像として、顔領域を受信するであろう。]
    [0037] 笑顔検出アルゴリズムは、追跡された各々の顔領域上でバイナリー分類器を実行し、各々の顔が笑顔んでいるか又は笑顔んでいないかを、ある程度の信頼度（confidence）で判定するであろう。答えを提供するのに要求される信頼度のレベルが達しない場合には、顔の笑顔状態は、不確か又は未知であるとして宣言されるであろう。特定の実施の形態では、顔のための必要条件は、それが、０度，９０度，または−９０度に近い面内配向で、正面であることが必要である、ということができる。しかしながら、図６及び図７を参照して後述されるように、異なった姿勢が識別されることが可能であり、また、それらから笑顔状態が判定されることが可能である。] 図６ 図７
    [0038] 笑顔分類器は、顔検出器としてハール及びセンサス特徴を備えた鎖（chain）と同じ種類のものである。トレーニングの間に、肯定的な笑顔むサンプルと否定的な笑顔まないサンプルを区別することが学習される。これらサンプルは、顔を有する画像について、顔検出器の実行により、及び手動または自動のマーキングに基づく自動的な切り取り（クロッピング）によって得られる顔クロップ（face crop）である。これらサンプルは、わずかな変化を伴って、同一の直立した配向を有することができる。]
    [0039] 本システムの代替の実施の形態では、サンプルは、笑顔分類のための大部分の有用な情報を保持する口領域クロップであり得る。そのような代替システムは、実際の分類に先立って、口領域の補足識別を含む。これは、口検出器に基づく機能を遂行し、または、顔の下半分における最大の色彩度領域により或いは別の代替方法により口を識別することによって、行うことができる。この一般的なアプローチは、余分なレベルの不確実性を加えるが、より少ないデータの利用という点で有利となり得る。]
    [0040] トレーニング処理は、顔検出器によって伝達されるような顔領域全体についての笑顔状態を決定することが可能なバイナリー分類器鎖を提供することができる。笑顔検出／分類は、個々のフレーム上で実行されることができるが、信頼度としての幾つかのフレームに亘る論理スパン（logic span）は、特定の顔に一貫した応答を提供するために蓄積されている。特定のフレームにおいては、笑顔分類器は、検出器から直接来る顔長方形（rectangle）（あるいは他の多角形）上でのみ実行する。これは、追跡アルゴリズムが長方形位置を再評価する前に、これらが顔の上に最も集中させられ適合されるからである。笑顔分類器はまた、顔領域の周りのいくつかのわずかに変えられた位置で評価される。]
    [0041] これらの近隣の分類に基づいた信頼度は、要約及び閾値化される。笑顔決定は、正、負、或いは不確定であり得る。分類器評価は、顔検出器を実行するものと同じエンジンによって行われるが、笑顔分類器は、顔分類器の代わりに提供される。フレームのシーケンス中に、トラッキングされた各々の顔に割り当てられた笑顔信頼度パラメータは、各々の正、或いは各々の負すなわち否定的な笑顔応答に対してインクリメントされ或いはデクリメントされる。この信頼度パラメータは、整数とすることができ、笑顔決定が十分に応答し、特定の状態でロックしないような上限及び下限に拘束され得る。信頼度パラメータは、（各フレームあるいは区間で発生する）各笑顔分類の後に更新される。顔に対する最終の笑顔状態出力は、（連続的に出力され得る）各フレームで質問されることができ、整数信頼度パラメータの符号及び絶対値に基づくことができる。]
    [0042] 特定の実施の形態に従って、アルゴリズムは、インカメラアプリケーションとして、笑顔の正面顔を検出することができる。かかるアルゴリズムは、顔の表情検出（例えば、笑顔又はしかめ面の検出）に対するデジタルカメラの独立した機能として見なされることができるであろう。ある実施の形態は、笑顔の人の存在に基づいた決定或いは更なる動作を含む装置または方法において使用され、決定アルゴリズムとしてこのアルゴリズムを含めることができる。]
    [0043] 代替の実施の形態では、離散的コサイン変換（ＤＣＴｓ：Discreet Cosine Transforms）が使用される。]
    [0044] アルゴリズムのトレーニング部

    特定の実施の形態では、検出される顔の表情は、笑顔である。グレースケール画像での２つのデータベースとすることができ、その１つは笑顔のデータベースであり、他方は非笑顔のデータベースである。トレーニング・アルゴリズムは、各々のデータベースに適用される。一の実施の形態では、当該トレーニング・アルゴリズムのステップは、両方のデータベースに対して一致あるいは実質的に同一とされ得る。クロップは、顔検出器から出力されるように、顔全体または単に口領域を、或いは少なくとも口領域を含めた他のサブセットを含めて使用されてもよい。瞬きが検出されている代替の実施の形態では、続いて、単に目領域のクロップが使用されることができ、或いは少なくとも１つ又は両方の目を含む他のサブセットが使用されることができる。]
    [0045] 画像は、（例えば、顔検出アルゴリズムによって伝達された、２乗されたクロップとしての）データベースから読み出される。その後、各画像に対して、以下のステップが遂行され得る：
    １． 画像を２５×２５ピクセルへ再変換（re-dimension）する。
    これは、双線補間（bilinear interpolation）、或いはそうでなければ双立方体（bicubic）のスプラインを使用して達成することができる。
    ２． 次の２次元離散コサイン変換（2DCT transform）を適用する：

    ３． 該変換されたマトリックス（Ｏｘに関するピクセル数の２０％とＯｙに関するピクセル数の２０％との積）の左上隅のピクセルを０に設定する。これは、人の特徴に関する低周波係数の削除に相当する。]
    [0046] ４． 次の２次元逆離散コサイン変換（2IDCT transform）を適用する：

    ５． 全ての負の値を０に設定する。
    これは、階級区分（グレー（gray）２５５に対する０．．．２５５；標準化された値に対する０．．．１）から外れた値を無視する効果がある。]
    [0047] ６． 以下の改善されたヒストグラム平坦化を適用する：
    ａ． 各ピクセルについて、その水平、垂直、及び対角線上の隣接ピクセルとの平均値を計算する；
    ｂ． それらのグレーレベルの後にピクセルをソートし、続いて、計算された平均値の後にピクセルをソートする；
    ｃ． 各ピクセルに新たなグレーのレベルを割り当てる；
    ｄ． ピクセルを元の位置で再ソートする。
    かかる処理は、従来のヒストグラム平坦化であっても機能するであろうが、結果の質が低下し得る。]
    [0048] ７． 画像を（例えばベクトル化を使用して）ベクトルへ作り変える。]
    [0049] 全ての画像がベクトルに作り変えられた後に、データベース全体について、次のステップを遂行する：
    ８． ｋの方法（ｋ−ｍｅａｎｓ）を使用して８つのクラスタ中のベクトルをソートする。これは、有利な概念を得るのに十分な経験的に決定された任意のクラスタリングである。一般に、かかるクラスタリングは、当業者によって評価されるように、異なり得る。
    ９．クラスタの重心（centroids）を保持する。]
    [0050] トレーニング・アルゴリズムは、オフラインで遂行することができる（すなわち、クラスタの重心は、演繹的に計算し、記憶素子に格納することができる）。]
    [0051] 図４は、顔の表情検出技術のトレーニング構成要素の例を示す。ブロック４０２で、笑顔及び非笑顔データベースのためにパラメータが初期化され、また、クラスタの数は８に設定され、さらに、ＤＣＴパラメータは２０％に設定される。] 図４
    [0052] 笑顔データベースについて、ブロック４０４で画像が読み込まれる。ブロック４０６で、次元が変換（change）される。ブロック４０８で、上に述べられたような２次元のＤＣＴアルゴリズムが適用される。ブロック４１０で、高周波が保持され、また、左上の隅はゼロに変換（turn）される。ブロック４１２で、上に述べられたような２次元のＩＤＣＴアルゴリズムが適用される。ブロック４１４で、負の値がゼロになされる。ブロック４１６で、例えば上述されたように、ヒストグラム平坦化が遂行される。ブロック４１８で、笑顔データベースにつき終了か否かが判定される。終了でなければ、その後、ブロック４０４で、次の画像が読み込まれる。終了であれば、その後、ブロック４２０で、Ｋの方法（K-means）を使用してクラスタをソートし、ブロック４２２で、笑顔のためのクラスタの方法が計算される。]
    [0053] 非笑顔データベースについては、ブロック４２４で、画像が読み込まれる。ブロック４２６で、次元が変換される。ブロック４２８で、上に述べられたような２次元のＤＣＴアルゴリズムが適用される。ブロック４３０で、高周波が保持され、また、左上隅がゼロに変換される。ブロック４３２で、上に述べられたような２次元のＩＤＣＴアルゴリズムが適用される。ブロック４３４で、負の値がゼロになされる。ブロック４３６で、例えば上述されたようなヒストグラム平坦化が遂行される。ブロック４３８で、非笑顔データベースにつき終了か否かが判定される。終了でなければ、その後、ブロック４２４で、次の画像が読み込まれる。終了であれば、その後、ブロック４４０で、Ｋの方法（K-means）を使用してクラスタをソートし、ブロック４４２で、非笑顔のためのクラスタの方法が計算される。]
    [0054] アルゴリズムの検出／テスト部

    次のシーケンスは、笑顔あるいは非笑顔（あるいは瞬きなど）の検出を行なうために適用されることができる。
    １． １６のクラスタ重心をロードする。
    ２．分類される画像を読み込む。
    ３． 必要であれば、それをグレイスケール画像に変換（turn）する。
    ４． その画像を２５×２５ピクセルへ再変換（re-dimension）する。
    ５． ２次元ＤＣＴ変換を適用する。
    ６． 該変換されたマトリックス（Ｏｘに関するピクセル数の２０％とＯｙに関するピクセル数の２０％との積）の左上隅のピクセルを０に設定する。
    ７． ２次元ＩＤＣＴ変換を適用する。
    ８． 負の値を０に設定する。
    ９． 改善されたヒストグラム平坦化を適用する。
    １０． 画像をベクトルに作り変える。
    １１． ベクトルと全てのクラスタ重心の間のユークリッド距離を計算する。
    １２． 最小の距離を見つける。
    １３． そのテスト画像に、最も近いクラスタ内の画像と同じラベル（笑顔または非笑顔）を割り当てる。]
    [0055] 特定の実施の形態に対し、クラスタの数（例えば各データベースについての８つのクラスタ）は、変更されることができる。加えて、または代替的に、２次元ＤＣＴの後に０になされたピクセルの数（この場合５ｘ５ピクセル）は、変更されることができる。]
    [0056] 図５は、顔の表情検出技術の検出の構成要素の例を示す。ブロック５０２で、図４の例からのクラスタの方法及びテスト画像を含めたデータが入力される。ブロック５０４で、テスト画像が読み込まれる。ブロック５０６で、次元が変換される。ブロック５０８で、上に述べられたような２次元のＤＣＴアルゴリズムが適用される。ブロック５１０では、高周波が保持され、また、左上隅がゼロに変換される。ブロック５１２で、上に述べられたような２次元のＩＤＣＴアルゴリズムが適用される。ブロック５１４で、負の値がゼロになされる。ブロック５１６で、例えば上述されたようなヒストグラム平坦化が遂行される。ブロック５１８で、中心クラスへの距離が計算される。ブロック５２０で、笑顔クラスタに対する最小距離が存在するかどうかが判定される。存在しなければ、その画像は、続くブロック５２２で非笑顔画像として分類される。存在すれば、その画像は、続くブロック５２４で笑顔画像として分類される。] 図４ 図５
    [0057] 代替的な実装：

    本発明の多くの代替の実施の形態が可能であることは、技術に熟練している人々によって評価されるであろう。例えば、原理的な実施の形態は、デジタル画像内の顔領域の笑顔／非笑顔状態を判定する技術について説明する。顔追跡／顔検出器が画像上で実行された場合に、当該分析された画像内の顔領域の位置についての知識が「笑顔検出器」に利用可能になることは言うまでもない。この技術は、計算する十分な資源を与えられた両方のデジタルカメラ内に適用され、部分的にはカメラ内（例えば顔検出）で、また、部分的にはカメラの外部（例えば、伝達及び保存された顔検出情報を使用する笑顔検出）で実装されることができ、或いは、特定の実施の形態では、顔検出処理及び笑顔検出の両方が、予め獲得された画像の後処理で使用される。]
    [0058] 本発明がカメラ内に完全に実装される場合、本発明の動作に対する様々な改良が達成されることができる。特に、デジタルカメラは、試写及び／又はポストビュー画像の絶えないストリームを得ることができ、また、当該カメラ内で顔追跡アルゴリズムが具体化される場合、その後、試写ストリームの各フレーム内の判定された顔領域に関する情報は、リアルタイムで利用可能である。現在のアルゴリズムが十分に最適化される場合、それは、顔追跡アルゴリズムの適用と並行して、又は顔追跡アルゴリズムの適用の後に連続して適用されることができる。そのような実施の形態は、（ｉ）笑顔検出処理自体における改良、及び（ｉｉ）付加的な運用上の機能を、カメラのユーザに供給することができる。]
    [0059] アイテム（ｉ）に関して、及びベクトルとクラスタ重心との間のユークリッド距離の計算と、上述した典型的な実施の形態のステップ１１及び１２を通じての最小の距離の検出を参照すると、そのようなリアルタイム笑顔検出アルゴリズムが実装される場合、追跡された顔領域の笑顔／非笑顔状態を計算し、多数の前取得フレームに関するこの状態情報を蓄積することは可能である。これは、顔の笑顔／非笑顔状態の統計分析を可能にし、また、笑顔検出アルゴリズムの正確性を低下させる照明及び／又は顔姿勢の突然の変化のような交絡因子を回避するのに有用である。したがって、笑顔特徴ベクトル（smile feature vector）の突然のフレーム間の変動は、当該ベクトルが安定するまでは無視することができる。]
    [0060] 各フレームに対する笑顔特徴ベクトルの計算、及びその笑顔／非笑顔状態の判定を加えた一の実施の形態では、アルゴリズムは、試写／ポストビュー画像ストリームに続くフレーム間の差分ベクトルを計算する。これが特定の閾値よりも大きなところでは、それは、外部照明又は姿勢における突然の変化を示すものと解釈され（それは照明の場合のためのカメラのサブシステムを決定する露光によって、あるいは顔追跡アルゴリズムの顔ロック（face-lock）特性評価によって、確認されることができる）、あるいは、それは、笑顔及び非笑顔状態の間の遷移として解釈されることができる（それらは後の試写／ポストビューフレームの分析によって、確認されることができる）。]
    [0061] 代替の実施の形態では、笑顔特徴ベクトルの移動平均値が計算されることができ、また、この平均化された特徴ベクトルは、多数の試写フレームにわたる顔領域の笑顔／非笑顔状態を判定するために使用される。]
    [0062] さらなる他の実施の形態では、現在の笑顔特徴ベクトルと、最も近い笑顔重心（smile centroid）及び最も近い非笑顔重心（no-smile centroid）の両方との間の距離が、各試写フレームに対して計算される。これらの２つの距離間の比率は、幾つかのフレームに関して統計的に分析され、単に笑顔／非笑顔状態評価というよりはむしろ、笑顔／非笑顔確率評価を決定するために使用される。したがって、笑顔特徴ベクトルが最も近い笑顔重心から０．２の規準化距離及び最も近い非笑顔重心から０．８の距離である場合、それは、８０％の可能性で笑顔であり又は２０％の可能性で笑顔ではない。この実施の形態に関する変形では、規準化距離の対数（log）は、規準化距離自体ではなく、確率を計算するために使用される。]
    [0063] 上記のアイテム（ｉｉ）に関して、笑顔検出処理が試写／ポストビューストリーム上で操作可能なところでは、追跡された顔領域の状態遷移を監視することが可能である。これは、例えば、試写フレーム中の全ての人が笑顔であると判定されるときに画像が捕らえられる場合、改善された「団体写真（group shot）」機能を実装するカメラを実現することができる。]
    [0064] 他の実施の形態では、カメラは、１人以上の人が笑顔でない場合に警告信号音を出すことができ（「笑顔保証」機能）；または、全員（あるいは複数又は特定のパーセンテージ又は特定の数）が笑顔であると判定されるまで画像取得を遅らせることができる。]
    [0065] 付加的画像の再構成及び／又は合成及び／又は超解像アルゴリズムがカメラ内で利用可能な実施の形態では、結果として、最終的に合成された画像が、検出された各々の顔に対する「最良の笑顔」を表すことを保証するために、一以上の試写フレームからの顔領域、或いはそれに関する部分は、主獲得画像と結合されることができる。笑顔の質の判定は、上述されるような笑顔／非笑顔確率を使用して達成され得る。]
    [0066] 笑顔／非笑顔状態に関するメタデータまたは笑顔確率は、適切に追跡された顔領域に関する他の情報とともに格納／保存されることができる。]
    [0067] 図６及び図７は、さらなる実施の形態を例証する。図６及び図７に示された写真の両方において、被写体は、笑顔んでおらず且つ瞬きしていない。図６において、笑顔では無く瞬きも無い被写体の状態は、様々な幾何学的及び／又は学習技法を使用することが検出され得る。しかしながら、劣等の技術は、たとえ被写体が微笑んでおらず且つ瞬きもしていなくても、図７において笑顔み瞬きしているものとして被写体を誤って検出する傾向があり得る。図７で被写体が下方を見ているので、被写体の唇は、傾いていない姿勢である正面の顔に笑顔む口がちょうど現われるように、外見からは上方へ曲げられるように見えることができる。図７において、彼女の眼球のいかなる部分も現れていないので、被写体は、瞬きしているか、眠っているか、そうでなければ彼女の目が閉じているようにも見え得る。] 図６ 図７
    [0068] 目と口の三角形（より多くのフレームについての顔追跡アルゴリズムによって滑らかにされたもの）に基づいて、顔の配向が、平面内（ＲＩＰ）に及び平面外（ＲＯＰ）にあるかどうかは、この実施の形態において判定される。この情報に基づいて、笑顔の承認／拒絶の閾値は、この実施の形態で動的に調節される。]
    [0069] かかる笑顔検出閾値は、異なる回転または平面（ＲＩＰ）角度で緩められる（relax）ことができる。あるいは、笑顔検出は、（クロップ画像あるいは分類器を回転させることによる）正確な角度で適用されることができ、０（＋／−５）度で、より強い笑顔分類器を備えることができる。［注：ここで、それらは、トレーニング処理＝＞０（＋／−２０）度でより緩められる。］]
    [0070] 顔が上下を向いている場合（ピッチ回転）、より強い笑顔検出閾値が置かれることができる。注：そうでなければ、上下を向いている顔は、大きな割合での誤った笑顔検出に結びつく傾向があり得る。]
    [0071] これと同様の考えは、動的な瞬きの承認／拒絶の閾値を調節するために、適用することができる。]
    [0072] 応用例

    上述したように、デジタル画像中の笑顔を検出する本発明の実施の形態のための多くの応用例がある。さらなる応用例は、２つ以上のセンサーがデジタル画像取得装置内に実装される場合に可能である。本発明の１つの実施の形態に従って、少なくとも１つの追加のセンサーが装置内に実装され、そのセンサーがユーザ（例えば写真家）に対面する場合、その写真家が画像を得る過程において、当該写真家の画像を得ることができる。そのような実施の形態は、ユーザによって獲得した画像のみならず、写真家をも含む二部作（diptych）の産出を可能とする。]
    [0073] 顔の表情検出で使用されたとき、そのような実施の形態は、ユーザ（例えば写真家）の特定の顔の表情（例えば笑顔）の認識または検出に基づいた画像を得る画像取得装置を許可することができる。これは、縮小される典型的な押しボタン式画像取得方法に関連した動作を許可する。]
    [0074] 同様に、本発明の実施の形態は、獲得された画像、或いはユーザまたは後の再視者の顔の表情に基づいて獲得されているときの画像を、再調査し分類するために使用されることができる。例えば、写真を再視する人（達）の（感情を示す）顔の表情が検出される。再視する人（達）が笑顔であれば、当該画像は、保持者（keeper）または好ましい画像として自動で認識される。当該画像が時間とともに多数の「笑顔」再視者を得る場合、その好ましい得点が上がる。好ましい画像のリストは、好ましい画像が再生モードとしてより劣った好ましい画像の上の最初に存在するカメラにおいて、再生のために使用されることができる。]
    [0075] 特定の実施の形態について、顔の表情検出に基づいた情動測定のこの概念は、以下のように拡張される。笑顔及び他の顔の表情は、タグ付けすること、パーソナルコンピュータ、文書（document）、動画（video）、エントリー・ポイントを確立すること、あるいは動画への関心のあるタグのために使用される。そのようなＰＣアプリケーションは、例えばパーソナルコンピュータの表示部に搭載されたカメラのために達成されることが可能である。]
    [0076] 特定の実施の形態に従い、データ処理は、デジタル処理システム（ＤＰＳ：Digital Processing System）を使用する。かかるＤＰＳは、デジタル画像及び動画を含む複数の様々なタイプのデジタル情報を格納し、処理し、かつ通信するために構成され得る。]
    [0077] 上に議論されるように、本発明の実施の形態は、デジタル処理能力を有するＤＰＳまたは装置を使用し得る。そのようなシステムの典型的な構成要素は、中央処理装置（ＣＰＵ）、メインメモリ、静的（static）メモリ、及び大容量記憶装置に接続された信号処理部を含んでいる。メインメモリは、本発明の動作を達成するために様々なアプリケーションを格納し得るものであり、一方、大容量記憶装置は、様々なデジタル・コンテンツを格納し得る。]
    [0078] さらに、ＤＰＳは、入力／出力（Ｉ／Ｏ）装置及びオーディオ／ビジュアル装置に接続され得る。ＣＰＵは、当該処理システムのための情報及び／又は信号を処理するように使用されてもよい。メインメモリは、ＣＰＵによって使用される情報あるいは命令（プログラム・コード）の格納のための、ランダム・アクセス・メモリ（ＲＡＭ）あるいは他の何らかの動的記憶装置であり得る。静的メモリは、ＣＰＵによって使用される情報あるいは命令の格納のための読み出し専用メモリ（ＲＯＭ）及び／又は他の静的記憶装置であり得る。大容量記憶装置は、処理システムのための情報あるいは命令を格納するための、例えば、ハードディスクドライブ、光ディスクドライブ、或いはファームウェアであり得る。]
    [0079] 〔一般的事項〕

    本発明の実施の形態は、デジタル画像中の顔の表情を検出し判定するための方法と装置を提供する。]
    [0080] 本発明の実施の形態は、様々な動作（operation）を含んでいるものとして説明された。処理（process）の多くは、それらの最も基本的な形式で記述されるが、動作は、本発明の範囲を逸脱することなく、増加させることができ、或いは任意の処理から省略することができる。]
    [0081] 本発明の動作は、ハードウェア構成要素によって遂行され得るもの、或いはコンピュータ実行可能な命令で具体化され得るものであり、汎用用途又は専用用途のプロセッサー、あるいは命令を備えてプログラムされた論理回路に当該動作を遂行させるように使用されることができる。あるいは、かかるステップは、ハードウェアとソフトウェアの組み合わせによって遂行され得る。本発明は、本発明による処理を遂行するようにコンピュータ（あるいは他の電子装置）をプログラムするために使用され得る命令を格納したコンピュータ読み出し可能な媒体を含み得る、コンピュータプログラム製品として提供され得る。かかるコンピュータ読み出し可能な媒体は、フロッピー・ディスク、光ディスク、ＣＤ−ＲＯＭ、及び光磁気ディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気又は光カード、フラッシュメモリ、あるいは電気的な命令を格納するのに好適な他の種類の媒体／コンピュータ読み出し可能な媒体を含み得るが、これに制限されるものではない。加えて、本発明は、さらにコンピュータ・プログラム製品としてダウンロードされ得るものであり、かかるプログラムは、通信セル（例えばモデムまたはネットワーク接続）経由による搬送波または他の伝搬媒体で具現化されたデータ信号経由で、遠隔のコンピュータから要求しているコンピュータまで転送され得る。全ての動作が同一の中央の場所（site）で遂行され得るし、或いは、択一的に１つ以上の動作が他の場所で遂行され得る。]
    权利要求:

    請求項1
    携帯用カメラについてのデジタル処理で獲得された少なくとも一の画像内の顔に対応する一群のピクセルを識別すること；顔を含み相対的により低解像度の画像のコレクションをカメラ内で生成し、捕捉し、あるいはカメラ内に取得すること；相対的により低解像度の画像の前記コレクション内の前記顔を追跡すること；前記顔を含む相対的により低解像度画像のコレクションの多数の画像の切り出された版（cropped version）を獲得すること；多数の画像に関する顔の笑顔状態情報を蓄積すること；蓄積された笑顔状態情報に基づいて顔の笑顔状態を統計的に分類すること；及び、前記分析の結果に基づいて選択された、笑顔状態に依存した一以上の動作を開始することを含む、取得処理の一部としての一以上の顔を含む静止画像のカメラ内処理の方法。
    請求項2
    前記多数の画像の一以上に顔認識を適用することをさらに含む請求項１記載の方法。
    請求項3
    前記顔についての姿勢又は照明のいずれか或いは両方を判定し、該判定された姿勢又は照明或いはこの両方に基づいて調節された顔分類器の特定の設定をトレーニングすることをさらに含む請求項１記載の方法。
    請求項4
    前記笑顔状態を統計的に分類することは、一続きのハール及び／又はセンサス特徴を割り当てることを含む請求項１記載の方法。
    請求項5
    前記切り出された版は各々、顔を含む画像の領域だけを実質的に含む請求項１記載の方法。
    請求項6
    前記切り出された版は各々、顔の口領域を含む画像の領域だけを実質的に含む請求項１記載の方法。
    請求項7
    前記分類することは、分類結果が笑顔、非笑顔あるいは不明であることを含むような閾値化を含む請求項１記載の方法。
    請求項8
    前記分類することは、さらに、相対的により低解像度の画像の前記コレクションのフレームら間の統計的な笑顔差分ベクトルを計算すること、及び、特定の閾値またはより多くの差異が、姿勢、照明、あるいは他の画像パラメータの突然の変化に、あるいは変化する笑顔状態に対応することを判定すること、を含み、前記分類することは、さらに、前記特定の閾値またはより多くの差異の特有の原因を確認すること、を含む請求項１記載の方法。
    請求項9
    多数の顔が識別及び追跡され、多数の顔の各々に対する笑顔状態情報が分類され、さらに、顔の第１の閾値数を越えるものが笑顔でないとして分類され、または顔の第２の閾値数に満たないものが笑顔であるとして分類され、または、この両方の場合に、笑顔依存団体写真動作を開始すること、を含む請求項１記載の方法。
    請求項10
    少なくとも一のデジタル処理で獲得された画像の一以上の顔領域と、前記相対的により低解像度の画像のコレクションの一以上の画像の最良笑顔領域と、を組合せることを含む最良笑顔画像を合成することをさらに含む請求項１記載の方法。
    請求項11
    各々が明確に認識された人の顔を含む画像の相対的に短い分類器カスケードをトレーニングすることをさらに含む請求項２記載の方法。
    請求項12
    前記相対的に短い分類器カスケードは、前記明確に認識された人の顔の異なる姿勢又は照明、あるいはこの両方を含む請求項１１記載の方法。
    請求項13
    前記顔が笑顔又は非笑顔あるいはこれらの組合せであると分類される場合に、画像取得を開始又は先延ばしにすることをさらに含む請求項２記載の方法。
    請求項14
    前記顔が、明確に認識された人として認められない又は笑顔として分類されない場合に、画像取得を先延ばしにすることをさらに含む請求項２記載の方法。
    請求項15
    前記顔が、明確に認識された人として認められる又は笑顔として分類される場合に、画像取得を開始することをさらに含む請求項２記載の方法。
    請求項16
    前記笑顔依存団体写真動作は、ユーザに対する警告信号を契機とすること、又は、前記顔の第１の閾値数に満たないものが非笑顔として分類される場合である、または顔の第２の閾値数を越えるものが笑顔として分類される場合である、あるいはこの両方の場合であると判定するまで、団体写真の取得を先延ばしにすることを含む請求項９記載の方法。
    請求項17
    前記最良笑顔領域は、笑顔として分類されるものとして最も高い可能性のある口領域を含む請求項１０記載の方法。
    請求項18
    前記顔に相当する一群のピクセルを識別することは、前記分類に適用するときと略同一のハール及び／又はセンサス特徴を適用することを含む請求項１記載の方法。
    請求項19
    前記閾値化は、統計的な笑顔状態を、笑顔である可能性が６０％から９０％の範囲での第１の閾値、または笑顔である可能性が１０％から４０％の範囲での第２の閾値、またはこの両方と比較し、前記６０％から９０％又は該数値を越える範囲が笑顔結果に対応し、前記１０％から４０％又は該数値未満の範囲が笑顔でない結果に対応し、前記１０％から４０％と前記６０％から９０％との間の範囲が不確定の結果に対応することを含む請求項７記載の方法。
    請求項20
    前記第１の閾値は近似的に８０％であり、前記第２の閾値は近似的に２０％である請求項１９記載の方法。
    請求項21
    デジタル画像を取得するためのレンズ及び画像センサーを含む携帯用デジタル画像取得装置であって、プロセッサーと、任意の前の請求項による取得処理の一部として一又は複数の顔を含む静止画像のカメラ内処理の方法を遂行するように前記プロセッサーをプログラミングするために埋め込まれたコードを有する一又は複数のプロセッサー読込み可能な媒体と、を含む装置。
    請求項22
    請求項１乃至２０のいずれか一記載の取得処理の一部として一又は複数の顔を含む静止画像のカメラ内処理の方法を遂行するようにプロセッサーをプログラミングするために埋め込まれたコードを有する一又は複数のプロセッサー読込み可能な媒体。
    类似技术:
    公开号 | 公开日 | 专利标题
    Foggia et al.2015|Real-time fire detection for video-surveillance applications using a combination of experts based on color, shape, and motion
    US10248860B2|2019-04-02|System and method for object re-identification
    US9818023B2|2017-11-14|Enhanced face detection using depth information
    US8797448B2|2014-08-05|Rapid auto-focus using classifier chains, MEMS and multiple object focusing
    US9104914B1|2015-08-11|Object detection with false positive filtering
    Portmann et al.2014|People detection and tracking from aerial thermal views
    US10671879B2|2020-06-02|Feature density object classification, systems and methods
    Paul et al.2013|Human detection in surveillance videos and its applications-a review
    Liao et al.2010|Modeling pixel process with scale invariant local patterns for background subtraction in complex scenes
    US10628683B2|2020-04-21|System and method for CNN layer sharing
    Nguwi et al.2008|Detection and classification of road signs in natural environments
    Gheissari et al.2006|Person reidentification using spatiotemporal appearance
    US8836777B2|2014-09-16|Automatic detection of vertical gaze using an embedded imaging device
    US8457406B2|2013-06-04|Identifying descriptor for person and object in an image
    JP5010905B2|2012-08-29|顔認証装置
    Doretto et al.2011|Appearance-based person reidentification in camera networks: problem overview and current approaches
    US8891819B2|2014-11-18|Line-of-sight detection apparatus and method thereof
    EP2137670B1|2013-12-11|Illumination detection using classifier chains
    Hirzer et al.2011|Person re-identification by descriptive and discriminative classification
    US6661907B2|2003-12-09|Face detection in digital images
    JP5629803B2|2014-11-26|画像処理装置、撮像装置、画像処理方法
    CN101189621B|2010-11-24|利用摄影者身份来分类图像
    Li et al.2004|Support vector machine based multi-view face detection and recognition
    Kim et al.2011|Spatiotemporal saliency detection and its applications in static and dynamic scenes
    CA3000127C|2020-06-02|System and method for appearance search
    同族专利:
    公开号 | 公开日
    US20180295279A1|2018-10-11|
    US8750578B2|2014-06-10|
    WO2009095168A1|2009-08-06|
    KR101615254B1|2016-04-25|
    KR20100116178A|2010-10-29|
    US9942470B2|2018-04-10|
    CN102007499B|2015-03-11|
    JP5639478B2|2014-12-10|
    CN102007499A|2011-04-06|
    US20140347514A1|2014-11-27|
    US9462180B2|2016-10-04|
    US20090190803A1|2009-07-30|
    US20170026567A1|2017-01-26|
    US10778885B2|2020-09-15|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    US5802220A|1995-12-15|1998-09-01|Xerox Corporation|Apparatus and method for tracking facial motion through a sequence of images|
    JP2007088644A|2005-09-20|2007-04-05|Canon Inc|撮像装置及びその制御方法、コンピュータプログラム、記憶媒体|JP2014119879A|2012-12-14|2014-06-30|Nippon Hoso Kyokai <Nhk>|顔表情評価結果平滑化装置および顔表情評価結果平滑化プログラム|
    JP2017040520A|2015-08-19|2017-02-23|株式会社島津製作所|Analysis data display processing apparatus and display processing program|US4047187A|1974-04-01|1977-09-06|Canon Kabushiki Kaisha|System for exposure measurement and/or focus detection by means of image senser|
    US4367027A|1980-03-12|1983-01-04|Honeywell Inc.|Active auto focus system improvement|
    US4317991A|1980-03-12|1982-03-02|Honeywell Inc.|Digital auto focus system utilizing a photodetector array|
    US4299464A|1980-08-04|1981-11-10|Eastman Kodak Company|Method and apparatus for reducing the incidence of eye closures during photographing of a human subject|
    JPS61105978A|1984-10-30|1986-05-24|Sanyo Electric Co Ltd|Automatic focusing circuit|
    US5291234A|1987-02-04|1994-03-01|Asahi Kogaku Kogyo Kabushiki Kaisha|Auto optical focus detecting device and eye direction detecting optical system|
    US5384912A|1987-10-30|1995-01-24|New Microtime Inc.|Real time video image processing system|
    US5018017A|1987-12-25|1991-05-21|Kabushiki Kaisha Toshiba|Electronic still camera and image recording method thereof|
    US5227837A|1989-05-12|1993-07-13|Fuji Photo Film Co., Ltd.|Photograph printing method|
    US5063603A|1989-11-06|1991-11-05|David Sarnoff Research Center, Inc.|Dynamic method for recognizing objects and image processing system therefor|
    US5164831A|1990-03-15|1992-11-17|Eastman Kodak Company|Electronic still camera providing multi-format storage of full and reduced resolution images|
    GB9019538D0|1990-09-07|1990-10-24|Philips Electronic Associated|Tracking a moving object|
    JP2748678B2|1990-10-09|1998-05-13|松下電器産業株式会社|階調補正方法および階調補正装置|
    US5164992A|1990-11-01|1992-11-17|Massachusetts Institute Of Technology|Face recognition system|
    JP2790562B2|1992-01-06|1998-08-27|富士写真フイルム株式会社|画像処理方法|
    US5488429A|1992-01-13|1996-01-30|Mitsubishi Denki Kabushiki Kaisha|Video signal processor for detecting flesh tones in am image|
    US5638136A|1992-01-13|1997-06-10|Mitsubishi Denki Kabushiki Kaisha|Method and apparatus for detecting flesh tones in an image|
    US5680481A|1992-05-26|1997-10-21|Ricoh Corporation|Facial feature extraction method and apparatus for a neural network acoustic and visual speech recognition system|
    JP3298072B2|1992-07-10|2002-07-02|ソニー株式会社|ビデオカメラシステム|
    KR100276681B1|1992-11-07|2001-01-15|이데이 노부유끼|비디오 카메라 시스템|
    US5311240A|1992-11-03|1994-05-10|Eastman Kodak Company|Technique suited for use in multi-zone autofocusing cameras for improving image quality for non-standard display sizes and/or different focal length photographing modes|
    JPH06178261A|1992-12-07|1994-06-24|Nikon Corp|デジタルスチルカメラ|
    JP2983407B2|1993-03-31|1999-11-29|三菱電機株式会社|画像追尾装置|
    US5432863A|1993-07-19|1995-07-11|Eastman Kodak Company|Automated detection and correction of eye color defects due to flash illumination|
    US5781650A|1994-02-18|1998-07-14|University Of Central Florida|Automatic feature detection and age classification of human faces in digital images|
    US5835616A|1994-02-18|1998-11-10|University Of Central Florida|Face detection using templates|
    US6115509A|1994-03-10|2000-09-05|International Business Machines Corp|High volume document image archive system and method|
    US5774754A|1994-04-26|1998-06-30|Minolta Co., Ltd.|Camera capable of previewing a photographed image|
    US5678098A|1994-06-09|1997-10-14|Fuji Photo Film Co., Ltd.|Method and apparatus for controlling exposure of camera|
    US5692065A|1994-08-18|1997-11-25|International Business Machines Corporation|Apparatus and method for determining image quality|
    US5572596A|1994-09-02|1996-11-05|David Sarnoff Research Center, Inc.|Automated, non-invasive iris recognition system and method|
    US5802361A|1994-09-30|1998-09-01|Apple Computer, Inc.|Method and system for searching graphic images and videos|
    US5496106A|1994-12-13|1996-03-05|Apple Computer, Inc.|System and method for generating a contrast overlay as a focus assist for an imaging device|
    US5724456A|1995-03-31|1998-03-03|Polaroid Corporation|Brightness adjustment of images using digital scene analysis|
    US5870138A|1995-03-31|1999-02-09|Hitachi, Ltd.|Facial image processing|
    US5710833A|1995-04-20|1998-01-20|Massachusetts Institute Of Technology|Detection, recognition and coding of complex objects using probabilistic eigenspace analysis|
    JP3426060B2|1995-07-28|2003-07-14|三菱電機株式会社|顔画像処理装置|
    US5842194A|1995-07-28|1998-11-24|Mitsubishi Denki Kabushiki Kaisha|Method of recognizing images of faces or general images using fuzzy combination of multiple resolutions|
    US5774591A|1995-12-15|1998-06-30|Xerox Corporation|Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images|
    US5633678A|1995-12-20|1997-05-27|Eastman Kodak Company|Electronic still camera for capturing and categorizing images|
    US6151073A|1996-03-28|2000-11-21|Fotonation, Inc.|Intelligent camera flash system|
    US5842616A|1996-04-24|1998-12-01|Ter S.R.L.|Atomized liquid dispenser applicable to manually operated pumps|
    US5802208A|1996-05-06|1998-09-01|Lucent Technologies Inc.|Face recognition using DCT-based feature vectors|
    US6188776B1|1996-05-21|2001-02-13|Interval Research Corporation|Principle component analysis of images for the automatic location of control points|
    US5991456A|1996-05-29|1999-11-23|Science And Technology Corporation|Method of improving a digital image|
    US5978519A|1996-08-06|1999-11-02|Xerox Corporation|Automatic image cropping|
    US5963656A|1996-09-30|1999-10-05|International Business Machines Corporation|System and method for determining the quality of fingerprint images|
    US5818975A|1996-10-28|1998-10-06|Eastman Kodak Company|Method and apparatus for area selective exposure adjustment|
    US6765612B1|1996-12-09|2004-07-20|Flashpoint Technology, Inc.|Method and system for naming images captured by a digital camera|
    JP3512992B2|1997-01-07|2004-03-31|株式会社東芝|画像処理装置および画像処理方法|
    JPH10208047A|1997-01-23|1998-08-07|Nissan Motor Co Ltd|車載用走行環境認識装置|
    US6249315B1|1997-03-24|2001-06-19|Jack M. Holm|Strategy for pictorial digital image processing|
    US6215898B1|1997-04-15|2001-04-10|Interval Research Corporation|Data processing system and method|
    US6125192A|1997-04-21|2000-09-26|Digital Persona, Inc.|Fingerprint recognition system|
    US6603491B2|2000-05-26|2003-08-05|Jerome H. Lemelson|System and methods for controlling automatic scrolling of information on a display or screen|
    AUPO798697A0|1997-07-15|1997-08-07|Silverbrook Research Pty Ltd|Data processing method and apparatus |
    US6803989B2|1997-07-15|2004-10-12|Silverbrook Research Pty Ltd|Image printing apparatus including a microcontroller|
    US6360021B1|1998-07-30|2002-03-19|The Regents Of The University Of California|Apparatus and methods of image and signal processing|
    US6188777B1|1997-08-01|2001-02-13|Interval Research Corporation|Method and apparatus for personnel detection and tracking|
    US6407777B1|1997-10-09|2002-06-18|Deluca Michael Joseph|Red-eye filter method and apparatus|
    US7738015B2|1997-10-09|2010-06-15|Fotonation Vision Limited|Red-eye filter method and apparatus|
    US6128397A|1997-11-21|2000-10-03|Justsystem Pittsburgh Research Center|Method for finding all frontal faces in arbitrarily complex visual scenes|
    US6148092A|1998-01-08|2000-11-14|Sharp Laboratories Of America, Inc|System for detecting skin-tone regions within an image|
    US6268939B1|1998-01-08|2001-07-31|Xerox Corporation|Method and apparatus for correcting luminance and chrominance data in digital color images|
    GB2333590A|1998-01-23|1999-07-28|Sharp Kk|Detecting a face-like region|
    US6556708B1|1998-02-06|2003-04-29|Compaq Computer Corporation|Technique for classifying objects within an image|
    US6400830B1|1998-02-06|2002-06-04|Compaq Computer Corporation|Technique for tracking objects through a series of images|
    US6192149B1|1998-04-08|2001-02-20|Xerox Corporation|Method and apparatus for automatic detection of image target gamma|
    US6301370B1|1998-04-13|2001-10-09|Eyematic Interfaces, Inc.|Face recognition from video images|
    US6097470A|1998-05-28|2000-08-01|Eastman Kodak Company|Digital photofinishing system including scene balance, contrast normalization, and image sharpening digital image processing|
    AUPP400998A0|1998-06-10|1998-07-02|Canon Kabushiki Kaisha|Face detection in digital images|
    US6404900B1|1998-06-22|2002-06-11|Sharp Laboratories Of America, Inc.|Method for robust human face tracking in presence of multiple persons|
    DE19837004C1|1998-08-14|2000-03-09|Christian Eckes|Verfahren zum Erkennen von Objekten in digitalisierten Abbildungen|
    GB2341231A|1998-09-05|2000-03-08|Sharp Kk|Face detection in an image|
    US6456732B1|1998-09-11|2002-09-24|Hewlett-Packard Company|Automatic rotation, cropping and scaling of images for printing|
    US6606398B2|1998-09-30|2003-08-12|Intel Corporation|Automatic cataloging of people in digital photographs|
    JP3291259B2|1998-11-11|2002-06-10|キヤノン株式会社|画像処理方法および記録媒体|
    CA2356252A1|1998-12-02|2000-06-08|The Victoria University Of Manchester|Face sub-space determination|
    US6263113B1|1998-12-11|2001-07-17|Philips Electronics North America Corp.|Method for detecting a face in a digital image|
    US6473199B1|1998-12-18|2002-10-29|Eastman Kodak Company|Correcting exposure and tone scale of digital images captured by an image capture device|
    US6396599B1|1998-12-21|2002-05-28|Eastman Kodak Company|Method and apparatus for modifying a portion of an image in accordance with colorimetric parameters|
    US6438264B1|1998-12-31|2002-08-20|Eastman Kodak Company|Method for compensating image color when adjusting the contrast of a digital color image|
    US6282317B1|1998-12-31|2001-08-28|Eastman Kodak Company|Method for automatic determination of main subjects in photographic images|
    US6421468B1|1999-01-06|2002-07-16|Seiko Epson Corporation|Method and apparatus for sharpening an image by scaling elements of a frequency-domain representation|
    US7038715B1|1999-01-19|2006-05-02|Texas Instruments Incorporated|Digital still camera with high-quality portrait mode|
    US6393148B1|1999-05-13|2002-05-21|Hewlett-Packard Company|Contrast enhancement of an image using luminance and RGB statistical metrics|
    US6993157B1|1999-05-18|2006-01-31|Sanyo Electric Co., Ltd.|Dynamic image processing method and device and medium|
    JP3695990B2|1999-05-25|2005-09-14|三菱電機株式会社|顔画像処理装置|
    US7248300B1|1999-06-03|2007-07-24|Fujifilm Corporation|Camera and method of photographing good image|
    JP2000347277A|1999-06-03|2000-12-15|Fuji Photo Film Co Ltd|カメラ及び撮影方法|
    US6879705B1|1999-07-14|2005-04-12|Sarnoff Corporation|Method and apparatus for tracking multiple objects in a video sequence|
    US6501857B1|1999-07-20|2002-12-31|Craig Gotsman|Method and system for detecting and classifying objects in an image|
    JP2001067459A|1999-08-26|2001-03-16|Toshiba Corp|顔画像処理方法および顔画像処理装置|
    US6526161B1|1999-08-30|2003-02-25|Koninklijke Philips Electronics N.V.|System and method for biometrics-based facial feature extraction|
    JP4378804B2|1999-09-10|2009-12-09|ソニー株式会社|撮像装置|
    US6504951B1|1999-11-29|2003-01-07|Eastman Kodak Company|Method for detecting sky in images|
    US6754389B1|1999-12-01|2004-06-22|Koninklijke Philips Electronics N.V.|Program classification using object tracking|
    EP1107166A3|1999-12-01|2008-08-06|Matsushita Electric Industrial Co., Ltd.|Device and method for face image extraction, and recording medium having recorded program for the method|
    US6516147B2|1999-12-20|2003-02-04|Polaroid Corporation|Scene recognition method and system using brightness and ranging mapping|
    US6940545B1|2000-02-28|2005-09-06|Eastman Kodak Company|Face detecting camera and method|
    US6807290B2|2000-03-09|2004-10-19|Microsoft Corporation|Rapid computer modeling of faces for animation|
    US6301440B1|2000-04-13|2001-10-09|International Business Machines Corp.|System and method for automatically setting image acquisition controls|
    JP3955170B2|2000-07-03|2007-08-08|富士フイルム株式会社|画像検索システム|
    EP1211640A3|2000-09-15|2003-10-15|Canon Kabushiki Kaisha|Image processing methods and apparatus for detecting human eyes, human face and other objects in an image|
    JP4374759B2|2000-10-13|2009-12-02|オムロン株式会社|Image comparison system and image comparison apparatus|
    US7038709B1|2000-11-01|2006-05-02|Gilbert Verghese|System and method for tracking a subject|
    JP4590717B2|2000-11-17|2010-12-01|ソニー株式会社|顔識別装置及び顔識別方法|
    US7099510B2|2000-11-29|2006-08-29|Hewlett-Packard Development Company, L.P.|Method and system for object detection in digital images|
    US6654507B2|2000-12-14|2003-11-25|Eastman Kodak Company|Automatically producing an image of a portion of a photographic image|
    US6697504B2|2000-12-15|2004-02-24|Institute For Information Industry|Method of multi-level facial image recognition and system using the same|
    GB2370438A|2000-12-22|2002-06-26|Hewlett Packard Co|Automated image cropping using selected compositional rules.|
    JP2002199202A|2000-12-26|2002-07-12|Seiko Epson Corp|画像処理装置|
    US6760465B2|2001-03-30|2004-07-06|Intel Corporation|Mechanism for tracking colored objects in a video sequence|
    JP2002305713A|2001-04-03|2002-10-18|Canon Inc|画像処理装置及びその方法、記憶媒体|
    JP2002334338A|2001-05-09|2002-11-22|National Institute Of Advanced Industrial & Technology|物体追跡装置及び物体追跡方法並びに記録媒体|
    US20020172419A1|2001-05-15|2002-11-21|Qian Lin|Image enhancement using face detection|
    TW505892B|2001-05-25|2002-10-11|Ind Tech Res Inst|System and method for promptly tracking multiple faces|
    AUPR541801A0|2001-06-01|2001-06-28|Canon Kabushiki Kaisha|Face detection in colour images with complex background|
    GB0116877D0|2001-07-10|2001-09-05|Hewlett Packard Co|Intelligent feature selection and pan zoom control|
    US6516154B1|2001-07-17|2003-02-04|Eastman Kodak Company|Image revising camera and method|
    US7327891B2|2001-07-17|2008-02-05|Yesvideo, Inc.|Automatic selection of a visual image or images from a collection of visual images, based on an evaluation of the quality of the visual images|
    US7027619B2|2001-09-13|2006-04-11|Honeywell International Inc.|Near-infrared method and system for use in face detection|
    US7262798B2|2001-09-17|2007-08-28|Hewlett-Packard Development Company, L.P.|System and method for simulating fill flash in photography|
    US7298412B2|2001-09-18|2007-11-20|Ricoh Company, Limited|Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program|
    KR100421221B1|2001-11-05|2004-03-02|삼성전자주식회사|조명에 강인한 객체 추적 방법 및 이를 응용한 영상 편집장치|
    US7162101B2|2001-11-15|2007-01-09|Canon Kabushiki Kaisha|Image processing apparatus and method|
    US7130446B2|2001-12-03|2006-10-31|Microsoft Corporation|Automatic detection and tracking of multiple individuals using multiple cues|
    US7050607B2|2001-12-08|2006-05-23|Microsoft Corp.|System and method for multi-view face detection|
    JP3903783B2|2001-12-14|2007-04-11|日本電気株式会社|顔メタデータ生成方法および装置、並びに顔類似度算出方法および装置|
    US7035467B2|2002-01-09|2006-04-25|Eastman Kodak Company|Method and system for processing images for themed imaging services|
    AU2003219926A1|2002-02-26|2003-09-09|Canesta, Inc.|Method and apparatus for recognizing objects|
    US7084918B2|2002-02-28|2006-08-01|Hewlett-Packard Development Company, L.P.|White eye portraiture system and method|
    US7254257B2|2002-03-04|2007-08-07|Samsung Electronics Co., Ltd.|Method and apparatus of recognizing face using component-based 2nd-order principal component analysis /independent component analysis |
    US20030190090A1|2002-04-09|2003-10-09|Beeman Edward S.|System and method for digital-image enhancement|
    US7174033B2|2002-05-22|2007-02-06|A4Vision|Methods and systems for detecting and recognizing an object based on 3D image data|
    US20040001616A1|2002-06-27|2004-01-01|Srinivas Gutta|Measurement of content ratings through vision and speech recognition|
    US7227976B1|2002-07-08|2007-06-05|Videomining Corporation|Method and system for real-time facial image enhancement|
    US7020337B2|2002-07-22|2006-03-28|Mitsubishi Electric Research Laboratories, Inc.|System and method for detecting objects in images|
    US7110575B2|2002-08-02|2006-09-19|Eastman Kodak Company|Method for locating faces in digital color images|
    KR100459438B1|2002-10-02|2004-12-03|엘지전자 주식회사|카메라의 정지영상 캡처 방법|
    US7702489B2|2002-11-01|2010-04-20|Microsoft Corporation|Method and apparatus for fast machine learning using probability maps and fourier transforms|
    US7233684B2|2002-11-25|2007-06-19|Eastman Kodak Company|Imaging method and system using affective information|
    JP2006510109A|2002-12-13|2006-03-23|コーニンクレッカフィリップスエレクトロニクスエヌヴィＫｏｎｉｎｋｌｉｊｋｅＰｈｉｌｉｐｓＥｌｅｃｔｒｏｎｉｃｓＮ．Ｖ．|表情不変顔認識方法及び装置|
    US7120279B2|2003-01-30|2006-10-10|Eastman Kodak Company|Method for face orientation determination in digital color images|
    JP3984175B2|2003-01-31|2007-10-03|富士フイルム株式会社|写真画像選別装置およびプログラム|
    US7162076B2|2003-02-11|2007-01-09|New Jersey Institute Of Technology|Face detection method and apparatus|
    US7379560B2|2003-03-05|2008-05-27|Intel Corporation|Method and apparatus for monitoring human attention in dynamic power management|
    JP2004294498A|2003-03-25|2004-10-21|Fuji Photo Film Co Ltd|自動撮影システム|
    US20040223629A1|2003-05-06|2004-11-11|Viswis, Inc.|Facial surveillance system and method|
    US20040223649A1|2003-05-07|2004-11-11|Eastman Kodak Company|Composite imaging method and system|
    US7483569B2|2003-05-29|2009-01-27|Carnegie Mellon University|Reduced complexity correlation filters|
    WO2005113099A2|2003-05-30|2005-12-01|America Online, Inc.|Personalizing content|
    JP4333223B2|2003-06-11|2009-09-16|株式会社ニコン|自動撮影装置|
    US7317815B2|2003-06-26|2008-01-08|Fotonation Vision Limited|Digital image processing composition using face detection information|
    US7190829B2|2003-06-30|2007-03-13|Microsoft Corporation|Speedup of face detection in digital images|
    US7274822B2|2003-06-30|2007-09-25|Microsoft Corporation|Face annotation for photo management|
    US7689033B2|2003-07-16|2010-03-30|Microsoft Corporation|Robust multi-view face detection methods and apparatuses|
    JP2005044330A|2003-07-24|2005-02-17|Sony Corp|Weak hypothesis generation apparatus and method, learning apparatus and method, detection apparatus and method, facial expression learning apparatus and method, facial expression recognition apparatus and method, and robot apparatus|
    JP2005078376A|2003-08-29|2005-03-24|Sony Corp|対象物検出装置、対象物方法、及びロボット装置|
    US7424170B2|2003-09-30|2008-09-09|Fotonation Vision Limited|Automated statistical self-calibrating detection and removal of blemishes in digital images based on determining probabilities based on image analysis of single images|
    US7738731B2|2003-11-11|2010-06-15|Seiko Epson Corporation|Image processing device, image processing method, program thereof, and recording medium|
    US7274832B2|2003-11-13|2007-09-25|Eastman Kodak Company|In-plane rotation invariant object detection in digitized images|
    US7924323B2|2003-12-24|2011-04-12|Walker Digital, Llc|Method and apparatus for automatically capturing and managing images|
    US7551755B1|2004-01-22|2009-06-23|Fotonation Vision Limited|Classification and organization of consumer digital images using workflow, and face detection and recognition|
    CN1926573A|2004-01-30|2007-03-07|思代软件公司|用于将主动表观模型应用于图像分析的系统和方法|
    US7916173B2|2004-06-22|2011-03-29|Canon Kabushiki Kaisha|Method for detecting and selecting good quality image frames from video|
    EP2602742A1|2004-07-30|2013-06-12|Euclid Discoveries, LLC|Apparatus and method for processing video data|
    US7119838B2|2004-08-19|2006-10-10|Blue Marlin Llc|Method and imager for detecting the location of objects|
    US7715597B2|2004-12-29|2010-05-11|Fotonation Ireland Limited|Method and component for image recognition|
    US7454058B2|2005-02-07|2008-11-18|Mitsubishi Electric Research Lab, Inc.|Method of extracting and searching integral histograms of data samples|
    US7620208B2|2005-02-09|2009-11-17|Siemens Corporate Research, Inc.|System and method for detecting features from images of vehicles|
    JP2006254229A|2005-03-11|2006-09-21|Fuji Photo Film Co Ltd|撮像装置、撮像方法及び撮像プログラム|
    DE602006009191D1|2005-07-26|2009-10-29|Canon Kk|Bildaufnahmegerät und -verfahren|
    US7555149B2|2005-10-25|2009-06-30|Mitsubishi Electric Research Laboratories, Inc.|Method and system for segmenting videos using face detection|
    US20070098303A1|2005-10-31|2007-05-03|Eastman Kodak Company|Determining a particular person from a collection|
    US8488847B2|2005-11-25|2013-07-16|Nikon Corporation|Electronic camera and image processing device|
    US7643659B2|2005-12-31|2010-01-05|Arcsoft, Inc.|Facial feature detection on mobile devices|
    US7953253B2|2005-12-31|2011-05-31|Arcsoft, Inc.|Face detection on mobile devices|
    US7804983B2|2006-02-24|2010-09-28|Fotonation Vision Limited|Digital image acquisition control and correction method and apparatus|
    JP4767718B2|2006-02-24|2011-09-07|富士フイルム株式会社|画像処理方法および装置ならびにプログラム|
    JP4839908B2|2006-03-20|2011-12-21|カシオ計算機株式会社|撮像装置、自動焦点調整方法、およびプログラム|
    US7787664B2|2006-03-29|2010-08-31|Eastman Kodak Company|Recomposing photographs from multiple frames|
    JP2007306418A|2006-05-12|2007-11-22|Fujifilm Corp|撮像装置および撮像制御方法|
    JP4577275B2|2006-06-07|2010-11-10|カシオ計算機株式会社|撮像装置、画像記録方法、および、プログラム|
    US7715598B2|2006-07-25|2010-05-11|Arsoft, Inc.|Method for detecting facial expressions of a portrait photo by an image capturing electronic device|
    JP4197019B2|2006-08-02|2008-12-17|ソニー株式会社|Imaging apparatus and facial expression evaluation apparatus|
    US7315631B1|2006-08-11|2008-01-01|Fotonation Vision Limited|Real-time face tracking in a digital image acquisition device|
    US20110102553A1|2007-02-28|2011-05-05|Tessera Technologies Ireland Limited|Enhanced real-time face models from stereo imaging|
    US7916971B2|2007-05-24|2011-03-29|Tessera Technologies Ireland Limited|Image processing method and apparatus|
    US8155399B2|2007-06-12|2012-04-10|Utc Fire & Security Corporation|Generic face alignment via boosting|
    JP4966816B2|2007-10-25|2012-07-04|株式会社日立製作所|視線方向計測方法および視線方向計測装置|
    US8750578B2|2008-01-29|2014-06-10|DigitalOptics Corporation Europe Limited|Detecting facial expressions in digital images|
    US8266536B2|2008-11-20|2012-09-11|Palo Alto Research Center Incorporated|Physical-virtual environment interface|
    JP5260360B2|2009-03-06|2013-08-14|株式会社ユーシン|電動ステアリングロック装置|
    EP2236074A1|2009-04-01|2010-10-06|Tobii Technology AB|Visual display with illuminators for gaze tracking|
    US8836777B2|2011-02-25|2014-09-16|DigitalOptics Corporation Europe Limited|Automatic detection of vertical gaze using an embedded imaging device|US7606417B2|2004-08-16|2009-10-20|Fotonation Vision Limited|Foreground/background segmentation in digital images with differential exposure calculations|
    US7639889B2|2004-11-10|2009-12-29|Fotonation Ireland Ltd.|Method of notifying users regarding motion artifacts based on image analysis|
    US7639888B2|2004-11-10|2009-12-29|Fotonation Ireland Ltd.|Method and apparatus for initiating subsequent exposures based on determination of motion blurring artifacts|
    US7636486B2|2004-11-10|2009-12-22|Fotonation Ireland Ltd.|Method of determining PSF using multiple instances of a nominally similar scene|
    US7715597B2|2004-12-29|2010-05-11|Fotonation Ireland Limited|Method and component for image recognition|
    IES20070229A2|2006-06-05|2007-10-03|Fotonation Vision Ltd|Image acquisition method and apparatus|
    US20110102553A1|2007-02-28|2011-05-05|Tessera Technologies Ireland Limited|Enhanced real-time face models from stereo imaging|
    AT472140T|2007-02-28|2010-07-15|Fotonation Vision Ltd|Trennung der direktionalen beleuchtungsvariabilität in der statistischen gesichtsmodellierung auf basis von texturraumzerlegungen|
    US8503800B2|2007-03-05|2013-08-06|DigitalOptics Corporation Europe Limited|Illumination detection using classifier chains|
    US8264576B2|2007-03-05|2012-09-11|DigitalOptics Corporation Europe Limited|RGBW sensor array|
    US8199222B2|2007-03-05|2012-06-12|DigitalOptics Corporation Europe Limited|Low-light video frame enhancement|
    US8989516B2|2007-09-18|2015-03-24|Fotonation Limited|Image processing method and apparatus|
    US7773118B2|2007-03-25|2010-08-10|Fotonation Vision Limited|Handheld article with movement discrimination|
    JP4453721B2|2007-06-13|2010-04-21|ソニー株式会社|画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム|
    JP4356778B2|2007-06-25|2009-11-04|ソニー株式会社|画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム|
    US7940962B2|2007-08-03|2011-05-10|Delphi Technologies, Inc.|System and method of awareness detection|
    US8180173B2|2007-09-21|2012-05-15|DigitalOptics Corporation Europe Limited|Flash artifact eye defect correction in blurred images using anisotropic blurring|
    US9936143B2|2007-10-31|2018-04-03|Google Technology Holdings LLC|Imager module with electronic shutter|
    US8750578B2|2008-01-29|2014-06-10|DigitalOptics Corporation Europe Limited|Detecting facial expressions in digital images|
    JP4919297B2|2008-03-13|2012-04-18|富士フイルム株式会社|画像評価装置および方法並びにプログラム|
    WO2010063463A2|2008-12-05|2010-06-10|Fotonation Ireland Limited|Face recognition using face tracker classifier data|
    JP4659088B2|2008-12-22|2011-03-30|京セラ株式会社|Mobile device with camera|
    JP5456159B2|2009-05-29|2014-03-26|デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッドＤｉｇｉｔａｌｏｐｔｉｃｓＣｏｒｐｏｒａｔｉｏｎＥｕｒｏｐｅＬｉｍｉｔｅｄ|Method and apparatus for separating the top of the foreground from the background|
    WO2011040864A1|2009-10-01|2011-04-07|Scalado Ab|Method relating to digital images|
    US10080006B2|2009-12-11|2018-09-18|Fotonation Limited|Stereoscopicpanorama creation on handheld device|
    US8294748B2|2009-12-11|2012-10-23|DigitalOptics Corporation Europe Limited|Panorama imaging using a blending map|
    WO2011069698A1|2009-12-11|2011-06-16|Tessera Technologies Ireland Limited|Panorama imaging|
    US20110141225A1|2009-12-11|2011-06-16|Fotonation Ireland Limited|Panorama Imaging Based on Low-Res Images|
    US20110141224A1|2009-12-11|2011-06-16|Fotonation Ireland Limited|Panorama Imaging Using Lo-Res Images|
    US20110141229A1|2009-12-11|2011-06-16|Fotonation Ireland Limited|Panorama imaging using super-resolution|
    US20110141226A1|2009-12-11|2011-06-16|Fotonation Ireland Limited|Panorama imaging based on a lo-res map|
    SE534551C2|2010-02-15|2011-10-04|Scalado Ab|Digital image manipulation including identification of a target area in a target image and seamless replacement of image information from a source image|
    US8872887B2|2010-03-05|2014-10-28|Fotonation Limited|Object detection and rendering for wide field of viewimage acquisition systems|
    TWI447658B|2010-03-24|2014-08-01|Ind Tech Res Inst|人臉影像擷取方法與裝置|
    WO2011151806A1|2010-06-04|2011-12-08|Tecnimed S.R.L.|Method and device for measuring the internal body temperature of a patient|
    US8723912B2|2010-07-06|2014-05-13|DigitalOptics Corporation Europe Limited|Scene background blurring including face modeling|
    US9053681B2|2010-07-07|2015-06-09|Fotonation Limited|Real-time video frame pre-processing hardware|
    US8971628B2|2010-07-26|2015-03-03|Fotonation Limited|Face detection using division-generated haar-like features for illumination invariance|
    JP2012068948A|2010-09-24|2012-04-05|Renesas Electronics Corp|顔属性推定装置およびその方法|
    US8970770B2|2010-09-28|2015-03-03|Fotonation Limited|Continuous autofocus based on face detection and tracking|
    US8730332B2|2010-09-29|2014-05-20|Digitaloptics Corporation|Systems and methods for ergonomic measurement|
    US8995715B2|2010-10-26|2015-03-31|Fotonation Limited|Face or other object detection including template matching|
    US9282238B2|2010-10-29|2016-03-08|Hewlett-Packard Development Company, L.P.|Camera system for determining pose quality and providing feedback to a user|
    US8659697B2|2010-11-11|2014-02-25|DigitalOptics Corporation Europe Limited|Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing|
    US8648959B2|2010-11-11|2014-02-11|DigitalOptics Corporation Europe Limited|Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing|
    US8308379B2|2010-12-01|2012-11-13|Digitaloptics Corporation|Three-pole tilt control system for camera module|
    US8610788B2|2011-02-08|2013-12-17|International Business Machines Corporation|Content storage management in cameras|
    JP2012169777A|2011-02-10|2012-09-06|Sony Corp|情報処理装置、情報処理方法、およびプログラム|
    US8836777B2|2011-02-25|2014-09-16|DigitalOptics Corporation Europe Limited|Automatic detection of vertical gaze using an embedded imaging device|
    US8947501B2|2011-03-31|2015-02-03|Fotonation Limited|Scene enhancements in off-center peripheral regions for nonlinear lens geometries|
    US8723959B2|2011-03-31|2014-05-13|DigitalOptics Corporation Europe Limited|Face and other object tracking in off-center peripheral regions for nonlinear lens geometries|
    US8896703B2|2011-03-31|2014-11-25|Fotonation Limited|Superresolution enhancment of peripheral regions in nonlinear lens geometries|
    US8913005B2|2011-04-08|2014-12-16|Fotonation Limited|Methods and systems for ergonomic feedback using an image analysis module|
    US9762794B2|2011-05-17|2017-09-12|Apple Inc.|Positional sensor-assisted perspective correction for panoramic photography|
    US9088714B2|2011-05-17|2015-07-21|Apple Inc.|Intelligent image blending for panoramic photography|
    SE1150505A1|2011-05-31|2012-12-01|Mobile Imaging In Sweden Ab|Method and apparatus for taking pictures|
    US9247133B2|2011-06-01|2016-01-26|Apple Inc.|Image registration using sliding registration windows|
    WO2013012370A1|2011-07-15|2013-01-24|Scalado Ab|Method of providing an adjusted digital image representation of a view, and an apparatus|
    US10089327B2|2011-08-18|2018-10-02|Qualcomm Incorporated|Smart camera for sharing pictures automatically|
    US20130201344A1|2011-08-18|2013-08-08|Qualcomm Incorporated|Smart camera for taking pictures automatically|
    KR101198322B1|2011-09-23|2012-11-06| 어펙트로닉스|얼굴 표정 인식 방법 및 시스템|
    US9294667B2|2012-03-10|2016-03-22|Digitaloptics Corporation|MEMS auto focus miniature camera module with fixed and movable lens groups|
    WO2013136053A1|2012-03-10|2013-09-19|Digitaloptics Corporation|Miniature camera module with mems-actuated autofocus|
    JP6003124B2|2012-03-15|2016-10-05|オムロン株式会社|認証装置、認証装置の制御方法、制御プログラム、および記録媒体|
    US8965046B2|2012-03-16|2015-02-24|Qualcomm Technologies, Inc.|Method, apparatus, and manufacture for smiling face detection|
    US9392322B2|2012-05-10|2016-07-12|Google Technology Holdings LLC|Method of visually synchronizing differing camera feeds with common subject|
    US10306140B2|2012-06-06|2019-05-28|Apple Inc.|Motion adaptive image slice selection|
    US9098922B2|2012-06-06|2015-08-04|Apple Inc.|Adaptive image blending operations|
    CN104798364B|2012-06-07|2018-08-17|数位光学欧洲有限公司|Mems快速对焦照相机模块|
    US9007520B2|2012-08-10|2015-04-14|Nanchang O-Film Optoelectronics Technology Ltd|Camera module with EMI shield|
    US9001268B2|2012-08-10|2015-04-07|Nan Chang O-Film Optoelectronics Technology Ltd|Auto-focus camera module with flexible printed circuit extension|
    US9242602B2|2012-08-27|2016-01-26|Fotonation Limited|Rearview imaging systems for vehicle|
    US9247225B2|2012-09-25|2016-01-26|Intel Corporation|Video indexing with viewer reaction estimation and visual cue detection|
    CN102999164B|2012-11-30|2016-08-03|广东欧珀移动通信有限公司|一种电子书翻页控制方法及智能终端|
    US8988586B2|2012-12-31|2015-03-24|Digitaloptics Corporation|Auto-focus camera module with MEMS closed loop compensator|
    KR20140094878A|2013-01-23|2014-07-31|삼성전자주식회사|사용자 단말 및 사용자 단말에서 사용자 인식을 이용한 영상 처리 방법|
    WO2014127065A2|2013-02-12|2014-08-21|Emotient|Facial expression measurement for assessment, monitoring, and treatment evaluation of affective and neurological disorders|
    WO2014127333A1|2013-02-15|2014-08-21|Emotient|Facial expression training using feedback from automatic facial expression recognition|
    US9832378B2|2013-06-06|2017-11-28|Apple Inc.|Exposure mapping and dynamic thresholding for blending of multiple images using floating exposure|
    EP2824913A1|2013-07-09|2015-01-14|Alcatel Lucent|A method for generating an immersive video of a plurality of persons|
    US9892413B2|2013-09-05|2018-02-13|International Business Machines Corporation|Multi factor authentication rule-based intelligent bank cards|
    CN104850818B|2014-02-17|2018-05-18|华为技术有限公司|人脸检测器训练方法、人脸检测方法及装置|
    US9357127B2|2014-03-18|2016-05-31|Google Technology Holdings LLC|System for auto-HDR capture decision making|
    US9813611B2|2014-05-21|2017-11-07|Google Technology Holdings LLC|Enhanced image capture|
    US9774779B2|2014-05-21|2017-09-26|Google Technology Holdings LLC|Enhanced image capture|
    US9729784B2|2014-05-21|2017-08-08|Google Technology Holdings LLC|Enhanced image capture|
    US10250799B2|2014-05-21|2019-04-02|Google Technology Holdings LLC|Enhanced image capture|
    US9413947B2|2014-07-31|2016-08-09|Google Technology Holdings LLC|Capturing images of active subjects according to activity profiles|
    US10602054B2|2014-09-12|2020-03-24|Microsoft Technology Licensing, Llc|Video capture with privacy safeguard|
    US9654700B2|2014-09-16|2017-05-16|Google Technology Holdings LLC|Computational camera using fusion of image sensors|
    CN104899598B|2015-05-14|2019-10-01|中国农业大学|基于二维傅里叶变换的教室人数统计方法及装置|
    CN107851324A|2015-07-28|2018-03-27|索尼公司|信息处理系统、信息处理方法和记录介质|
    US9830727B2|2015-07-30|2017-11-28|Google Inc.|Personalizing image capture|
    US10257414B2|2016-07-15|2019-04-09|Qualcomm Incorporated|Method and system for smart group portrait|
    US10657189B2|2016-08-18|2020-05-19|International Business Machines Corporation|Joint embedding of corpus pairs for domain mapping|
    US10642919B2|2016-08-18|2020-05-05|International Business Machines Corporation|Joint embedding of corpus pairs for domain mapping|
    US10579940B2|2016-08-18|2020-03-03|International Business Machines Corporation|Joint embedding of corpus pairs for domain mapping|
    CN106951856A|2017-03-16|2017-07-14|腾讯科技（深圳）有限公司|表情包提取方法及装置|
    CN110268702A|2017-04-13|2019-09-20|华为技术有限公司|自拍的方法、装置和终端设备|
    US10318794B2|2017-04-28|2019-06-11|Microsoft Technology Licensing, Llc|Intelligent auto cropping of digital images|
    CN107358163A|2017-06-14|2017-11-17|广东数相智能科技有限公司|基于人脸识别的游客线路跟踪统计方法、电子设备及存储介质|
    CN107360366B|2017-06-30|2020-05-12|Oppo广东移动通信有限公司|拍照方法、装置、存储介质及电子设备|
    US10489690B2|2017-10-24|2019-11-26|International Business Machines Corporation|Emotion classification based on expression variations associated with same or similar emotions|
    TWI666941B|2018-03-27|2019-07-21|緯創資通股份有限公司|多層次狀態偵測系統與方法|
    CN110895685A|2019-11-25|2020-03-20|创新奇智科技有限公司|基于深度学习的微笑服务质量评价系统及评价方法|
    法律状态:
    2012-01-06| A621| Written request for application examination|Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120105 |
    2012-12-07| A977| Report on retrieval|Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121207 |
    2012-12-19| A131| Notification of reasons for refusal|Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121218 |
    2013-03-15| A521| Written amendment|Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130314 |
    2013-05-15| A02| Decision of refusal|Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130514 |
    2013-09-14| A521| Written amendment|Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130913 |
    2013-10-29| A521| Written amendment|Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131028 |
    2013-11-15| A521| Written amendment|Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20131028 |
    2013-11-20| A911| Transfer to examiner for re-examination before appeal (zenchi)|Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20131119 |
    2013-12-16| A912| Re-examination (zenchi) completed and case transferred to appeal board|Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20131213 |
    2014-09-17| A521| Written amendment|Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140916 |
    2014-10-30| A61| First payment of annual fees (during grant procedure)|Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141024 |
    2014-10-31| R150| Certificate of patent or registration of utility model|Ref document number: 5639478 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
    2017-10-17| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
    2018-10-16| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
    2019-10-29| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
    2020-10-22| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
    2021-11-02| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
    优先权:
    申请号 | 申请日 | 专利标题
    [返回顶部]