個人的写真集合からの社会的関係の割出し

专利摘要:
複数のイベント群において撮影された写真の集合から人物間の関係を分類する方法は、写真集合を検索してその写真集合の中の人物を特定するステップと、特定された人物の性別と年齢層を判断するステップと、特定された人物と、それらの生起と共起、それらの性別およびそれらの年齢を使って、１つのルール群に基づいてその人物の間の社会的関係を推定するステップを含む。
公开号:JP2011514575A
申请号:JP2010544320
申请日:2009-01-21
公开日:2011-05-06
发明作者:ヘンリー カウツ；アンドリュー；チャールズ ギャラガー；パラグ シングラ；ジエボ ルオ
申请人:イーストマン コダック カンパニー；
IPC主号:G06F17-30

专利说明:

[0001] 本発明は、人工知能と機械学習、特に個人的写真集合から社会的関係を割り出すことに関する。]
背景技術

[0002] 一般的個人による収集写真（写真集合）はどこにでもある。このような写真集合から意味論的に重要な情報を抽出することは、機械学習とコンピュータビジョンの分野において、盛んに研究が進められている領域である。物体認識、すなわち顔、車、草、水、空その他、特定の種類の物体の検出に関する問題に焦点を当てた研究結果が数多く報告されている。そのほとんどは、画像の中から得られる低レベルの視覚的特徴（色、テクスチャ、線等）の利用に頼るものである。近年では、シーン検出や行動識別といった、意味論的により複雑な情報の抽出に対する関心がますます高まっている。たとえば、写真を、屋外で撮影されたか屋内で撮影されたかに基づいてまとめたり、あるいは仕事の写真とレジャーの写真を分類したりしたい場合があるかもしれない。このような問題を解決するには、基本的に、その画像に写っている人物、その画像におけるある種類の物体の有無等、そこから導き出される特徴を使用することが必要となる。一般に、このような場合には集合的推定の力を利用する。たとえば、ある１枚の写真について、それが仕事かレジャーかを区別するのは難しいかもしれないが、場所や時間が似通った他の複数の写真を見れば、その予測は容易になるかもしれない。このような研究は、人がデジタル写真集合を認識する方法を変革すること、すなわち、多数の画素値の集まりから、問い合わせにより情報を取り出し、あるいは使用者にとって意味のある方法で自動的に整理できる、非常に複雑で有意義な物体へと見方を変えることを目指している。]
先行技術

[0003] リチャードソン（Ｒｉｃｈａｒｄｓｏｎ）およびドミンゴス（Ｄｏｍｉｎｇｏｓ），「マルコフ論理ネットワーク（Ｍａｒｋｏｖ ｌｏｇｉｃ ｎｅｔｗｏｒｋｓ）」，機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ），６２巻，ｐ．１０７−１３６，２００６年]
発明が解決しようとする課題

[0004] 意味論的理解をさらに一歩進めると、人間は、十分な枚数の写真を見ることによって、同じ写真の中に写っている人物の間の関係、つまり、それらの人物は家族か、友人か、ただの知り合いか、あるいは偶然同じ時間に同じ場所に居合わせた他人かを推定することができる。言い換えれば、一般的個人の写真は、通常は他人と一緒にではなく、友人や家族と撮影されることが多い。このような関係を検出または予測することは、知的カメラならびに知的画像管理システムの構築に向けた重要なステップとなりうる。]
課題を解決するための手段

[0005] 本発明の１つの態様によれば、複数のイベント群において撮影された写真集合から人物の関係を分類する方法が提供され、この方法は、
ａ．写真集合を検索して、その写真集合の中の人物を特定し、特定された人物の性別と年齢層を判断するステップと、
ｂ．特定された人物、それらの生起と共起、それらの性別、それらの年齢を使って、人物間の社会的関係を１つのルール群に基づいて推定するステップと、
を含む。]
[0006] 本発明の他の態様によれば、ある写真集合の中の人物と、その写真の撮影者との関係を分類する方法が提供され、この方法は、
ａ．写真集合を検索して、その写真集合の中の人物を特定し、特定された人物の性別と年齢層を判断するステップと、
ｂ．特定された人物、それらの生起と共起、それらの性別、それらの年齢を使って、人物と撮影者との間の関係を１つのルール群に基づいて推定するステップと、
を含む。]
[0007] 本発明の特徴と利点には、個人識別情報、年齢、性別情報に関連付けられた個人的な画像の集合を使って、その個人的な画像に写っている人物間の社会的関係の種類を自動的に割り出すことが含まれる。]
図面の簡単な説明

[0008] 本発明を利用するシステムを示す図である。
本発明の一実施例を実施するためのフローチャートである。
社会的関係の種類のオントロジ構造を示す表である。
画像とその画像から推定される社会的関係の例を示す図であり、特に、画像の中の人物間の関係を示す。
画像とその画像から推定される社会的関係の例を示す図であり、特に、画像の中の人物と撮影者との関係を示す。]
実施例

[0009] 本発明は、一般的個人の写真集合の中の社会的関係を自動的に検出する手段である。たとえば、１つの画像の中に２つの顔が写っている場合、人は、これらの人物が単なる友人同士ではなく、夫婦であることが推定できたらいいと考える。いろいろな顔の年齢、性別および本人の特定に関する追加の情報があっても、この作業は非常に難しい。友人と夫婦の関係を区別するには、写真の中にどのような情報がありうるか？しかしながら、関連する１まとまりの写真を集合的に見た場合、この作業はもっと容易になる。特に、（その写真の被写体と撮影者以外の）第三者は、たとえば、ａ）友人であれば一般的にはグループで写っているのに対し、カップルは２人だけで撮影される傾向が強い、ｂ）小さな子供のいるカップルは、写真の中にその子供たちと一緒に写っていることが多い、等の経験則に基づいて、上記の区別を大体言い当てることができる。この方法の長所は、ある写真集合の中でまったく（またはほとんど）一緒に撮影されていない人々の間の関係に関してさえ、意味のある事柄を知りうるという点である。たとえば、Ａ（男性）が多数の写真に１人の子供と一緒に写っており、他の写真にＢ（女性）が同じ子供と写っており、また別の数枚の写真にＡとＢが一緒に写っている場合、ＡとＢは夫婦で、一緒に撮影されている子供の両親であるという可能性が最も高い。さらに、それらの写真の中の人物と撮影者の間の社会的な関係も同様にして推定することができる。]
[0010] 本発明は、意味のある方法で上記のような経験則を捉える。このようなルールを定める際に考慮しなければならない重要な点がいくつかある。
ａ）これらは経験則にすぎず、常に正しいとはかぎらない。
ｂ）多くのルールは同時に適用されることがあり、注意深く組み合わせる必要がある。
ｃ）場合によっては、複数のルールが相互に矛盾するかもしれない。]
[0011] 上記の点を扱うよい方法がマルコフ論理（非特許文献１）であり、これは一階論理のルールを数学的に適正な方法で組み合わせるための枠組みとなる。各ルールは、（論理の中の絶対制約(hard constraint)に対する）考慮制約(soft constraint)としてみることができ、考慮制約の重要性は、それに関わる実数値化された重みによって判断される。重みが大きいほど、そのルールは重要である。言い換えれば、２つの矛盾するルールがある場合、その他の事柄が同じであるとすると、重みの大きいルールをより高い信頼度で信用するべきである。重みは、訓練データから学習できる。さらに、マルコフ論理はまた、対象領域の専門家により提供されるルールに加え、データを使って新しいルールを学習することを可能にし、それによって背景知識が強化される。このように学習されたルール（およびその重み）は、考えられるさまざまな関係の集合的推定に用いられる。後述のように、システムへの入力としてノイズの多い予測変数（年齢と性別に関するもの）を使い、関係、年齢、性別の予測のための集合的モデルを構築することができる。１つの要素を予測することが他の要素の予測に役立ち、またその逆でもある。たとえば、２人の人物が同じ性別であると認識することによって夫婦の関係は排除され、またその逆でもある。１枚の写真について行われた推定の結果は他の写真に持ち越されるため、全体的な精度が高まる。]
[0012] 統計的関係モデルは、一階論理（first order logic）のような関係型言語（relational language）の力とマルコフネットワークのような確率的モデルとを組み合わせたものである。これにより、対象領域の関係（たとえば、本願の例では各種の社会的関係）を明確にモデル化し、また不確実性（たとえば、経験則が常に正しいとは限らないこと）を明確に考慮に入れることができる。最近、この分野で多くの研究が行われている。最も強力なこのようなモデルの１つがマルコフ論理（非特許文献１）である。これは、一階論理の力とマルコフネットワークとを結び付けて、基本の物体（object）の特性（たとえば、本願の対象領域では年齢、性別、顔の特徴等）とそれらの間の関係（たとえば、本願の対象領域では各種の社会的関係）についての分布を定義する。これは、一階論理の中の各論理式に重みの実数値を与えることによって実現され、この重みが（おおまかに）その論理式の重要性を表す。正式には、マルコフ論理ネットワークＬは（Ｆｉ，ｗｉ）のペアとして定義され、Ｆｉは一階論理の論理式、ｗｉは実数である。定数群Ｃを考えた場合、基礎述語（ground predicates）群Ｘのうち特定の構成ｘになる確率は、次のように表される。



ただし、和はＬの中の全論理式に関し、ｗｉはｉ番目の論理式の重み、ｎｉ（ｘ）はｘを割り当てた場合にｉ番目の論理式において真となるグラウンディング（grounding）の数である。Ｚは正規化定数である。さらに詳しくは、非特許文献１を参照されたい。]
[0013] 図１に、本発明の実施に必要な要素、たとえばコンピュータデバイス１２、インデクシングサーバ１４、イメージサーバ１６、通信ネットワーク２０を含むシステム１０が示されている。コンピュータデバイス１２は、画像を保存するためのパーソナルコンピュータであってもよく、この画像には静止画と動画またはビデオ画像の両方が含まれるものとする。コンピュータデバイス１２は、各種のデバイス、たとえばデジタルカメラや携帯電話のカメラ（図示せず）等と通信して、これらのデバイスによって撮影された画像を保存する。撮影された画像にはさらに、撮影デバイスによる（音声注釈やカメラ内でのタグ付けを用いた）画像の中の人物の名前等の個人的特定情報が含まれていてもよい。コンピュータデバイス１２はまた、通信ネットワーク２０を通じてインターネットサービスと通信することもでき、このインターネットサービスは個人特定情報のない状態で撮影された画像を使用し、またユーザや訓練された自動アルゴリズムがその画像に個人特定情報を追加できるようにする。いずれの場合も、個人特定情報を伴う画像は当業界で公知である。] 図１
[0014] インデクシングサーバ１４は、通信ネットワーク２０上で利用できる別のコンピュータ処理デバイスであり、画像のコンテンツを分析して個人特定情報、年齢、性別および社会的関係等の意味情報を抽出するコンピュータ命令としてのアルゴリズムを実行する。本発明は、インデクシングサーバ１４を通じたウェブサービスとしてこの機能をシステム１０に提供する形に限定されない点を理解するものとする。コンピュータデバイス１２は、インデックスのために設けられた画像分析アルゴリズムを実行するように構成することもできる。]
[0015] イメージサーバ１６は、通信ネットワーク２０を通じて他のコンピュータデバイスと通信し、要求に応じて、イメージサーバ１６は人物が写っていない、１人だけ写っている、あるいは大勢写っているかもしれないスナップショットの写真画像を提供する。イメージサーバ１６に保存されている写真画像は、各種のデバイス、たとえばデジタルカメラやカメラ内蔵型携帯電話等によって撮影されたものである。このような画像は、人手または自動で、当初撮影時またはその後のいずれかに得られた個人特定情報をすでに含んでいてもよい。]
[0016] 図２に、本発明を実施するのに必要なステップのシーケンスを示す工程図が示されている。ステップ２２で、個人的な画像集合が取得され、この中にはおそらく社会的に関係のある複数の人物が写っている。個人特定情報がメタデータの形態で画像に関連付けられていることが好ましいが、単に、その画像に関連付けて供給されるだけでもよく、これも本発明の範囲から逸脱しない。画像は、コンピュータデバイス１２によってその内部記憶手段から、またはローカルネットワーク記憶デバイスやオンライン画像記憶サイト等のコンピュータデバイス１２がアクセス可能ないずれの記憶デバイスまたはシステムからも供給され得る。個人特定情報が入手できない場合、ステップ２４では、ステップ２２で提供された画像集合を用いて、コンピュータデバイス１２が個人特定情報をインデクシングサーバ１４に供給し、自動顔検出や顔認識または人手による注釈付けを通じて、画像の各々に関連付けられる個人特定情報を取得する。] 図２
[0017] ステップ２６で、コンピュータデバイス１２は、取得したステップ２４の写真画像を使い、各画像の中の人物の生起、その人物の年齢、性別を含めた証拠を、分類器（classifier）を使って次のように抽出する。顔年齢の分類器はこの分野でよく知られており、たとえば、Ａ．ラニティス（Ｌａｎｉｔｉｓ）、Ｃ．テイラ（Ｔａｙｌｏｒ）、Ｔ．クーツ（Ｃｏｏｔｅｓ）の“Ｔｏｗａｒｄ ａｕｔｏｍａｔｉｃ ｓｉｍｕｌａｔｉｏｎ ｏｆ ａｇｉｎｇ ｅｆｆｅｃｔｓ ｏｎ ｆａｃｅ ｉｍａｇｅｓ”，ＰＡＭＩ，２００２、Ｘ．ゲン（Ｇｅｎｇ）、Ｚ．Ｈ．ジョウ（Ｚｈｏｕ）、Ｙ．ジャン（Ｚｈａｎｇ）、Ｇ．リー（Ｌｉ）、Ｈ．ダイ（Ｄａｉ）の“Ｌｅａｎｉｎｇ ｆｒｏｍ ｆａｃｉａｌ ａｇｉｎｇ ｐａｔｔｅｒｎｓ ｆｏｒ ａｕｔｏｍａｔｉｃ ａｇｅ ｅｓｔｉｍａｔｉｏｎ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆＡＣＭＭＵＬＴＩＭＥＤＩＡ，２００６、Ａ．ガラガ（Ｇａｌｌａｇｈｅｒ）の米国特許出願第２００６００４５３５２号がある。性別もまた顔の画像から推定でき、これについてはＭ．Ｈ．ヤン（Ｙａｎｇ）とＢ．モガダム（Ｍｏｇｈａｄｄａｍ）の“Ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ ｆｏｒ ｖｉｓｕａｌ ｇｅｎｄｅｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＣＰＲ，２０００、Ｓ．バルーヤ（Ｂａｌｕｊａ）とＨ．ローリ（Ｒａｗｌｅｙ）の“Ｂｏｏｓｔｉｎｇ ｓｅｘ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２００７に記載されている。]
[0018] 本発明の好ましい実施形態では、年齢分類のために、３名の一般的個人から画像集合を取得し、各画像の中の人物、合計１１７名の異なる人物にラベル付けを行う。各人物の生まれ年は、その画像集合の所有者が知っているか、または予測される。ＥＸＩＦ情報による画像撮影日と各人物の誕生日を使い、各画像の中の各人物の年齢を計算する。その結果、対応するグラウンドトゥルース(ground truth)の年齢を伴う２８５５の顔の独立した訓練セットが得られる。それぞれの顔のスケールを正規化し（４９×６１画素）、一連のＦｉｓｈｅｒｆａｃｅに投影する（これについては、Ｐ．Ｎ．ベルミューラ（Ｂｅｌｈｕｍｅｕｒ）、Ｊ．ヘスパナ（Ｈｅｓｐａｎｈａ）およびＤ．Ｊ．クリーグマン（Ｋｒｉｅｇｍａｎ）のＥｉｇｅｎｆａｃｅｓ ｖｓ．Ｆｉｓｈｅｒｆａｃｅｓ：Ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ｃｌａｓｓ ｓｐｅｃｉｆｉｃ ｌｉｎｅａｒ ｐｒｏｊｅｃｔｉｏｎ，ＰＡＭＩ，１９９７に記載されている）。新規の問い合わせ対象の顔の年齢推定は、そのスケールを正規化し、一連のＦｉｓｈｅｒｆａｃｅに投影し、投影空間内の最近傍（たとえば２５）を探すことによって発見する。問い合わせが行われた顔の予測年齢は、これらの最近傍の年齢の中央値である。性別の推定には、サポートベクタマシンを用いる顔性別分類器を利用する。まず、Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ（Ｔ．クーツ（Ｃｏｏｔｅｓ）、Ｔ．テイラ（Ｔａｙｌｏｒ）、Ｄ．クーパ（Ｃｏｏｐｅｒ）、Ｊ．グラハム（Ｇｒａｈａｍ）のＡｃｔｉｖｅ ｓｈａｐｅ ｍｏｄｅｌｓ−ｔｈｅｉｒ ｔｒａｉｎｉｎｇ ａｎｄ ａｐｐｌｉｃａｔｉｏｎ，ＣＶＩＵ，１９９５）を使って顔の特徴を抽出することにより、特徴の次元数を減らす。３５４６の顔の訓練セットを使い、確率密度予測を出力するサポートベクタマシンを学習する。]
[0019] 次に、ステップ２８で、その集合の中の各画像について特定された人物と関連する証拠を保存し、推定作業に備える。コンピュータデバイス１２またはインデクシングサーバ１４は、作業の規模に応じて推定作業を実行することができる。ステップ３０では、個人的データ集合の中にいる人物に関連付けられる社会的関係または、写真の中の人物とその写真を撮った撮影者との間の社会的関係、またはその両方を抽出された証拠から推定する。撮影者（またはより広い意味で、その写真集合の想定所有者）は通常、カメラのタイマモードを使用するか、別の誰かにシャッタを押すように頼まないかぎり、写真に写っていない。個人的画像集合の中の人物間の社会的関係を推定したことによって、最後に、ステップ３２でコピュータデバイス１２は、推定された社会的関係に関してその画像集合を整理または検索することができる。上記の工程は、新しい画像、新しい人物および新しい関係が適正に取り扱われるように、インクリメンタルな方法で実行することができる。さらに、この工程を使い、外見の変化という点での人物の進化と、たとえば新しい家族や新しい友人等の拡大という点での社会的関係の進化を追跡することが可能である。]
[0020] 本発明の好ましい実施形態において、ステップ３０では、モデル、すなわち個人的な写真集合から予測可能な社会的関係の集合が、マルコフ論理で表される。以下に、関心の対象となる関連物体、述語（物体の特性とそれらの間の関係）、およびこれらの述語に特定の制約を与えるルールを説明する。その後、学習と推定作業について説明する。]
[0021] 図３は、社会的関係の種類（個人的写真集合の想定所有者に関する）のオントロジ構造３５を示す表である。画像内の被写体間の一般的関係は同様に定義される。任意の人物間の、これより多くの任意の関係を定義することもでき、これも本発明の本質から逸脱しない。] 図３
[0022] 図４ａ，図４ｂは、個人的写真画像（４０，５０）の例と、これらの画像から推定される各々の社会的関係（４２，５２）を示している。特に、画像内の人物の間の関係を図４ａに、画像内の人物と撮影者の関係を図４ｂに示す。] 図４ａ 図４ｂ
[0023] 以下に、本発明の好ましい実施形態についてさらに詳しく説明する。本発明の対象領域の物体（objects）は３種類である。
・人物（ｐｅｒｓｏｎ）：世界の中の実際の人物
・顔（ｆａｃｅ）：画像に映っている顔の具体的な外観
・画像（ｉｍｇ）：集合の中の１枚の画像]
[0024] 関心の対象となる物体について、２種類の述語（predicate）を定義する。これらの述語の数値は、推定時にデータを通じてわかる。証拠の述語の一例はＯｃｃｕｒｓＩｎ（ｆａｃｅ，ｉｍｇ）であり、これは、ある画像の中に特定の顔が写っているか否かの真理値を表す。この証拠の述語を、以下の特性／関係について使用する。
・１枚の画像の中の人物の数：ＨａｓＣｏｕｎｔ（ｉｍｇ，ｃｎｔ）
・１枚の画像に写っている１つの顔の年齢：ＨａｓＡｇｅ（ｆａｃｅ，ａｇｅ）
・１枚の画像に写っている１つの顔の性別：ＨａｓＧｅｎｄｅｒ（ｆａｃｅ，ｇｅｎｄｅｒ）
・１枚の画像の中に特定の顔が写っているか：ＯｃｃｕｒｓＩｎ（ｆａｃｅ，ｉｍｇ）
・ある人物とその人物の顔との対応：ＨａｓＦａｃｅ（ｐｅｒｓｏｎ，ｆａｃｅ）]
[0025] １つの顔の年齢（性別）は、１枚の画像の中に写っている１つの顔に関連する予測年齢（性別）の数値である。これは、問い合わせ述語としてモデル化された人物の実際の年齢（性別）とは異なる。１つの顔に関連する年齢（性別）は、前述のように各種の顔の特徴を使って顔の集合について別に訓練されたモデルから推定される。外観の違いや写真撮影時期の違いによる予測誤差により、同じ人物でも顔が違うと、その年齢／性別の数値が異なる可能性がある点に注意されたい。本願では、年齢を子供、ティーン、青年、中年、老人の５種類の瓶（bin）でモデル化する。]
[0026] 本発明の応用分野では、顔検出と顔認識が、自動または人手を用いた手段によって事前に行われていることを前提としている。したがって、どの顔がどの人物に対応するかが正確にわかる。この前提を緩和し、そのモデルの一部としてアルゴリズムによる顔検出と顔認識を折り込む(fold)ことは当然考えられる拡張版であり、これも同じマルコフ論理に基づくモデルとこれに関連する推定方法によって適正に取り扱うことができる。]
[0027] 上記の述語の数値は推定時には不明であるため、推定する必要がある。この種の述語の例はＨａｓＲｅｌａｔｉｏｎ（ｐｅｒｓｏｎ１，ｐｅｒｓｏｎ２，ｒｅｌａｔｉｏｎ）であり、２人の人物が与えられた関係（ｒｅｌａｔｉｏｎ）を共有するか否かの真理値を表す。次の問い合わせ述語を用いる。
・１人の人物の年齢：ＨａｓＡｇｅ（ｐｅｒｓｏｎ，ａｇｅ）
・１人の人物の性別：ＨａｓＧｅｎｄｅｒ（ｐｅｒｓｏｎ，ｇｅｎｄｅｒ）
・２人の人物の関係：ＨａｓＲｅｌａｔｉｏｎ（ｐｅｒｓｏｎ１，ｐｅｒｓｏｎ２，ｒｅｌａｔｉｏｎ）]
[0028] 本発明の好ましい実施形態では、親戚、友人、知人、子供、親、夫婦、子供の友人という７種類の社会的関係をモデル化する。親戚は、親子の関係以外のすべての血縁関係を含む。友人は、血縁関係がなく、友情関係の直感的定義を満たす人物である。親戚でも友人でもないものは、知人に分類される。子供の友人は、子供の友人をモデル化したものである。子供の友人の関係をモデル化することは、一般的個人の写真集合には子供が非常に多く、その子供は友達と写っていることが多いため、重要である。このような場合、子供とその友人を区別することが重要となる。]
[0029] ルールは、絶対ルール(hard rule)と考慮ルール(soft rule)の２種類である。これらのルールはすべて、一階論理の論理式として表される。]
[0030] 絶対ルールは、対象領域内の絶対制約を表す。すなわち、これらは常に真に保たれるべきである。絶対ルールの例は、ＯｃｃｕｒｓＩｎ（ｆａｃｅ，ｉｍｇ１）かつＯｃｃｕｒｓＩｎ（ｆａｃｅ，ｉｍｇ２）−＞（ｉｍｇ１＝ｉｍｇ２）であり、これは単に、それぞれの顔が集合の中の多くとも１枚の画像の中に生起することを示している。
・親はその子供より年齢が上である。
・夫婦は反対の性別である。
・２人の人物は、その間で固有の関係を共有する。]
[0031] 本発明において、２名の人物の間に固有の関係がある点に注意されたい。この前提を緩和したもの（たとえば、２人は親戚（たとえば従兄弟）および友人であってもよい）を現在のモデルの拡張版とすることができる。]
[0032] 考慮ルールは、より興味深い制約群を表し、これらはほとんどの場合に真であるが、常に保持されるとは限らないと考えられる。考慮ルールの例は、ＯｃｃｕｒｓＩｎ（ｐｅｒｓｏｎ１，ｉｍｇ）かつＯｃｃｕｒｓＩｎ（ｐｅｒｓｏｎ２，ｉｍｇ）−＞！ＨａｓＲｅｌａｔｉｏｎ（ｐｅｒｓｏｎ１，ｐｅｒｓｏｎ２，ａｃｑｕａｉｎｔａｎｃｅ）である。このルールは、１枚の写真に一緒に生起する２人の人物は、単なる知人である可能性が低いと述べている。これらの人物が一緒に生起する例がほかにあると（別の写真での共起）、さらにこの可能性は低くなる。本発明では、他にも以下のような考慮ルールを使用する。
・子供とその友人は年齢が近い。
・１人の子供とだけ生起する１人の若い成人は、親子の関係を共有する。
・一緒に写っている同年代で性別の異なる２人の人物（２人だけで写っている）は夫婦の関係を共有する。
・友人と親戚は、複数の写真において集団で写っている。２人の友人が１枚の写真に一緒に写っていれば、同じ写真の中に生起する第三者は友人である可能性が高い。同じことが親戚にも言える。]
[0033] 一般に、すべての絶対制約を同時に満足し（おそらくこのような解決策が常にある）、最大数の（重み付けされた）考慮制約を満足する解決策が望まれる。一般に、ルール群は、画像内の人物間（すなわち、被写体）の関係および撮影者と被写体との間の関係に適用される。撮影者（または写真集合の想定所有者）と被写体との間の関係に特有の他のルールの一例には次のものがある。
・写真集合の中で生起率の高い子供（複数の場合もある）は、撮影者の子供（複数の場合もある）である。]
[0034] 最後に、集合の中のランダムの２人の人物の間で特定の関係が保持される事前確率を表すと考えられるシングルトン（singleton）の述語、ＨａｓＲｅｌａｔｉｏｎ（ｐｅｒｓｏｎ１，ｐｅｒｓｏｎ２，＋ｒｅｌａｔｉｏｎ）（＋は、各関係について、異なる重みを学習したことを意味する）からなるルールがある。たとえば、親または子供の関係と比較して、友人の関係を有する可能性のほうがはるかに高い。同様に、シングルトンのルール、ＨａｓＡｇｅ（ｐｅｒｓｏｎ，＋ａｇｅ）とＨａｓＧｅｎｄｅｒ（ｐｅｒｓｏｎ，＋ｇｅｎｄｅｒ）がある。これらは（直感的に）、それぞれ特定の年齢と性別を有する事前確率を表す。たとえば、ＨａｓＡｇｅ（ｐｅｒｓｏｎ，ｃｈｉｌｄ）のルールに高い重みを与えることによって、子供たちははより頻繁に撮影される傾向があるという事実を容易に捉えることができる。]
[0035] そのモデル（ルールとそれらの重み）を考えると、推定とは、すべての証拠述語が与えられた問い合わせ述語、ＨａｓＲｅｌａｔｉｏｎ、ＨａｓＧｅｎｄｅｒ、ＨａｓＡｇｅの周辺確率を見つけることに対応する。絶対（決定性の）制約と考慮制約の組み合わせを扱う必要があるため、本発明の好ましい実施形態では、ＰｏｏｎとＤｏｍｉｎｇｏｓのＭＣ−ＳＡＴアルゴリズム（Ｐｏｏｎ ＆ Ｄｏｍｉｎｇｏｓ，Ｓｏｕｎｄ ａｎｄ ｅｆｆｉｃｉｅｎｔ ｉｎｆｅｒｅｎｃｅ ｗｉｔｈ ｐｒｏｂａｂｉｌｉｓｔｉｃ ａｎｄ ｄｅｔｅｒｍｉｎｉｓｔｉｃ ｄｅｐｅｎｄｅｎｃｉｅｓ，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＡＡＡＩ−０６，４５８−４６３．Ｂｏｓｔｏｎ，ＭＡ：ＡＡＡＩ Ｐｒｅｓｓ参照）を用いる。]
[0036] 絶対制約と考慮制約を考えると、学習とは、考慮制約の各々についての好ましい重みを見つけることに対応する。まず、ＭＡＰ重みを、ゼロに中心を置くガウシアン事前分布（Ｇａｕｓｓｉａｎ ｐｒｉｏｒ）で設定する。次に、ＬｏｗｄとＤｏｍｉｎｇｏｓの学習器を使用する（Ｌｏｗｄ＆Ｄｏｍｉｎｇｏｓ．Ｅｆｆｉｃｉｅｎｔ ｗｅｉｇｈｔ ｌｅａｒｎｉｎｇ ｆｏｒ Ｍａｒｋｏｖ ｌｏｇｉｃ ｎｅｔｗｏｒｋｓ，Ｐｒｏｃ．ＰＫＤＤ−０７，２００−２１１．Ｗａｒｓａｗ，Ｐｏｌａｎｄ：Ｓｐｒｉｎｇｅｒ）。ＫｏｋとＤｏｍｉｎｇｏｓの構造学習アルゴリズム（Ｋｏｋ＆Ｄｏｍｉｎｇｏｓ，Ｌｅａｒｎｉｎｇ ｔｈｅ ｓｔｒｕｃｔｕｒｅ ｏｆ Ｍａｒｋｏｖ ｌｏｇｉｃ ｎｅｔｗｏｒｋｓ，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＣＭＬ−０５，４４１−４４８．Ｂｏｎｎ，Ｇｅｒｍａｎｙ：ＡＣＭＰｒｅｓｓ）を使用して、標的とされる関係の予測に役立つルールを改良（し、新しい例を学習）する。これらによって表されるオリジナルのアルゴリズムによれば、部分的にグラウンディングされた節は検出されない。これは、異なる関係についての異なるルールを学習する必要があるため、本発明にとって重要である。ルールはまた、特定の年齢グループ（子供等）または性別によっても異なるかもしれない（たとえば、男女は、その社会的サークルの中で誰と撮影される傾向があるかという点で異なることが想像できる）。この特徴を持たせるためにアルゴリズムに必要となる変更は単純である。すなわち、述語の部分的グラウンディングのすべては、節の延長の検索中に加えることができる。特定の可変値（すなわち、関係、年齢、性別）だけが、これらの述語の中でグラウンディングされるようにして、検索空間の破裂を防止する。アルゴリズムの残りの部分は、前述のように進められる。]
[0037] 本発明について、その好ましい実施形態に特に関して詳細に説明したが、本発明の精神と範囲から逸脱することなく、変形や改変を加えることができると理解される。]
[0038] １０ 現在のシステム、１２コンピュータデバイス、１４インデクシングサーバ、１６イメージサーバ、２０通信ネットワーク、３５社会的関係の種類のオントロジ構造、４０，５０ 画像の例、４２，５２ 関係の例。]

权利要求:

請求項1
複数のイベント群で撮影された写真集合から人物の関係を分類する方法であって、ａ．前記写真集合を検索し、前記写真集合の中の人物を特定し、前記特定された人物の性別と年齢層を判断するステップと、ｂ．前記特定された人物と、当該人物の生起および共起と、当該人物の性別と、当該人物の年齢とを使って、当該人物の間の社会的関係を１つのルール群に基づいて推定するステップと、を含むことを特徴とする方法。
請求項2
請求項１に記載の方法であって、前記関係は、親、子供、夫婦、その他の関係、子供の友人および知人を含むことを特徴とする方法。
請求項3
請求項１に記載の方法であって、ステップｂにおいて、前記ルール群が、ｉ．親はその子供より年齢が上である、ｉｉ．夫婦は反対の性別であるという絶対ルールの少なくとも１つを含むことを特徴とする方法。
請求項4
請求項３に記載の方法であって、前記ルール群が、さらに、ｉｉｉ．親と祖父母はその子供達または孫達と一緒に写っている、ｉｖ．友人と親戚は複数の写真において集団で写っている、ｖ．知人が写っている写真は、友人の写真より少ない、ｖｉ．より近い関係の人物は、写真の中で、近い関係を持たない人物より接近して写っている、という考慮ルールの少なくとも１つを含むことを特徴とする方法。
請求項5
請求項１に記載の方法であって、前記推定は、マルコフ論理ネットワーク（ＭＬＮ）を使って行われることを特徴とする方法。
請求項6
複数のイベント群で撮影され、想定所有者に帰属する写真集合から人物の関係を分類する方法であって、ａ．前記写真集合を検索して、前記写真集合の中の人物を特定し、前記特定された人物の性別と年齢層を判断するステップと、ｂ．前記特定された人物と、当該人物の生起および共起と、当該人物の性別および年齢とを使って、当該人物と前記写真集合の前記想定所有者との間の社会的関係を推定するステップと、を含むことを特徴とする方法。
請求項7
請求項６に記載の方法であって、ステップｂにおいて、前記ルール群が、ｉ．親はその子供より年齢が上である、ｉｉ．夫婦は反対の性別であるという絶対ルールの少なくとも１つを含むことを特徴とする方法。
請求項8
請求項６に記載の方法であって、前記ルール群が、さらに、ｉｉｉ．前記写真集合の想定所有者の子供は、前記写真集合内により頻繁に生起する、ｉｖ．親と祖父母はその子供達または孫達と一緒に写っている、ｖ．友人と親戚は複数の写真において集団で写っている、ｖｉ．知人が写っている写真は、友人の写真より少ない、ｖｉｉ．より近い関係の人物は、写真の中で、近い関係を持たない人物より接近して写っている、という考慮ルールの少なくとも１つを含むことを特徴とする方法。
請求項9
請求項６に記載の方法であって、前記推定は、マルコフ論理ネットワーク（ＭＬＮ）を使って行われることを特徴とする方法。
請求項10
請求項１に記載の方法であって、ｃ．前記画像集合に新しい画像を追加するステップと、ｄ．前記新しい画像の中の新しい人物を特定するステップと、の１つまたはそれ以上をさらに含むことを特徴とする方法。
請求項11
請求項１０に記載の方法であって、ｅ．前記特定された新しい人物と、当該新しい人物の生起および共起と、当該新しい人物の性別と、当該新しい人物の年齢とを使って、前記新しい人物と前記特定された人物との間の社会的関係を１つのルール群に基づいて推定するステップをさらに含むことを特徴とする方法。
請求項12
請求項６に記載の方法であって、ｃ．前記画像集合に新しい画像を追加するステップと、ｄ．前記新しい画像の中の新しい人物を特定するステップと、の１つまたはそれ以上をさらに含むことを特徴とする方法。
請求項13
請求項１２に記載の方法であって、ｅ．前記特定された新しい人物と、当該新しい人物の生起および共起と、当該新しい人物の性別と、当該新しい人物の年齢とを使って、前記新しい人物と前記写真集合の前記想定所有者との間の社会的関係を１つのルール群に基づいて推定するステップをさらに含むことを特徴とする方法。