顔顔衰弱@ニコニコ超会議2017

人の顔は、何タイプあるでしょうか？

画像を処理して人間の顔識別・分類を行う技術は古くからあります。 そのようなタスクでは、ピクセル情報から、画像の物理的な特徴を抽出することよって識別を行います。

しかし、人間同士は互いをどのように識別しているのでしょうか。 「しょうゆ顔」「ソース顔」という言葉もありますよね。 ピクセル情報としては全然違う人たちを、”似ている”と捉えているかもしれません。 何かしらの（物理的な特徴から）類似性を無意識的に感じ取っているかもしれません。 それらを確かめるには、実際に人々の主観的なデータを集める必要があります。

実験してみました

(詳しくは、こちらから： http://img.voteclustering.org/)

というわけで、ニコニコ闘会議2017とニコニコ超会議2017に、人の顔で神経衰弱するゲーム、“顔顔衰弱”を出展しました。 ニコニコ闘会議ではクイズアプリ、ニコニコ超会議ではカードゲームとして実施。

用意した顔データは150人分。 画像集として販売されているモデルさんの写真¹と、Pixivで掲載されているイラスト²を使用しました。

ルールは簡単。

1. ディーラーが顔カードを数枚並べ、プレイヤーは手札の顔カードと最も似ていると思うカードを選択し、チップを賭ける。
2. カードの裏には色がついており、ひっくり返して同じ色のペア（＝”似ている”³）だったら勝ち（難易度に応じた倍率のチップがもらえる。外れるとチップ没収）⁴。

結果

3分類

alluvial diagram

男女が区別されるのは当然ですが、中性という分類が自然に出てくるのは面白いところです。 しかも基本的に男性から分岐しています⁵。 ５分類以上が、真に非自明なところですが、ウェブに載せられる顔画像に限りがある¹のと、その分類が統計的に有意⁶か微妙なラインなため、触れないことにします。

もっと大規模な実験がしてみたいところです。

様子

実施・解析手法

• Data collection：神経衰弱カードゲーム “顔顔衰弱” (ShikiSci_Cyan)
• Framework：Stochastic blockmodelによるベイズ推論
• Algorithm: EM algorithm + Belief Propagation + Cross-validation (graphBIX)

その他

• このプロジェクトは、産業技術総合研究所 NEDOプロジェクトの人間工学実験として実施されました。
• 本実験は、産業技術総合研究所 確率モデリングチームの近藤那央さん、大前智嵩くんと共に実施しました。

---

1. モデルさんの写真は、利用規約の関係上、ここには載せられません。 ↩ ↩²

2. Pixivのイラストは、すべて著作者からの承認を得て使用・掲載しています。 ↩

3. ある時点までで収集された全データを使って、すべての顔を分類。同じグループに属しているペアは、みんなが”似ている”と思っていると解釈します。 ↩

4. 実際は、複数人でプレイ。順番で誰か一人がペアを選択し、周りで見ている人には、選ばれたペアが”似ている”と思うか思わないかを賭けてもらいます。 ↩

5. もちろん、用意したデータセットに偏りがあるから、という可能性は十分にあります。 ↩

6. 図中の点線が、いくつかの手法で選ばれる分類数を表しています。”spectral”はnon-backtracking行列の孤立固有値数から見積もった値（3分類）、”dc-SBM”と”SBM”は、それぞれ次数補正あり/なしのstochastic blockmodelの予測誤差の交差検定から選ばれる値（4分類と6分類）。 ↩