他人の解答を見て勉強する

結論から言うと、この実験は（今のところ）失敗です。

作文形式の試験というのは、何をもって正解なのかが捉えづらいため、学習しづらいものです。 もちろん、学校・塾の先生にチェックしてもらうというのがベストなわけですが、毎回の見てもらうコストが高いので、数がこなせません。 そこで（需要があると信じて）、過去問を解きながら、受験生同士で解答を共有するツールを作成しました。

具体的には、司法試験（論文形式）の勉強ツールとして実装しました1。

余談ですが、司法試験の模範解答速報も、法務省から発表される「出題趣旨」というのが出る前だと、間違っていたりするそうです。

手順

  1. 試験問題を読む。
  2. 問題の解答を書き込む（+法律の第何条が適用されるかのタグ付け）。
  3. 他の人の解答を参照して、自分も正しいと思うものに“いいね”をつける。

投稿すると、ランキング形式で“いいね”の多い解答と最も当てはめられている法律の条文が表示され、答え合わせ的なことができます。

ただ、人気の解答が、「正しそうな解答」なのか「よくある間違い」なのかはわからないですが2。

できる（はずの）こと

  • 大量の論文形式試験問題についての模範解答データセットができる。正解だけではなく、間違え方もわかる。
  • どんな事例にはどの条文が適用されるべきなのか（いわゆる「当てはめ問題」）、逆にどの法律がどんな事例に対応するのかの”辞書”ができると、裁判員への支援になるかも。

結果

過去問４問を、モニターの方々30人に解いていただきました（2018年2月に実施）。

  • Q1: 平成13年民法第2問
  • Q2: 平成14年民法第2問
  • Q3: 平成18年刑法第１問
  • Q4: 平成15年憲法第１問

解答文章を頂点として、”いいね”された関係を基に作られたグラフをクラスタリングしました。

Q1 Q2 Q3 Q4

上のプロットは、ある１つのグループラベルについての所属確率を色付け（青→赤=高い→低い確率）したものです3。 だいたい１グループ（分割されていない）だったり（Q2,Q3）、２分割しても実質分割されていないような結果(Q4)になりました。 しかし、Q1だけはっきりと２グループに別れています。 これは「何か非自明な２種類の解答パターンが出たのか！？」と思いたいところですが、実はこの問題だけ、別の問題（平成12年民法第１問）の解答がダミーとして初期解答に埋め込まれています。 つまり、明らかに違う問題の解答でも埋もれてしまうほどランダムな実験にはなっておらず、「モニターの方々はちゃんと問題には答えてくれているのだけど、そもそも解答パターンが分かれるほどの非自明さがない」ということのようです4。

反省

最初から暗雲が立ち込めすぎてて前が見えないプロジェクトでしたが、とりあえずは意地でも実施し、将来への糧としようという実験でした。

  • 勉強ツールのアプリ設計がダメすぎた。特に司法試験問題は、他の試験と比べてもかなり特殊だということを、途中まで認知していなかった。
  • モニターを集めるのが大変すぎる5。

この路線自体はそんなに悪くはない気がしていますが、うまくいくかは対象とする試験や具体的な問題にかなり依存すると思うので、うまいこと変化球を投げていかないといけないだろうと思っています。

実施・解析手法

  • Data collection：ShikiSci_gray
  • Framework：Stochastic blockmodelによるベイズ推論
  • Algorithm: nonparametric MCMC [Newman&Reinert, Phys.Rev.Lett. (2016)]

その他

  • 本研究は、JSPS科研費基盤研究(S) 17H06103の助成を受けたものです。
  • 実験データは、NEDOプロジェクトの成果物（ShikiSci_gray）を、楽天リサーチのモニターの方々に使用していただくことで、収集したものです。
  • データ解析は、野口千尋氏（東工大）と川本によって行われました。

  1. 司法試験を受けたり勉強したことはないので、間違っていたら優しく指摘してください。 ↩

  2. どこかの時点で、専門家に“正しい”判断をしてもらえばOK。 ↩

  3. なので、”グループごとに色付けしたもの”とは違います。とはいっても、２分割もしくは分割なしの場合だけしか出てこないので、実質グループごとに色付けしたのと、あまり変わりません。 ↩

  4. このグラフを見て「なんかおかしくない？」と思った方がいるかもしれません。それは、内緒の操作が入っているからです。今のところ内緒です。 ↩

  5. 楽天リサーチさんが30人集めてくれたのが、むしろ奇跡。他５社くらいには早々に断られました。司法試験の勉強している人の数はそれなりに多いはずなので、需要はあると信じたい。。 ↩