4月1日にエイプリルフール企画として「はてラボセンター試験認証」なるものが取り入れられていた。
センター試験認証とかいうが、早い話がクイズだ。クイズがランダムに5問でて、その回答が正しいかどうか(3問以上正解できるか)で相手が人間かどうかを見極めるものらしい。
しかも、はてなスタッフは結果にノリノリらしい。
エイプリルフール終了に伴いいったん本機能を取り下げますが、スパム対策として十分な効果が見られたため、この機能を応用した形での導入について今後検討いたします。
はてな匿名ダイアリーに「はてラボセンター試験認証」を導入しました
本気であれを入れるつもりなのかと思うと頭を抱えるので、今ここでその頭を抱える理由を書いておこうと思う。
まずは……
クイズの答は1つとは限らない。
これ、
表記ゆれのフォローがないクイズは正解入力してても×になってつらい。
machida77のコメント
でも指摘されていたけど、いちおう「水」を「みず」「ミズ」でも正解にするくらいの多答許容性は織り込まれていたみたいだ。そのわりに半角全角の英数字を許容していたりしていなかったりと対応が甘いところはあるんだが、その辺は正答を比較する際に正規化でもすればいいことであって作りこめばどうとでもなる。
とはいうものの
鶴を助けたお爺さんが、鶴に恩返されるお話のタイトルは？
は「鶴の恩返し」だけが正解で「夕鶴」は正解にはならなかったので、問題作成者の意図した答だけなのは確かにそうだ。
あと、
株式会社コーエーテクモゲームスが発売している日本の戦国時代をテーマにしたゲームの名前は「信長の○○」？
通常○○、と書いた場合は文字数を暗示している場合が多いのだが、後述で出す問題の中には文字数と答が一致していないものもあったので当然答は「野望」だけでなく「野望・全国版」「野望・武将風雲録」「野望ONLINE」等々コーエーが出してきたシリーズタイトル全てを網羅しているんだろうなと無理筋を言ってみたりもしたい。
しかしなによりもまずいのは
みたいな問題だ。
これ、仮にニューヨークの自由の女神像として、おそらく期待される答は「灯台」だろう。実際に灯台として使われたこともあるし、これは実際にアメリカ横断ウルトラクイズの○×クイズ第1問でも使われたエピソードだから。
ところが、この問題は○×クイズにしか使えないエピソードでもある。
Wikipediaの「自由の女神」でも調べればわかるが、自由の女神は元々フランスで作られて贈られたものだ。それを考えると「元々何のために」という質問の答は
「米仏友好のためのモニュメントとして」というのが本当の正解になる。まあ普通こういうのはクイズの答にしない。早押しクイズの前フリとして読みに織り込むくらいだ。
ちなみに、「とある雑学が、ある形式のクイズでしか使えない」という問題は一般的にはよくあることだ。
「野球が好きで、自分の雅号を『野球』としたこともある俳人は誰？」という問題の答は「正岡子規」なのだけど、この問題、ペーパーテストでしか使えない。
正岡子規がつけた「野球」という雅号は、本人の本名をもじったものでもあるため「のぼーる」と読むからで、この問題の面白さは、声に出すと失われるのだ。
あと、過去に聞いたことを半可通で問題にするのもよくない。
畳の原材料は？
は、おそらく「イグサ」を答としたい問題なのだろうが、イグサは畳表の材料にすぎない。畳の材料であれば稲わら、最近なら発泡スチロールが主原料となる。さらに言えば畳表の主原料としてもイグサだけに限定できるわけでもない。もしイグサを答にしたい問題を作るなら「畳表やゴザの材料として一般的で、和蝋燭の芯にも使われる植物は何？」くらいの言及はほしい。
限定が弱い
前出のように、半可通で問題を作るのはよくない、ということはほかにもある。答が1つになるように限定できないからだ。
聖書によると、神は何日間で世界を作ったと記載されている？
も正解が微妙だ。
よく言われているのは「神は7日間で世界を作った」だから答は7っぽいし、実際に許される正答は7だけだった。
ところが、実際に旧約聖書を見てみると、「7日目 神は休んだ。」と書かれている。そうすると、世界は最初の6日間で出来上がっていることになる。
それだけではない。問題には「聖書によると」と書かれている。聖書といって旧約聖書が何の限定もなく出せる人はユダヤ教徒だけだ。(キリスト教徒も含めていいが)
だからこの問題の答は本当は「どの聖書かによって答は違う」になる。せめて「旧約聖書に」と書かないと6か7かも絞れない。
試される大地といえば？
をはじめ、やたらと「北海道」が答になる問題も多かったが、これも微妙だ。
これは「北海道庁のキャッチフレーズ」でも答として成り立つ。問題の言葉が短すぎる。「試される大地といえば、どこの都道府県を示すキャッチフレーズ？」くらいの限定がほしい。
誤字が多すぎる
これはもしかするとあえてそうしたのかもしれない。とはいえ、その結果答が変わってしまってはどうにもならない。
最も正解率が低かった質問: 「○○○」「ウィーアーX!」○○○の入るのは?
はてな匿名ダイアリーに「はてラボセンター試験認証」を導入しました
もともと難しい内容の問題でもあったようだけど、「○○○の入るのは?」という致命的な誤字のおかげでこのクイズの答は「」(かぎかっこ)になってしまう。当然期待される答ではない。
○○○の入るのは?ではなく○○○の中に入るのは?か○○○に入るのは?にしなければならない。
正確な文字を覚えていないのでうろ覚え引用はしないが、答がたこ焼きになる問題も日本語になっていなかった。誤字は致命的だと思う。
たぶんこの認証では、本気のAIは簡単に解いてしまう。
これ、人力検索はてなの画像認証でも言われているのだけど、チューリングテストって本当に難しい。
はてなの画像認証はランダムな4桁の数字を模様まみれの画像で読ませるものだが、この数字、単体でリロードしても内容が変わらない上に邪魔する画像はランダムに変わってしまう。複数回リロードしてANDを取ればOCRできる数字が取り出せてしまうのだ。まあ、人力検索のスパムよけくらいで考えていれば全く役にたたないわけでもないんだろうけれど。
今回のセンター試験認証でも、答が「琥珀糖」になる問題が出ていた。
これ、
寒天を使い表面を乾燥させた干菓子を一般に何という？
という問題文からキーワードを抜き出してgoogleに打ち込むと「琥珀糖」が出てきてしまう。
クイズは一般常識を問うものだから、おおまかな答は検索エンジンに格納されている。もしはてなが『人工知能』と人間を見分けるためにこれを実装するとしたら、それは単にgoogleとの戦いになるだろうし、その勝敗はおそらくgoogleの勝ちだ。
もしかしてはてなはgoogleに比肩したいと考えているのかもしれないが、この方向で戦うのはちょっと厳しいんじゃないかな。
*1:問題をコピペ出来なかったので、これはうろ覚えでの引用。これ以外のクイズについては、http://bias-nt.hatenablog.jp/entry/2016/04/01/144500にあったのでそちらをコピペした
