ハエ混入はハルシネーション『未来世紀ブラジル』

　対話型AIと他愛もない会話をしていたところ、突然「望月さん」と呼びかけられた。筆者は田中である。なんだこれ、もしや会話が漏洩し、「望月さん」の会話とひとまとめに整理されていたりするのだろうか。

　気になってすぐに問い詰めたところ、「すみません、完全にこちらのミスです。あなたの名前を『望月さん』と勝手に書いてしまいましたが、これまでの会話のどこにもそのような名前は出てきておらず、根拠なく書いてしまいました。他のユーザーとアカウントが混ざっているとかデータが漏洩しているというよりは、単純に私が誤った名前を生成してしまった、という可能性が高いです」との返答。いわゆるハルシネーションの一種らしい。

　ではなぜこのようなことが起こったのかと問うと、「応答を生成する際に『呼びかけの言葉を入れた方が自然な文になる』という表層的なパターンに引っ張られて、実際に会話履歴に存在するかどうかの確認なしに、それらしい名前を埋めてしまいました」とのことである。
　とりあえずは筆者と一対一の会話であったためすぐに気付けたが、そうでない状況もありうるのではないか。

　1985年の映画『未来世紀ブラジル』は20世紀のどこか、「情報省」と呼ばれる機関が社会の隅々まで管理している世界の物語。冒頭、一人の男がなんらかの書類を作成していると、室内を一匹のハエが飛んでいる。男は天井に張り付いたハエを叩き潰す。ハエは彼が作業していたタイプライターの中へ落下。タイプライターは「タトル」という人物についての書類を印刷中なのだが、ハエの混入によって頭文字のTがBとなり、「バトル」名義のものが一枚打ち出される。

　場面変わって決して裕福ではないが幸せそうな家族団欒場面。幼い姉と弟は両親からのクリスマスプレゼントに喜んでいる。と、天井と玄関が乱暴にぶち破られ武装集団が侵入、あっという間に父親が拘束されてしまう。遅れて現れた役人は父親にテロの容疑で連行すると告げる。拘束された父親の名はバトル。ハエ一匹のせいで起こった誤認逮捕だ。

　ミスに気付いた情報省記録局長は有能な部下でありこの映画の主人公サム・ラウリーに事態の打開を命じるが、権力構造トップの情報省が不備を認めるわけはなく、完璧であるはずのシステムによって出力された書類のミスが公に認められるわけもなく、しかしバトル氏誤認逮捕の現場を目撃した上階の住人ジルは情報省にマークされ、さらにややこしいことにジルはサムが毎晩夢見る美女にそっくり。サムは当初乗り気ではなかった情報剥奪局への昇進を受け入れることでジル救済のために駆け回る。

　公開当時は監督のテリー・ギリアムと、サムの友人ジャックを演じたマイケル・ペイリンがコメディグループ「モンティ・パイソン」として活動していた時期と近かったこともあり、管理社会SFでありつつも同時にブラックコメディとしても見なされていたように記憶する。が、40年が経過した現在、ここで描かれるような自分のミスは絶対に認めない権力側の態度は当時よりはるかにリアリティを増しており、コメディとしての印象は薄まりつつ、恐ろしさは一層高まったように思う。

　ハエ混入で起こる誤認逮捕も、筆者が望月さんと呼ばれたように、AI導入によって実際に十分起こりうる話だと思う。もちろん人命にかかわる非常に重大な問題となるため、こういうことは人間によるチェック機構を設けておくべきだと思うのだが、そもそもAI導入の大きな目的の一つに効率化があるわけで、効率化のために導入したAIの回答をチェックするために人間を雇うだなんて本末転倒の極みとされかねず、結果としてAIのハルシネーションなどによる出力ミスによってバトル氏≒望月さんの悲劇はいずれ現実のものとなってしまうのではないか。

　奇しくも情報省を連想させる名前の国家情報会議、国家情報局なる首相直属の機関が先日発足しており、似ているのは名前だけなのかどうなのか。ジルでありバトルである我々一般市民にとって果たしてどのような影響があるのかないのか。内部にサムのような人間はいるのかどうか。俺はタトルのように生きたいよ。

文／田中元（たなか・げん）
ライター、脚本家、古本屋（一部予定）。
https://about.me/gen.tanaka