新井紀子氏｢非常に危険なものが生み出された｣
- 新井紀子氏はChatGPTの爆発的な人気に潜む危うさを語った（写真：梅谷秀司、ChatGPTのログイン画像キャプチャ）
2022年11月の公開から瞬く間に大旋風を巻き起こしたAIチャットボット「ChatGPT」。その技術を自社の検索エンジン「Bing」に取り入れたマイクロソフトと、生成AIの進化に貢献した深層学習の手法「Transformer」を生んだグーグルによるAI競争も、熾烈(しれつ)さを増している。
一方で、こうした生成AIの回答には誤りも多く、社会にもたらす悪影響への懸念がくすぶる。このテクノロジーとどう向き合うべきなのか。国立情報学研究所 社会共有知研究センター長で、2011年にスタートした人工知能プロジェクト「ロボットは東大に入れるか」のプロジェクトディレクターを務めた新井紀子氏に聞いた。
インタビューの中で新井氏は、「この非常に魅力的かつ明らかに未熟な技術が、短期的に社会にもたらすコストとリスクを、私たちは背負う覚悟があるのか。この点について考えなければならない」と指摘した。
―ChatGPTやBingchatが続々と公開され、自然な受け答えを評価される一方、誤りの多さについて懸念も上がっています。
Transformerの登場以降、書き手が人か機械かの見分けがつかないほど、AIの生成する文章がとても自然になっていると感じています。
プロジェクトで東大を目指したAI「東ロボくん」は使える資源（パラメータ）が十分になく、知っていることを時代順に羅列することが精いっぱい（ストーリーを作ることができず、1文1文事実を述べることしかできない）でした。
これがデータ量を数千倍に増やすと、突然精度が上がるなど、今までの蓄積では説明がつきにくい現象が起こっています。ここまでいくと、人間では誤りがなぜ、どのようにして起こったのか把握することが難しく、修正も極めて困難ではないかと。
AIは100％正しくなるのか？
―AIがいくら賢くなっても、100%の正確性は実現しないのでしょうか。
もちろんそうです。AIを工学分野だと思っている方も多いでしょうが、これができたきっかけは数学基礎論という分野なんです。
数学の枠組みで動く限り、AIは「言語」を「記号」として認識し計算処理することはできても、その「意味が正しい」と理解することができない。よって、AIが100％正しくなるというのは、科学的に無茶な命題です。
―実際にChatGPTを利用すると、ちゃんと意味を理解しているように見えてしまう部分もあります。
おそらく心理学的な効果ではないでしょうか。ChatGPTをすごいと感じてしまう現象は、受け答えの正しさよりも、自信満々かつスムーズにウソをつく“サイコパス”っぽさに起因していると思います。そのため、知的レベルが高い人でも「こっちのほうが正しいんじゃないか」と、信念や心理を揺さぶられる。
ChatGPTで昨年度の東京大学の世界史の第1問、600字の大論述を解かせてみました。全部を入力するとモデリングに失敗するので、正確には、「8世紀から19世紀までの時期におけるトルキスタンの歴史的展開について記述せよ。ただし、次のキーワードを使うこと。アンカラの戦い、カラハン朝、乾隆帝、宋、トルコ＝イスラーム文化、バーブル、ブハラ・ヒヴァ両ハン国、ホラズム朝」と入力したところ、次のような出力が戻ってきました。
- 東大の世界史問題に対するChatGPTの回答
すごく滑らかです。「この時期には」のような、いかにも人間が書きそうなことを、なかなか東ロボくんは書けませんでした。
でも、この答えはうそばかり。まずバーブルは15世紀生まれなので、13世紀にトルキスタンを征服することはできません。また、（9世紀ごろにトルコ系民族のウイグルが定住するようになった）トルキスタンの歴史が「古代から根を張っており」という表現もおかしい。
スルッと頭に入ってきてしまうので、ファクトチェックがものすごく大変なんです。英語でも試してみましたが、ほぼ同じ解答でした。
そして、「トルキスタンはカラハン朝によって統治されました。カラハン朝は中国の宋朝との貿易関係を築き」という文章に至っては、今も真偽がわかりません。山川出版社の教科書やウィキペディアなど、どこを調べてもそんなこと書いていない。うそかもしれないけど、「もしかすると最先端の歴史学か何かで、新事実が発見されたのかも」と、人間の信念が揺らいでしまう。
ちなみに、代々木ゼミナールの世界史の先生方に採点を依頼したところ、「0点」というお返事がありました。「部分点を与えられる箇所がまったくないので驚いた」とのことでした（「〇世紀」の部分がすべて間違っている。問題で8つの指定語句を使うように命じているにもかかわらず、6つしか使っていないなど）。
進化したAIに対する「2つの論調」
―このようなAIと、社会はどのように向き合えば良いのでしょうか。
「こういう話は、だいたい2つの論調に分かれます。「このようなテクノロジーは、破壊的で悪いものだ」という考え方と、「今はまだ発展途上の面もあるが、近い将来に完全なものとなる。揚げ足を取るのではなく、長期的に得られる恩恵について目を向けるべきだ」という考え方です。
これを見ていると、ケインズとミクロ経済学者の論争を思い出します。ミクロ経済学者が「市場に任せれば、本来的には調整される」と言うのに対し、ケインズは「長期的にわれわれは皆死ぬ」と言ったんですよ。一言で「長期的」といっても、どれだけ長期的なのかはわからない。
この非常に魅力的かつ明らかに未熟な技術が、短期的に社会にもたらすコストとリスクを、私たちは背負う覚悟があるのか。この点について考えなければならない。これは“民主主義への挑戦”でもあります。
- 新井 紀子（あらい・のりこ）／国立情報学研究所 社会共有知研究センター センター長・教授。一般社団法人教育のための科学研究所代表理事・所長。一橋大学法学部、米イリノイ大学数学科を卒業。イリノイ大学5年一貫制大学院を経て東京工業大学で理学博士号取得。『AI vs.教科書が読めない子どもたち』など。（撮影：梅谷秀司）
―「民主主義への挑戦」によって、何が起こりうるのでしょうか。
例えば、あるネットメディアがChatGPTに「それっぽい文章を書きなさい」と指示し、気が遠くなるほどの数のフェイクニュースを毎日どころか毎秒ばらまいたとしましょう。
そうなってくると、人力のファクトチェックは追いつかない。AIも自分の中に「正しさ」を持っておらず、誤りを正すことができません。2024年のアメリカ大統領選はそういう中で行われることになる。
マイクロソフトやグーグルが「こういう意図では使いません」と言おうとも、別の組織はそれを悪用できます。このようにして生まれたフェイクニュースによって、根も葉もないデマで誰かが血祭りに上げられ、誤った政策誘導がされる――。オープンな形で技術が世に送り出された以上、そういったことを防ぐことができません。
このように、非常に危険なものが生み出されたことを受けて、短期的に私たちがどう向き合うかが今、問われているのです。
「ファクトこそが重要」という正義は通用するか
―マイクロソフトの検索エンジン「Bing」に新たに搭載されたチャット機能には、回答の出典を確認するよう注意喚起されています。しかし、SNSでは間違った受け答えが「すごい」ともてはやされるなど、人々がチェック作業を怠る状況に危機感を覚えます。
正しさを追求する人は、一般の人々の気持ちはいまいちわからないかもしれませんが、大多数の人々はファクトなんてどうでもいいかもしれない。
脳はとにかく楽をしたがる器官で、どうしても“タイパ”が良いほうに流れてしまう。検索の場合、結果がたくさん出てくるので、その中から情報を選ぶ必要があるじゃないですか。ChatGPTは答えを言ってくれるので、これを信じてしまえるなら、そのほうが楽でタイパがいい。そういう世の中で、「ファクトこそが重要だ」という正義は通りにくい。
―生成AIという「民主主義への挑戦」について議論し、打ち手を実行できるのは誰でしょうか。
例えば、AIを用いたビジネスなどにコストを強いるような方法を、唯一考えられるのがEUだと思います。
EU各国はフランス革命などを経て、近代国家を生み出してきました。人類学者や法哲学者などが牽引し、民主主義がどうあるべきかという根っこに立ち戻って立法できる。だから、こういうときに「忘れられる権利」のような新しい概念が生まれるのもEUなのです。
これを野放しにすると、本当に民主主義は混乱するでしょう。民衆が一つひとつの社会課題と向き合い、選挙の投票先を考え、法案を通すための議論も長引くなど、民主主義というのはすごくコストがかかります。そんな民主主義を選択しつつも、楽をしたがる私たちが、これほどタイパのいいChatGPTに身を委ねるのはとても恐ろしい。命に関わる問題です。
日本は“修繕”か“崩壊”かの岐路に立っている
―つまり、民主主義とChatGPTは相性が悪いと。
一方で、独裁国家にはとても相性がいい。例えば中国共産党は、一部の人以外はAIを使ってはいけないという法律を簡単に作れる。フェイクニュースが氾濫しようとも、それなりの経済成長を遂げているので、誰も気にしない。民主主義国家が混乱に陥る中で、「一番うまくいく社会は中国だったのか」という話になりかねない。
―では、民主主義の世界ではEUをはじめ、国家やその共同体が法律によるコントロールを考える必要があるのですね。
すでにフランスのマクロン大統領あたりは考えはじめているでしょう。ただ、暗号通貨をはじめ、ここ20年で「国」という枠組みに対する挑戦も繰り返されてきました。
例えば何かメッセージを伝えようと思ったときに、郵便や電報の時代とインターネット時代では、1日に伝えられる情報量が違いますよね。1日に移動できる距離や、伝えられる情報量によって国家の適切なサイズは決まるんだと思います。現状の国民国家は前回の産業革命の技術を基にサイズが決定されたのでしょう。
暗号通貨やAIについていける人にとって、世界は小さくなります。国家の枠を飛び越えて利益を最大化する人々から確実に徴税できないと、国民国家の意義は損なわれ、安定性は揺らぎます。一方、そうした最先端技術についていけない人にとっては、国民国家やEUは大きすぎ、もっと小さなサイズの国家を望みはじめる。ずっとほぼ同じサイズの国家で1000年以上過ごしてきた日本人にはわかりにくいかもしれませんが。
けれども、戦後、外部からもたらされたとはいえ民主主義を謳歌（おうか）してきた日本という国が、それを守るために民主主義を“修繕”するのか、それとも身を委ねて“崩壊”のままにするのか岐路に立っているとはいえるでしょう。
―そうなってくると、やはりAIをビジネスに用いる企業側にも高い倫理観が不可欠でしょうか？
グーグルのスンダー・ピチャイCEOはこうした副作用を理解したうえで、（AIチャットボットの）展開を抑えてきたんだと思うんですよ。Transformerを出しておきながら、何ができるかまで言わなかったのは、そういうことではないかと。
また例えばビル・ゲイツだったら「オフィス（Microsoft Office）革命」と社内に閉じた感じでとどめていたと思う。社内のデータに基づいて生産性向上するために、クローズドにChatGPTを活用するだけであればフェイクもフェイクじゃないも関係ないので。Bingに搭載して勝負をかける、という展開はやや意外でした。
今後、検索ページの右側画面にどのレベルまで(チャットボットの）技術を搭載するかという、メガテック同士のチキンレースになるでしょう。
さらに、物言う株主が何をできるかも焦点の1つです。
ネット上がChatGPTにジャックされる可能性
―ここでアクティビストが存在感を発揮するのですか？
民主主義でなくなったら、投資家ももうけられなくて困るわけですから。資本主義と民主主義を延命させることが、投資家にとってはすごく重要なんです。EUの立法を金銭的にも人的にも支援するのではないかと思います。
例えば、「ファクトを知る権利」のような法律を作り、こうした技術をビジネス展開するところにはファクトチェックのコストを負担させるとか。（ChatGPTが書いた文書かどうかを識別する）GPTZeroのような技術にも投資して、ChatGPTによって自動生成された文書に対してはアラートを表示するよう義務づけるとか。
著作権侵害で大量に訴訟を起こさせるとかが考えられますが、どれも短期的な時間稼ぎでしょうね。開いたパンドラの箱を閉じることはできませんから。
―正しくAIと向き合うためには、これからの教育の在り方も重要になってくると思います。教育分野について詳しい新井さんから見て、ChatGPT時代の教育はどのようになりそうでしょうか。
例えば試験の際、「何千字で書きなさい」という論述問題について、ChatGPTが回答した文章を配布します。それにリファレンス（出典）をつけるなど、時間内にファクトチェックさせてみたらどうでしょう。この未熟な技術を、自らが真に主人になって使いこなすとはどういうことなのか、ということを、身をもって感じてもらう必要があります。
ただ、ファクトチェックのために検索しても、ChatGPTが書いたものがヒットするかもわからない。ウィキペディアでもChatGPTが書けてしまう。ネット上がChatGPTにジャックされてしまったときには、もうどうしようもないかもしれません。そのとき、われわれは過去30年間享受してきた「ウェブ」という資源を失うことになるかもしれませんね。
【武山 隼大 森田 宗一郎 : 東洋経済 記者】
