ライフデザイン学科教員の相場です。 

前回のブログで「次のブログのテーマは『チャットGPT』にしよう」と書いたので、チャットGPT（を含む対話型AI）について書きます。

前回のブログでは「マクスウェルの悪魔のパラドックス」についてチャットGPTによる説明を載せて、「うーん、正確かつコンパクトです」と評価しました。もちろん、ダメな例もたくさんあります。私も本学の数学の入試の過去問を解かせてみました。すると、因数分解の問題は解いたのですが、確率の簡単な文章題はだめでした。はじめ、あまりにも流ちょうな文章だったので、「これくらいの数学の問題は解けるのか」と感心したのですが、よくよく内容を見てみると全くでたらめで、逆にびっくりしました。チャットGPTは、知っていることも知らないことも同じように書いてしまうのですね（2023年3月のチャットGPTのバージョンGPT3.5に対する話です）。

さて、チャットGPTについて、3つの話題を取り上げたいと思います。

1つ目は「レポート試験」についてです。チャットGPTの登場以来、多くの大学で、教育にどう取り上げていくかについて検討が始まっていますが、答えはおおよそ肯定的で、積極的に活用していこうということになっています。私たちの短大で2023年3月に作成した「数理データサイエンスAIプログラム」の自己点検評価報告書の中でも「『対話型AI』は、まさに学生にとっての身近なAIとして、AIができること・できないことを学ぶ上での教材となり得る。それだけではなく、例えば、レポートの書き方の自学自習をする際の格好の『教師』にもなり得る。これは、これまであり得なかったものである。・・・今後、AIの発展を積極的に取り入れ、自学自習のあり方も含めて授業を工夫していくことを検討していく」と書いています（大学教育における対話型AIの積極的活用については、囲碁や将棋の世界を見ると納得できます。囲碁や将棋のプロ棋士の世界では、AIを使って研究することによって全体として強くなっているそうですから）。

・・・で、問題は「レポート試験」をどうするかです。従来のルールの延長線上で、対話型AIのみを使ったレポートは不可というのは妥当でしょう。しかし、対話型AIと共存する社会におけるレポートのあり方をとしては、もう一段階工夫がほしいところです。例えば、国立情報学研究所の新井紀子教授は、対話型AIが作ったレポートに対するファクトチェックを課題としてはどうかというアイデアを提案しています。今後さらに多くのアイデアが提案されることが期待されます。

2つ目の話題は対話型AIの読解力についてです。よく知られているように、かつ、驚くべきことに、対話型AI（あるいはそもそもAI全般）は流ちょうに文章を生成しますが、実は、言葉の意味は全く理解していません。少し前の話になりますが、2011年、ワトソン（IBM社開発のAI）がアメリカのクイズ番組で人間のチャンピオンを破って優勝しました。やはり、言葉や文章の意味を理解していないにも関わらずです。流ちょうな文章を生成したり、クイズで優勝したりという現象だけを見ていると、対話型AI（あるいはAI全般）は人間以上、あるいは少なくとも人間並みの読解力を持っているように見えます。しかし、AIは膨大な統計的な処理に基づいて何とか答えているだけで、この現象だけでは真の読解力を見ていることにはなりません。

そこで、意味を理解しないと答えられない（と思われる）読解力テストが作られました。DROPというテストです。人間（エキスパート）のDROPテストのスコアは96.4%だったそうです。私もDROPを提案した論文に載っているサンプル問題をいくつか見ましたが、確かに人間なら一目で答えられる問題でした。さて、それでは同じテストで対話型AIのスコアはどうだったのでしょうか？BERT（対話型AIの先駆といっていいでしょう）のスコアは32.7%だったそうです。全く人間にはかなわないことがわかります。

しかし、これはあくまで2019年の話です。チャットGPTの現在のバージョンであるGPT–4のDROPのスコアはどうなのでしょうか？GPT-4のテクニカルレポート（2023年3月）によるとなんと81%までに到達しているようです（ちなみにGPT-3.5は64%です）。わずか数年で急激な伸びを見せ、人間（エキスパート）とそん色ないレベルまで到達しています。（実際、DROPで80%のスコアを出せる人間がどれほどいるのでしょうか？）意味を理解しないAIが、意味を理解しないと答えられないはずの読解力テストで人間と同じレベルに到達しようとしている。私たちは、この事実の持つ含意を十分吟味する必要があるでしょう。

3つ目の話題は、対話型AIの深層学習のアルゴリズム上の工夫の核心である自己注意（Self-Attention）機構についてです。・・・おっと、ここで字数が尽きたようです。自己注意機構についてはまたの機会にしたいと思います。