『大規模言語モデルは新たな知能か ChatGPTが変えた世界』（岡野原大輔）

――――
　大規模言語モデルは、世界中の誰よりも多くの知識を備え、多くの仕事をタフにこなし、少なくともしばらくは急速に進化していくことが確実な人工知能システムである。しかし、人が共有している、命が有限であることや、家族や仲間がいることからうまれる価値観や正義感をもっていないこと、身体性をもつことから生じる世界の理解がないことに注意が必要である。そのため、このシステムは人の知能と同じになることはなく、人がまだ付き合ったことのない新しい知能である。
　人はこの新しい知能との付き合い方をまだよくわかっていない。私たちは、こうしたシステムが人とは違う種類の知能をもっていることを理解し、うまい使い方、飼いならし方を身につけていく必要がある。
――――
「序章　チャットGPTがもたらした衝撃」より


　チャットGPTに代表される大規模言語モデル。それは便利なツールというよりは、人間とは異なる種類の知能を備えた存在だと見なしてよい。人類がはじめて体験する異質な知能とのコンタクト。それは社会に大きなインパクトを与えつつ、私たちの知能とは何なのか、どのような仕組みで機能しているのか、を明らかにしてくれるかも知れない。大規模言語モデルの動作原理から、それが引き起こすであろう社会問題まで、コンパクトにまとめて解説してくれるサイエンス本。単行本（岩波書店）出版は2023年6月です。




目次

序章　チャットGPTがもたらした衝撃
１　大規模言語モデルはどんなことを可能にするだろうか
２　巨大なリスクと課題
３　機械はなぜ人のように話せないのか
４　シャノンの情報理論から大規模言語モデル登場前夜まで
５　大規模言語モデルの登場
６　大規模言語モデルはどのように動いているのか
終章　人は人以外の知能とどのように付き合うのか




序章　チャットGPTがもたらした衝撃
――――
　2022年11月に登場したチャットGPT(ChatGPT)は、これまでにない高い対話能力と汎用的な問題解決能力を示し、センセーションを巻き起こしている。公開からわずか二か月で、全世界の月間利用者数が一億人に達した。この増加速度は、これまでに公開されたあらゆる製品・サービスの中で最も速い。例えば、ティックトック(TikTok)は月間利用者数一億人を達成するまでに九ヶ月、インスタグラムは二年五カ月、ツイッターは五年を要した。世界のユーザーが注目して様々な目的に利用しており、その影響力の大きさがうかがえる。
　その高い対話能力や汎用的な問題解決能力をもつ人工知能を実現する技術が、大規模言語モデルである。
――――

　世界中にインパクトを与えたチャットGPT。それを支える大規模言語モデルとは何か。そしてそれは従来の技術とは何が違うのか。まずは本書で扱うテーマを整理します。




１　大規模言語モデルはどんなことを可能にするだろうか
――――
　インターネットが登場したときに、それがどれほど広く使用されるようになるのか理解できなかったように、大規模言語モデルが今後どのような分野で使用されるのかを想像することは難しい。
――――

　文書の作成、校正、要約、翻訳。プログラミング補助。情報検索。カウンセリング、コーチング、学習サポート。専門業務や研究の補助。大規模言語モデルの可能性を概観します。




２　巨大なリスクと課題
――――
　オープンAIらがまとめたレポートによると、大規模言語モデルによってアメリカの労働者の八割が仕事内容の少なくとも10パーセントに影響を受け、労働者の約19パーセントは仕事内容の50パーセント以上に影響を受けると予測している。さらに他の生成モデルなどの技術と組み合わせた場合は、労働者の49パーセントが仕事内容の半分以上に影響を受けると予測している。
――――

　虚偽情報生成（幻覚：ハルシネーション）、フェイク情報の拡散、個人情報や著作権のトラブル、偏見や差別などの拡大、なりすまし、犯罪利用、業務の急激な変化による失業やストレス、そして技術独占の弊害。大規模言語モデルが広く利用されるようになったときに、ほぼ確実に起きるであろう様々な社会問題について解説します。




３　機械はなぜ人のように話せないのか
――――
　人は言語の獲得や運用の仕方を理解できていないため、それを計算機に実現させることは難しいし、また従来の機械学習のアプローチをとる場合も、訓練データを構築することができず、いくつかのタスクでは目標を設定することが困難であった。こうしたことから、計算機で言語を人のように扱えるようにすることは難しかったのである。
――――

　大規模言語モデルとその革新性を理解するための前提知識として、そもそも従来の人工知能研究において機械が自然言語を扱えるようにすることが難しかった理由を解説します。




４　シャノンの情報理論から大規模言語モデル登場前夜まで
――――
　人間が言語をどのように獲得するのかはまだ解明されていないが、予測モデルのフィードバックが大きな役割を果たして可能性がある。そして、予測というタスクを解くことで、様々な能力を獲得することができることもわかってきた。
　一方、1300万文字というと十分多い量に思えるが、現在の言語モデルなどが学習する際には、これよりも数百倍から数万倍、場合によっては数百万倍を必要とする。
――――

　言語をモデル化して情報処理の対象とする技術はどのように発展してきたのか。機械学習によって自然言語を生み出すシステムの歴史を概観し、言語モデルが自然言語の「意味や構造を“理解”している」と見なせる理由を解説します。




５　大規模言語モデルの登場
――――
　モデルサイズを大きくすればするほど性能が上がるというのは、衝撃的な事実であった。従来の機械学習の考え方では、問題の複雑さに合わせた最適なモデルサイズが存在し、訓練データを同じような精度で解ける二つのモデルがあれば、小さいモデルの方が汎化性能に優れていることが期待される。こうした事実は、機械学習の教科書の最初の方に書かれている基本的な事柄だ。（中略）モデルサイズを大きくしていく中で、それまでまったく解けなかった問題がある時点から急に解けるようになる現象である。これを創発(Emergence)とよぶ。パラメータ数が数十億程度のときにはまったく解けなかった問題が、パラメータ数が数百億に増えると急に解けたり、数百億で解けなかった問題が数千億で解けるようになる。
――――

　言語モデルの規模を大きくしていくと、学習効率がどんどん上昇し、しかも非連続的な飛躍（創発現象）が生じることが分かってきた。規模を大きくした言語モデルは量的にだけでなく質的に異なるものになる。この衝撃的な発見からはじまった大規模言語モデルの開発競争について解説します。




６　大規模言語モデルはどのように動いているのか
――――
　複数のタスクを学習することで、学習方法自体を学習させることをメタ学習とよぶ。言語モデルと自己注意機構の組み合わせは意図せずメタ学習を実現し、毎回のプロンプトで与えられた指示やこれまで生成した結果を処理していくうちに、モデルを今の問題に急速に適応させることができると考えられる。
　こうしたメタ学習によって、通常の汎化を超えた汎化（分布外汎化）を達成できる。まだ見たことがないデータであっても、その場で適応することができるのだ。
――――

　いよいよ大規模言語モデルの構造と機能について分かりやすく解説します。




終章　人は人以外の知能とどのように付き合うのか
――――
　大規模言語モデルが人のように対話できるようになっていることから、その仕組みを研究することで、人が言語をどのように理解し、考えるのかを理解できるかもしれない。私たち自身がどのように世界を認識し、考え、他者と交流しているのかについて、より深く理解できるようになれば、人の世界の認識の仕方や、考え方、私たち同士の関係も、大きく変わっていくことができる。
　結局のところ、人は異なる知能をもった存在によって、初めて自分たち自身を理解できるのかもしれない。人工知能が人間の自己理解に貢献していくと考えられる。
――――

　大規模言語モデルは、人間とは異なる知能と見なすことができる。その存在は私たちが私たち自身を理解する上で重要なキーとなるかも知れない。異質な知能とのコンタクトという人類史上はじめての出来事が持つ潜在的なインパクトについて解説します。

タグ：その他（サイエンス）