岡野原大輔『大規模言語モデルは新たな知能か』

岡野原大輔『大規模言語モデルは新たな知能か』 PC

岡野原大輔大規模言語モデルは新たな知能か』読了。
副題は「ChatGPTが変えた世界」ということで、一応巷にあふれるChatGPT本の一つ、ということになるのかもしれません。
でも、どこかの仕事術の本を焼き直しただけとか、使い方をゼロから解説したような本とは一線を画す内容です。
著者はAI技術で起業した方のようですね。
コンサルとかネットビジネスの人とかでは無いので安心して手に取った次第。
130ページほどの分量でさっと読みこなせるのですが、そのなかで数式を使わずにLLM(大規模言語モデル)について解説していて、これが非常にわかりやすいのです。

ブルーバックスみたいに数式を使わずに科学・技術を解説する本というのは、「わかった感」だけを読者に与えてしまうので有害だ、なんてことを昔駿台物理の坂間勇師が言っていて、それにかぶれた受験生時代以降、学生どころか社会人になってもなんとなくこういう本を手に取るのに罪悪感を持つようになっておりました。
まあ、でも、もうこの歳になったら、とりあえず知識を詰め込むのには良いですよね。
地下の人となった坂間先生も許してくれるはず。

機械学習ディープラーニングなどを、その存在くらいは認識していた、その触りをプログラムで体験してみたりはした、というレベルの外部者からしてもChatGPTに出会った衝撃はあるものです。
なんでいきなりこんなことまで出来るようになった?という。
技術的にどんなブレイクスルーがあって、どういう経緯を経て開発されたものなのか、というところが、どうしたって気になるわけです。
でも、最初にパラパラめくったところでは、純粋にモデルとして解説されているのはいつもながらのニューラルネットワークの話だし、技術史的に書かれているのはアルファ碁の話だし、そんな新しいことは発生して無い?という当初の印象。

読み終えての感想としては、実際のところは、そうとも言えるしそうではないとも言えるようです、というもの。
本書によると、言語モデルのべき乗則の発見というものが鍵だったのですね。

訓練データとモデルサイズを増やしていけば、結果との間にべき乗則が成立するということがわかったのは非常に大きかったと。
金をかければかけただけ、そのリターンは約束されたということになるので。
技術肌の人からしたら面白みのない結論かもしれませんが、起業家・投資家からするとこれほどありがたい話は無いですよね。
これにより、Open AIも確度を持ってGPT-3.5なりGPT-4の開発に進めたということなのでしょう。

それから、もう一つ。
モデルサイズを大きくしていくと、あるときからグンと能力があがることがあるのだそうです。
創発」と呼ばれるのだそうですが、それまで解けなかった問題が急に解けるようになる、と。
その現象が起きる原因は、まだ正確には解明されていないとのことですが、そのあたりもAIぽくて面白い。

そんなエピソードも詰まっていて、ChatGPTについて少しばかりモデルのことも知っておきたいという人には最適な一冊。

岡野原大輔本

AI技術の最前線 これからのAIを読み解く先端技術73 [ 岡野原 大輔 ]
AI技術の最前線 これからのAIを読み解く先端技術73 [ 岡野原 大輔 ] 3,850円(税込)【送料込】

楽天ブックス

岡野原 大輔 日経BPエイアイギジュツノサイゼンセンコレカラノエイアイヲヨミトクセンタンギジュツナナジュウサン オカノハラ ダイスケ 発行年月:2022年08月05日 予約締切日:2022年07月20

【新品】拡散モデル データ生成技術の数理 岡野原大輔/著
【新品】拡散モデル データ生成技術の数理 岡野原大輔/著 3,520円(税込)【送料別】

ドラマ本とゲームの新品中古専門店

■ISBN:9784000063432★日時指定・銀行振込をお受けできない商品になりますタイトル【新品】拡散モデル 岡野原大輔 著ふりがなかくさんもでる出版社岩波書店ISBN9784000063432

AIってそういうことか! ビジネスの現場で使えるPFN式活用法 [ 西川徹、岡野原大輔 ほか ]
AIってそういうことか! ビジネスの現場で使えるPFN式活用法 [ 西川徹、岡野原大輔 ほか ] 2,200円(税込)【送料込】

楽天ブックス

西川徹、岡野原大輔 ほか 日経BPAIッテソウイウコトカ!ビジネスノゲンバデツカエルPFNシキカツヨウホウ ニシカワトオル、オカノハラダイスケホカ 発行年月:2022年09月09日 予約締切日:202

大規模言語モデルは新たな知能か ChatGPTが変えた世界【電子書籍】[ 岡野原大輔 ]
大規模言語モデルは新たな知能か ChatGPTが変えた世界【電子書籍】[ 岡野原大輔 ] 1,540円(税込)【送料込】

楽天Kobo電子書籍ストア

<p>対話型サービスChatGPTは驚きをもって迎えられ,IT企業間で類似サービスをめぐる激しい開発競争が起こりつつある.それらを支える大規模言語モデルとはどのような仕組みなのか.何が可能となり,どん

大規模言語モデルは新たな知能か ChatGPTが変えた世界/岡野原大輔【1000円以上送料無料】
大規模言語モデルは新たな知能か ChatGPTが変えた世界/岡野原大輔【1000円以上送料無料】 1,540円(税込)【送料込】

bookfan 2号店 楽天市場店

著者岡野原大輔(著)出版社岩波書店発売日2023年06月ISBN9784000297196ページ数132Pキーワードだいきぼげんごもでるわあらたなちのう ダイキボゲンゴモデルワアラタナチノウ おかのは

楽天ウェブサービスセンター
タイトルとURLをコピーしました