大規模言語モデルは新たな知能か

岡野原 大輔  著　「大規模言語モデルは新たな知能か」メモ　

大規模言語モデルは新たな知能か　ＣｈａｔＧＰＴが変えた世界 (岩波科学ライブラリー)

岡野原　大輔　著
「大規模言語モデルは新たな知能か」メモ

5　大規模言語モデルの登場

＜まとめ＞

・訓練データ量、モデルパラメータ数、投入計算量の三要因と、言語モデルの検証データの予測誤差との間にべき乗則が成り立ち、投資対効果を事前予測可能で、大きなモデルほど汎化し学習効果が改善。
・創発（Emergence）：モデルサイズを大きくしていく中で、それまで解けなかった問題がある時点から急に解けるようになる現象。
・プロンプトとよばれる指示をだすことで、学習しなおすことなく、その場で様々なタスクをこなすことができる（ゼロショット学習）。