生成AIの用語と解説

潜在空間は、圧縮した特徴の数値が並び、近い点ほど似たデータを表す空間です。潜在拡散モデルはこの空間でノイズを除きます。 【関連】色空間は、色を数値で表す決まりです。

変分オートエンコーダ（VAE）は、入力を確率分布として圧縮・復元することを学び、新しいデータも作る生成モデルです。 【関連】GANは、二つのモデルを競わせます。

自己回帰モデルは、それまでの出力を手がかりに次の要素を一つずつ予測して系列を作ります。 【関連】拡散モデルは、全体のノイズを少しずつ取り除きます。

トークナイザは、文章をモデルが扱う単位（トークン）に区切り、それぞれを番号に置き換える部品です。 【関連】エンベディング層は、その番号を意味を表す数値の列に変えます。

知識蒸留は、大きな教師モデルの出力をお手本に、小さな生徒モデルに同じような働きを学ばせる手法です。 【関連】量子化は、数値の桁（ビット数）を減らします。

量子化は、重みを少ないビット数で表し、メモリを減らして動作を速くする手法です。 【関連】枝刈りは、影響の小さい結合そのものを取り除きます。

トランスフォーマーは文中の語を並列に計算できるため、RNNより学習を速く進められます。 【関連】RNNは、前の語の結果を待って一つずつ進みます。

ワンホット表現は、語彙の数だけ並んだ数値のうち該当する一つだけを1、ほかを0にする表し方です。語どうしの似ている度合いは表せません。 【関連】分散表現は、意味の近さを数値の近さで表せます。

インペインティングは、画像の一部を指定し、周りに合わせて自然に描き直したり消したりする機能です。 【関連】アウトペインティングは、枠の外側に描き足します。

拡散モデルは、画像に加えられたノイズを予測して取り除けるように学習します。 【関連】次の単語を予測するのは言語モデルです。

位置エンコーディングは、自己注意だけでは分からない語順の情報を入力に加える仕組みです。 【関連】アテンションマスクは、参照してはいけない語を隠します。

報酬モデルは、人の好みを学んで回答に点数を付けるモデルで、RLHFではその点数が上がる方向へ言語モデルを調整します。 【関連】教師モデルは、知識蒸留でお手本になるモデルです。

潜在拡散モデルは、画像そのものではなく圧縮した潜在空間でノイズを除くため、計算が軽く済みます。 【関連】GANは、二つのモデルを競わせる方式です。

LoRAは、元の重みを変えずに少量の追加パラメータだけを学ぶ、計算を抑えた微調整の手法です。 【関連】知識蒸留は、小さなモデルを別に作る方法です。

スケーリング則は、モデルの大きさ・データ量・計算量を増やすほど性能が予測可能な形で上がるという経験則です。 【関連】ムーアの法則は、半導体の集積度が一定期間で倍になるという経験則です。

創発は、モデルの規模を大きくすると、小さいモデルにはなかった能力が急に現れるように見える現象です。 【関連】過学習は、学習データに合わせすぎることです。

破滅的忘却は、新しい内容を追加で学ばせると以前できていたことを大きく失う現象です。 【関連】過学習は、学習データだけに合いすぎることです。

モード崩壊は、GANの生成器が多様なデータを作らず似た出力ばかり出すようになる現象です。 【関連】勾配消失は、学習の信号が途中で弱まり学習が進まなくなる問題です。

文脈内学習（インコンテキストラーニング）は、重みを変えずにプロンプト内の例からやり方を読み取って課題をこなす能力です。 【関連】ファインチューニングは、重みそのものを変えます。

マルチヘッドアテンションは、注意の計算を複数並べ、ヘッドごとに違う観点から語の関係を同時にとらえます。 【関連】位置エンコーディングは、語順を伝える仕組みです。

混合エキスパート（MoE）は、専門部分を複数用意し、入力ごとに一部だけを動かして計算を抑える工夫です。 【関連】アンサンブル学習は、複数のモデルの結果をまとめます。

対照学習は、画像と説明文の正しい組を近く、違う組を遠ざける形で数値化して学ぶ方法です。 【関連】能動学習は、学ぶべきデータを選んで人に正解を尋ねる方法です。