用語集

小型ドラフトモデルで複数トークンを先行生成し、本モデルで一括検証することで推論を高速化するアルゴリズム。

Multi-Head Attention の Key/Value を複数 Query で共有し、推論メモリと計算量を削減するアルゴリズム。Llama 2/3 等で採用。

GPU メモリ階層を活用してアテンション計算を IO 最適化するアルゴリズム。学習・推論を大幅高速化。

回転行列で位置情報を符号化する Position Embedding。長文外挿に強く、Llama・Qwen 等のオープンモデルで広く採用。

PPO の派生で、グループ内相対報酬で価値関数を不要にする強化学習アルゴリズム。DeepSeek-R1 が大規模に採用。

指示と望ましい応答のペアでモデルを微調整し、ゼロショット指示追従能力を獲得させる手法。FLAN・T0 等が代表例。

報酬モデルを介さず、人間の好みデータから直接 LLM を最適化する手法。RLHF より計算コストが低く実装が単純。

人間のフィードバックを報酬モデル経由で強化学習する手法。InstructGPT・ChatGPT で実用化。

Transformer と SSM を組み合わせるアーキテクチャ。AI21 Jamba が採用し、長文処理と並列性を両立。

選択的状態空間モデル（Selective SSM）。Transformer と異なり線形時間で長文を処理できる Attention-free アーキテクチャ。

複数の専門家ネットワーク（experts）から動的にルーティングする疎活性化アーキテクチャ。総パラメータを増やしつつ推論コストを抑える。Mixtral / DeepSeek V3 / Qwen3 等で採用。

GPT-2 の学習に使われた WebText の再現データセット。Reddit で 3 票以上得たリンク先を収集。

BigCode が公開する 600 以上のプログラミング言語をカバーするコードデータセット。900B トークン超。

Google が T5 のために構築した Common Crawl ベースのクリーンな英語データセット。約 750GB。

Together AI が公開する LLaMA の訓練データを再現したオープンデータセット。1.2T トークン規模。

EleutherAI が構築した 825GiB の多様な英語テキストコーパス。論文・コード・対話・書籍など 22 ソースから構成。

Hugging Face が公開する 15T トークンの高品質 Web コーパス。Common Crawl から複数段階のフィルタリングで品質を担保。

Web 全体のスナップショットを月次で公開する、AI 事前学習で最も広く使われる大規模 Web コーパス。

テキスト、画像、音声、動画など複数の形式（モダリティ）のデータを統合的に処理できるAIの能力。GPT-4V、Gemini、Claude 3、Llama 4などが対応。

人間ラベルではなく憲法（principles）に基づく AI 自身のフィードバックでアライメントする Anthropic の手法（RLAIF）。

自律的にタスクを計画・実行するAIシステム。ツール使用、記憶、推論能力を組み合わせ、複雑な目標を達成。Claude Skills、GPT-5のエージェント機能等が代表例。

Artificial General Intelligence（汎用人工知能）の略。人間と同等かそれ以上の知的能力を持ち、様々なタスクを遂行できる仮想的なAI。現在のAIはAGIに向けた発展途上にある。

Mixture of Experts（混合エキスパート）の略。複数の専門的なサブネットワーク（エキスパート）を持ち、入力に応じて一部のエキスパートのみをアクティブにする効率的なアーキテクチャ。Mistral、GPT-4等で採用。

Self-Attention 機構を中核とする系列モデルアーキテクチャ。2017 年の論文「Attention Is All You Need」で提案され、現代 LLM の基盤となった。

Large Language Model（大規模言語モデル）の略。大量のテキストデータで訓練されたニューラルネットワークで、自然言語の理解・生成が可能。GPT、Claude、Gemini等が代表例。

Mistral AIが開発した高効率な大規模言語モデル。オープンウェイトで公開され、Apache 2.0ライセンスで商用利用可能。MoE（Mixture of Experts）アーキテクチャを採用。

Meta AIが開発したオープンソースの大規模言語モデル。研究者やデベロッパーが自由に利用・カスタマイズ可能。Llama 2、Llama 3と進化し、オープンAIエコシステムを牽引。

Google DeepMindが開発したマルチモーダル大規模言語モデル。テキスト、画像、音声、動画を統合的に処理可能。Ultra、Pro、Nanoの3サイズを展開。

Anthropicが開発した大規模言語モデル。Constitutional AIアプローチに基づき、安全性と有用性を重視。Claude 3シリーズでは Opus、Sonnet、Haikuの3つのモデルを提供。

Generative Pre-trained Transformer。OpenAIが開発した大規模言語モデルシリーズ。GPT-3、GPT-4、GPT-5と進化し、自然言語処理の革命をもたらした。

Model Context Protocol - AIモデルとツールを接続するプロトコル

音声認識と音声合成AI

画像生成と画像処理AI

AIモデルとアーキテクチャ

検索拡張生成（Retrieval-Augmented Generation）

AIエージェントと自律型システム

LLMの思考連鎖推論技法

ローカル環境で動作するLLM

デザイン関連のAI技術

プロンプトエンジニアリングと技法

AIエージェントのルールやガイドライン

AI搭載コードエディタ

動画生成や動画関連のAI技術

AIツールやソフトウェアツール