業界最大の10Mトークンコンテキストウィンドウを持つオープンウェイトMoEモデル。16エキスパート構成、単一H100 GPUで動作。
対応機能
10Mトークン コンテキスト MoE（16エキスパート） ネイティブマルチモーダル 単一H100 GPU動作（Int4量子化）
スペック
コンテキストウィンドウ
10.0M トークン
パラメータ数
109B total / 17B active
入力モダリティ
テキスト 画像
出力モダリティ
テキスト
ベンチマーク
| ベンチマーク | スコア | 最大スコア | カテゴリ |
|---|---|---|---|
| RULER | 89 | 100 | long-context |
| MATH-500 | 88.4 | 100 | math |
| MMMU | 69.4 | 100 | multimodal |
オープンソース情報
- 重みの公開
- 公開
- ライセンス
- llama-community
- 学習データの開示
- 非開示
学術・技術メタ
アーキテクチャ
MoE (16 experts)
学習トークン数
30T
対応言語
en de fr it pt hi es th
1.3K likes 630.7K DL/月
同期: 2026年7月12日