128エキスパートMoEの大規模オープンウェイトモデル。1Mトークンコンテキスト。GPT-4oやGemini 2.0 Flashを上回るマルチモーダル性能。
対応機能
1Mトークン コンテキスト MoE（128エキスパート） ネイティブマルチモーダル GPT-4o/Gemini 2.0 Flash超え
スペック
コンテキストウィンドウ
1.0M トークン
パラメータ数
400B total / 17B active
入力モダリティ
テキスト 画像
出力モダリティ
テキスト
ベンチマーク
| ベンチマーク | スコア | 最大スコア | カテゴリ |
|---|---|---|---|
| MGSM | 88.6 | 100 | multilingual |
| LiveCodeBench | 43.4 | 100 | coding |
| MATH-500 | 93.4 | 100 | math |
| MMMU | 73.4 | 100 | multimodal |
| Chatbot Arena ELO | 1327 | - | conversation |
オープンソース情報
- 重みの公開
- 公開
- ライセンス
- llama-community
- 学習データの開示
- 非開示
学術・技術メタ
アーキテクチャ
MoE (128 experts)
学習トークン数
30T
対応言語
en de fr it pt hi es th
500 likes 61.7K DL/月
同期: 2026年7月12日