メインコンテンツへスキップ
ESC
キーワードを入力してください
↑↓ 移動 ・ Enter 開く ・ Esc 閉じる 詳細検索ページへ →

vLLM

vLLM Project

推論サーバ

高スループット LLM 推論サーバ。PagedAttention により大量同時リクエスト下でも高効率に推論する。

公式サイト ドキュメント GitHub

特徴

  • PagedAttention による高効率 KV キャッシュ
  • OpenAI 互換 API サーバ
  • 量子化モデル対応

次に進む

目的に合わせて、学ぶ・比較する・相談するの3つの導線から選べます。

学ぶ 記事・解説・ニュースから学習する 学ぶへ進む 比較する モデル・ツール・タイムラインを比較して判断する 比較するへ進む 相談する 導入・活用の相談をフォームで送る 相談するへ進む