首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
V2EX
›
mmjy
›
全部回复第 1 页 / 共 1 页
回复总数
1
7 天前
回复了
fid
创建的主题
›
程序员
›
8x4090 离线部署 Qwen2.5 求助
vllm 文档是有量化实验特性支持的,可以试试好不好用:
https://docs.vllm.ai/en/latest/quantization/auto_awq.html
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
920 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 11ms ·
UTC 22:21
·
PVG 06:21
·
LAX 14:21
·
JFK 17:21
Developed with
CodeLauncher
♥ Do have faith in what you're doing.