tclm 最近的时间轴更新
tclm

tclm

V2EX 第 325054 号会员,加入于 2018-06-27 15:17:25 +08:00
今日活跃度排名 21596
根据 tclm 的设置,主题列表被隐藏
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
tclm 最近回复了
84 天前
回复了 izzy27 创建的主题 程序员 独立开发好做吗?
@ruobingm 叫私域
148 天前
回复了 zzzyk 创建的主题 程序员 推荐个 mini 主机,开发用
正在用天钡 gem12 8845hs / 散热很好 / 家用场景下 WIFI 够用 / 正常使用没声音
我觉得吧,国内搞大模型除开那几家头部,可能是真下成本在搞。其他的都是套壳忽悠钱,他们不在乎你会做什么,在乎的是你的背景能不能帮他忽悠。
198 天前
回复了 wxd21020 创建的主题 NAS 配置小主机跑大模型
@mkdirmushroom

嗯,感谢,那纯 CPU + 内存 进行 70B 模型推理还是很勉强的事情.
202 天前
回复了 wxd21020 创建的主题 NAS 配置小主机跑大模型
@tclm
@mkdirmushroom

主要是推理效率,也不能太慢对吧,如果 CPU 跑不了 70B 的话,那内存的预算其实可以削减下来.
202 天前
回复了 wxd21020 创建的主题 NAS 配置小主机跑大模型
@tclm
@mkdirmushroom

内存是 96G ( 48G 5600Hz * 2 )

我主要担心的是 8845HS 在内存足够的情况下,处理器性能是否满足 70B 的推理要求。
202 天前
回复了 wxd21020 创建的主题 NAS 配置小主机跑大模型
@mkdirmushroom

老哥,配的多少内存,我准备搞一台 8845HS (或 Utral5 125H )+ 96G ( 48G 5800Hz * 2 ) 来跑 70B 的模型,只做本地推理,按你的经验,有搞头吗?
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2821 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 13ms · UTC 14:38 · PVG 22:38 · LAX 06:38 · JFK 09:38
Developed with CodeLauncher
♥ Do have faith in what you're doing.