这是一个创建于 216 天前的主题，其中的信息可能已经有所发展或是发生改变。
目前提供线上 AI 服务的成本居高不下，如果能把 AI 模型集成到客户端中，这块的服务成本省了，用户也得到了方便。
19 条回复 • 2024-04-29 15:08:48 +08:00
 |
1
zcf0508 216 天前
用户：我只有核显可以做到 100t/s 吗？
|
 |
2
zhwguest 216 天前
TensorFlow js....
|
 |
3
malusama 216 天前
用户： 这个客户端怎么好几个 G ？ 里面到底塞了啥
|
 |
4
ysc3839 216 天前 via Android
libtorch 跑 torchscript ，或者干脆弄个 embedded Python
|
 |
5
nickfox5880 216 天前
你们自己做的 ai 模型吗？
|
 |
6
jianchang512 216 天前
如果不在意体积，可以用 python 包下，提供个 api 给 electron 用
|
 |
7
wxxxcxx 216 天前
Mozilla 好像开源了一个可以以单文件分发大模型的工具
|
|
8
wxxxcxx 216 天前
|
 |
9
shadowyue 216 天前
你的 AI 模型如果核显的性能都带的动，那可以试试
|
 |
10
AKAUP 216 天前
1. 模型逆向泄露风险
2. 适配多端平台的开发难度评估 3. 用户客户端算力、处理芯片的不统一，可能会带来使用体验的降低 4. 客户端体积包增大 这是我想到的四个缺点叭，不知道合不合理 |
 |
11
Jirajine 216 天前
能跑是能跑，但这可不能像 electron 每个应用都带一个 chromium 一样每个应用都带一个 llama 。
|
 |
12
kneo 216 天前 via Android
可以用 ollama 本地部署，然后你用 http api 调用本地服务就可以了。
你的 electron 实现端只需要负责调 API ，可以配置为使用云端的（比如 openai ）或者本地的。类似实现一大把，自己找找吧。可以搜索 local llm 之类的。 |
 |
13
yolee599 216 天前 via Android
线上服务都嫌成本高，那本地部署成本更高了
|
 |
14
Curtion 216 天前
看什么模型，一般可以使用 onnxruntime 来做
|
 |
15
horizon 216 天前
当然可以，本地大模型才是未来
|
 |
16
Garphy 216 天前
用 ollama 可以提供模型 api ，可以命令行导入第三方模型 gguf 文件
|
 |
18
knightgao2 216 天前
3.5 应该成本很低呀，你可以考虑限制免费用户的频次，根据二八原则，选个大多数人可以接受的就行
|
 |
19
jones2000 215 天前
直接卖给客户一个计算盒子，模型计算直接在盒子里计算。
|
Select Language