youshao 发表于 2026-3-10 10:35:18

龙虾怎么配本地模型跑

14600KF    4060Ti16G   48GDDR5够用不

职业菜鸟 发表于 2026-3-10 10:39:13

应该可以吧。 那玩意 我看了下没装。自己搭了个 本地模型。 纯CPU 是真不行。 80核 128G 的一个会话 CPU 就50% 了。 内存占用倒是不高. 这玩意还是得显卡跑。

这个同事在用。据说成本还是很高的。 token消耗巨大。

youshao 发表于 2026-3-10 10:45:50

职业菜鸟 发表于 2026-3-10 10:39
应该可以吧。 那玩意 我看了下没装。自己搭了个 本地模型。 纯CPU 是真不行。 80核 128G 的一个会话 CP ...

据说一个月要烧1-2K，所以看看本地模型是否靠谱，也不干什么特别重要的东西么。

Musk 发表于 2026-3-10 10:46:41

内存，存贮，显卡都有一定的要求

芭啦啦能量 发表于 2026-3-10 10:51:26

烧的很，钱多可以玩。。昨天1000W TOKEN 1小时就给我干完了，。。。一个复杂点的问答直接50Wtoken，如果带点图片啥的，，，那更多了，如果有免费的API还是挺爽的，完全AI去执行处理任务。但数据肯定会泄漏，那么多代码，谁知道呢。。

youshao 发表于 2026-3-10 10:53:03

芭啦啦能量 发表于 2026-3-10 10:51
烧的很，钱多可以玩。。昨天1000W TOKEN 1小时就给我干完了，。。。一个复杂点的问答直接50Wtoken，如果带 ...

所以看看能不能搞个本地的玩一下，纯API业余选手烧不起啊

HOH 发表于 2026-3-10 10:56:59

怪不得要推广，原来token这么好赚钱

fuckjp 发表于 2026-3-10 10:58:26

自己搭了 qianwen 3.5b的，可以给龙虾用，具体你直接问AI吧

youshao 发表于 2026-3-10 11:01:13

我本地做图片反推提示词的用着一个qianwen3.1 16B的

芭啦啦能量 发表于 2026-3-10 11:08:48

youshao 发表于 2026-3-10 10:53
所以看看能不能搞个本地的玩一下，纯API业余选手烧不起啊

肯定可以，你有卡吗，顶级卡才行，垃圾显卡就算了把。。
页: [1] 2 3 4
查看完整版本: 龙虾怎么配本地模型跑