全球主机交流论坛

标题: 在甲骨文首尔arm64上部署mistral-7b并用于生成网页description [打印本页]

作者: jekyll    时间: 2025-3-11 23:11
标题: 在甲骨文首尔arm64上部署mistral-7b并用于生成网页description
本帖最后由 jekyll 于 2025-3-12 17:13 编辑

好几年没更新硬件了,手头只有一张2060。
在我用过的所有能在6G显存上使用纯GPU运算的小模型里,mistral-7b算是一枝独秀。
不涉及复杂推理,单纯进行自然语言理解和总结,mistral-7b已经可以很好的胜任,反倒很多14b、32b的模型没能让我明显感知到质量提升。
最近为了省电,把2060的机器也关了,换成甲骨文arm64,照样能跑,就是速度只有原来的1/7。

cpu24小时拉满,希望不要被封号。

效果预览,下面这个网页:

https://zui6.de/d/341d0a3c6a045c77606a5672475f646a1b261c1f

AI总结的description如下:
在社区讨论中,多位用户需要一个可以对文本执行全部查找和替换操作的 iOS 应用。建议尝试 Code App(https://apps.apple.com/us/app/code-app/id1512938504)或 Bear App,前者是收费软件,后者免费版应该够用。另外,还有 Runestone 和 Dreamedit 等其他选项。

还得继续微调,前面的“在社区讨论中”有点多余,这家伙目前特别喜欢在前面加上“在社区讨论中”。
作者: 吊打华伪    时间: 2025-3-11 23:27
甲骨文多少内存?

这个不是超垃圾的欧洲之光 le chat么
作者: jekyll    时间: 2025-3-11 23:31
吊打华伪 发表于 2025-3-11 23:27
甲骨文多少内存?

这个不是超垃圾的欧洲之光 le chat么

24GB内存,只需要6GB就够了
作者: 吊打华伪    时间: 2025-3-11 23:34
jekyll 发表于 2025-3-11 23:31
24GB内存,只需要6GB就够了

免费的居然这么大内存
作者: 甜菜超人    时间: 2025-3-12 13:29
可以理解并输出中文吗
作者: jekyll    时间: 2025-3-12 17:12
甜菜超人 发表于 2025-3-12 13:29
可以理解并输出中文吗

“理解并输出”这是所有大模型最基本的功能,输出中文,需要添加提示词,比如“用中文回复”。
但是每个模型调校的不一样,mistral比较听话、稳定。
qwen就比较絮叨,容易循环和冒出英文。




欢迎光临 全球主机交流论坛 (https://d.168530.xyz/) Powered by Discuz! X3.4