有大佬推荐AI 涩涩聊天可以本地部署的模型吗？

lose0001

有大佬推荐AI 涩涩聊天本地部署的模型吗？我现在用的酒馆挂LM Studio

我试了十几个特化版有qwen2.5、llama3.2、qwen3、有16k 有8k都不太理想、要么语言逻辑混乱、要么速度慢的要死、


求大佬推荐、最好能有链接

djaafer

ryuuki2010 发表于 2026-5-5 10:06
首先不知道你GPU到底多大显存，我16G显存用这个模型Qwen3.5-9B-Q8_0.gguf，GGUF是破限的可以瑟瑟，你要是显 ...

大佬 我也用的9B 感觉5060TI 16  还可以往往上加点 比如14B

subi5460

还不如官方GROK，本地部署至少2块4090 24G。不然你那点字节，聊30段就用完了。

ryuuki2010

还有你说的语言逻辑混乱，需要你调温度才行

djaafer

ryuuki2010 发表于 2026-5-19 19:10
太大的模型 咱显卡会慢啊  只是聊天 没啥必要吧

此言差异啊  大佬 小模型回话快 可是常常不知所云 要不就是 极其极其极其极其极其极其极其  极其  .
.......
我现在主力14b 正在实验27B 和35bD 量化版怎么样

ivan73

痴梦人 发表于 2026-6-29 04:49
这个怎么弄啊 大佬求教

你直接搜百度deepseek开放平台，注册后进去申请个API，直接用就行了

痴梦人

ivan73 发表于 2026-5-7 05:27
要什么本地部署，deepseek v4 flash就可以1分钱一条。

这个怎么弄啊 大佬求教

djaafer

ivan73 发表于 2026-5-24 20:43
可本地部署，要能达到deepseek v4 flash的水平，没有几万下不来。性价比等于没有。
...

看看最近的酒馆社区就明白最近的形式了 以后公益站都没有了

djaafer

ryuuki2010 发表于 2026-5-21 18:21
在提示词中得让AI不得重复使用相同描述

作用不大 本地模型大多都是轻量级的MoE版本 约束力不强 温度太低了反而写不出东西

ivan73

lose0001 发表于 2026-5-7 12:06
本地部署拓展性更好，可以外接很多东西

可本地部署，要能达到deepseek v4 flash的水平，没有几万下不来。性价比等于没有。

ryuuki2010

djaafer 发表于 2026-5-20 23:18
温度太低就老是车轱辘话 一段一段的

在提示词中得让AI不得重复使用相同描述

djaafer

ryuuki2010 发表于 2026-5-20 18:53
还是需要设置 温度  别弄太高

温度太低就老是车轱辘话 一段一段的

ryuuki2010

djaafer 发表于 2026-5-20 09:44
此言差异啊  大佬 小模型回话快 可是常常不知所云 要不就是 极其极其极其极其极其极其极其  极其  .
.... ...

还是需要设置 温度  别弄太高

ryuuki2010

djaafer 发表于 2026-5-19 12:08
大佬 我也用的9B 感觉5060TI 16  还可以往往上加点 比如14B

太大的模型 咱显卡会慢啊  只是聊天 没啥必要吧

subi5460

lose0001 发表于 2026-5-17 11:48
有链接吗？能涩涩？

直接搜GROK

lose0001

subi5460 发表于 2026-5-10 11:00
你就官方GROK，30美元一个月，随便玩。如果你买显卡，最起码要1万多

有链接吗？能涩涩？

subi5460

lose0001 发表于 2026-5-7 22:43
我明白你意思了 用挂API 玩酒馆 是吗？

你就官方GROK，30美元一个月，随便玩。如果你买显卡，最起码要1万多

5rtgg

gemma-4我本地部署用感觉还行，不知道会不会因人而异，我的配置比你差许多的

lose0001

subi5460 发表于 2026-5-7 21:58
还不如官方GROK，本地部署至少2块4090 24G。不然你那点字节，聊30段就用完了。 ...

我明白你意思了 用挂API 玩酒馆 是吗？

lose0001

ryuuki2010 发表于 2026-5-7 13:20
跑大模型只看你显卡，你显卡是A卡跑大模型限制不少，显存你也没说是多少的 ...

9070tx不就只有一种现存规格么16G

ryuuki2010

跑大模型只看你显卡，你显卡是A卡跑大模型限制不少，显存你也没说是多少的