开云体育(kaiyun)官方网站 实测12G显卡跑QWEN3.5 35B Q6K速率42token/s

使用的软件是LM Studio

下载的是unsloth QWEN3.5 35B Q6K。

除了unsloth外底下两个也可以，看你我方选拔。

加这个可以关闭念念考口头

如若险峻文长度在4000token摆布，速率可以跑到42-43token/s，拉长到20K的险峻文长度，速率会降到37-39token/s，但哪怕是37这个速率也弥散快了，况兼这是Q6K，可能更多的东说念主会选拔Q4KM的精度，险峻文多小数的情况下也能逾越50token/s。

现在使用来看，开云体育(kaiyun)官方网站QWEN3.5 35B的上风是速率快，其他就一般般了。

QWEN3.5 27B相配猛开云体育(kaiyun)官方网站，比QWEN3.5 35B强，能和QWEN3.5 122B-A10B互有输赢，但我这个12G显卡跑27B Q4KM惟一3.6token/s的速率，险些弗成用。16G显卡跑27B臆想也挺劳作的，我菜只可跑Q3量化，惟一24G显卡武艺稳稳的跑27B，又概况起码24G的苹果札记本武艺拼集跑跑27B。