使用的模型是Gemma-4-Novelist-Eclipse-31B.i1-Q5_K_M,上下文长度是32K,显存占用26G,
嗯,和之前的官方gemma4不一样,KV缓存消耗大幅下降,现在它的上下文可以直接拉到128K,32K才占用2.5G,64K也就5G显存。128K才10G显存的消耗。
玩玩酒馆是完全够用了。
以后就用本地模型了!
说真的,感觉这个模型各个方面都比现在的D指导要好。(当然可能是我的偏心感觉)
至于用词造句的问题,估计就是互相蒸馏导致的AI味,
那种一眼AI的固定句式,你也不知道到底是谁像谁~
剧情的跳脱性和趣味性都是很有意思的,也没有格式问题,总之非常好用。
使用成本也相当低,真的只用电费~