IoT: 通过将思维链转化成节点,实现思维链的精简和提纯。
在不丢失主要信息的前提下,thinking block压缩率可达85%+。极大缓解了部分模型雷霆大思考对模型能力的影响。
压缩思维链的主要收益有:
1. 对抗上下文增长带来的缓存命中金钱开销(省钱)
2. 缓解长上下文带来的注意力分散开销(保性能)
3. 增强模型的长程任务能力。
总的来说,又便宜又好用,并且做到了模型无关、即插即用。
目前已将IoT实现为DSH插件模式,可以在0.2.0以上版本直接使用,并且可以根据个人需求,调整思维链压缩幅度,支持三档压缩(低,中,高)。
github地址: https://github.com/Roninton/IoT-items-of-thoughts
欢迎试用,欢迎star~
个人开发者,业余时间开发,如果有任何问题,欢迎联系~