本次测评的所有模型都是基于测评开始时(1月初)已公开的版本,后续一些新发布的模型版本并没有纳入其中,不排除榜单和性能在发布时产生的变化,但这一期仍旧可以作为整体表现的长期参考。
此外,我们只提供了客观的测评结果,并没有给出谁好谁坏这样的结论,因为模型具有很大的成长性和不确定性,就像GPT-2到4一样,没人知道未来哪个模型会突然变化。不过我们可以给出自己的主观感受,仅供大家参考:
1. 基础大模型领域,GPT-4和GEMINI Ultra理论最强, LLAMA架构目前开源项目用的最多(也有公司直接copy代码的)但效果差强人意
2. 中文场景,通义千问、文心一言、vivo蓝心和GLM4是第一梯队,效果比gpt-3.5略好。除了华为盘古做业务垂类场景(地质、气象)不好评测,其余国产大模型表现都不错。
3. 截至发布之日,移动端又多了一个三星的Galaxy AI,但能力不如国内的四小只。其中蓝心小V应用场景最广、能力最全,华为小艺指令调度很强,效率工具很实用,小布基础能力很好,但手机场景还有待开发,小爱则在智能家居场景有很大潜力。
最后,制作不易,希望大家可以多多三连~这是对我们最大的支持与鼓励。