模型全称baichuan3
模型简称baichuan3
模型类型基础大模型
发布日期2024-01-29
预训练文件大小0GB
是否支持中文(中文优化)是
最高支持的上下文长度8K
模型参数数量(亿)0.0
模型代码开源协议不开源
预训练结果开源商用情况不开源 – 不开源
模型GitHub链接暂无
模型HuggingFace链接暂无
DataLearnerAI的模型介绍
发布论文名(官方博客名)百川智能公众号:百川智能发布超千亿大模型Baichuan 3,中文评测超越GPT-4
基础模型无基础模型
发布机构 百川智能
baichuan3 简介
百川智能发布的第三代大语言模型,与此前两代百川模型最大的不同是这个版本的模型完全闭源。官方只公布了内部测试的成绩结果,没有其它额外信息。
官方公布的baichuan3模型与其它模型在文本理解方面的评测对比结果:
模型 | CMMLU | GAOKAO | MMLU | AGI-Eval | BBH | ARC-E | ARC-C |
---|---|---|---|---|---|---|---|
Baichuan 3 | 78.12 | 79.42 | 81.69 | 73.16 | 84.56 | 86.11 | 85.58 |
GPT-4 | 70.33 | 65.99 | 86.40 | 63.42 | 86.70 | 95.40 | 93.60 |
GPT-3.5 | 54.06 | 46.90 | 68.54 | 45.93 | 70.10 | 88.90 | 83.70 |
Baichuan3在数学逻辑推理和代码生成方面的评测结果:
模型 | GSM8K | MATH | Human Eval | MBPP | Crux-l | Crux-O |
---|---|---|---|---|---|---|
Baichuan 3 | 88.17 | 49.20 | 70.12 | 68.20 | 57.88 | 58.38 |
GPT-4 | 92.00 | 52.90 | 67.00 | 63.60 | 69.80 | 68.70 |
GPT-3.5 | 57.10 | 13.96 | 52.44 | 61.40 | 49.00 | 49.40 |
根据DataLearnerAI收集的大模型评测数据,Baichuan3的文本理解、数学推理上基本上仅次于GPT-4和Google Gemini Ultra,排名第三,比前段时间智谱AI发布的GLM4略高。
在编程领域的得分比GLM4略低:
© 版权声明
文章版权归作者所有,未经允许请勿转载。
THE END
暂无评论内容