9月25日,国际权威评测机构沙利文联合头豹研究院发布《2024年AI代码生成市场观测报告-里程碑》年度报告,从十个维度对百度、阿里、腾讯、科大讯飞、商汤、智谱AI等六家中国AI代码生成厂商进行了综合竞争力表现评估。结果显示,百度文心快码Baidu Comate在技术底蕴、应用落地、产品成熟等八个重要维度均排名第一,成为所有参评厂商中获评第一最多的产品,位居首位。当日,国内评测机构SuperCLUE也发布“中文原生代码助手测评基准榜单”,百度文心快码总分达到87.55,在国内AI代码产品中排名第一。
沙利文报告是从四个阶段、十大维度出发进行评估,包括起步阶段、探索阶段、发展阶段以及成熟阶段,主要考察AI代码生成产品的技术研发力、市场表现力以及未来发展潜力。
沙利文报告指出,作为中国AI代码生成头部企业,百度系产品文心快码依托文心大模型与百度编程大数据,实现“想、写、改”全链路智能辅助,大幅提升编码效率,释放“十倍”软件生产力,让开发者从繁琐代码中解脱,专注于创新,加速产品迭代与升级。报告还阐明了文心快码三大亮点:20年+技术积累、降本提效、简单易用。
在起步阶段,报告从技术底蕴、概念雏形两个维度进行考察,代码数据量、深度学习和自然语言技术等是AI代码生成的竞争起点。文心快码凭借文心大模型优势,结合大量代码数据和开发环境中的自然语言对话数据,以及多年的软件开发经验积累,使其处于领先优势。
在探索阶段,代码补全、预测、重构等功能的实现及场景落地是这一阶段的关键。报告认为,文心快码结合百度二十年编程现场大数据,在代码生成、代码解释,生成注释、代码优化等方面不断迭代,全面覆盖研发全流程,其成熟的产品功能和应用能力,有效满足市场和企业需求。
在发展阶段,报告主要考察了产品的技术竞争力、市场化和应用落地能力。技术层面,文心快码不仅提供基础功能,还具备高度场景化能力,可无缝对接企业私域知识,包括业务接口文档、产品需求文档、测试用例文档等。在落地层面,文心快码已在汽车、金融、互联网、机械制造等多个行业快速渗透。
在成熟阶段,报告主要考察产品是否实现近完全自动编程,以及是否成为行业标杆。沙利文认为,文心快码能深度理解研发流程,从需求分析、架构分析到测试、运维等各个环节都能提供有力支持。同时,文心快码能自动完成许多重复性和低创造性的工作,如debug、生成代码注释、编写重复代码等,解放了开发者的时间,使之能够更专注于核心逻辑的实现和创新性工作。
公开资料显示,文心快码于去年6月份正式对外发布,目前更新至2.5版本,覆盖Java、Python、C++等200+种编程语言,支持JetBrains、VSCode等10+种主流IDE。
在百度,85%的工程师已经在深度使用文心快码,新增代码生成占比30%,代码采用率超过46%。此外,文心快码也已应用于吉利汽车、顺丰科技、方正证券、华农保险、喜马拉雅、同程旅行、名创优品、上海三菱电梯等万家企业客户,覆盖汽车、金融、物流、互联网、机械制造、软件服务、集成电路等行业领域。
除沙利文报告之外,百度文心快码还在SuperCLUE测评榜单中位列国内厂商第一。评测机构SuperCLUE在9月25日发布首期“中文原生代码助手测评基准榜单”,从4个一级维度和11个二级维度出发,对2个海外AI代码产品和5个国内主流AI代码产品进行能力评估。结果显示,百度文心快码总分达到87.55,在国内AI代码产品中排名第一,在代码生成与改写、代码理解与分析、代码优化与修护方面的得分均高于其他国内产品,处于领先地位。
当下,AI代码生成已成为全球AI生成落地最广泛应用的场景之一。AI智能编码助手能有效帮助企业降低开发成本、缩短开发时间周期、提高项目验收合格率。
沙利文预测,到2028年,中国AI代码生成市场规模将增长至330亿元人民币,未来AI代码生成将渗透到更多行业和领域。