登陆注册
31339

李彦宏称大模型领域开源最贵,文心大模型推出一年怎么样了?

锤子财富2024-04-16 17:29:310
李彦宏表示,大家以前用开源觉得便宜,其实在大模型场景下,开源是最贵的,所以开源模型会越来越落后。

去年3月,百度发布文心一言,大约一年后,百度再召开Create百度AI开发者大会。百度创始人、董事长兼首席执行官李彦宏介绍了近一年来的进展,并宣布推出文心大模型4.0工具版。

一年前,随着ChatGPT掀起的大模型浪潮涌动,百度成为国内最早入局的一批。彼时文心一言并不完美,发布会期间,百度港股一度跌10%,美股随后才上涨。相较比拼参数和商业化能力,抢占大语言模型坐席似乎是当时更重要的事情。

大模型能力一年后则更为业界关注。百度文心大模型一年间从3.0迭代至3.5,又迭代至4.0。李彦宏在会上表示,文心大模型算法训练效率已提升至原来的5.1倍,周均训练有效率达98.8%,推理性能提升了105倍,推理成本则降到了原来的1%。“也就是说,客户原来一天调用1万次,同样成本下现在一天能调用100万次。”

文心大模型变强的同时,市场环境也在变化。2023年下半年开始,有业界人士向第一财经记者表示,“百模大战”开始收敛,不再有很多公司抢夺入场券。与此同时,一些留在场上的初创公司则逐渐显露锐气。例如,发力长文本的初创公司月之暗面今年3月曾掀起一波kimi概念股涨停潮。此外,以OpenAI、百度为代表的闭源大模型厂商还遇到大模型开源潮,开闭源之争成为新话题。李彦宏会上谈及相关话题时仍坚持他此前的看法,称“开源模型会越来越落后”。

应对市场的挑战,百度则发力大模型应用。李彦宏介绍,百度已将大模型能力应用至代码生成,并将视觉感知大模型应用到百度地图制图领域。

文心大模型怎么样了?

百度是BAT(百度、阿里、腾讯)中最早推出大模型的一家。文心一言一年前发布时,李彦宏称,文心一言在内测体验中并不完美,发布是因为有市场需求,百度各个产品线、客户都在等待这样的技术。随后,百度推动文心大模型迭代并向社会开放。去年8月,文心一言向全社会开放。10月,文心大模型4.0版本发布,李彦宏称该模型在综合水平“与GPT-4相比毫不逊色”。

李彦宏此次透露了文心大模型的最新数据,包括用户数据超2亿、API日均调用量超2亿、服务客户达8.5万、利用千帆平台开发的AI原生应用数超19万。文心大模型推理成本下降至原来的1%,是因为百度在芯片、框架、模型、应用四层架构上有全栈布局,通过端到端优化打下成本。

此次百度还发布了文心大模型4.0工具版,工具版有代码解释器,可通过自然语音交互实现对复杂数据和文件的处理与分析,并生成图表或文件。李彦宏介绍,百度在MoE(混合专家模型)、小模型、智能体三个方向都推出了工具,包括智能体开发工具AgentBuilder、AI原生应用开发工具AppBuilder、各种尺寸模型定制工具ModelBuilder,利用工具,智能体可以批量生成,开发AI原生应用可用自然语言,尺寸模型可根据开发者需求定制。百度还有三个轻量级模型Speed、Lite和Tiny。

“未来大型的AI原生应用基本都是MoE架构,指大小模型的混用,不依赖一个模型来解决所有问题。小模型推理成本低、响应速度快,在一些特定场景中,经过精调后的小模型,使用效果可以媲美大模型。通过大模型压缩蒸馏出基础模型,比从头开始训练小模型,效果好很多。”关于AI原生应用的思路,李彦宏表示。

此外,他判断,随着智能体能力提升,还会催生大量新应用,智能体机制包括理解、规划、反思和进化,可让机器像人一样思考和行动,自主完成复杂任务并在环境中学习、自我迭代。

文心大模型近期已展示了应用于人形机器人场景的能力。优必选人形机器人接入文心大模型并发布了一段演示视频, 视频中人形机器人Walker S接到语音任务后能用手叠衣服并回答关于衣服搭配的问题,还自主进行物体分拣。优必选董事会主席兼行政总裁周剑称,大模型最好的接入载体是人形机器人。但优必选管理层同时向记者指出,大模型与人形机器人的融合更多处于研发阶段。

再评论开源大模型

相比一年前文心一言刚推出时,大模型业态已发生明显改变。文心大模型是国内主要的几个大模型之一,其他主流大模型还包括阿里通义千问、腾讯混元、智谱清言、百川、kimi等。不变的是,业内仍在追赶OpenAI,变化的是,创业企业也分化出头部,与互联网巨头同台竞技,其中创业企业月之暗面的kimi发力长文本能力,已引起资本市场关注,3月曾因过多流量涌入导致kimi宕机。

闭源还是开源,大模型公司的路线也在分化。目前,OpenAI、百度走闭源路线,字节、腾讯、华为也未公布开源大模型。海外的谷歌和Meta,国内的阿里通义千问、百川智能、360、昆仑万维、智谱AI等企业则发布了不同参数的开源大模型,其中不少企业同时做开源和闭源大模型。

开源的力量越发难以忽视。去年谷歌一份内部文件便曾在网上传开,该文件提到开源大模型正在侵蚀OpenAI和谷歌的阵地,除非改变闭源的立场,否则开源替代品终将使这两家公司黯然失色。谷歌随后也在推动大模型开源,包括Gemma 2B、Gemma 7B。

原本,很多公司开源的大模型参数量都在70亿参数、130亿参数左右甚至更小,但今年3月,特斯拉CEO马斯克旗下xAI公司开源了3140亿参数大模型Grok-1,将现有开源大模型参数量提拉至千亿以上。只要自己部署算力,开源目前基本指向免费。开源大模型对闭源大模型的“狙击”,似乎更猛烈了。

作为闭源的阵营,面对使用成本可能更低的开源模型,李彦宏的答案是将闭源模型尺寸裁剪得更小,以兼顾成本和效果。

“有了强大的基础模型文心4.0,我们可以根据需要兼顾效果、响应速度、推理成本等各种考虑,裁剪出适合各种场景的更小尺寸模型,且支持精调和post pretrain(预训练)。通过降维裁剪出的模型,比直接拿开源调出来的模型,同等尺寸下效果更好,同等效果下成本明显更低。”李彦宏表示,大家以前用开源觉得便宜,其实在大模型场景下,开源是最贵的,所以开源模型会越来越落后。

此前李彦宏对于开源落后列举的理由还包括,有商业模式的闭源模型才能聚集人力和财力。不过。李彦宏关于开闭源的观点并未获得业界的一致认同,有业界人士认为,开源不仅免费灵活,还在数据安全性上有优势,目前闭源更偏向To C,面向个人消费者,开源更偏向To B,面向企业,不过,开源商业化当前确实是个问题。

此外,虽然业界有分析认为“AI原生”的创业企业基于组织灵活等优势,或许可比科技巨头走得更远,但与这些“拿着技术找应用”的初创公司不同,百度这类互联网企业客观上在推动商业化具备一定先发优势。正如一年前李彦宏所称的“各产品线、客户等待这样的技术”,目前百度不少业务正在推进大模型应用。

李彦宏称,百度每天新增代码中,已经有27%是由智能代码助手Comate自动生成的,该代码助手基于文心大模型。此外,李彦宏表示,多模态是通往AGI(通用人工智能)的必经之路,视觉大模型最大的应用场景将是自动驾驶,在这方面,百度已训练出Apollo视觉感知大模型。

李彦宏表示,百度地图率先将视觉感知大模型应用到制图领域,全球最大规模的车道级地图数据已上线全国360座城市。百度旗下的自动驾驶出行服务商萝卜快跑则在武汉部分地区实现全天候运营,计划年内在武汉部署1000台无人驾驶车辆。

0000
评论列表
共(0)条