腾讯混元大模型姗姗来迟,高管解说有这几点考虑
虽然此前腾讯集团CEO马化腾表示不急于推出半成品大模型,但在这样的技术迭代节点,缺席不行。
9月7日,腾讯终于通过腾讯云对外开放通用大模型“腾讯混元”,由腾讯全链路自研,拥有超千亿参数规模,预训练语料超2万亿tokens。token是指一段文本的最小独立部分,大模型中,token可以是一个单词也可以是一个字符,一般会对token数量进行限制以避免超过模型的最大处理能力。
作为“混元”的领队,腾讯集团副总裁蒋杰2012年加入腾讯,2020年完成腾讯广告投放端整合。广告业务也是混元大模型的重要“试验地”,除此之外,云、游戏、金融科技、腾讯会议、腾讯文档等超过50项腾讯业务与产品均接入混元大模型测试。
相较于国内百度、阿里,以及人工智能创业公司在今年上半年的高调与迅速,腾讯在通用大模型领域称得上“缓慢”。除了马化腾所解释的“早一个月把电灯泡拿出来不那么重要”外,采访中腾讯集团高级执行副总裁、云与智慧产业事业群CEO汤道生表示,通用大模型对计算要求非常高,数据的积累也花费漫长时间,且行业大模型的发布能够满足具体客户的需求。
此次“延迟”亮相的通用大模型有哪些不同?蒋杰表示,腾讯混元重点关注中文创作能力,提高了模型在场景中的推理能力,让模型能够更好地抗拒“诱导”,并通过自研的“探真”技术来优化普遍存在的幻觉问题。
OpenAI研究人员此前撰文表示,“即使是最先进的人工智能模型也很容易产生谎言,它们在不确定的时刻往往表现出捏造事实的倾向。而这些幻觉在需要多步骤推理的领域尤其严重,因为一个逻辑错误就足以破坏一个更大的解决方案。”OpenAI采取奖励每个正确推理步骤取代奖励正确结果的方式来矫正幻觉问题。
腾讯通过探真(truth forest)等技术降低大模型的幻觉,而不是“背题”等单点优化的方式。蒋杰表示,外界会用到知识图谱甚至搜索外挂来提高大模型的检索支持能力,如有些开源模型厂商所发布的大模型中,搜索增强技术就占比10%甚至更多,但这会导致不一样的幻觉问题。腾讯也会用到这些增强技术,比例并不高,在预训练阶段优化目标函数,“彻底解决幻觉问题是非常非常难的,只能从概率上做到更低。”蒋杰成说。
腾讯选择全链路自研的路径主要是为了技术迭代更快,也可以和内部业务及应用有更深度的结合。此外,腾讯有海量高并发业务,开源架构的大模型不能够支撑腾讯的业务体量。
相较于其他大厂或创业公司提速开源的动作,腾讯混元目前所有能力均开放给腾讯业务部门,各业务基于混元的能力上去和更多的应用结合,把选择的主动权交给了集团业务部门。
优先结合自身应用的考量还包括了对大模型落地C端还是B端,蒋杰称,大模型在B端产生大规模商业收入这件事还有待探索,目前腾讯通用大模型在成熟度与对复杂任务的处理能力方面还不够,因此很多严肃专业场景还不到“解锁”的时候。另外大模型结合自身应用也可以在一定程度上抵消大模型研发高昂的设备、训练、人员成本。
目前腾讯拥有13.3亿微信(合并WeChat)月活用户数,1.15亿视频付费会员,1亿音乐付费会员,外界颇为关注这样大基数的产品叠加大模型技术后会发生什么改变。蒋杰对第一财经记者表示,腾讯产品和应用要提供什么能力和服务,以及什么时间发布,会由业务部门自己决定。
最终公布了通用大模型产品的腾讯杀入了战局。目前行业共识一方面AIGC是大趋势,另一方面大模型的能力边界与呈现形式到底如何并无定论,判断算力底座与大模型应用谁会是下一个技术时代的颠覆者也为时过早。
汤道生对第一财经记者表示,AI服务包括应用层、模型层、基础设施层。腾讯会持续投入云服务底座的角色,腾讯会将合适模型推荐给客户,应用场景也是如此。
如果以容错率和任务复杂度为坐标轴制作一个2x2矩阵,蒋杰表示,当前国内发布的大模型应用主要集中在容错率高、任务简单的休闲场景。而在更具价值的严肃场景、工作场景和专业场景,大面积的应用还无法胜任。
因此,蒋杰表示腾讯大模型会更关注将提效基础能力做好——不胡言乱语,更安全,可靠性更强,具备更好的逻辑思维能力等,这些才是最核心的。
商务部回应来了!不存在通过强制获取技术帮助中国企业取代美国企业
束珏婷表示,中方高度关注美方强制企业向美方出售资产、转让技术,这是典型的强制技术转让。在17日的商务部例行新闻发布会上,有记者提问称,近期,在美国会众议院举行听证会上,有人提出中国为了帮助中国企业取代美国企业,强制或通过并购来获取美国的技术、数据和知识产权,请问对此商务部有何评论?锤子财富2023-08-17 17:18:170000药明康德亮眼半年报背后:数据维度研判CXO景气度
A股CXO(医药外包)公司首份半年报出炉,药明康德(603259.SH,02359.HK)于7月31日晚间披露了2023年半年度业绩报告,在2022年新冠商业化订单高基数的情况下,不仅实现了营收同比的正增长,利润率、在手订单等数据表现也颇为亮眼。锤子财富2023-08-02 18:50:090001抖音直播火过后,老国货的下一步该怎么走?
直播间带来的流量是一时的,老牌国货的良性发展,还是要依靠科技创新和人才等硬实力。蜂花、鸿星尔克、活力28等品牌在过去的9月狠狠火了一把。上世纪八九十年代以一支美加净护手霜家喻户晓的美加净也借机在9月的那波国货直播潮里蹭了一波热度。锤子财富2023-10-19 21:19:040000政治局会议提振市场信心,住建部表态“认房不用认贷”|一周热点回顾
其他热点还有:中炬高新“宝火之争”告一段落,美联储加息25点。政治局会议定调下半年经济工作中共中央政治局7月24日召开会议,分析研究当前经济形势,部署下半年经济工作。锤子财富2023-07-29 13:24:200000美联储“褐皮书”显示美经济活动有所放缓
美国联邦储备委员会发布全国经济形势调查报告显示,总体而言,美国近几周经济活动有所放缓。当地时间11月29日,美国联邦储备委员会发布全国经济形势调查报告显示,总体而言,美国近几周经济活动有所放缓。这份报告根据美联储下属12家地区储备银行的最新调查结果编制而成,也称“褐皮书”。美联储每年发布8次“褐皮书”,通过地区储备银行对全美经济形势进行摸底。该报告是美联储货币政策例会的重要参考资料。0000