B端训练数据哪里来?︱AI大模型十问(一)
AI大模型不断涌现,“百模大战”愈演愈烈。但不论是To B还是To C的大模型,都面临训练数据日渐匮乏的问题。
业内有报告预测,语言数据将于2030~2040年耗尽,其中能训练出更好性能的高质量语言数据将于2026年耗尽;此外,视觉数据将于2030~2060年耗尽。
未来,如何获得足够的高质量训练数据集,是每一家大模型厂商需要面对的问题。
训练大模型需要高质量、大规模、多样性的数据集。与GPT-2相比,GPT-3对模型架构只进行了微小的修改,但花费精力收集更大的高质量数据集进行训练。据招商证券,GPT-2的预训练数据量为40GB、参数量仅有15亿个,而GPT-3的预训练数据量达到45TB、参数量更是高达1750亿个,约有4900亿个tokens。
训练数据分为通用数据和行业数据。训练数据生产过程则主要包括四个环节:设计(训练数据集结构设计)、采集(获取原料数据)、加工(数据标注)及质检(各环节数据质量、加工质量检测)。目前通用数据方面已形成产业链,难点在于行业数据的获取。
由于B端数据碎片化,面向行业的通用大模型厂商需要一家家去搜集企业数据,将行业的knowhow封装进大模型,这对企业的研发能力和成本都是极大挑战。而各行业大模型企业也大都对如何获取行业数据讳莫如深。
浪潮通软平台软件与技术研究院总经理周祥国告诉第一财经,B端市场的碎片化程度非常高,各行各业、各种各样数据需要进行的预处理和再加工能力“非常难以统一化”。
他介绍,浪潮海岳新近推出的企业服务大模型inGPT也不可能通过一个模型满足所有企业的需求,除了提供一个良好的底座外,也要为各行各业补上欠缺的“解题步骤”,比如行业数据再加工、行业数据的补齐等,助力企业拥有自己的大模型,赋能千行百业。
倍赛科技创始人、CEO杜霖也告诉第一财经,公司数据的获取是一个比较大的挑战,因为它涉及到对于公司的整个的数据采集、知识梳理以及知识提取。目前行业数据采集还未形成产业,现在还在获取数据的过程中。
此外还有一些企业采取“绕过”行业数据的方式。以工业领域的鼎捷软件为例,其基于雅典娜平台,融合AIGC技术,发布企业级知识机器人ChatFile。
鼎捷软件(300378.SZ)副总裁顾华杰告诉第一财经,鼎捷更聚焦在大模型的应用。据悉,这种模式下鼎捷只基于开源GPT模型去做应用,并不需要获得行业数据去训练大模型,而是为客户“量身定制”,用企业用自身的数据去和ChatFile结合。
总体来看,目前各家B端大模型厂商获取行业数据须得“各显神通”。由于行业数据多在业务中形成,有对应的商用场景,因此行业大模型厂商多为自身有数据基础的行业信息化厂商、SaaS服务商。在不涉及客户隐私的情况下,这类厂商可以选取部分数据对大模型进行训练。
不过,某券商研究所所长、计算机首席分析师告诉第一财经,现在很多也还在灰色地带,数据确权、数据使用权、所有权等,都还没有明确的政策界定。
分析人士认为,未来随着数据要素市场的发展,“数据要素供给-数据要素流通-垂直领域模型研发及应用”循环将逐步打通,行业数据产业链也有望逐渐发展成熟。
美国2月核心PCE增幅如期放缓,降息仍待6月?
美国2月核心PCE价格指数环比增长0.3%,同比增长2.8%,符合预期水平。市场预计美联储将继续按兵不动,6月开始降息概率为61%。当地时间3月29日,美国商务部公布的最新数据显示,美国2月个人消费支出(PCE)价格指数环比增长0.3%,市场预期为0.4%,前值为0.3%;同比增长2.5%,持平预期,前值为2.4%。0000零度解读9月21日美联储利率决议发布会
鲍威尔这次指出中性利率水平升高,自然失业率水平下降,这意味着美联储发现了美国经济深层次结构性变化。虽然美联储主席鲍威尔嘴上说美联储从未决定隔次会议加息,但身体却很诚实地踩上了这个节奏,年内第二次按下了加息暂停键,把联邦利率维持在5.25%~5.50%。虽然加息暂停,但市场却出现了下跌,因为美联储发布的经济预测点阵图让人有些意外。锤子财富2023-09-25 13:05:450000不确定性升温!美联储会议纪要强调政策风险
金融市场状况趋紧、全球放缓等因素对美国增长和就业构成挑战。北京时间周四凌晨,美联储公布9月联邦公开市场委员会(FOMC)政策会议纪要。纪要显示,围绕美国经济的不确定性,包括金融市场状况以及工会罢工的影响,促使美联储最终决定采取谨慎的立场。部分官员认为,接下来政策重点应该从提高利率,转移到保持在限制性水平时间的讨论上。会议纪要公布后,美股震荡走高收复失地,美元和长期美债收益率有所回落。锤子财富2023-10-12 07:28:040000鸿博股份今年搭上“过山车”:股价涨四倍,实控人可能要换两次
鸿博股份提示,若已被司法冻结股份后续发生司法拍卖成交过户或其它强制过户的情形,则公司存在控股股东、实际控制人发生变更的风险。锤子财富2023-06-15 12:50:530000