行业大模型如何降本?︱十问AI大模型(三)
大量数据、大量参数,以及庞大复杂的算法,经过超大算力计算、训练而成的C 端类 ChatGPT大模型,在2023年陆续涌现。然而,此类TO C的通用大模型参数量太大,成本也非常高。京东集团副总裁、探索研究院院长何晓冬此前在2023世界人工智能大会上表示,训练时间在两个月左右的基础通用大模型,成本估计在几千万元。
相比之下,面向垂直领域的行业大模型所需的算力、参数量、数据量等都更小,成本更低。“通用大模型的主要成本在算力、数据和人才,其中算力是大头,To B的行业大模型成本相比通用大模型小一些,不过业务场景的策划是一个相对较高的成本。”某深耕交通和教育领域行业大模型的上市公司内部人士告诉第一财经。
据悉,大模型的总成本主要由训练成本和应用成本两部分构成。
训练成本方面,行业大模型通常采用对通用大模型进行微调的策略,这能够显著降低训练成本。“一方面只需要为特定行业领域准备数据和知识,数据准备成本能大幅度降低;另一方面,由于无需调整通用大模型的所有参数,在硬件和时间上的投入也会减少。综合来看,行业大模型的训练成本相比通用大模型有了显著降低。”鼎捷软件(300378.SZ))运营长刘波告诉第一财经。
应用成本方面,在处理特定领域的问题时,因为通用大模型不具备领域知识,需要的token数量通常较多,应用成本也因此会较高,而行业大模型已经集成了特定领域的知识,需要的token数量较少,应用成本相对更低。此外,如果选择私有化部署行业大模型,则仅需要一次性的算力投资,应用成本会进一步降低。
那么,行业大模型降本具体有哪些策略?
上述上市公司内部人士告诉第一财经,行业大模型降本,一是适当采用RAG(检索增强生成)等辅助大模型,以降低对大模型参数的要求;二是选型,根据需求的上下限选择合适参数的模型;三是从客户需求角度做场景分析,设计解决方案,适当采用模型的前处理和后处理,降低模型计算成本;四是注重性价比,在合适的场景选择合适的技术,以大模型和小模型共存的形式来降低成本,达到总体产品的合适的投入产出比。
刘波补充道,大模型和知识图谱的协同也能够有效降本。“通过与知识图谱的交互,大模型可以重用知识图谱中已有的知识,这有助于大模型在执行任务的过程中进行规划、推理和验证,降低大模型的训练成本及应用成本。”
上述上市公司内部人士同时称,对于行业客户来说,成本(价格)并非是第一考虑要素,行业大模型能否产生价值,让用户获得一个比较好的ROA(资产回报率),才是最重要的。
美国前总统特朗普就“封口费”一案出席最终听证会
据悉,特朗普面临34项重罪指控,涉嫌伪造商业记录以掩盖他在2016年白宫竞选期间涉及婚外情的指控。当地时间2月15日,据美国广播公司(ABC)报道,美国前总统特朗普于美国东部时间当日9时左右进入了美国纽约市曼哈顿下城法院,就“封口费”一案进行审判前的最后一场听证会。0000新冠病毒活动处今年最低水平,呼吸道反复感染、咳嗽症状持续怎么办
当前急性呼吸道疾病呈现以流感病毒为主,其他多种病原体共同流行的态势,新冠病毒活动处于今年以来的最低水平。当前,全国多地迎来降温寒潮天气,各类呼吸道疾病处于高发期,多种呼吸道病毒共同流行,疾病防控任务艰巨。但来自国家卫健委的数据显示,近一周来,急诊呼吸道疾病较高峰期有了明显下降。国家卫生健康委在12月24日召开的新闻发布会上称,全国医疗机构门、急诊呼吸道疾病诊疗量总体继续呈波动下降趋势。0000家居要闻|家具建材企业拿地,有人得手有人频频失利
房地产深度洗牌,让一些原本的“局外人”也跃跃欲试。房地产深度洗牌,让一些原本的“局外人”也跃跃欲试。今年以来,不少处在房地产下游的家具建材企业也开启逆向拿地的模式,打算“抄底”,但拿地的背后目的各有不同。0000对话潘向东:活跃资本市场“工具箱”丰富,T 0有优先推出基础 |首席看市
“我认为T0交易机制的实施应优先出台。目前A股市场也已具备推出T0交易机制的基础。”自政治局会议提出“要活跃资本市场、提振投资者信心”以来,市场各方对政策举措的期待值彻底拉满。不过,在过去的两周,除券业“降准”落地之外,并没有更多政策进展披露出来。事实上,每一项具体举措落地,都需要经过严谨调研和完整流程,券业“降准”也是在今年4月就曾征求过意见的既定措施。锤子财富2023-08-09 17:26:590000