加入文生视频战局!OpenAI将Sora视作“世界模拟器”
北京时间2月16日,OpenAI CEO 山姆·奥尔特曼(Sam Altman)在公布刷屏业界的文生视频产品Sora后,在社交平台X上发文称:“OpenAI所有关键资源均已到位,专注于打造AGI(通用人工智能),你或许应该考虑加入我们。”
今日OpenAI在Runway、Pika、谷歌、 Meta之后,正式加入AI 视频生成领域的竞争,推出AI视频生成产品Sora。OpenAI官方介绍称:如果给定一段简短或详细的描述或一张静态图片,Sora 就能生成类似电影的 1080P场景,包含多个角色、不同类型的动作和背景细节。1080P是一种视频显示格式,是目前美国电影电视工程师协会(SMPTE)制定的最高等级高清数字电视的格式标准。
OpenAI官方表示:“Sora是能够理解和模拟现实世界的模型的基础,相信这一功能将成为实现AGI的重要里程碑。”
今日,OpenAI发布了基于Sora生成的60秒视频效果,提示词为:一位时尚女性走在充满温暖霓虹灯和动画城市标牌的东京街道上,她穿着黑色皮夹克、红色长裙和黑色靴子,拎着黑色钱包。她戴着太阳镜,涂着红色口红。她走路自信又随意。街道潮湿且反光,在彩色灯光的照射下形成镜面效果。许多行人走来走去。
需注意的是,该60秒视频并非一镜到底,而是在第37秒切换特写镜头。
另外,截至发稿,奥尔特曼连发9条根据网友提示词生成的视频,包括不同动物在海上进行自行车比赛、发布自制面疙瘩烹饪教学视频的祖母、两只金毛犬在山顶做播客、日落时分火星上进行的一场无人机竞赛等。但这些视频时长为9秒至17秒不等。
技术层面,Sora采用扩散模型(diffusion probabilistic models)技术,基于Transformer 架构,但为了解决Transformer 架构核心组件注意力机制的长文本、高分辨率图像处理等问题,扩散模型用可扩展性更强的状态空间模型(SSM)主干替代了传统架构中的注意力机制,可以使用更少的算力,生成高分辨率图像。此前Midjourney与Stable Diffusion 的图像与视频生成器同样基于扩散模型。
同时,Sora也存在一定的技术不成熟之处。OpenAI表示,Sora可能难以准确模拟复杂场景的物理原理,可能无法理解因果关系,可能混淆提示的空间细节,可能难以精确描述随着时间推移发生的事件,如遵循特定的相机轨迹等。
中科深智创始人兼CEO成维忠对第一财经记者表示,Sora目前还存在因果关系推理问题,但这个问题不是Sora自身的问题,而是目前所有类似模型均存在的问题——文生视频过程中,模型搞不清楚人与环境的关系,搞不清楚前后逻辑关系等情况,该问题会导致模型在实际应用的时候,达不到使用者设想的完美程度,但从个人工具的角度来说,Sora已经比此前行业内推出的文生视频好很多了。未来随着训练的加强,该问题也会逐步得到解决。
对于文生视频工具Sora的技术实力,英伟达科学家DrJimFan评价称,Sora 是一个数据驱动的物理引擎。它是对许多世界的模拟,无论是真实的还是幻想的。模拟器通过一些去噪和梯度数学来学习复杂的渲染、“直观”物理、长期推理和语义基础。“如果 Sora 使用虚幻引擎 5 对大量合成数据进行训练,我不会感到惊讶,它也必须如此。”DrJimFan表示。
一位人工智能领域人士评价称,视频生成居然引入了物理引擎模拟,这样来看再升维进入3D生成应该就指日可待了。趣丸集团副总裁庄明浩认为Sora的面世影响的不仅是文生视频领域,下一步将是过去一年各家游戏物理引擎厂商们一直在尝试的自然语言改造生产流程,以及3D素材生产这个战场。
OpenAI方面在技术报告中表示,并未将Sora单纯视作视频模型,而是将视频生成模型作为“世界模拟器”,不仅可以在不同设备的原生宽高比直接创建内容,而且展示了一些有趣的模拟能力,如3D一致性、长期一致性和对象持久性等。目前Sora能够生成一分钟的高保真视频,OpenAI认为扩展视频生成模型是构建物理世界通用模拟器的一条有前途的途径。
储能市场加速发展,协鑫布局光储充算一体化
“借助能源AI大模型和智慧能源管理系统接入虚拟电厂,可以在电力低成本、非用电高峰时段充电,在用电高峰时期将电力返销给电网,以实现最普惠的经济价值和用电自由。”协鑫能科董事长朱钰峰认为。锤子财富2023-09-08 18:27:470000A股三大指数早盘震荡收跌,游戏类板块再度重挫丨早市热点
一起回顾上午的市场热点。12月25日,A股三大指数早盘集体收跌,沪指跌0.31%,深成指跌0.17%,创业板指跌0.20%,北证50涨3.27%。盘面上,MR概念反复活跃,超导、军工、工业母机等题材逆势走强。电子竞技、短剧游戏、航运概念等跌幅靠前。两市超3800只个股下跌。一起回顾上午的市场热点。【网游板块大幅下挫,巨人网络等5股跌停】锤子财富2023-12-25 12:13:190000社论:对央企违规行为追责 需内外兼修
以贸易为名,行出借资金进行套利交易之实,给企业乃至整个经济金融系统带来复杂、隐秘的风险敞口。央企反腐再度重装而行。最近国资委发布《关于做好2023年中央企业违规经营投资责任追究工作的通知》,要求紧盯违规问题高发领域,严查股权投资、工程建设、资金管理、对外担保、金融业务等领域违规问题线索等问题,推动国企改革三年行动任务顺利完成,责任追责工作体系不断完善,追责力度精度持续提升等。0000北向资金净卖出15.19亿元,工业富联、指南针等获加仓
净买入额居前三的是工业富联、指南针、比亚迪,分别获净买入3.37亿元、2.43亿元、1.65亿元。8月17日,北向资金全天净卖出15.19亿元,其中,沪股通净卖出7.66亿元,深股通净卖出7.53亿元。前十大成交股中,净买入额居前三的是工业富联、指南针、比亚迪,分别获净买入3.37亿元、2.43亿元、1.65亿元。锤子财富2023-08-17 18:09:390000美股收高!第一共和银行或将破产,美国3月核心PCE上涨4.6%
财报季过半,79%的标普500指数成份股每股盈利超出市场预期。*道指创1月以来最佳月度表现*第一共和银行或将被破产*美国3月核心PCE同比涨4.6%投资者消化企业财报和通胀数据,美股周五收涨。截至收盘,道指上涨272.00点,涨幅0.80%,收报34098.16点;标普500指数上扬34.13点或0.83%,报4169.48点;纳指上涨84.35点,涨幅0.69%,收于12226.58点。锤子财富2023-05-18 17:33:000000