《科创板日报》4月21日讯（编辑 邱思雨）近日，英伟达与慕尼黑大学等院校的研究人员联合发布了一篇有关视频潜在扩散模型（VideoLDM，Latent Diffusion Model）的论文，该模型能够将文本转换成视频，实现高分辨率的长视频合成。相关论文已经发表在预印本网站arXiv上。
研究人员给出“一个泰迪熊正在弹电吉他、高清、4K”等文本提示词后，运用VideoLDM，成功生成了相关视频（已转为GIF格式）：
【资料图】
目前，VideoLDM生成视频的最高分辨率可达2048×1280、24帧。研究团队仅公布了论文和一些成品视频案例，暂未开放试用。
据介绍，相对来说，该模型对于训练和计算的要求较低。在文字大模型、文生图大模型发展迅速的当下，受限于视频训练数据的计算成本高昂以及缺乏大规模公开可用的数据集等原因，视频大模型的发展相对较慢。VideoLDM则成功解决了这个关键问题。
从原理上来分析，VideoLDM基于图像数据集预训练，并在此基础上加入时间维度以形成视频框架，最后在编码的视频序列上进行微调，得到视频生成器。
为进一步提高分辨率，研究人员从时间维度将其与扩散模型upsamplers对齐，并与真实视频对比验证，从而将其转换为时间一致的视频超分辨率模型。
此外，研究人员还微调了Stable Diffusion，将其转换为视频生成器。他们通过对Stable Diffusion的空间层进行简单微调，然后插入时间对齐层，从而实现了视频的生成。
落实到应用层面，研究人员给出了两大具有潜力的应用领域：一是驾驶数据的高分辨率视频合成，能够模拟特定驾驶场景，在自动驾驶领域中具有巨大的应用潜力；二是创意内容的生成。
在论文中，团队给出了几个驾驶场景视频的生成案例：
目前，在自动驾驶领域，AI大模型被认为能够赋能感知标注、决策推理等环节。
华泰证券分析师黄乐平、陈旭东等于4月13日发布研报指出，AI大模型有望解决行业数据标注准确率及成本困境。该机构以DriveGPT为例进行分析，大模型能够将交通场景图像的标注费用从行业平均约5元/张降至约0.5元/张。
与此同时，机构还认为大模型将赋能场景生成、轨迹预测、推理决策等环节，能够根据驾驶场景序列数据，生成未来可能发生的多种驾驶环境并预测每种情况下车辆行驶轨迹。国泰君安亦指出AIGC将有助于自动驾驶的推进落地。
标签：
最新推荐
《科创板日报》4月21日讯（编辑邱思雨）近日，英伟达与慕尼黑大学等院校的研究人员联合发布了一篇有关视...
今天小编肥嘟来为大家解答以上的问题。穿越清宫剧小说，穿越清宫之天为谁春相信很多小伙伴还不知道,现在...
原标题：椰视频|就业在海南逐梦自贸港！海南高校毕业生留琼就业率超六成点击查看更多视频新海南客户端、...
根据德国联邦政府方面当地时间18日发布的声明，德国在过去一周内向乌克兰交付了一套“爱国者”防空系统...
欧冠1 4决赛次回合，那不勒斯在马拉多纳球场以1-1的比分战平米兰。但是，由于首回合以0-1的比分落败，...
据中国生物官微消息，4月17日，国药集团中国生物兰州生物制品研究所自主研发的口服三价重配轮状病毒减毒...
挖贝网4月20日，惠丰钻石（839725）发布2023年第一季度报告，公告显示，2023年第一季度营业收入为108,76
1、疾病分析：水对人体的重要性应该体现在以下几点：1。2、水是人类生存的必要条件，人类的生存离不开水...
为了欧冠冠军，大巴黎已经投入了超过14亿欧元，但他们最好的成绩也只是闯进决赛。毫无疑问，梦想还得继...
可以骑的行李箱、机械臂咖啡机……广交会创新产品引关注参展企业订单增加,广交会,咖啡机,行李箱,机械,客商
《中国农业展望报告（2023—2032）》4月20日上午发布。2023年的《展望报告》总结回顾了18种主要农产品2022
丹科B股2022年报显示，公司主营收入9 34亿元，同比下降14 13%；归母净利润-2 93亿元，同比下降181 5...
1、宁字的繁体与简体写法对照图片如下：拼音：níngnìngzhù部首：宀笔画：5宁字的注释：[
国产剧最近真出息了，这一部也很香,婚姻,蒋杰,姐弟恋,国产剧,爱情剧,老戏骨
20日，有网友爆料称，在2023第二十届上海国际汽车工业展览会(下称上海车展)的宝马MINI展台上，工作人员...
格隆汇4月19日丨有投资者向理工导航(688282 SH)提问：公司后续的研发计划？理工导航回复：公司专注于惯...
【洽洽食品：子公司拟规划新建生产线】洽洽食品公告，规划新建年产39000吨瓜子生产线和年产6000吨坚果生...
今天来聊聊关于x龙时代辛云最后和谁在一起，x龙时代辛云和燕轻盈滚床单的文章，现在就为大家来简单介绍...
中新网4月20日电美国《国会山报》19日发布纽约市立大学公共卫生与卫生政策学院学者林登·哈维兰(LyndonH...
大奖得主现身兑奖理性购彩、量力而行是我们一直推崇的购彩理念，花上不多的零钱，坚持自己的爱好，一旦...
观点网讯：4月17日，据坪山人才安居公司消息，2023年，深圳坪山区加快保障性住房建设，年内将有安居御龙...
1、爱心彩虹可以用来换收集勋章、25个爱心彩虹得爱心彩虹勋章，150个爱心彩虹得爱心彩虹先锋勋章，500个...
今天闲来无事，去了离家比较近的小米之家体验了一下昨晚发布的小米13Ultra，因为这款手机现在太火爆了，...
“多亏了王彪的帮忙，我这60多的老头子，也给电动车进行了登记上牌，非常快，再也不怕电动车丢了”。4月...
1、王者荣耀中英雄适合带坦克。因为坦克型的英雄，主要是在团战前排吸收伤害，承受伤害时间越久，对战局...
《长月烬明》热播了吗？从数据上来看，上线两日，《长月烬明》就成为优酷热度最快破万剧集，不止在站内...
据了解，目前特斯拉仅有位于美国加利福尼亚州莱思罗普市的一家储能超级工厂，但订单已排到明年四季度，...
19日下午，第133届广交会第一期展览的最后一天，境内外参展商开始陆续撤场，来自全球的客商推着行李箱，...
4月21日，A股上市公司德石股份发布2022年全年业绩报告。其中，净利润7649 73万元，同比增长22 58%。根...
武汉汉南区上小学需要什么手续？（公办+民办）1 公办义务教育学校新生入学有三个程序：一是按规定登记...
金融界4月20日消息，宝马mini冲上热搜，一个视频爆火。
新政将从明年7月起生效。澳大利亚财政部当地时间周四公布了一份针对澳大利亚联储的独立评估审查报告，提...
日丰集团融入粤港澳大湾区，擘画管道民族品牌新图景
2023年新消费赛道，可以说是正在回暖中。根据驼鹿新消费不完全统计，2023年3月份，新消费赛道共计发生69...
特别是若风那可是来一波爆料，在没打英雄联盟之前，大多数人都知道若风是打刀塔的，而当时正好和马甲哥...
4月19日，国家企业信用信息公示系统显示，近日，上海永瑞合私募基金管理有限公司成立，注册资本1000万人...
今天来聊聊关于腐蚀游戏攻略，腐蚀游戏的文章，现在就为大家来简单介绍下腐蚀游戏攻略，腐蚀游戏，希望...
北京社保月缴费基数5869是多少？退休工资如何计算的？社保网小编整理来看看。北京社保缴费基数5869，退...
行为决定习惯，习惯决定品质，品质决定命运。为进一步加强学生校园行为习惯，培养学生良好的道德品质和...
4月18日9时48分，“韶山至井冈山”红色专列缓缓启动，载着近500名乘客奔向井冈山。据悉，这是今年开行的...
华星创业：华为是公司重要客户，长期为其提供移动通信技术服务
通讯员唐月琴扬州发布记者王鑫4月20日上午，由军地双拥共建的“老阿姨军嫂之家”在瘦西湖路落成揭牌。“...
作者：Cathy谦寻斥资2000多万买地建直播基地、骆王宇所属MCN机构连获两轮融资、疯狂小杨哥关联公司落户...
文 羊城晚报全媒体记者张文通讯员卢燕明屈青青谷雨时节，行走在韶关市始兴县的乡野，山林间不时传来“...
《中国民族歌剧表演人才培训》启动招生
1、Dnf之前的两个职业，一个是十字军，一个是决战！2、战斗人员刷地图更舒服，技能范围伤害更好。果断的...
中国有色金属工业协会硅业分会：本周国内单晶复投料价格区间在18 0-19 5万元 吨，成交均价为19 24万...
随着金融市场发展投资者的选择也更加丰富了，指数基金作为一种简单高效的投资方式，越来越受到投资者关...
澳门冠军赛：男单16强出炉！国乒4胜1负，樊振东连扳3局大逆转
导读：当前全球治理体系受政治极化的影响，“效率赤字”突出。发达国家一方面没有足够的能力和意愿提供...
知识分享 为什么无线路由器连不上
百合股份（603102）4月20日主力资金净卖出463.00万元_环球热议
当前快看：均瑶健康2022年营收9.86亿 净利7663.13万 董事长王均豪薪酬289.33万
恒光股份：4月19日融资买入136.75万元，融资融券余额2.03亿元|世界独家
【环球热闻】深陷争议漩涡的长峰医院：负债数亿，旗下医院曾涉医托骗局
冯潇霆再谈“冯巩之争”：为国足踢球压力太大 希望舆论环境能好一些 世界观察
公开宣布:淄博专业牛皮癣医院(评价榜)淄博治疗牛皮癣的的费用花多少钱
大华股份（002236）盘中异动 股价振幅达7.7% 上涨6.9%（04-19）
热头条丨明泰铝业（601677）4月19日主力资金净卖出6867.54万元
上海车展｜加快电气化转型：全新一代雷克萨斯LM首发-全球热资讯
这有贵阳丽都植发价目表也不知道种植头发技术怎么样？-环球今热点
天天短讯！一场没上！31岁前归化球员突然决定退役 国足投入8亿换来0出场
天天新资讯：我国职工和居民养老金调整将一致会实现吗？要考虑哪些方面？
Copyright © 2015-2022 世界律师网版权所有 备案号：琼ICP备2022009675号-1 联系邮箱：435 227 67@qq.com