您的位置：首页 >聚焦 >

天天微资讯！独家 | Gen-1——可以改变视频风格的AI模型

2023-03-04 09:44:30 来源：程序员客栈

翻译：吴振东

校对：张睿毅

(资料图片)

本文约1000字，建议阅读3分钟

本文简单介绍了Runway公司的发展史，以及他们新推出的生成式AI模型Gen-1，可用于通过应用文本提示或者参考图像所指定的任意风格，将现有视频转换为新视频。

Runway公司新推出了一款名为Gen-1的模型，可以用来改变视频或电影的现有视觉风格。

生成式AI（AIG）初创公司Runway在去年合作开发了Stable Diffusion，这是具一款有突破意义的文本到图像模型。该公司现在发布了名为Gen-1的人工智能模型，可以通过应用文本提示或者参考图像所指定的任意风格，将现有视频转换为新视频。

在其官方网站发布的一段演示视频中，Runway展示了他们的软件如何将街道上的行人变成黏土木偶，将桌子上的书变成夜晚的风景。Runway希望Gen-1能够像Stable Diffusion在图像领域上的那样，为视频领域做出贡献。Runway公司CEO兼联合创始人Cristóbal Valenzuela表示：“我们曾见证过图像生成模型的大爆发，我坚信2023年会是属于视频生成模型的一年。”

Runway成立于2018年，多年来致力于人工智能视频编辑软件的研发。抖音和YouTube用户以及主流电影和电视剧工作室都在使用他们的工具。斯蒂芬-科尔伯特（扣扣熊）主持的《深夜秀》的制作人使用Runway软件来编辑节目画面；热门电影《瞬息全宇宙》的视觉效果团队利用Runway公司的技术创建了一些场景。

2021年，Runway与慕尼黑大学的研究人员合作开发了第一代Stable Diffusion。总部位于英国的初创公司Stability AI随后参与该项目，承担了在更多数据上训练模型所需的计算费用。2022年，Stability AI使得Stable Diffusion成为主流，将其从一个研究项目转变成一个全球现象。

然而现在两家公司已不再合作。Getty公司目前正在对Stability AI采取法律诉讼，声称该公司未经允许就在Stable Diffusion的训练集中使用了Getty的图片。如此一来Runway选择和他们保持距离。

视频下载地址：

https://wp.technologyreview.com/wp-content/uploads/2023/02/2-Storyboard-Mode.mov

Gen-1对于Runway来说是全新的开始。他们在去年发布了一个类似于文本转视频的模型，就像Meta的Make-a-Video和谷歌的Phenaki模型一样，这些种模型都可以从头生成非常短的视频片段。该模型也与谷歌在上周发布的生成式AI模型Dreamix有些相似，后者可以通过应用特定的风格从现有视频中创建出新的视频。不过根据Runway的实际演示视频来看，Gen-1的视频质量似乎有所提升。因为它可以转换现有的一组镜头，也可以制作比之前那些模型所生成的时长长得多的视频（该公司表示，未来几天将在官网上发布更多关于Gen-1的细节）。

与Meta和谷歌不同的是，Runway所制作的模型都是以客户为出发点的。Valenzuela表示：“这是首批与视频制作者社区密切合作开发的模型之一，得益于多年来对电影制片人和视觉特效剪辑师如何进行后期制作的深入了解。”

Gen-1模型正在云端运行，通过Runway的网站，现在向少数受邀客户开放，几周后将会向等候名单上的用户开放。

去年生成式AI技术呈爆发式增长，得益于数百万人第一次接触到如此强大的创意工具，他们愿意将自己使用的成果分享给他人。Valenzuela希望将Gen-1交到有创造力的专业人士手中，从而很快在视频界产生类似效果的影响。

Valenzuela说道：“我们已经非常接近制作完整的故事片了。我们即将实现这一目标：到那时候你们在网上看到的大部分内容都是生成式（AIG）的。”

原文标题：The original startup behind Stable Diffusion has launched a generative AI for video原文链接：https://www.technologyreview.com/2023/02/06/1067897/runway-stable-diffusion-gen-1-generative-ai-for-video/

封面视频：

https://wp.technologyreview.com/wp-content/uploads/2023/02/Scuba-Example.mp4

编辑：于腾凯校对：林亦霖

译者简介

吴振东，法国洛林大学计算机与决策专业硕士。现从事人工智能和大数据相关工作，以成为数据科学家为终生奋斗目标。来自山东济南，不会开挖掘机，但写得了Java、Python和PPT。

翻译组招募信息

工作内容：需要一颗细致的心，将选取好的外文文章翻译成流畅的中文。如果你是数据科学/统计学/计算机类的留学生，或在海外从事相关工作，或对自己外语水平有信心的朋友欢迎加入翻译小组。

你能得到：定期的翻译培训提高志愿者的翻译水平，提高对于数据科学前沿的认知，海外的朋友可以和国内技术应用发展保持联系，THU数据派产学研的背景为志愿者带来好的发展机遇。

其他福利：来自于名企的数据科学工作者，北大清华以及海外等名校学生他们都将成为你在翻译小组的伙伴。

点击文末“阅读原文”加入数据派团队~

转载须知

如需转载，请在开篇显著位置注明作者和出处（转自：数据派ID：DatapiTHU），并在文章结尾放置数据派醒目二维码。有原创标识文章，请发送【文章名称-待授权公众号名称及ID】至联系邮箱，申请白名单授权并按要求编辑。