Runway成立于2018年,是一家AI视频编辑软件提供商,主要为设计师、艺术家和开发人员提供一系列的工具和平台,产品是帮助专业人士生成各种内容。客户包括CBS, Publicis 和 New Balance。据Forbes报道,年收入将近500万美元,员工40人左右。Runway融资5000万美元,估值5亿
Stable Diffusion的初始版本,就有Runway的贡献。只不过后来被Stability AI普及,并有了更进一步的发展。
其实在今年2月,Runway就提出了首个AI编辑模型Gen-1。Gen-1可以在原视频的基础上,编辑出咱们想要的视频。无论是粗糙的3D动画,还是用手机拍出来的摇摇晃晃的视频,Gen-1都可以升级出一个不可思议的效果。
相比Gen-1,Gen-2获得升级——可以从头开始生成视频。
Runway Gen-2 科幻级功能
模式01:文本生成视频
以任何风格合成视频,你可以想象只使用文本提示。能说出来就能看到它。
模式02:图像生成视频
使用驾驶图像和文本提示生成视频
模式03:图像到视频
仅使用驾驶图像生成视频(变体模式)
模式04:风格化
将任何图像或提示的样式传输到视频的每个帧
模式05:故事板
将模型转换为完全风格化和动画渲染。
模式06:面具
隔离视频中的主题,并使用简单的文本提示进行修改。
模式07:渲染
通过应用输入图像或提示,将无纹理渲染转换为逼真的输出。
模式08:个性化自定义
通过定制模型以获得更高的保真度结果,释放Gen-2的全部功能。
Runnway官网地址:https://research.runwayml.com/gen1
更多内容:
Runway发布GEN-1,其结果比Stable Diffusion 1.5提升73.83%,比Text2Live提升88.24%
论文地址:https://arxiv.org/abs/2302.03011
更多效果访问:https://mp.weixin.qq.com/s/up5n6ZUP6SmSfRNpRX37qQ