OpenAI首个AI视频模型登场 彻底端掉行业饭碗

否则，虚拟和现实的界限，还能区分得清吗？

这不是现实？

但是无可否认的是，可怕的事实已经就在面前：一个已经能够理解和模拟现实世界的模型，也就意味着AGI已经不远了。

“唯一真正的视频生成工作”

业内大佬张启煊评价道，“Sora是我目前看到唯一跳脱出空镜头生成、真正的视频生成工作。”

在他看来，目前看来Sora跟Pika、Runway是有代差的，视频生成领域终于被OpenAI支配。或许某天3D视频领域，有朝一日也能体会到这种恐惧。

网友们都被震惊到失语：“下一个十年会是疯狂的十年。”

“都结束了，我的饭碗要丢了。”

“整个素材行业都会随着这篇成果的发布而消亡……”

OpenAI就是没法停下干死初创公司的脚步，是吗？

“好莱坞即将发生核爆”。

AI电影制作人和他们目前的项目。

技术介绍

Sora是一种扩散模型，它能够通过从一开始看似静态噪声的视频出发，经过多步骤的噪声去除过程，逐渐生成视频。

Sora不仅能够一次性生成完整的视频，还能延长已生成的视频。

通过让模型能够预见多帧内容，团队成功克服了确保视频中的主体即便暂时消失也能保持一致性的难题。

与GPT模型类似，Sora采用了Transformer架构，从而实现了卓越的性能扩展。

OpenAI把视频和图像分解为较小的数据单元——“patches”，每个“patches”相当于GPT中的一个“token”。

这种统一的数据表示方法能够在更广泛的视觉数据上训练扩散Transformer，覆盖了不同的持续时间、分辨率和纵横比。

Sora基于DALL·E和GPT模型的研究成果，采用了DALL·E 3的重标注技术，通过为视觉训练数据生成详细描述的标题，使模型更加准确地遵循用户的文本指令生成视频。

除了能根据文本指令生成视频外，这款模型还能将现有的静态图像转化成视频，精确细致地赋予图像中内容以生动的动画。模型还能扩展现有视频或补全缺失的帧。

Sora为理解和模拟现实世界的模型奠定了基础，对此OpenAI认为这是实现通用人工智能（AGI）的重要步骤。

作品欣赏

一列火车穿越东京郊区时，窗户上反射出的迷人景象。

Prompt: Reflections in the window of a train traveling through the Tokyo suburbs.

在雪地草原上，几只巨大的羊毛猛犸象缓缓前行，它们长长的毛皮在微风中轻轻飘扬。远处是雪覆盖的树木和雄伟的雪山，午后的阳光穿透薄云，给这个场景增添了一抹温暖的光彩。低角度的拍摄令这些庞大的毛茸茸动物显得尤为壮观，景深效果引人入胜。

Prompt: Several giant wooly mammoths approach treading through a snowy meadow, their long wooly fur lightly blows in the wind as they walk, snow covered trees and dramatic snow capped mountains in the distance, mid afternoon light with wispy clouds and a sun high in the distance creates a warm glow, the low camera view is stunning capturing the large furry mammal with beautiful photography, depth of field.

无人机从空中俯瞰大苏尔加雷角海滩附近的崎岖悬崖，海浪冲击着岩石，形成白色的浪尖，落日的金色光辉照亮了岩石海岸。远处有一个小岛上立着灯塔，悬崖边缘覆盖着绿色植被。从道路到海滩的陡峭下降和悬崖边缘凸出的景象，展现了海岸的原始美丽和太平洋海岸公路的崎岖风景。

Prompt: Drone view of waves crashing against the rugged cliffs along Big Sur’s garay point beach. The crashing blue waters create white-tipped waves, while the golden light of the setting sun illuminates the rocky shore. A small island with a lighthouse sits in the distance, and green shrubbery covers the cliff’s edge. The steep drop from the road down to the beach is a dramatic feat, with the cliff’s edges jutting out over the sea. This is a view that captures the raw beauty of the coast and the rugged landscape of the Pacific Coast Highway.

蓝色时刻下的圣托里尼岛航拍视图，展现了白色基克拉迪建筑和蓝色圆顶的绝美建筑。火山口的景色令人叹为观止，灯光营造出一种美丽而宁静的氛围。

Prompt: Aerial view of Santorini during the blue hour, showcasing the stunning architecture of white Cycladic buildings with blue domes. The caldera views are breathtaking, and the lighting creates a beautiful, serene atmosphere.

一位20多岁的年轻人坐在天空中的一朵云上，沉浸在书本中。

Prompt: A young man at his 20s is sitting on a piece of cloud in the sky, reading a book.

一群活泼的金毛寻回犬小狗在银白色的雪地上嬉戏，它们好奇的小脑袋时而从雪地中探出，被雪花点缀，萌态十足。

Prompt: A litter of golden retriever puppies playing in the snow. Their heads pop out of the snow, covered in.

在意大利布拉诺一排排鲜艳的彩色建筑中，一只可爱的斑点狗正通过窗户好奇地望向外面。与此同时，街道上人来人往，有的步行，有的骑行。

Prompt: The camera directly faces colorful buildings in burano italy. An adorable dalmation looks through a window on a building on the ground floor. Many people are walking and cycling along the canal streets in front of the buildings.

一幅充满工人、设备和重型机械的建筑工地的移轴摄影。

Prompt: Tiltshift of a construction site filled with workers, equipment, and heavy machinery.

在一个培养皿中，生长着一片竹林，其中小熊猫们在欢快地奔跑。

Prompt: A petri dish with a bamboo forest growing within it that has tiny red pandas running around.

一只卡通袋鼠正在迪斯科舞池中跳舞。

Prompt: A cartoon kangaroo disco dances.

在一杯咖啡中，两艘海盗船展开了激烈的战斗，超写实的近景视频。

Prompt: Photorealistic closeup video of two pirate ships battling each other as they sail inside a cup of coffee.

大佬猜测：游戏引擎加持？

Pytorch联合创始人Soumith Chintala猜测道，“根据Sam Altman发布的所有用户请求视频，Sora似乎是由游戏引擎提供支持，并为游戏引擎生成作品和参数”。

英伟达高级科学家Jim Fan对全新Sora模型，发表了一些自己的观点：

Sora是一个数据驱动的物理引擎。它是对许多世界的模拟，无论是真实的，还是虚构的。该模拟器通过去噪和梯度学习方式，学习了复杂的渲染、“直观的”物理、长期推理和语义理解。

如果Sora使用虚幻引擎5接受过大量合成数据的训练，我不会感到惊讶的。必须如此！

同样，爱丁堡大学的博士生Yao Fu表示，“生成式模型学习生成数据的算法，而不是记住数据本身。就像语言模型编码生成语言的算法（在你的大脑中）一样，视频模型编码生成视频流的物理引擎。语言模型可以视为近似人脑，而视频模型近似物理世界”。

重塑视频行业

虽然，文本转视频技术要威胁到传统电影制作，可能还需要很长时间——

你无法通过简单地将120个Sora生成的一分钟视频拼接起来制作出连贯的电影，因为这些模型无法确保内容的连续性。

但是，这并不妨碍Sora和类似的程序彻底改变TikTok等社交平台。

“制作一部专业电影需要大量的昂贵设备。”Peebles 说，“这个模型将让普通人在社交媒体上制作出高质量的视频内容成为可能。”