OpenAI CTO：Sora今年将发布 会添加语音功能
美国当地时间周三，人工智能初创公司OpenAI的首席技术官米拉·穆拉蒂（Mira Murati）接受了媒体记者专访。在采访中，她谈到了该公司最新文本转视频工具Sora，这款产品预计将于今年晚些时候向公众发布，同时还会添加语音功能;此外在发布前，团队将对其进行优化，以降低计算资源消耗。 以下为翻译全文： 某个清晨醒来时，你是否曾幻想过一头公牛在精致的瓷器店中悠然自得地行走的场景?要实现这一奇幻景象，你有三种途径： A）联系当地的动物驯养师以及知名家居品牌Crate & Barrel; B）雇请顶尖的好莱坞动画制作人; C）使用神奇的AI工具Sora，简单输入指令即可。 欢迎进入人工智能的下一个“魔法世界”。在这里，你的语言能够化作逼真、流畅且细腻的视频画面。 OpenAI计划在今年晚些时候向大众推出其文本到视频的转换工具Sora。尽管正式发布尚需时日，但OpenAI已经向我们揭示了这款工具的惊人潜力：仅需精心设计的文本指令，便可创造出几乎足以替代许多视频制作专业人员的作品。《华尔街日报》专栏作家乔安娜·斯特恩（Joanna Stern）向该公司提交了几条由她自己编写的提示，比如一条美人鱼和她的螃蟹伙伴评测智能手机，或是一头公牛在精致的瓷器店内自由漫步。 斯特恩随后亲身体验了Sora的神奇之处，她利用这款工具制作了一段模拟对OpenAI首席技术官穆拉蒂进行虚拟视频采访的片段，两人深入剖析了这些有趣的问题，并对该技术的潜在问题进行了探讨。 OpenAI在上个月首次展示了用其生成式人工智能工具制作的视频预览，整个互联网为之沸腾。与之前那些断断续续、分辨率低下的人工智能视频技术相比，Sora生成的内容无疑是一场视觉盛宴，堪比高品质的自然纪录片或大制作电影。 与之前的人工智能技术相似，Sora首先让我们对其能力感到惊叹，随即又担忧其对社会的影响。面对斯特恩的担忧，穆拉蒂向她保证，OpenAI在发布这一强大工具时将采取慎重的步骤。但这并不意味着一切都将无忧无虑。 这些超逼真视频真的是Sora生成的吗? 斯特恩对Sora生成的视频感到深深震撼：从无人机视角拍摄的意大利阿马尔菲海岸的壮观景色，到手持自拍杆的柯基犬，再到冲浪板上活泼的动画水獭，这些画面无一不展示了Sora在创意和细节处理上的强大能力。她进一步挑战Sora，要求它生成更接近日常生活的场景：“两名30多岁、棕发的职业女性在一个明亮的演播室里坐下接受新闻采访。” Sora生成的视频中，两位女性的嘴唇和头发动作自然流畅，皮夹克的细节也清晰可见。穆拉蒂透露，这段20秒长、720P分辨率的视频仅用了几分钟就完成了生成，尽管目前还未加入声音。但她承诺，OpenAI正在计划为Sora增添语音功能。 为了对比Sora与其他工具的区别，斯特恩也在另一个AI视频生成器Runway上输入了相同的提示。然而，得到的结果大相径庭，Runway生成的画面是两个模糊、幽灵般的女性形象，它们看起来像是直接从恶梦中走出来的，令人毛骨悚然。 那么，Sora究竟是如何实现这一神奇转换的呢?尽管解释其内部工作原理可能比解释美人鱼的进化还要复杂，但简单来说，Sora背后的AI模型通过分析大量视频数据，学会了识别和理解各种物体与动作。输入文本提示后，模型能够迅速勾勒出整个场景的基本轮廓，并逐帧添加细节。 行业观察人士和竞争对手，包括Runway的首席执行官，都认为OpenAI的这些显著成就归功于其巨大的计算资源和庞大的训练数据量。但OpenAI最近也面临着版权侵犯的指控，因未经授权使用大量在线内容训练其ChatGPT模型。 当被问及OpenAI为训练Sora使用了哪些数据时，穆拉蒂表示：“我们主要使用了公开可获取的数据及已授权数据。”。当被进一步追问这些数据是否包括YouTube、Instagram和Facebook上的视频时，穆拉蒂表示她并不清楚具体细节，但后来确认，已授权的材料确实包含了知名版权图片网站Shutterstock上的内容。 人工智能模型对普通用户来说往往是个神秘的黑匣子。我们看到的是输入和输出，而中间的处理过程则不得而知。因此，我们可能永远无法完全理解为何生成的内容展现出某些特定的风格或特征。例如，斯特恩提到的那条美人鱼身旁的甲壳类伙伴留着类似《海绵宝宝》中蟹老板的胡须，这是否是模型的创新还是某种偶然? 穆拉蒂还告诉斯特恩，当前Sora生成视频的成本远高于该公司的图像生成器Dall-E。但她承诺，在Sora正式向公众发布前，团队将对其进行优化，以降低计算资源消耗。 如何识别人工智能生成视频? 在当前的早期阶段，人工智能生成的内容中还存在一些明显的瑕疵。 例如，在Sora生成的采访视频中，一位浅发色女子的一只手似乎多出了五根手指。对此，穆拉蒂解释道：“准确再现手部运动真的很难。” 在另一次测试中，斯特恩期望看到一个机器人从电影制片人手中夺走摄像机的场景。但Sora生成的是一位人类电影制片人突变成机器人，场面显得突兀且不自然。更有甚者，背景中的黄色出租车也不知怎的变成了银色轿车。穆拉蒂承认模型“在维持连贯性方面表现尚可，但并不完美”。 这引出了一个深刻的议题：当这些缺陷得到修正，人工智能生成的视频愈发逼真时，我们如何区分真实与人工智能生成的视频? Sora生成的每个视频下方都会有一个水印。穆拉蒂解释说，最终这些视频还将包含元数据，以标示其生成方式和来源。此外，OpenAI设有一个名为“Sora红队”的安全测试小组。该团队的职责是提供各种提示，探索潜在的漏洞、偏见和其他可能的有害结果。穆拉蒂说：“这就是我们目前还没有广泛部署这些系统的原因。我们需要先弄清楚这些问题，然后才能放心地将其推向市场。” 就Sora的提示词政策而言，穆拉蒂透露，它可能借鉴OpenAI的另一工具Dall-E的做法。例如，为了防止滥用和侵犯隐私，用户将无法使用Sora来生成公众人物的形象。当斯特恩试图输入“在任美国总统的电视新闻画面”时，Sora拒绝了这一请求。 斯特恩也尝试让Sora生成“在东欧小镇上行走的士兵”的视频，但也遭到了拒绝。对于裸露等敏感内容的提示，穆拉蒂表示OpenAI正在与艺术家和专家紧密合作，共同探讨如何在不阻碍创意表现的同时，设立合理的“护栏和限制”。 将与好莱坞合作 随技术发展，像Sora这样的AI工具将变得更强大、更精细。这种进步可能会改变传统的工作方式，如无人机操作员或插画家的角色，引起好莱坞既期待又忧虑的反响。 演员、电影制片人和工作室老板泰勒·佩里（Tyler Perry）表示，看到Sora的潜力后，他宣布暂停耗资8亿美元的工作室扩建计划。他认为这项技术能够削减布景和外景拍摄的成本，但同时也对电影行业和演员的未来抱有担忧。 代表好莱坞和全美各地动画艺术家的动画协会主席珍妮特·莫雷诺·金（Jeanette Moreno King）也称，尽管艺术创作决策仍需人类参与和判断力，未来却是充满不确定性的迷雾。 爱德华·萨奇（Edward Saatchi）及其人工智能视频工作室Fable正梦想打造一个AI版Netflix：仅需输入一段文本提示，便可呈现完整的电视剧集。 对于Sora对视频制作行业的潜在影响，穆拉蒂重申了OpenAI采取的缓步审慎策略。她表示，OpenAI正在与行业内部人士合作，进行早期的测试和反馈征集，希望全球的电影制作者和创作者能加入这一探索过程，共同促进电影产业的发展。 如果将OpenAI比作一开始提到的那头在瓷器店里自由漫步的公牛，那么它目前可能需要小心行事。但最终，它可能不可避免地将带来一些破坏。
美国当地时间周三，人工智能初创公司OpenAI的首席技术官米拉·穆拉蒂（Mira Murati）接受了媒体记者专访。在采访中，她谈到了该公司最新文本转视频工具Sora，这款产品预计将于今年晚些时候向公众发布，同时还会添加语音功能;此外在发布前，团队将对其进行优化，以降低计算资源消耗。
以下为翻译全文：
某个清晨醒来时，你是否曾幻想过一头公牛在精致的瓷器店中悠然自得地行走的场景?要实现这一奇幻景象，你有三种途径：
A）联系当地的动物驯养师以及知名家居品牌Crate & Barrel;
B）雇请顶尖的好莱坞动画制作人;
C）使用神奇的AI工具Sora，简单输入指令即可。
欢迎进入人工智能的下一个“魔法世界”。在这里，你的语言能够化作逼真、流畅且细腻的视频画面。
OpenAI计划在今年晚些时候向大众推出其文本到视频的转换工具Sora。尽管正式发布尚需时日，但OpenAI已经向我们揭示了这款工具的惊人潜力：仅需精心设计的文本指令，便可创造出几乎足以替代许多视频制作专业人员的作品。《华尔街日报》专栏作家乔安娜·斯特恩（Joanna Stern）向该公司提交了几条由她自己编写的提示，比如一条美人鱼和她的螃蟹伙伴评测智能手机，或是一头公牛在精致的瓷器店内自由漫步。
斯特恩随后亲身体验了Sora的神奇之处，她利用这款工具制作了一段模拟对OpenAI首席技术官穆拉蒂进行虚拟视频采访的片段，两人深入剖析了这些有趣的问题，并对该技术的潜在问题进行了探讨。
OpenAI在上个月首次展示了用其生成式人工智能工具制作的视频预览，整个互联网为之沸腾。与之前那些断断续续、分辨率低下的人工智能视频技术相比，Sora生成的内容无疑是一场视觉盛宴，堪比高品质的自然纪录片或大制作电影。
与之前的人工智能技术相似，Sora首先让我们对其能力感到惊叹，随即又担忧其对社会的影响。面对斯特恩的担忧，穆拉蒂向她保证，OpenAI在发布这一强大工具时将采取慎重的步骤。但这并不意味着一切都将无忧无虑。
这些超逼真视频真的是Sora生成的吗?
斯特恩对Sora生成的视频感到深深震撼：从无人机视角拍摄的意大利阿马尔菲海岸的壮观景色，到手持自拍杆的柯基犬，再到冲浪板上活泼的动画水獭，这些画面无一不展示了Sora在创意和细节处理上的强大能力。她进一步挑战Sora，要求它生成更接近日常生活的场景：“两名30多岁、棕发的职业女性在一个明亮的演播室里坐下接受新闻采访。”
Sora生成的视频中，两位女性的嘴唇和头发动作自然流畅，皮夹克的细节也清晰可见。穆拉蒂透露，这段20秒长、720P分辨率的视频仅用了几分钟就完成了生成，尽管目前还未加入声音。但她承诺，OpenAI正在计划为Sora增添语音功能。
为了对比Sora与其他工具的区别，斯特恩也在另一个AI视频生成器Runway上输入了相同的提示。然而，得到的结果大相径庭，Runway生成的画面是两个模糊、幽灵般的女性形象，它们看起来像是直接从恶梦中走出来的，令人毛骨悚然。
那么，Sora究竟是如何实现这一神奇转换的呢?尽管解释其内部工作原理可能比解释美人鱼的进化还要复杂，但简单来说，Sora背后的AI模型通过分析大量视频数据，学会了识别和理解各种物体与动作。输入文本提示后，模型能够迅速勾勒出整个场景的基本轮廓，并逐帧添加细节。
行业观察人士和竞争对手，包括Runway的首席执行官，都认为OpenAI的这些显著成就归功于其巨大的计算资源和庞大的训练数据量。但OpenAI最近也面临着版权侵犯的指控，因未经授权使用大量在线内容训练其ChatGPT模型。
当被问及OpenAI为训练Sora使用了哪些数据时，穆拉蒂表示：“我们主要使用了公开可获取的数据及已授权数据。”。当被进一步追问这些数据是否包括YouTube、Instagram和Facebook上的视频时，穆拉蒂表示她并不清楚具体细节，但后来确认，已授权的材料确实包含了知名版权图片网站Shutterstock上的内容。
人工智能模型对普通用户来说往往是个神秘的黑匣子。我们看到的是输入和输出，而中间的处理过程则不得而知。因此，我们可能永远无法完全理解为何生成的内容展现出某些特定的风格或特征。例如，斯特恩提到的那条美人鱼身旁的甲壳类伙伴留着类似《海绵宝宝》中蟹老板的胡须，这是否是模型的创新还是某种偶然?
穆拉蒂还告诉斯特恩，当前Sora生成视频的成本远高于该公司的图像生成器Dall-E。但她承诺，在Sora正式向公众发布前，团队将对其进行优化，以降低计算资源消耗。
如何识别人工智能生成视频?
在当前的早期阶段，人工智能生成的内容中还存在一些明显的瑕疵。
例如，在Sora生成的采访视频中，一位浅发色女子的一只手似乎多出了五根手指。对此，穆拉蒂解释道：“准确再现手部运动真的很难。”
在另一次测试中，斯特恩期望看到一个机器人从电影制片人手中夺走摄像机的场景。但Sora生成的是一位人类电影制片人突变成机器人，场面显得突兀且不自然。更有甚者，背景中的黄色出租车也不知怎的变成了银色轿车。穆拉蒂承认模型“在维持连贯性方面表现尚可，但并不完美”。
这引出了一个深刻的议题：当这些缺陷得到修正，人工智能生成的视频愈发逼真时，我们如何区分真实与人工智能生成的视频?
Sora生成的每个视频下方都会有一个水印。穆拉蒂解释说，最终这些视频还将包含元数据，以标示其生成方式和来源。此外，OpenAI设有一个名为“Sora红队”的安全测试小组。该团队的职责是提供各种提示，探索潜在的漏洞、偏见和其他可能的有害结果。穆拉蒂说：“这就是我们目前还没有广泛部署这些系统的原因。我们需要先弄清楚这些问题，然后才能放心地将其推向市场。”
就Sora的提示词政策而言，穆拉蒂透露，它可能借鉴OpenAI的另一工具Dall-E的做法。例如，为了防止滥用和侵犯隐私，用户将无法使用Sora来生成公众人物的形象。当斯特恩试图输入“在任美国总统的电视新闻画面”时，Sora拒绝了这一请求。
斯特恩也尝试让Sora生成“在东欧小镇上行走的士兵”的视频，但也遭到了拒绝。对于裸露等敏感内容的提示，穆拉蒂表示OpenAI正在与艺术家和专家紧密合作，共同探讨如何在不阻碍创意表现的同时，设立合理的“护栏和限制”。
将与好莱坞合作
随技术发展，像Sora这样的AI工具将变得更强大、更精细。这种进步可能会改变传统的工作方式，如无人机操作员或插画家的角色，引起好莱坞既期待又忧虑的反响。
演员、电影制片人和工作室老板泰勒·佩里（Tyler Perry）表示，看到Sora的潜力后，他宣布暂停耗资8亿美元的工作室扩建计划。他认为这项技术能够削减布景和外景拍摄的成本，但同时也对电影行业和演员的未来抱有担忧。
代表好莱坞和全美各地动画艺术家的动画协会主席珍妮特·莫雷诺·金（Jeanette Moreno King）也称，尽管艺术创作决策仍需人类参与和判断力，未来却是充满不确定性的迷雾。
爱德华·萨奇（Edward Saatchi）及其人工智能视频工作室Fable正梦想打造一个AI版Netflix：仅需输入一段文本提示，便可呈现完整的电视剧集。
对于Sora对视频制作行业的潜在影响，穆拉蒂重申了OpenAI采取的缓步审慎策略。她表示，OpenAI正在与行业内部人士合作，进行早期的测试和反馈征集，希望全球的电影制作者和创作者能加入这一探索过程，共同促进电影产业的发展。
如果将OpenAI比作一开始提到的那头在瓷器店里自由漫步的公牛，那么它目前可能需要小心行事。但最终，它可能不可避免地将带来一些破坏。
