北大-兔展联合发起的Sora开源复现计划Open-Sora-Plan，今起可以生成最长约21秒的视频了！当然了，老规矩，这一次的所有数据、代码和模型，继续开源。目前，Open-Sora-Plan在GitHub上有10.4k颗星星，大家可以选择去抱抱脸上激情试玩。该说不说，版本迭代速度还挺快——上个月，Open-Sora-Plan就在开源社区上新过一波。
当时能支持单镜头16秒的视频生成，分辨率最高720p，能满足的生成需求也比较多样。这次版本更新，背后主要是两个方面有了进步：团队还表示，Open-Sora-Plan已经支持使用国产AI计算系统（华为昇腾，期待更多国产算力芯片）进行完整的训练和推理。Open-Sora-Planv1.1.0展示此次更新的版本是Open-Sora-Planv1.1.0。
首先展示的是10秒版文生成视频（10s×512×512）。这张图的Prompt是，蓝色时刻圣托里尼岛的鸟瞰图，展示了令人惊叹的建筑。第二张展示的是2秒版文生成视频（2s×512×512），给出的效果展示，有经典的小狗子，一只戴着贝雷帽和黑色高领毛衣的柴犬，还有一幅画，画面上航船前行，波涛拍打。
团队展示的第三类，是用Open-Sora-Planv1.1.0进行视频编辑（2s×512×512）。据了解，这部分内容采用的是联合团队刚提出来的ReVideo模型。不论是小猫戴墨镜，还是天空飘气球，在画面连续性和角色一致性方面都表现得还算不错。
团队承认但我们仍然离Sora有一段距离，同时给出了失败案例展示。例如，团队对比了4倍时间和2倍时间下采样的重建视频，发现视频在重建细粒度特征时，画面都会发生抖动。这表明减少时间下采样并不能完全解决抖动问题。并且用v1.1.0生成的雪地里的小狗，视频中的小狗头出现了Semanticdistortion的问题，似乎模型不能很好的判断哪个头是哪个狗的。
这个问题其实在OpenAI的Sora的早期基座模型也会出现。因此Open-Sora-Plan的团队成员认为，也许可以通过扩大模型和数据量来解决问题，达到更好的效果。团队还提到，视频生成与图片生成最大的不同，在于其动态性，即物体在连续的镜头中发生一系列动态变化。然而v1.1.0生成的视频仍然存在许多有限动态的视频。
团队通过翻看大量的训练视频发现，这些素材网爬取的视频虽然画面质量很好，然而充斥着一些无意义的特写镜头；而这些特写镜头往往变化幅度很小，甚至处于静止状态。同时，团队还发现negativeprompt可以显著提高视频质量——这意味着也许需要在训练数据中加入更多先验知识。
除了对方给出的展示，目前大家都可以在HuggingFace上试玩。需要注意啦，由于视频生成可能需要150个左右的步骤才能产生良好的结果，试玩时生成每个视频大约需要4-5mins。背后技术整体框架上，Open-Sora-Plan由三部分组成：这和Sora技术报告的内容基本差不多。此次更新的Open-Sora-Planv1.1.0是一个基于Transformer的文本到视频模型，经过T5文本嵌入的训练。
与之前的工作类似，整个训练过程采用多阶段的级联的训练方法，分三个阶段。其中，第二阶段采用了华为昇腾算力进行训练，该阶段的训练、推理完全由国产芯片支持。目前，仍然在训练和不断观察第三阶段的模型——增加帧数到513帧，大约是24FPS的21秒的视频。
相比上个月发布的前作Open-Sora-Planv1.0.0，最新版本主要2个方面的优化。一是优化了CausalVideoVAE的结构，二是采用了更高质量的视觉数据与captions。
在这个科技发达的时代，AI技术或许将会是一个突破口，未来的一波红利也一定在AI技术方面，我们国家对于AI技术这一方面的研究非常的深，并且投入了很大的一个成本去研究。 目前中国的算力市场超过了8万亿，但似乎中国的算力市场处境十分的艰难，我们也很少听说关于中国算力，更多的是国外的一些智能化，比如说手机、芯片等等。 从种种迹象上来看的话，中国的算力产业已经十分的优秀了，想要达到完全的国产化，为何却如此的举步维艰呢？我们就来好好的讨论一下这个话题。 有专家就分析了这一个事情，并给出了他的结果，就是花太多的钱却不好用。 确实，和国外的一些AI算力比起来的话，中国的就表现的没那么满意了，也不是说比别人差，就是单从用户的体验上来说，会更倾向于国外的AI算力。 这也可能是国外对于AI的研究时间比较久的关系吧，但这也是没有办法的，但是在锻炼市场这一块上，我们国家在整个国际上都是有排名的，除了美国以外，这是我们了。 所以美国的算力市场还是压我们一头，想要完全的将算利国产化很困难，首先摆在面前的就是一个口碑问题和质量问题。 但是我相信这些在使用过国产算力之后的人群也会深深的被吸引到，从此以后完全抛弃国外的一些AI算力也不是不可能的。 总的来说，可能在不久的将来，AI算力产业或许真的会迎来他完全国产化的那一天，虽然目前要克服很多的技术，而且都是要依靠一些国外的零件或者是芯片来实现，但我相信，总有一天我们能研制出属于自己的AI算力产业的一些专利。
