2024/02 這幾天灌爆各大ai社群的，不外乎就是文字生成高清畫質影像的OpenAI Sora ， 讓人驚艷的細膩表現，自動化的場景生成與運鏡效果，縱使這個概念並不是多創新的模式，但Open AI始終很懂得抓住大家眼球 (Sora的各種生成影片： https://openai.com/sora ) 關於Sora 的技術與介紹，不妨看看chatGPT 對它的描述： OpenAI Sora文字-視訊生成模型 在視頻數據上進行大規模訓練生成模型，具體而言，OpenAI聯合訓練了文本條件擴散模型，處理不同持續時間、解析度和長寬比的視頻和圖像。利用了一種在視頻和圖像潛碼的時空塊上操作的轉換器架構。受到Srivastava等人（2015年）在使用LSTMs進行視頻表示學習的無監督學習的啟發，OpenAI的最大模型Sora擴展了這些概念，能夠生成一分鐘的高保真度視頻。此外，Chiappa等人（2017年）描述的循環環境模擬器方法與我們的方法論框架相一致，表明擴大視頻生成模型的規模是建立通用物理世界模擬器的一條有希望的道路。 一、技術創新 OpenAI 的 Sora 模型在技術創新上主要融合了 diffusion models 與 transformer models 的特點，這一結合代表著從文字描述到視覺內容生成的一大進步。根據 Goodfellow et al. (2014) 的研究，Generative Adversarial Nets (GANs) 開創了使用機器學習生成圖像的新方法，而 diffusion models 則透過逆向的擴散過程從隨機噪聲中逐步建構出有意義的圖像，提供了一種不同於傳統 GANs 的新途徑。另一方面，Vaswani et al. (2017) 提出的 transformer 模型，通過其自注意力機制有效處理長距離依賴關係，已廣泛應用於語言模型中。Sora 模型的創新之處在於將這兩種技術融合應用，實現了從簡單文本提示生成高質量視覺內容的能力，這不僅展示了機器學習技術的新高度，也為未來的影像生成、自然語言處理和人機交互開啟了新的可能性。 二、物理現象與現實世界的模擬 Sora 的另一大進步是在模擬現實世界物理現象方面的表現。雖然現有模型如 Raissi et al. (2019) 所提出的 Physics-Informed Neural