Phenaki

Phenaki 是一種人工智能模型，可以直接從文本中生成長達數分鐘的視頻。您還可以從靜止圖像和提示生成視頻。所提出的視頻編碼器-解碼器在時空質量和每個視頻的令牌數量方面優於文獻中當前使用的所有每幀基線。為了從文本生成視頻標記，他們使用以預先計算的文本標記為條件的雙向掩碼轉換器。生成的視頻令牌隨後被去令牌化以創建實際視頻。