淘寶星辰是阿里媽媽推出的電商視頻生成大模型，專為淘寶天貓商家設計。能基于商家輸入的圖片或文本指令，一鍵生成高質量的視頻。核心優勢在于更懂商品展示，能精準識別并應用適合不同商品的展示手法；具備強大的多語種語義遵循能力，確保生成視頻與用戶意圖高度契合；遵循物理和動作規律，使畫面流暢自然；能穩定保持人物、商品和裝飾元素的清晰與完整。商家可用它為商品詳情頁增添生動視頻，提升商品吸引力，目前該工具已對淘寶天貓商家開放使用。

• 更懂商品的展示手法：基于豐富的電商數據和設計經驗，自動識別并應用最適合不同類別商品的展示手法。從產品細節的精準呈現到整體風格的統一協調，確保每一件商品都能以最佳方式展示。
• 更強的多語種語義遵循能力：深度理解參考圖片和多語種指令（中/英），精準捕捉文本指令中的關鍵動作信息，確保生成視頻與用戶意圖高度契合。
• 合理的物理和動作規律：嚴格遵循物理規律和動作規范，確保畫面流暢自然，避免出現不符合現實的畫面效果，提升視頻的真實感和專業度。
• 穩定的人物、商品和裝飾保持：人臉、商品、還是文字、貼紙等裝飾元素，始終保持清晰、完整、無抖動或變形，提升視覺一致性。

• 基于Unet Diffusion Model路線：淘寶星辰視頻生成大模型是在Unet Diffusion Model路線的基礎上研發的。Unet Diffusion Model是生成模型，通過逐步去除噪聲來生成數據，能學習到數據的復雜分布，生成高質量的視頻內容。
• 自研3D VAE：為了更好地處理視頻中的三維信息和空間結構，淘寶星辰研發了自研的3D VAE（變分自編碼器）。3D VAE可以對視頻中的物體、場景等進行三維建模和編碼，將復雜的三維信息映射到低維的潛在空間中，再通過解碼器從潛在空間中重建出高質量的視頻幀，使生成的視頻在空間結構和物體形態上更加真實、自然。
• 面向生成任務的數據飛輪：構建了面向視頻生成任務的數據飛輪，通過不斷收集、標注和利用海量的電商數據，為模型訓練提供了豐富的素材和監督信息。數據涵蓋了各種商品的圖片、視頻、文本描述等，使模型能學習到不同商品的展示手法、風格特點以及與用戶意圖的對應關系，在生成視頻時能夠更精準地滿足電商場景下的需求。

• 訪問平臺：登錄淘寶星辰的官方網站。
• 選擇功能模塊：選擇“圖生視頻”功能模塊。
• 輸入素材：上傳一張高質量的服裝模特展示圖。
• 生成視頻：點擊生成按鈕，等待視頻生成。
• 視頻編輯：生成的視頻會自動顯示在頁面上，你可以進行簡單的編輯，如添加品牌logo、調整顏色等。
• 下載和使用：編輯完成后，下載視頻并將其添加到商品詳情頁或用于社交媒體推廣。
• 使用限制：目前淘寶星辰僅對淘寶天貓商家開放，普通用戶暫時無法使用。商家需要確保賬號具有相應的權限。

• 商品主圖視頻：某服裝商家將一張高質量的模特展示圖上傳到淘寶星辰，生成一個5秒的視頻主圖，用于商品詳情頁，顯著提高了商品的點擊率和轉化率。
• 賣點吸睛視頻：某電子產品商家上傳多張產品圖片，生成多個視頻片段，通過模版視頻方式添加轉場、特效和文字，制作成一個展示產品功能和優勢的賣點視頻，用于社交媒體推廣。
• 種草內容視頻：某美妝商家上傳多張美妝產品圖片，生成多個視頻片段，通過剪輯視頻方式添加解說和字幕，制作成一個種草視頻，發布在小紅書等平臺上，激發消費者的購買欲望。
• 虛擬試穿視頻：某服飾商家上傳用戶的虛擬試穿圖片，生成虛擬試穿視頻，模擬服飾的真實上身效果，幫助消費者更好地了解商品，減少購買顧慮。