解決 Runway 生成影片遇到「Generation error」錯誤

創作者透過 Runway 可以輸入參考圖片和描述影片的提示文字，將原本的靜態圖片轉成動態影片。但是使用圖片轉影片的 AI 工具有時候會因為模型關係，遇到「Generation error」(生成錯誤) 訊息。除了重試一次的解決方法，可以透過修改提示文字與「參考圖片」解決。

Runway logo (來源：維基百科)

辛苦等待數分鐘排隊 (in queue) 處理的生成影片任務，卻遇到「Generation error」(生成錯誤) 錯誤，而沒有順利產生影片。完整錯誤訊息：

Generation error
Your credits will be refunded. Please try again or adjust your prompt if you continue to encounter this error.

「產生錯誤 -- 您的儲值點數將被退還。如果您繼續遇到這個錯誤，請重試或調整您的輸入。」這個錯誤訊息表示模型在嘗試生成高品質影片時失敗，系統會自動停止生成過程，以避免浪費儲值點數。

生成錯誤
模型無法生成高品質的結果，因此我們終止了生成過程，以免浪費您的信用額度。請您再試一次。如果相同的輸入多次出現此情況，建議更換文字或圖片輸入。您的額度將在幾分鐘內自動退還。

解決方式 (但是不保證不會遇到相同錯誤) 有 1. 直接按重新產生影片、2. 修改提示文字或不同的參考圖片

(1) 修改提示文字

維持同樣的參考圖片，但是修改提示文字 (畫面上顯示「(Optional) Describe your shot.」的文字輸入框)。我會請 ChatGPT 大型語言模型修改原本的提示文字，請它維持原本意思，但是修改使用的文字。

(2) 改用不同或修改過的「參考圖片」

除了官方提到上傳不同的「參考圖片」，Reddit 網友提到維持同一張圖片，但是裁切 (crop) 不同區域，也可以解決。供大家參考。

通過調整提示文字與參考圖片，可以有效解決 Runway 生成錯誤。儘管模型是黑盒子，可以嘗試不同的解決方案。

RunwayML 是一個專為創作者設計的 AI 工具平台，提供簡單易用的影像生成與編輯功能，支持多樣化的設備與訂閱方案。當你上傳參考圖片並輸入提示文字時，Runway 將依照你的描述文字生成影片。以下是一簡單範例：

(1) 靜態圖片

(2) 動態影片

上傳「參考圖片」和輸入提示文字轉成的影片：

輸入的提示文字 (Describe your shot)：

鏡頭描述: 低角度的微距鏡頭，聚焦於一片帶有露珠的小草，展示草的紋理和細節。
動作: 鏡頭輕輕拉遠，逐漸顯示出更多的小草和周圍的公園。隨著鏡頭拉遠，背景變得更加清晰，顯示出孩子們在愉快地玩耍，他們的動作充滿了生命力和活力。隨著光線的變化，小草上的露珠閃爍著，強調了場景的清新感。整個動作流暢而寧靜，反映出公園中平和的早晨。

畫面上「(Optional) Describe your shot.」的文字輸入框處，輸入提示文字

對於製作影片不熟悉的我，輸入怎樣的鏡頭與影片描述相當苦手，我是請 ChatGPT 幫忙。

1. 準備資料：打開瀏覽器，將 Runway 官方的提示指引 (Gen-3 Alpha Prompting Guide) 的網頁另存成 PDF 檔案。

2. 回到 ChatGPT (如果其他機器人可以餵 PDF，請自行嘗試)

(1)上傳「參考圖片」，請機器人詳細描述圖片

(2) 上傳「參考圖片」請機器人依據這份提示指引，提供將圖片轉成影片的英文提示文字

依照這份提示指引 (Prompting Guide)，將這張圖片各自做成動畫，請建議圖的 prompt 文字
prompt 結構：
* 鏡頭描述 (camera description)
* 動作 (action)

就可以快速生成影片 (shot) 的提示文字

Err