Seedance プロンプトの技法

ここでの観察は、Seedance でアニメーションを生成するときのプロンプト設計についてです。

1. 豊かなテキストによる演技の描写 + アセット参照 がいちばんうまくいきます。
2. 映像のプレイブラスト + 短いテキスト説明 + アセット参照 も機能しますが、モデルが与えられたキーフレームに合わせようと頑張りすぎるため、アニメーションの品質や自然さが犠牲になることがあります。
3. キーフレーム + 短いテキスト説明 + アセット参照 は本質的に (2) と同じ発想で、キーフレームを使って中割りのアニメーションを強制的に生成させる点だけが違います。機能はしますが、モデルがキーフレームに合わせるために品質を犠牲にするか、それでもキーフレームに正確には従えないことがあります。

(2) と (3) はどちらも、キーフレームによってより強いコントロールを得ようとする試みです。しかし私たちのテストでは、目標とする演技をテキストで伝え、そこへの到達方法はモデルに任せたほうが、たいていより良いアニメーションになりました。

映像生成のプロンプト設計は、本質的に情報密度のバランスをとる技法である。

モデルが目標を理解できるだけの情報を与えつつ、モデル自身がうまく演じられる余白を意図的に残す必要があります。

これには制作上の利点もあります。モデルに任せられる部分が多いほど、こちらで準備する入力が少なくて済みます。この準備コストの削減こそ、生成映像が実際に制作コストを下げられるポイントです。