Seedance 2.5 をコントロールする:1 つのソースに、1 つの次元

Seedance 2.5 では、リファレンスを使う際に特定の次元を指定できます。たとえば、モーションだけを参照し、レンダリングは参照しないように指示できます。
その次元には次のようなものがあります:
- モーション
- レンダリング
- 背景
- その他の視覚的・時間的な特性
これはコントロールを考えるうえで便利な視点になります。どのリファレンスを与えるかだけでなく、各リファレンスが結果のどの部分を担うのか、ということです。
マルチソースモデル
Seedance 2.5 は複数の種類の入力をサポートしています:
- テキスト
- 画像
- 映像
- 音声
各ソースは出力の 1 つ以上の次元に影響します。たとえば、モーションはテキスト、画像、映像のどれでもコントロールできます。しかし複数のソースが同じ次元に影響すると、最終的なモーションはテキスト、画像、映像が互いに作用し合った結果になります。
これは時に思いがけない良い結果を生みますが、同時に結果をコントロールしにくくします。
より高いコントロールを得るには、同じ次元に影響するソースの数を減らしましょう。理想は、1 つのソースが 1 つの次元に寄与することです。
映像がモーションを担当するなら、テキストや画像のリファレンスにも同じモーションを強く定義させるのではなく、映像に主にモーションをコントロールさせましょう。
ラフなレイアウトがうまくいきにくい理由
はっきりさせておくと、ラフなレイアウトが使えないと言っているわけではありません。良い結果が得られる確率が低い、ということです。
モデルはモーションを参照できます。そしてモーションとは本質的にポーズの連続——より一般的に言えば、形の連続です。その形には本来、位置が含まれています。
つまり、位置は参照するがポーズは参照しないというタスクは、指示そのものが紛らわしいのです。モデルはある特性を参照しながら、それと密接に結びついた別の特性だけを選択的に除外しなければなりません。その結果、入力にある最終形ではないポーズをそのまま使ってしまいがちです。
では、追加でポーズのリファレンスを与えたらどうか? それで解決するのでは?
そうかもしれません。でも、より有益な問いはこうです。なぜ最初から位置もポーズも正しい画像を与えないのか?
おすすめ
1. 正しい情報だけを与える
正しくないものは、モデルに与えないこと。
ダメな例: A、B、C を含む料理を頼んでから、モデルに C を取り除くよう頼む。
良い例: A と B を頼む。
間違った情報を与えてから一部を無視させるのは、不要な曖昧さを生むだけです。結果に寄与すべきでない情報なら、最初から与えないほうがいいのです。
2. 1 つのチャネルに 1 つの次元を担わせる
ストーリーボードやキーフレームとテキストの両方でショットをコントロールするなら、モデルがストーリーボードに正確に従うことを期待してはいけません。テキストも同じ次元に寄与しているからです。
より高いコントロールを得るには、複数のチャネルに同じものを奪い合わせるのではなく、各チャネルに特定の次元を担当させましょう。
3. 具体的なプロンプトと抽象度の高いプロンプトの両方を試す
両極端を同時に試してみましょう:
- 具体的: 望むモーション、タイミング、ポーズなどの詳細を明示的に記述する。
- 抽象度の高い意図: ショットで何を達成したいかを記述し、解決の余地をモデルに多く残す。
詳細なプロンプトが、必ずしもより多くのコントロールや良い結果をもたらすとは限りません。
実践的な原則
同じ次元を定義しようと競合するソースが多いほど、結果は予測しにくくなります。ソース間の役割分担がすっきりしているほど、各入力が何をしているかを理解しやすくなります。
コントロール可能な生成のための、便利なデフォルトはシンプルです:
正しい情報だけを与え、できる限り 1 つのソースに 1 つの次元をコントロールさせる。