最近、音楽生成のSunoにハマっていて、すっごく良い曲ができたので(苦笑)、ミュージックビデオ(MV)も作りたくなり、MVを作るツールを作っている(ややこしいw)のだが、それを使ってできたのがこちら。
ツールの方はもうちょっとイイ感じになってから公開したいとは思うのだが、今回は、その過程でできたミドルウェアを紹介しようと思う。
※(8/29追記)当初、リポジトリはpublicでオープンソースで開発していたのだが、ColabやMiniMax H3の利用規約上、非公開で運用した方が良いと判断し、現在はprivateになっています。興味のある方はぜひご連絡ください。
このミドルウェアをVSCodeとかで開いて、ClaudeCodeとチャットしながら生成していく想定のツールで、プラグインを使えば普段使っているサブスクアカウントで動かせる。特にUIなどもなく、チャット欄に「QwenImageでアニメ超のパグの静止画を生成して」と送れば画像を生成して適切な場所に置いてくれた。
アニメ調のパグ
また、続けて「先ほどの生成したパグの画像を元に、パグが散歩する5sの動画作って480pで」とチャットに送れば、次のような動画ができる。今回はMiniMax H3で作ってくれたようなので効果音やBGMもついたようで、しっかり参照画像も使って動画を作ってくれる。
今のところ、動画は MiniMax H3 / Wan2.2 (14B MoE・TI2V-5B・S2V) / LTX-2.3 (fp8・GGUF・IC-LoRA)、静止画は Z-Image と Qwen-Image / Qwen-Image-Edit に対応。
どういう仕組み？
これ、どういう仕組みになっているかというと、あなたの VSCode & Claude Code が Google Colab と連携して、Colab上で画像や動画を生成して、完成したら落としてくる、ということをやっていて、図にするとこんな感じ。
チャットで頼んでから、生成物が手元に落ちてランタイムが止まるまで
ランタイムを確保したり、モデルやウェイトをダウンロードしたりするのは基本フルオートで Claude Code がコマンドを叩いてやってくれるようにスキルをまとめているので、バリエーションをたくさん作ような時は、予めテキストファイルなどにババッと書いておいて依頼すれば生成したものを回収してくる、まで通しでやってくれる想定。Colab上ではComfyUIというちょっととっつきにくい見た目のツールで生成パイプラインを回して生成するんですが、設定は全てツールでAPI経由で行うようになっていて、なにか変更しなきゃいけないことが発生した場合でも、ClaudeCodeがまるっとやってくれるはず。
ただ、ちょいと課題もあって、3の用意のところは結構時間がかかるので、モデルによっては生成の時間よりも用意の方がかかる場合もあって、効率よく回すには生成をまとめてやった方が良いんだよね。ColabでL4のランタイムを使って生成させた感じだと下表の感じ。少しClaudeCodeがボヤっとすることもあり、セッションが伸びちゃうこともあるんですが、基本的には終わったら切ってくれて、余計な課金は抑えてくれる。
| 構築 | 生成 | セッション全体 | 概算 | |
|---|---|---|---|---|
| 静止画 Qwen-Image 1328x1328 | 4分 | 1〜2分 | 約8分 | 2.4円 |
| 動画 H3 480x480・5.17秒 | 10分 | 約8分 | 約19分 | 5.8円 |
| 動画 Wan2.2 480x480・5.06秒 | 7分 | 約3.5分 | 約13分 | 3.9円 |
| 動画 LTX-2.3 480x480・5.16秒 | 6分 | 約2.2分 | 約6分 | 2.7円 |
結構モデルのサイズが大きく、モデル毎に構築し直す必要があるので、モデル毎に分けて生成を複数行った方が効率は良くなるほず。とはいえ、ColabのGPU使用量が結構安いので、最新のクソ高いGPUをお持ちの方は不要かと思うけど、そうでなくて、でもSeedanceとかぶん回すにはいかないような人でもAIでガッツリ生成できますよ。
ただし、モデルのライセンスには注意してね(MiniMax H3とかは要注意)。最後にWanとLTXで生成した動画もそれぞれおいておきます。
LOOPSKETCHでは、こうしたツールの構築もご相談いただけます。よろしければ、メニューのお問い合わせからどうぞ。よくわからないから構築して、って方もご連絡ください！