MagicAnimateでAI美女ダンサーを生成する方法とは？

▶︎動画でも話してるので、文章読むのが面倒な方はこちらをみてもらえればと思います。

今回はComfyUIでMagicAnimateを利用する方法について解説します。

購入はこちらから！

1 ComfyUIでMagicAnimateを利用する方法について
- 1.1 Google Colabのサイトにアクセスします
2 ComfyUIのソースコードを実行
- 2.1 設定ファイルを読み込み
3 動画の生成

ComfyUIでMagicAnimateを利用する方法について

ComfyUIでMagicAnimateを使うためのソースコードは公開されています。

ソースコードへのURLは以下に貼っておきますので、そちらをご確認ください。

ソースコードについてはこちらから！

この動画では、このソースコードをGoogle Colabを利用して動かしていきます。

もしもここまでの解説で、ComfyUI、MagicAnimate、Google Colabというキーワードが分からない場合は、以下にリンクを貼っておきますので、そちらをご確認ください。

ComfyUIについてはこちらから！

Google Colabはこちらから！

Google Colabについての詳細はこちらから！

Google Colabのサイトにアクセスします

ここからの流れは下記に詳細リンクを貼っておきますので、そちらからご参照ください。

Google Colabの流れについてはこちらから！

これでComfyUIのソースコードを実行するための準備が整いました。

ComfyUIのソースコードを実行

以下に貼ってあるテキストをコピーします。

from pathlib import Path
import subprocess
import threading
import time
import socket

!pip install -q torch==2.0.1+cu118 torchvision==0.15.2+cu118 torchaudio==2.0.2+cu118 torchtext==0.15.2 torchdata==0.6.1 --extra-index-url https://download.pytorch.org/whl/cu118 -U
!pip install -q xformers==0.0.20 triton==2.0.0 gradio_client==0.2.7 -U
!apt -y install -qq aria2
!pip install controlnet-aux==0.0.7 onnxruntime-gpu insightface
!pip install opencv-python==4.8.0.74
!pip install lark piexif omegaconf diffusers accelerate

# 定数と設定
WORKSPACE = '/content/ComfyUI'
UPDATE_COMFY_UI = True

# ComfyUIのセットアップと更新
if not Path(WORKSPACE).exists():
  %cd /content
  print("-= Initial setup ComfyUI =-")
  !git clone https://github.com/comfyanonymous/ComfyUI
else:
  %cd $WORKSPACE
  print("-= Updating ComfyUI =-")
  !git pull

%cd $WORKSPACE/custom_nodes
!git clone https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite
!git clone https://github.com/ltdrdata/ComfyUI-Manager.git
!git clone https://github.com/thecooltechguy/ComfyUI-MagicAnimate
%cd $WORKSPACE/custom_nodesComfyUI-MagicAnimate/
!pip install -r requirements.txt
!mkdir -p /content/ComfyUI/models/MagicAnimate/pretrained_models/StableDiffusion/stable-diffusion-v1-5
!wget --continue --show-progress -O /content/ComfyUI/models/MagicAnimate/pretrained_models/StableDiffusion/stable-diffusion-v1-5/v1-5-pruned-emaonly.safetensors https://huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned-emaonly.safetensors
!wget --continue --show-progress -O /content/ComfyUI/models/MagicAnimate/pretrained_models/StableDiffusion/stable-diffusion-v1-5/v1-5-pruned.safetensors https://huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned.safetensors

%cd $WORKSPACE
# 依存関係のインストール
print("-= Install dependencies =-")
!pip install xformers!=0.0.18 -r requirements.txt --extra-index-url https://download.pytorch.org/whl/cu118 --extra-index-url https://download.pytorch.org/whl/cu118

# cloudflaredのダウンロードとインストール
!wget https://github.com/cloudflare/cloudflared/releases/latest/download/cloudflared-linux-amd64.deb
!dpkg -i cloudflared-linux-amd64.deb

def iframe_thread(port):
    while True:
        time.sleep(0.5)
        sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
        result = sock.connect_ex(('127.0.0.1', port))
        if result == 0:
            break
        sock.close()

    print("\nComfyUI finished loading, trying to launch cloudflared (if it gets stuck here cloudflared is having issues)\n")
    p = subprocess.Popen(["cloudflared", "tunnel", "--url", f"http://127.0.0.1:{port}"], stdout=subprocess.PIPE, stderr=subprocess.PIPE)
    for line in p.stderr:
        l = line.decode()
        if "trycloudflare.com " in l:
            print("This is the URL to access ComfyUI:", l[l.find("http"):], end='')

# スレッドの開始
threading.Thread(target=iframe_thread, daemon=True, args=(8188,)).start()

# ComfyUIの実行
!python main.py --dont-print-server

テキストをコピーしたら、Google Colabの画面に戻り、テキストボックスに先ほどコピーしたテキストを貼り付け再生ボタンを押します。