AIツール

CogVideoXを使った動画の作り方を解説！AIでテキストから動画を生成する方法

  /

今回は CogVideoX を使って動画を生成する方法について解説します。

この動画を最後まで見ていただければ、このような動画を生成する方法を理解することができます。

たぬきち
たぬきち
AI美女作成の方法に関するノウハウもかなり溜まってきたので、そのノウハウを凝縮してまとめた教材を販売してるよ！

これを読めば誰でも簡単にクオリティーの高いAI美女が作れるようになっているので興味がある人は、下のバナーをクリックして購入してみてね🎶

CogVideoXを使った動画の作り方を解説！AIでテキストから動画を生成する方法

この解説では、Google Colab で ConfUI を動作させていきます。

Google Colabを準備する

まずはGoogle Colabのサイトにアクセスします。

Google Colabはこちらから

Google Colabの画面を表示したら、「ノートブックを新規作成」と書かれているボタンをクリックします。

もしこのようなポップアップ画面が表示されない場合は、メニューの中から「ファイル」を選択して「ノートブックを新規作成」を選択します。

ノートブックを新規作成したら、名前を変更しておきましょう。この解説では、以下のような名前にしておきました。

次に、ランタイムのタイプを変更します。メニューの中から「ランタイム」を選択して、「ランタイムのタイプを変更」を選択します。

そうするとランタイムのタイプの設定画面が表示されます。ランタイムのタイプはPython3にしておきます。

ハードウェアアクセラレーターはT4 GPUを選択します。

そして、ハイメモリーの設定を有効にしておきます。ハイメモリーの設定は無料版のGoogle Colabでは有効にすることができません。

そのため、この動画では有料版のGoogle Colabで解説を進めます。ランタイムのタイプをこのように変更したら、保存ボタンをクリックします。

これでGoogle Colabでコードを実行するための準備が整いました。

コードを実行する

それでは早速実行していきましょう。まずは以下のコードをコピーしてください。

!apt -y install -qq aria2

%cd /content
!git clone https://github.com/comfyanonymous/ComfyUI

%cd /content/ComfyUI
!git reset --hard 7cd0cdfce601a52c52252ace517b9f52f6237fdb
!pip install -r requirements.txt

# ComfyUI Managerのインストール
%cd /content/ComfyUI/custom_nodes
!git clone https://github.com/ltdrdata/ComfyUI-Manager.git

%cd /content/ComfyUI/custom_nodes
!git clone https://github.com/rgthree/rgthree-comfy
%cd rgthree-comfy
!pip install -r requirements.txt
%cd /content/ComfyUI/custom_nodes

!git clone https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite.git


%cd /content/ComfyUI/custom_nodes
!git clone https://github.com/kijai/ComfyUI-CogVideoXWrapper.git
%cd ComfyUI-CogVideoXWrapper
!pip install -r requirements.txt
%cd /content/ComfyUI/custom_nodes

# ---------------- ComfyUI_Custom_Nodes_AlekPetの設定開始 ---------------------
%cd /content/ComfyUI/custom_nodes

## DeepTranslatorTextNode
!git clone https://github.com/AlekPet/ComfyUI_Custom_Nodes_AlekPet.git

%cd /content/ComfyUI/custom_nodes
# ---------------- ComfyUI_Custom_Nodes_AlekPetの設定終了 ---------------------


# ---------------- ComfyUI-Custom-Scriptsの設定開始 ---------------------
%cd /content/ComfyUI/custom_nodes

!git clone https://github.com/pythongosssss/ComfyUI-Custom-Scripts.git

# 「Image Feed」を表示させたくないため、該当ファイルを削除.
# 表示させたい場合は、下記のコマンドをコメントアウトすること
!rm -rf /content/ComfyUI/custom_nodes/ComfyUI-Custom-Scripts/web/js/imageFeed.js

%cd /content/ComfyUI/custom_nodes
# ---------------- ComfyUI-Custom-Scriptsの設定終了 ---------------------

# clipsをダウンロード
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/adamo1139/stable-diffusion-3-medium-ungated/resolve/main/text_encoders/t5xxl_fp8_e4m3fn.safetensors -d /content/ComfyUI/models/clip -o t5xxl_fp8_e4m3fn.safetensors

# VAEをダウンロード
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.safetensors -d /content/ComfyUI/models/vae -o vae-ft-mse-840000-ema-pruned.safetensors

# Negative Promptをダウンロード
!git clone https://huggingface.co/embed/negative /content/ComfyUI/models/embeddings/negative
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://civitai.com/api/download/models/77169 -d /content/ComfyUI/models/embeddings/negative -o BadDream.pt
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://civitai.com/api/download/models/77173 -d /content/ComfyUI/models/embeddings/negative -o UnrealisticDream.pt
!aria2c --console-log-level=error -c -x 16 -s 16 -k 1M https://civitai.com/api/download/models/25820 -d /content/ComfyUI/models/embeddings/negative -o verybadimagenegative_v1.3.pt

# --------------------- 設定・入力ファイルの読み込み開始 ---------------------
prefix = "0011"
uuid = "3c99fa83-7c96-463e-b473-d81128b99182"
root_path = f"https://archive.creativaier.com/comfyui_materials/{prefix}_{uuid}"

import requests
import json

# URLからJSONデータを取得
url = f"{root_path}/workflow.json"
response = requests.get(url)
data = response.json()

# JavaScriptモジュール形式でデータを整形
js_content = f"export const defaultGraph = {json.dumps(data, indent=2)};"

# ファイルに書き込む
output_path = "/content/ComfyUI/web/scripts/defaultGraph.js"
with open(output_path, "w") as f:
    f.write(js_content)
# --------------------- 設定・入力ファイルの読み込み開始 ---------------------


!wget https://github.com/cloudflare/cloudflared/releases/latest/download/cloudflared-linux-amd64.deb
!dpkg -i cloudflared-linux-amd64.deb

import subprocess
import threading
import time
import socket

def iframe_thread(port):
    while True:
        time.sleep(0.5)
        sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
        result = sock.connect_ex(('127.0.0.1', port))
        if result == 0:
            break
        sock.close()

    print("\nComfyUI finished loading, trying to launch cloudflared (if it gets stuck here cloudflared is having issues)\n")
    p = subprocess.Popen(["cloudflared", "tunnel", "--url", f"http://127.0.0.1:{port}"], stdout=subprocess.PIPE, stderr=subprocess.PIPE)
    for line in p.stderr:
        l = line.decode()
        if "trycloudflare.com " in l:
            print("This is the URL to access ComfyUI:", l[l.find("http"):], end='')

%cd /content/ComfyUI

# スレッドの開始
threading.Thread(target=iframe_thread, daemon=True, args=(8188,)).start()

# ComfyUIの実行
!python main.py --dont-print-server

テキストをコピーしたら、Google Colab の画面に戻ります。

テキストボックスに先ほどコピーしたテキストを貼り付けます。そして再生ボタンを押します。

これで、貼り付けたテキストの内容が実行されます。処理には再生ボタンを押してから5分程度かかると思います。しばらく待っていると、このようなリンクが表示されます。

このリンクをクリックします。そうすると、ConfUI の画面が表示されます。

生成する動画の指示は、「CogVideo テキストエンコード」というタイトルの中にあるテキストボックスで指定します。

ここでは、「パンダがアコースティックギターを弾いている」といった指示を英文で指定しています。

このブロックで生成する画像を設定したら、「Queue  Prompt」と書かれているボタンをクリックします。

画像が生成されるまでしばらく待ちます。処理の状況は画面上部の緑色のバーで確認できます。

画像の生成には数分程度かかると思います。しばらく待っていると、このような動画が生成されました。

生成された動画をパソコンに保存するには、動画の部分を右クリックします。

そして、表示されたメニューの中から「セーブプレビュー」を選択します。これで生成された動画がパソコンにダウンロードされます。

ぜひ、あなたも実際に手を動かしながら試してみてくださいね。

Post Views: 57
RELATED POST