FaceFusionでLipSyncする方法とは？音声に合わせて口が動く！

▶︎動画でも話してるので、文章読むのが面倒な方はこちらをみてもらえればと思います。

今回はFaceFusionを使ってLipSyncの動画を生成する方法について解説します。

今回紹介する方法については決して悪用しないでくださいね。

購入はこちらから！

1 FaceFusionを使ってLipSyncの動画を生成する方法について
- 1.1 Google Colabのサイトにアクセス
2 Google Colabでコードを実行
- 2.1 FaceFusionの操作設定
- 2.2 音声ファイルをアップロード
3 生成された動画を再生

FaceFusionを使ってLipSyncの動画を生成する方法について

FaceFusionのソースコードは公開されています。

公開されているコードへのリンクは下記に貼っておきますので、そちらをご確認ください。

FaceFusionのソースコードはこちらから！

この解説では、このソースコードをGoogleコラボで動作させていきます。

もしもGoogleコラボというキーワードが分からない場合は、以下にリンクを貼っておきますので、そちらをご確認ください。

Google Colabについての詳細はこちらから！

Google Colabのサイトにアクセス

Google Colabはこちらから！

ここからの流れは下記に詳細リンクを貼っておきますので、そちらからご参照ください。

Google Colabの流れについてはこちらから！

これで、Google Colabでコードを実行するための準備が整いました。

Google Colabでコードを実行

下記に貼ってあるテキストをコピーします。

!wget https://archive.creativaier.com/comfyui/scripts/setup_script001
!mv setup_script001 setup_script.sh
!chmod +x setup_script.sh
!./setup_script.sh
!rm -rf setup_script.sh

%cd /content/source_code
!python install.py --torch cuda-12.1 --onnxruntime cuda-12.1 --skip-venv

!wget https://github.com/cloudflare/cloudflared/releases/latest/download/cloudflared-linux-amd64.deb
!dpkg -i cloudflared-linux-amd64.deb

import subprocess
import threading
import time
import socket

def iframe_thread(port):
    while True:
        time.sleep(0.5)
        sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
        result = sock.connect_ex(('127.0.0.1', port))
        if result == 0:
            break
        sock.close()

    p = subprocess.Popen(["cloudflared", "tunnel", "--url", f"http://127.0.0.1:{port}"], stdout=subprocess.PIPE, stderr=subprocess.PIPE)
    for line in p.stderr:
        l = line.decode()
        if "trycloudflare.com " in l:
            print("This is the URL to access:", l[l.find("http"):], end='')


# スレッドの開始
threading.Thread(target=iframe_thread, daemon=True, args=(7860,)).start()

# コードの実行
%cd /content/source_code
!python run.py --execution-providers cuda

テキストをコピーしたらGoogleコラボの画面に戻り、テキストボックスにコピーしたテキストを貼り付け、再生ボタンを押します。