Diffusers: Stable Video Diffusion Pipeline - AI用語辞典

Definition

この用語は、動画生成のために設計されたHugging Face Diffusersライブラリ内の特定の実装を指します。これは、潜在空間での動画拡散（latent video diffusion）を行うStable Video Diffusion（SVD）モデルと統合されています。

Summary

静的画像から動画を生成するためにStable Video Diffusionモデルを利用する、Hugging Face Diffusersのパイプラインラッパーです。

Key Concepts

画像から動画への生成
潜在空間拡散
Hugging Face Diffusers
Stable Video Diffusionモデル

Use Cases

静止画や写真のアニメーション化
ソーシャルメディアコンテンツ用の短い動画クリップの作成
映画制作におけるビジュアルエフェクトのプロトタイピング

Code Example

1
2
3
4
5
6
from diffusers import StableVideoDiffusionPipeline
import torch

pipe = StableVideoDiffusionPipeline.from_pretrained("stabilityai/stable-video-diffusion-img2vid", torch_dtype=torch.float16)
pipe.enable_model_cpu_offload()
# Usage would involve loading an image and calling pipe(image)