LivePortrait

LivePortrait项目介绍

项目概述

LivePortrait是一个高效的人像动画生成项目，由快手科技团队开发。该项目的核心目标是实现高质量的人像动画，包括人类和动物头像的动画生成。LivePortrait采用了拼接和重定向控制技术，能够生成流畅自然的动画效果。

主要特点

高效性能

LivePortrait在生成人像动画时表现出色的效率。根据官方提供的速度评估结果，在RTX 4090显卡上，LivePortrait可以以约50FPS的速度生成512x512分辨率的动画。

多模式支持

LivePortrait支持两种主要模式：

人类模式：用于生成人类头像的动画。

动物模式：专门用于生成动物头像的动画，如猫和狗。

灵活的输入选项

LivePortrait可以接受多种形式的输入：

源输入可以是单张图片或视频。

驱动输入可以是视频或预处理的运动模板文件(.pkl格式)。

自动裁剪功能

为了确保最佳效果，LivePortrait提供了驱动视频的自动裁剪功能。这个功能可以将输入的驱动视频自动调整为1:1的比例，并聚焦于头部区域。

隐私保护

LivePortrait支持使用预生成的运动模板文件(.pkl)来驱动动画，这不仅可以加速推理过程，还能保护驱动视频中人物的隐私。

技术细节

核心技术

LivePortrait的核心技术包括：

拼接技术：用于seamless地生成动画序列。

重定向控制：允许精确控制动画的表情和姿态。

依赖项

LivePortrait依赖多个开源项目，包括：

FOMM (First Order Motion Model)

Open Facevid2vid

SPADE (Spatially-Adaptive Normalization)

InsightFace

X-Pose (仅用于动物模式)

硬件要求

对于Linux和Windows用户，需要NVIDIA GPU。

对于macOS用户，支持Apple Silicon芯片，但性能可能较低。

使用方法

安装

克隆项目代码。

创建并激活conda环境。

安装所需依赖。

下载预训练权重。

推理

LivePortrait提供了命令行和Gradio图形界面两种使用方式：

命令行：

Gradio界面：

社区资源

LivePortrait已经吸引了众多开发者的关注，衍生出多个社区项目：

FacePoke：实时头部变换应用

FaceFusion：集成LivePortrait的人脸融合工具

ComfyUI插件：多个开发者为ComfyUI开发了LivePortrait节点

此外，还有多个在线演示平台和视频教程可供用户学习和体验。

伦理考虑

LivePortrait团队强调了人像动画技术可能带来的社会风险，特别是在深度伪造方面的潜在滥用。他们呼吁用户遵守道德准则，负责任地使用该技术。

结语

LivePortrait项目为人像动画领域带来了创新的解决方案，其高效性能和灵活功能使其成为研究和应用的有力工具。随着社区的不断贡献，相信LivePortrait将在未来发挥更大的作用。