prompt2rig: персонаж двигается по одной фразе

1. Фраза. Пишешь движение по-английски или берёшь готовую заготовку: удар ногой, прыжки, мах клюшкой для гольфа.
2. Видео на fal. Каждый ролик начинается с одного и того же «исполнителя»: картинка человека в полный рост на ровном фоне, камера стоит. Видеомодель на выбор: FLUX 3 Max (720p, самое правдоподобное движение) или H3 Max Turbo (480P, самая быстрая).
3. Мгновенный черновик в браузере. MediaPipe находит позу прямо на странице и сразу двигает персонажа, пока идёт точный проход.
4. Точный проход на твоей видеокарте. GVHMR смотрит весь ролик целиком и выдаёт 3D-движение тела без дрожи, растянутых рук и перекрученных предплечий. Параллельно WiLoR снимает кисти: ладонь и 15 суставов пальцев на каждой руке.
5. Персонаж. X Bot, Michelle или Soldier из примеров three.js, либо свой персонаж с mixamo.com в файле .fbx или .glb (в T-позе).
6. Экспорт. Кнопка ↓ glb у любого дубля сохраняет персонажа с анимацией - дальше Blender или Unity.

Можно вести одно непрерывное выступление: каждый следующий ролик начинается с последнего кадра предыдущего, а паузы между фразами закрывают короткие ролики «в ожидании».

Цифры автора для ролика 5 секунд на видеокарте RTX 4090:

Минимум для черновика: Node 18 или новее и ключ API от fal. Команды автора:

git clone https://github.com/blendi-remade/prompt2rig
cd prompt2rig
cp .env.example .env
# в файле .env впиши свой FAL_KEY
node server.mjs
# открыть http://localhost:5177

Точный проход (автор его рекомендует): Windows, видеокарта NVIDIA, uv и ffmpeg. Установщик ставит окружение, PyTorch под CUDA, GVHMR и около 5 ГБ весов. Потом отдельно запускается рабочий процесс рядом с сервером:

hq\setup.ps1
hq\.venv\Scripts\python hq\worker.py

1. Модель тела SMPL-X скачивается вручную с сайта smpl-x.is.tue.mpg.de после бесплатной регистрации, файл SMPLX_NEUTRAL.npz кладётся в hq/body_models/smplx/.
2. Пальцы (по желанию) - нужна модель кисти MANO, тоже после регистрации на mano.is.tue.mpg.de. Без неё пальцы считает MediaPipe, глубина грубее.

Лучше всего переносится движение лицом к камере, когда руки и ноги не закрывают тело: танцы, удары, ката, спортивная пантомима, радость после победы, понятные жесты руками. Сальто, вращения, движения на полу и скрещённые или спрятанные руки путают любой одиночный распознаватель позы. Заготовки из программы автора, их можно взять за образец:

does a side kick, then returns to a fighting stance
does jumping jacks
mimes a full golf swing
throws boxing jabs and hooks toward the camera
waves hello with both arms, then takes a bow

1. fal платный. Каждое видео генерируется на fal по твоему ключу, а fal берёт оплату по факту использования. Цену за ролик автор не называет.
2. Код prompt2rig открыт под Apache-2.0.
3. Точный проход - только некоммерческий. GVHMR разрешён для обучения, исследований и некоммерческих проектов, SMPL-X и MANO - некоммерческие лицензии, WiLoR - CC-BY-NC-ND, детекторы Ultralytics YOLO - AGPL-3.0. Автор прямо пишет: для коммерческого продукта эти части придётся заменить или лицензировать.
4. Можно коммерчески: веб-приложение, черновик в браузере и генерация видео (по условиям fal и авторов моделей).

Внутри prompt2rig Claude не работает: видео делают модели на fal, движение - GVHMR и WiLoR. Зато сам инструмент, судя по истории репозитория, написан вместе с Claude: во всех 15 изменениях с 19 по 21 октября автор указал соавтором Claude Opus 5.5.

1. Мы сами prompt2rig не запускали. Всё выше - по README, файлам лицензий и данным GitHub на 21.10.2026.
2. Точный проход - только Windows и NVIDIA. Без него остаётся черновик MediaPipe в браузере.
3. Одна камера, один человек. Сложные движения с вращениями и перекрытием рук распознаются плохо.
4. Проект совсем свежий: версия 0.1.0, создан 19.10.2026. Изменения и ошибки вероятны.

Первоисточник: репозиторий prompt2rig на GitHub.