Imita con precisión movimientos, gestos y expresiones faciales en función de sonidos y otras referencias visuales. Esas son algunas de las funcionalidades de OmniHuman-1, la nueva herramienta de generación de videos con IA presentada por ByteDance, la matriz de TikTok. 

Aunque está en fase experimental, sin ser accesible al público, OmniHuman-1 tendría un gran potencial en la producción de contenido digital.

‍

La tecnología detrás de OmniHuman-1

Esta nueva plataforma se basa en una combinación de redes neuronales profundas, modelos de difusión y transformadores, todas técnicas avanzadas que han sido clave en el desarrollo de IA generativa. Su sistema permite analizar una imagen estática y, a partir de ella, generar movimientos coherentes y fluidos, logrando un realismo que supera muchas soluciones previas.

Para alcanzar estos resultados, el modelo fue entrenado con más de 19.000 horas de vídeo, aplicando una técnica denominada «entrenamiento mixto de condicionamiento de movimiento multimodal», e integra texto, audio y movimientos corporales de múltiples fuentes: dibujos animados, vídeos musicales, charlas TED, imágenes de Pexels y otro contenido generado con inteligencia artificial (AIGC). Este enfoque permite a la IA adaptarse a diferentes tipos de entradas, como fotografías de rostros, retratos de medio cuerpo o imágenes de cuerpo completo.

Una de las claves de su tecnología es su capacidad para interpretar el contexto en el que se desarrollan los movimientos. Gracias a esto, puede adaptar la iluminación, las sombras y la textura de la piel para mantener la coherencia visual en los videos generados.

‍

Capacidades y aplicaciones de OmniHuman-1

Una de las principales ventajas de OmniHuman-1 es su versatilidad. Entre sus funciones más destacadas se encuentran:

-Animación facial y corporal: OmniHuman-1 puede replicar movimientos y expresiones faciales de manera precisa, lo que la hace ideal para la creación de avatares digitales y asistentes virtuales.

-Conversión de audio en video: la IA es capaz de generar movimientos sincronizados con un archivo de audio, permitiendo crear videos de personas que hablan o cantan sin necesidad de grabaciones en vivo.

-Modificación de escenas preexistentes: el modelo puede ajustar posturas y movimientos en base a videos de referencia, facilitando la edición y personalización de contenido digital.

-Animación de personajes no humanos: además de seres humanos, la nueva herramienta puede animar dibujos, objetos artificiales e incluso animales, aumentando su aplicación en la industria del entretenimiento y la publicidad.

Este nivel de detalle y precisión la convierte en una solución potencialmente revolucionaria en el desarrollo de efectos visuales y producción cinematográfica, así como en la creación de contenido para plataformas de redes sociales, ya que se adapta a cualquier relación de aspecto y proporción corporal (retrato, medio cuerpo, cuerpo completo, todo en uno).

Acceso y disponibilidad de OmniHuman-1

A pesar del impacto que ha generado en la comunidad tecnológica, OmniHuman-1 aún no está disponible para el público general. ByteDance ha indicado que su implementación requiere recursos computacionales de alto costo, lo que limita su acceso a desarrolladores y estudios de producción con infraestructura avanzada.

Actualmente, no existe una versión comercial ni una API pública de OmniHuman-1, pero se espera que, en el futuro, ByteDance explore modelos de distribución que permitan a más creadores acceder a esta tecnología, ya sea mediante licencias comerciales o versiones optimizadas para plataformas específicas.

‍