Esta semana, Google lanzó Lumiere, su «modelo de difusión espacio-temporal para la generación de vídeo» basado en inteligencia artificial. Si están interesados, hagan CLIC AQUÍ para ir al sitio web.
La gran diferencia entre Lumiere y sus competidores es su arquitectura única: el video se genera en una sola pasada. Otros modelos siguen un principio diferente: crean múltiples fotogramas clave y luego se van entrelazando, lo que dificulta la coherencia del video generado.
Lumiere puede trabajar de distintas formas, por ejemplo, convierte texto en video, convierte imágenes estáticas en dinámicas, crea videos en un estilo determinado basado en alguna muestra, nos permite editar material audiovisual existente usando indicaciones escritas y más.
Google presenta Lumiere.
Google explicó que entrenaron a Lumiere con un conjunto de datos de 30 millones de videos y descripciones de texto. Los clips tienen 80 fotogramas a 16 fps, con una resolución base de 128 × 128 píxeles. Los videos generados de 5 segundos tienen una resolución de 1024 × 1024 píxeles.
Google Lumiere no es el primer generador de video basado en IA. Google previamente presentó Imagen Video, creando videos de 1280 × 768 píxeles a 24 fps. Otros modelos como Meta Make-A-Video, Runway Gen2 y Stable Video Diffusion ofrecen resultados menos realistas.
Sin embargo, Google reconoce la amenaza potencial de proyectos como este: «Nuestro objetivo principal es enseñarle a los usuarios a generar contenido visual de manera creativa. Sin embargo, existe el riesgo de contenido inapropiado o dañino. Consideramos que es importante desarrollar herramientas para detectar el mal uso de Lumiere, asegurando su uso seguro».
Fuente: Tom’s Guide