Seedance 2.0: Conheça a IA da ByteDance que Cria Vídeos Cinematográficos com Áudio Sincronizado

O que é o Seedance 2.0?

O Seedance 2.0 é um modelo de inteligência artificial de ponta desenvolvido pela ByteDance Seed, braço de pesquisa em IA da gigante chinesa. Sua principal função é a criação de vídeos com áudio sincronizado a partir de uma variedade de inputs, como texto, imagens, vídeos e sons. A tecnologia se destaca pela capacidade de gerar conteúdos com aparência cinematográfica e um elevado grau de controle criativo por parte do usuário.

Para que serve o Seedance 2.0?

A ferramenta serve como uma poderosa aliada na produção e edição de vídeos. Ela permite gerar vídeos do zero, mas também atua como uma editora inteligente, possibilitando ajustes pontuais sem a necessidade de refazer todo o material. Por exemplo, é possível modificar apenas um personagem ou uma ação específica dentro de uma cena. Além disso, o Seedance 2.0 conta com uma função de extensão que permite continuar uma cena para além dos 15 segundos originais, oferecendo maior flexibilidade na narrativa visual.

Como o Seedance 2.0 funciona?

A arquitetura do Seedance 2.0 é baseada em modelos de linguagem de grande escala e é multimodal, o que significa que ela processa e gera vídeo e áudio simultaneamente. Essa integração garante que o som esteja perfeitamente alinhado com as ações visuais, criando uma experiência mais imersiva. O treinamento conjunto dos componentes de vídeo e áudio também contribui para a consistência das cenas, mantendo a estabilidade de personagens, iluminação e cenários mesmo com mudanças de câmera, preservando a continuidade por até cerca de 15 segundos.

Inovações e Capacidades do Modelo

Um dos grandes diferenciais do Seedance 2.0 é sua capacidade de corrigir falhas comuns em outras IAs de vídeo, como deformações de objetos ou movimentos que desconsideram leis físicas como a gravidade. Ele também se destaca na representação de interações complexas entre múltiplos personagens com maior realismo. A tecnologia permite o processamento de múltiplas referências em uma única geração, aceitando até 9 imagens, 3 vídeos, 3 áudios e comandos em texto simultaneamente. No quesito áudio, o Seedance 2.0 gera som estéreo e é capaz de reproduzir detalhes sonoros sutis, enriquecendo a experiência sensorial do espectador.

Fonte: canaltech.com.br