Muitas das notícias e atualizações de produtos anunciadas pela Adobe esta semana foram, sem surpresa: Foco em IA generativa. Mas embora durante grande parte deste ano tenha havido grandes saltos na geração de imagens e vídeos, a Adobe está focada em melhorar seus serviços de IA em outra área: áudio de IA.
Dois novos recursos, Geração de Trilha Sonora e Geração de Áudio, fazem exatamente o que seus nomes sugerem. Você pode criar música de fundo e gravar roteiros para vídeos. No entanto, cada um vem com controles práticos que podem tornar o áudio de IA menos uma aposta e mais uma ferramenta útil para criadores de todos os níveis de habilidade. Atualmente disponível em versão beta.
A Adobe também está lançando uma versão beta de seu Firefly Image Model de 5ª geração mais recente. Criação de imagens fotorrealistas aprimorada com edição baseada em prompt. Há também um novo editor de vídeo beta Firefly com uma linha do tempo multitrack para ajudar a compilar clipes gerados por IA. A Adobe também está expandindo suas parcerias com duas novas empresas de IA, ElevenLabs e Topaz Labs. Para mais notícias sobre IA, Assistente de IA chega ao Photoshop e Express.
Aqui está um exemplo em que você é solicitado a escrever uma descrição de música com IA.
Gere músicas e trilhas sonoras
O licenciamento de música é complicado, especialmente para uso comercial. Então vamos começar com a parte mais importante. A música gerada nas trilhas sonoras geradas pelo Firefly está sujeita a uma licença universal. Isso significa que você pode usá-lo para qualquer finalidade e indefinidamente. A Adobe cria ferramentas de IA usando conteúdo (neste caso, áudio) que temos permissão para usar para treinamento de IA. Portanto, em teoria, não há necessidade de o áudio do Firefly AI ser removido do YouTube ou de outras plataformas ou sujeito a violações horríveis de direitos autorais.
“Este é um momento único no mundo em que o licenciamento de música está na mente de todos e os criadores estão frustrados ou confusos tentando fazer o que é melhor para seu conteúdo”, disse Jay LeBoeuf, chefe de áudio de IA da Adobe, em entrevista. “Portanto, só queremos esclarecer a confusão.”
Na demo, Firefly rejeitou uma solicitação que incluía o nome do artista, dizendo que violava as diretrizes do usuário devido a questões de direitos autorais. Por exemplo, as modelos não são treinadas na música de Taylor Swift, então não podem criar músicas como ela.
Agora a parte divertida. Generate Soundtrack é a primeira ferramenta musical de IA da Adobe projetada para eliminar as suposições ao descobrir o que você deseja. Envie seu vídeo e nossa IA irá analisá-lo. Com base nessa avaliação, a Firefly cria prompts que considera apropriados para o seu vídeo. Este é um prompt no estilo Mad Libs e você pode trocar os descritores conforme necessário. O prompt consiste em três partes. Descreva a sensação geral, o estilo (gênero de pensamento) e o propósito (comercial, experimental, etc.). Você também pode ajustar o ritmo e o nível de energia.
Quando estiver satisfeito com as instruções, clique em Gerar e você terá quatro variações instrumentais tocando em menos de dois minutos. O áudio terá a mesma duração do vídeo, mas você pode editá-lo conforme necessário. Você pode enviar vídeos de até 5 minutos de duração.
Como gerar música com Firefly
Experimente criar música instrumental de IA para seus vídeos hoje mesmo. Tanto a geração de trilha sonora quanto a geração de áudio estão disponíveis no Firefly e estão em beta. Verifique se o seu plano Adobe inclui acesso ao Firefly e, caso contrário, adquira um A partir de $ 10/mês.
- Abra o Firefly na web.
- Clique em Gerar no menu esquerdo.
- Clique em Gerar trilha sonora do cartão na parte inferior da janela de bate-papo.
- Envie seu vídeo usando o menu à esquerda.
- Firefly analisa o vídeo e escreve os prompts apropriados no menu esquerdo.
- Se não gostar dos resultados do Firefly, você pode clicar no “X” e inserir o prompt desejado. Você também pode escolher a atmosfera, o estilo e a finalidade sugeridos no menu à esquerda.
- Role para baixo e ajuste a energia, o andamento e a duração conforme necessário.
- Clique em Gerar.
Depois de encontrar a trilha sonora de sua preferência, você pode baixar o vídeo inteiro (ou apenas a trilha sonora) para o seu computador.
Este é um exemplo de quatro trilhas sonoras criadas por Firefly para um vídeo de IA que criei de pessoas festejando na praia.
Geração de áudio
Gerar áudio com Firefly é fácil e inclui muitos recursos úteis para quase todos os projetos. Esta é uma janela simples onde você pode inserir as palavras que deseja que a voz da IA leia. Você também pode enviar um roteiro de até 7.500 caracteres (aproximadamente 15 a 20 minutos de vídeo). Após o upload, você pode escolher entre 50 vozes marcadas com idade e sexo aproximados, incluindo opções não binárias. Pode gerar áudio em 20 idiomas diferentes. Mas o interessante é que você pode ajustar as instruções.
A fala é mais do que apenas ler palavras em uma página. Ao ler textos longos ou conversar com outras pessoas, naturalmente adicionamos ênfase, emoção e ritmo à nossa fala. O novo programa também permite adicionar pausas onde você deseja que a IA faça uma pausa e destacar seções onde você precisa alterar o tom.
Se você é como eu e ninguém consegue pronunciar seu nome corretamente na primeira tentativa, você pode usar a ferramenta Corrigir Pronúncia para ter certeza de não cometer erros. Selecione um nome ou nome próprio, adicione um detalhamento de pronúncia e a IA o usará para suavizar a pronúncia.
Essas ferramentas têm como objetivo oferecer mais controle que outros programas de conversão de texto em fala não oferecem necessariamente, além da capacidade prática de ajustar seções específicas.
“Esta é uma forma de dar vida ao discurso de criadores, proprietários de pequenas empresas, educadores e qualquer pessoa que realmente tenha uma história que queira contar. Talvez eles não se sintam tão confortáveis quanto nós em apenas pegar um microfone e falar”, disse LeBoeuf.
O áudio Firefly é um modelo de IA completamente novo. Mas não é a única opção. A Adobe tem aumentado constantemente sua lista de modelos de IA de terceiros este ano para vídeos e imagens de IA. Estamos mais uma vez expandindo essas opções incluindo o modelo multilíngue V2 da ElevenLab como uma opção para geração de fala.
Para mais informações, por favor verifique Como funciona o aplicativo de câmera Project Indigo da Adobe, agora compatível com iPhone 17.
