Como usei o Whisper AI para fazer legendas para qualquer filme (gratuito e offline)

Nem todos os produtos de IA são exagerados; existem alguns genuinamente úteis, desde escrever seu e-mail até editar suas fotos, administrar agentes de IA e muito mais.

Tenho testado constantemente várias ferramentas de IA, inscrevendo-me em novas, experimentando software beta e avaliando-as em relação aos concorrentes existentes para avaliar seu desempenho.

Ao navegar neste mundo da IA, é nossa responsabilidade fornecer ferramentas úteis de IA que beneficiem genuinamente os nossos leitores, e temos feito isso. Nosso recente guia de agentes de IA é um deles, apresentando 8 agentes de IA úteis que podem ser benéficos para usuários comuns.

Whisper é uma dessas ferramentas que permite transcrever áudio em texto; ele também possui recursos úteis, como legendas, e pode até gerar legendas. Embora a maioria das plataformas agora ofereça legendas, ainda existem muitos programas que não têm legendas, o que os torna extremamente difíceis de entender e muitas vezes leva à não visualização. Além disso, graças à dublagem, a maioria dos estúdios lança programas com opções limitadas de idioma.

Como gerar legendas e legendas para qualquer vídeo usando Whisper AI

Para isso, estou usando o Whisper, uma ferramenta gratuita de transcrição de áudio da OpenAI disponível para Mac e Windows. Ele suporta vários idiomas e pode até traduzir para outros idiomas. Pode transcrever texto, gerar texto de áudio e convertê-lo para outros idiomas; o mais importante é que ele pode gerar legendas e legendas em qualquer idioma e até mesmo traduzi-las para o inglês.

Pré-requisitos para instalar e usar o Whisper em seu Mac, Windows e Linux

Você pode executar o Whisper AI na nuvem e localmente no seu Mac. Como estamos discutindo uma opção gratuita, executá-la localmente no seu dispositivo é a única opção gratuita disponível. Mas antes disso, aqui estão os pré-requisitos para que cada plataforma possa executá-la localmente no seu dispositivo.

Windows

• Python 3.8+
• PyTorch 1.10.1+
• ffmpeg

Mac

• Python 3.8+
• PyTorch 1.10.1+
• ffmpegLinux

• Python 3.8+
• PyTorch 1.10.1+
• ffmpeg

Como instalar o Whisper AI localmente no seu dispositivo

Instalar o Whisper é fácil e requer três etapas, dependendo do seu dispositivo. Listei o método para Windows e macOS. Você pode seguir as etapas para instalar o Whisper localmente em seu dispositivo sem problemas. Se você estiver pronto, vamos começar.

Etapa 1: instale o Python no seu dispositivo

Se você já possui o Python instalado no seu dispositivo, pode pular esta etapa. Caso contrário, visite: https://www.python.org/ e instale-o em seu dispositivo.

Depois de instalado, use o seguinte comando para verificar se ele está instalado no seu dispositivo.

Abra seu prompt de comando (Windows) ou terminal (Mac/Linux) e digite o seguinte comando: versão python.

Se mostrar a versão do Python, algo como Python 3.12.0, significa que foi instalado com sucesso no seu dispositivo. Se você não vir isso, siga o processo novamente.

Se você tiver uma versão mais antiga do Python, poderá atualizá-la usando os seguintes comandos no Windows, Mac e Linux.

• Windows: python -m pip install –upgrade pip
• MacOS: python3 -m pip install –upgrade pip
• Linux: sudo apt instalar python3.12

Etapa 2: agora instale o Whisper

Em seguida, instale o Whisper no seu dispositivo. Abra o terminal no seu dispositivo e use este comando.

• Windows: pip install -u openai-whisper
• MacOS: pip install -u openai-whisper. Se você encontrar algum erro, use este comando: python3 -m pip install –user -U openai-whisper
• Linux: pip install -u openai-whisper

Aguarde até que todos os arquivos sejam baixados com sucesso. Depois de concluído, você verá uma mensagem semelhante a ‘Baixado com sucesso’.

Você pode usar este comando para verificar se ele está instalado corretamente no seu dispositivo.

Comando: sussurrar –ajuda

Etapa 3: Em seguida, instale o software FFmpeg.

Em seguida, instale o ffmpeg (necessário para áudio) para processar os arquivos de áudio no seu dispositivo.

No Mac:

Você pode usar o Homebrew para instalá-lo em seu Mac usando este comando simples: brew install ffmpeg

Se você não tiver o Homebrew no seu Mac:

Passo 1: Abra o Terminal no seu Mac

Etapa 2: cole este comando e pressione Enter: /bin/bash -c “$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)”

Passo 3: Digite a senha e aguarde até que todos os arquivos sejam baixados.

Relacionado: Como instalar o Homebrew no seu macOS

Passo 4: Use este comando para verificar se o Brew foi instalado corretamente no seu dispositivo. Você pode usar este comando: brew –version

Instale o software ffmpeg

Passo 1: Abra o Terminal e use este comando: brew install ffmpeg

Passo 2: Aguarde até que todos os arquivos necessários tenham sido baixados.

Etapa 3: use este comando para verificar se ele foi instalado com sucesso no seu dispositivo: ffmpeg -version

Para Windows:

Passo 1: Acesse https://ffmpeg.org/download.html e baixe o arquivo do Windows.

Passo 2: Extraia-o e instale-o no seu dispositivo como qualquer outro software.

Passo 3: Em seguida, verifique se tudo está instalado corretamente no seu dispositivo. Abra o terminal do seu dispositivo e digite o seguinte comando: 'sussurrar ajuda'. Se você vir opções, significa que o aplicativo está instalado corretamente no seu dispositivo.

Como gerar legendas para vídeo

Passo 1: Abra o terminal do seu dispositivo e vá até a pasta onde o arquivo de vídeo está localizado. Nesse caso, meu arquivo de vídeo está localizado na minha área de trabalho. Você pode usar os seguintes comandos para navegar até a pasta do arquivo de vídeo.

• Windows: CD Desktop
• MacOS: cd ~/Desktop

Passo 2: Transcreva os arquivos de áudio e vídeo. Aqui está a lista de formatos de arquivo suportados pelo Whisper.

Passo 3: Agora, transcreva e selecione o arquivo de vídeo usando este comando: sussurro (adicione o nome do arquivo de vídeo ou áudio aqui) –model turbo –task transcribe

exemplo: sussurro video.mp4 –model turbo –task transcrição

Passo 3: Dependendo da seleção do seu modelo, um novo modelo poderá ser baixado. Então espere até terminar o download. Aqui estão os vários modelos de Whisper que você pode escolher. Quanto menor o modelo, menor a precisão.

No entanto, se o seu dispositivo não for potente, recomendo usar o modelo minúsculo ou básico, pois a execução de modelos grandes pode consumir todos os recursos do sistema. Se você tiver arquivos de mídia maiores e quiser alta precisão, poderá executar o Whisper no Google Colab. Aqui está o vídeo tutorial sobre como fazer.

Passo 4: As legendas agora são geradas. Você pode encontrar os seguintes arquivos na pasta de vídeo especificada anteriormente.

• vídeo. transcrição de texto simples txt
• vídeo. formato de legenda da web vtt
• vídeo. srt formato de legenda comum (para YouTube, VLC, etc.)

Passo 5: Abra o arquivo para visualizar as legendas. Agora vá para a pasta onde seus vídeos estão localizados e abra o arquivo que diz video.srt

Etapa 6 (opcional): Se o vídeo não estiver em inglês, você pode traduzi-lo para o inglês usando o seguinte comando.

Comando: sussurrar (nome do arquivo de vídeo ou áudio) –model middle –idioma (insira seu idioma aqui) –task traduzir

Exemplo: sussurro video.mp4 –modelo médio –idioma japonês –tarefa traduzir

Passo 7: Agora, retorne ao destino onde o arquivo de vídeo está localizado. A partir daí, você pode ver o arquivo video.SRT, que contém legendas em inglês para o vídeo que você usou.

Como usar legendas para o vídeo

Você pode importar legendas para qualquer reprodutor de mídia de terceiros e reproduzir o vídeo com legendas. VLC é o melhor reprodutor de mídia de terceiros disponível para Windows e macOS. Veja como usá-lo para assistir filmes com legendas geradas usando o Whisper.

Baixe o reprodutor de mídia VLC (grátis)

• Para Windows
• Para macOS

Passo 1: Depois de baixado, instale o reprodutor de mídia VLC em seu dispositivo.

Passo 2: Abra o VLC Player no seu Windows e navegue até a guia Playlist e clique em Open Media.

Passo 3: A partir daqui, toque em navegar e selecione o arquivo de vídeo e habilite Adicionar arquivo de legenda, selecione o arquivo de legenda que você gerou usando Whisper AI e clique em Abrir.

Passo 4: Pronto, são geradas as legendas do vídeo.

Considerações Finais

Ao longo dos anos, essas limitações me frustraram. No entanto, o VLC anunciou legendas geradas por IA que funcionam em tempo real, mas ainda não estão disponíveis para usuários regulares. E ainda mais preocupante, foi a última postagem deles no Twitter, então estou perdendo as esperanças até descobrir o Whisper.

É assim que você pode gerar legendas para qualquer vídeo, inclusive filmes completos, dependendo dos recursos do seu dispositivo. Se o seu dispositivo não for poderoso, você pode executar o Whisper AI no Google Colab. Além de gerar legendas, você também pode traduzi-las para outros idiomas, como mostra o vídeo abaixo. Espero que este guia seja útil para você. Garanti que cada etapa fosse detalhada para tornar este guia amigável para iniciantes. Se você ainda tiver problemas ao configurar ou executar o Whisper AI localmente em seu dispositivo. Você pode comentar abaixo.

Perguntas frequentes sobre como gerar legendas usando Whisper AI

1. Posso usar o Whisper para adicionar legendas automaticamente aos vídeos do YouTube que carrego?

Não, você precisa gerar legendas se o vídeo estiver armazenado localmente no seu dispositivo e depois enviá-lo para o YouTube ao enviar o vídeo. Ele não adiciona legendas automaticamente aos vídeos do YouTube que você envia.

2. O Whisper funciona offline após a instalação?

Sim, uma vez baixado o modelo requerido, ele funciona offline, dispensando a necessidade de conexão com a internet.

3. Como posso acelerar a transcrição em dispositivos mais antigos ou de baixo custo?

Para acelerar a transcrição, você precisa usar modelos pequenos. Você também pode compactar arquivos de vídeo grandes em arquivos menores para tornar esse processo mais rápido. Para compactar arquivos, você pode usar o seguinte comando no terminal: ffmpeg -i video. mp4 -q: um 0 -mapa um áudio. mp3

4. O Whisper pode detectar alto-falantes ou separar diálogos automaticamente?

Não, atualmente o Whisper não consegue detectar alto-falantes ou separar diálogos automaticamente; você precisa usar ferramentas separadas, como Pyannote, para obter arquivos de áudio separados, áudio Pyannote ou WhisperX

5. As legendas geradas pelo Whisper são precisas para fala barulhenta ou com sotaque?

Sim, é um dos melhores modelos de transcrição. A precisão também depende do modelo que você está usando; modelos grandes geralmente geram melhor precisão; no entanto, eles podem levar mais tempo e exigir recursos poderosos para serem executados.