Как я использовал Whisper AI для создания субтитров для любого фильма (бесплатно и офлайн)

Не все продукты искусственного интеллекта переоценены; есть действительно полезные: от написания электронной почты до редактирования фотографий, запуска агентов искусственного интеллекта и многого другого.

Я постоянно тестировал различные инструменты искусственного интеллекта, подписывался на новые, пробовал бета-версии программного обеспечения и сравнивал их с существующими конкурентами, чтобы оценить их производительность.

Путешествуя по миру искусственного интеллекта, мы несем ответственность за предоставление полезных инструментов искусственного интеллекта, которые принесут реальную пользу нашим читателям, и мы это делаем. Наше недавнее руководство по агентам ИИ — одно из них, в котором представлены 8 полезных агентов ИИ, которые могут быть полезны обычным пользователям.

Whisper — один из таких инструментов, который позволяет транскрибировать аудио в текст; он также имеет полезные возможности, такие как подписи, и даже может генерировать субтитры. Хотя большинство платформ теперь предлагают субтитры, все еще существует множество шоу без субтитров, что делает их чрезвычайно трудными для понимания и часто приводит к тому, что их не смотрят. Кроме того, благодаря дубляжу большинство студий запускают шоу с ограниченными языковыми возможностями.

Как создавать субтитры и подписи для любого видео с помощью Whisper AI

Для этого я использую Whisper, бесплатный инструмент для расшифровки аудио от OpenAI, доступный как для Mac, так и для Windows. Он поддерживает несколько языков и даже может переводить на другие языки. Он может транскрибировать текст, генерировать текст из аудио и конвертировать его на другие языки; самое главное, он может генерировать субтитры и подписи с любого языка и даже переводить их на английский.

Предварительные условия для установки и использования Whisper на вашем Mac, Windows и Linux

Вы можете запустить Whisper AI в облаке или локально на своем Mac. Поскольку мы обсуждаем бесплатный вариант, запуск его локально на вашем устройстве — единственный доступный бесплатный вариант. Но перед этим приведем необходимые условия для каждой платформы для ее локального запуска на вашем устройстве.

Окна

• Питон 3.8+
• ПиТорч 1.10.1+
• ffmpeg

Мак

• Питон 3.8+
• ПиТорч 1.10.1+
• ffmpeg Linux

• Питон 3.8+
• ПиТорч 1.10.1+
• ffmpeg

Как установить Whisper AI локально на ваше устройство

Установить Whisper легко и требуется три шага, в зависимости от вашего устройства. Я перечислил метод как для Windows, так и для macOS. Вы можете без проблем выполнить инструкции по установке Whisper локально на ваше устройство. Если вы готовы, давайте начнем.

Шаг 1. Установите Python на свое устройство.

Если на вашем устройстве уже установлен Python, вы можете пропустить этот шаг. Если вы этого не сделали, посетите https://www.python.org/ и установите его на свое устройство.

После установки используйте следующую команду, чтобы проверить, установлена ​​ли она на вашем устройстве.

Откройте командную строку (Windows) или терминал (Mac/Linux) и введите следующую команду: версия Python.

Если отображается версия Python, например, Python 3.12.0, это означает, что он успешно установлен на вашем устройстве. Если вы этого не видите, повторите процедуру еще раз.

Если у вас более старая версия Python, вы можете обновить ее, используя следующие команды в Windows, Mac и Linux.

• Windows: python -m pip install –upgrade pip
• MacOS: python3 -m pip install –upgrade pip
• Linux: sudo apt установить python3.12

Шаг 2: Теперь установите Whisper

Затем установите Whisper на свое устройство. Откройте терминал на своем устройстве и используйте эту команду.

• Windows: pip install -u openai-whisper
• MacOS: pip install -u openai-whisper. Если вы видите какую-либо ошибку, используйте следующую команду: python3 -m pip install –user -U openai-whisper
• Linux: pip install -u openai-whisper

Подождите, пока все файлы не будут успешно загружены. После завершения вы увидите сообщение, похожее на «Загружено успешно».

Вы можете использовать эту команду, чтобы проверить, правильно ли она установлена ​​на вашем устройстве.

Команда: шепот – помощь

Шаг 3: Затем установите программное обеспечение FFmpeg.

Затем установите ffmpeg (требуется для аудио) для обработки аудиофайлов на вашем устройстве.

На Mac:

Вы можете использовать Homebrew для установки его на свой Mac с помощью этой простой команды: Brew install ffmpeg.

Если на вашем Mac нет Homebrew:

Шаг 1. Откройте терминал на вашем Mac.

Шаг 2. Вставьте эту команду и нажмите Enter: /bin/bash -c «$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)»

Шаг 3: Введите пароль и подождите, пока все файлы будут загружены.

Связанный: Как установить Homebrew на macOS

Шаг 4. Используйте эту команду, чтобы проверить, правильно ли установлен Brew на вашем устройстве. Вы можете использовать эту команду: Brew –version

Установите программное обеспечение ffmpeg

Шаг 1. Откройте терминал и используйте следующую команду: Brew install ffmpeg.

Шаг 2: Подождите, пока все необходимые файлы будут загружены.

Шаг 3. Используйте эту команду, чтобы проверить, успешно ли она установлена ​​на вашем устройстве: ffmpeg -version

Для Windows:

Шаг 1. Перейдите на https://ffmpeg.org/download.html и загрузите файл Windows.

Шаг 2. Извлеките его и установите на свое устройство, как любое другое программное обеспечение.

Шаг 3. Затем убедитесь, что все правильно установлено на вашем устройстве. Откройте терминал на своем устройстве и введите следующую команду: «Помощь шепотом». Если вы видите варианты, это означает, что приложение правильно установлено на вашем устройстве.

Как создать субтитры для видео

Шаг 1: Откройте терминал на своем устройстве и перейдите в папку, где находится видеофайл. В данном случае мой видеофайл находится на рабочем столе. Вы можете использовать следующие команды для перехода к папке с видеофайлами.

• Windows: компакт-диск «Рабочий стол».
• MacOS: компакт-диск ~/Рабочий стол

Шаг 2: Расшифруйте аудио и видео файлы. Вот список форматов файлов, которые поддерживает Whisper.

Шаг 3: Теперь расшифровайте, выберите видеофайл с помощью этой команды: шепот (добавьте сюда имя вашего видео или аудиофайла) –модель турбо –задача расшифровки

пример: шепот видео.mp4 –модель турбо –задание расшифровки

Шаг 3. В зависимости от выбора модели можно загрузить новую модель. Так что подождите, пока он закончит загрузку. Вот различные модели Whisper, которые вы можете выбрать. Чем ниже модель, тем ниже точность.

Однако, если ваше устройство недостаточно мощное, я рекомендую использовать миниатюрную или базовую модель, поскольку работа с большими моделями может потреблять все системные ресурсы. Если у вас есть медиафайлы большего размера и вам нужна высокая точность, вы можете запустить Whisper в Google Colab. Вот видеоурок о том, как это сделать.

Шаг 4. Субтитры созданы. Вы можете найти следующие файлы в папке с видео, указанной вами ранее.

• видео. текстовая расшифровка txt
• видео. формат веб-субтитров vtt
• видео. srt общий формат субтитров (для YouTube, VLC и т. д.)

Шаг 5: Откройте файл для просмотра субтитров. Теперь перейдите в папку, где находятся ваши видео, и откройте файл с надписью video.srt.

Шаг 6 (необязательно): Если видео не на английском языке, вы можете перевести его на английский, используя следующую команду.

Команда: шепот (имя вашего видео или аудиофайла) – модель среды – язык (введите здесь свой язык) – задача перевода

Пример: шепот видео.mp4 – модель средний – язык японский – задача перевода

Шаг 7: Теперь вернитесь в пункт назначения, где находится видеофайл. Оттуда вы можете увидеть файл video.SRT, который содержит английские субтитры для использованного вами видео.

Как использовать субтитры для видео

Вы можете импортировать субтитры в любой сторонний медиаплеер и воспроизводить видео с субтитрами. VLC — лучший сторонний медиаплеер, доступный как для Windows, так и для macOS. Вот как использовать его для просмотра фильмов с субтитрами, созданными с помощью Whisper.

Скачать медиаплеер VLC (бесплатно)

• Для Windows
• Для MacOS

Шаг 1. После загрузки установите медиаплеер VLC на свое устройство.

Шаг 2. Откройте VLC Player в Windows, перейдите на вкладку «Список воспроизведения», затем нажмите «Открыть медиа».

Шаг 3. Отсюда нажмите «Обзор», выберите видеофайл и включите «Добавить файл субтитров», выберите файл субтитров, созданный с помощью Whisper AI, и нажмите «Открыть».

Шаг 4: Вот и все, субтитры к видео созданы.

Заключительные мысли

На протяжении многих лет эти ограничения меня расстраивали. Тем не менее, VLC анонсировала субтитры, генерируемые искусственным интеллектом, которые работают в режиме реального времени, но они по-прежнему недоступны обычным пользователям. И что еще более важно, это был их последний пост в Твиттере, так что я теряю надежду, пока не разберусь с Whisper.

Таким образом вы сможете генерировать субтитры для любого видео, включая полнометражные фильмы, в зависимости от ресурсов вашего устройства. Если ваше устройство недостаточно мощное, вы можете запустить Whisper AI в Google Colab. Вы можете не только создавать субтитры, но и переводить их на другие языки, как показано в видео ниже. Надеюсь, вы найдете это руководство полезным. Я позаботился о том, чтобы каждый шаг был подробно описан, чтобы сделать это руководство удобным для новичков. Если у вас по-прежнему возникают проблемы при настройке или запуске Whisper AI локально на вашем устройстве. Вы можете оставить комментарий ниже.

Часто задаваемые вопросы о создании субтитров с помощью Whisper AI

1. Могу ли я использовать Whisper для автоматического добавления субтитров к загружаемым мной видео на YouTube?

Нет, вам необходимо создать субтитры, если видео хранится локально на вашем устройстве, а затем загрузить его на YouTube при загрузке видео. Он не добавляет субтитры автоматически к загружаемым вами видео на YouTube.

2. Работает ли Whisper в автономном режиме после установки?

Да, после загрузки необходимой модели она работает в автономном режиме, устраняя необходимость подключения к Интернету.

3. Как ускорить транскрипцию на старых или недорогих устройствах?

Чтобы ускорить транскрипцию, нужно использовать небольшие модели. Вы также можете сжать большие видеофайлы в более мелкие, чтобы ускорить этот процесс. Чтобы сжать файлы, вы можете использовать в терминале следующую команду: ffmpeg -i video. mp4 -q: a 0 - отобразить аудио. mp3

4. Может ли Whisper автоматически обнаруживать говорящих или отдельные диалоги?

Нет, в настоящее время Whisper не может автоматически обнаруживать говорящих или разделять диалоги; вам нужно использовать отдельные инструменты, такие как Pyannote, для получения отдельных аудиофайлов, аудио Pyannote или WhisperX.

5. Являются ли субтитры, созданные Whisper, точными для шумной или акцентированной речи?

Да, это одна из лучших моделей транскрипции. Точность также зависит от используемой вами модели; большие модели обычно обеспечивают более высокую точность; однако их запуск может занять больше времени и потребовать мощных ресурсов.