ฉันใช้ Whisper AI เพื่อสร้างคำบรรยายสำหรับภาพยนตร์ใด ๆ ได้อย่างไร (ฟรีและออฟไลน์)

ไม่ใช่ว่าผลิตภัณฑ์ AI ทั้งหมดจะได้รับความนิยมมากเกินไป มีบางอย่างที่มีประโยชน์จริงๆ ตั้งแต่การเขียนอีเมล การแก้ไขรูปภาพ ไปจนถึงการเรียกใช้ตัวแทน AI และอื่นๆ อีกมากมาย

ฉันได้ทดสอบเครื่องมือ AI ต่างๆ อย่างต่อเนื่อง สมัครใช้เครื่องมือใหม่ ทดลองใช้ซอฟต์แวร์เบต้า และประเมินเครื่องมือเหล่านี้กับคู่แข่งที่มีอยู่เพื่อประเมินประสิทธิภาพของพวกเขา

ในขณะที่สำรวจโลก AI นี้ ถือเป็นความรับผิดชอบของเราในการจัดหาเครื่องมือ AI ที่เป็นประโยชน์ซึ่งเป็นประโยชน์ต่อผู้อ่านของเราอย่างแท้จริง และเราได้ดำเนินการดังกล่าวมาโดยตลอด คู่มือตัวแทน AI ล่าสุดของเราเป็นหนึ่งในนั้น ซึ่งมี ตัวแทน AI ที่มีประโยชน์ 8 รายการที่เป็นประโยชน์ ต่อผู้ใช้ในชีวิตประจำวัน

Whisper เป็นเครื่องมือหนึ่งที่ให้คุณถอดเสียงเป็นข้อความได้ แต่ยังมีความสามารถที่เป็นประโยชน์ เช่น คำบรรยาย และยังสามารถสร้างคำบรรยายได้ด้วย แม้ว่าแพลตฟอร์มส่วนใหญ่จะมีคำบรรยาย แต่ก็ยังมีรายการอีกมากมายที่ไม่มีคำบรรยาย ซึ่งทำให้เข้าใจยากมากและมักจะนำไปสู่การไม่ดู นอกจากนี้ ด้วยการพากย์ทำให้สตูดิโอส่วนใหญ่เปิดตัวรายการที่มีตัวเลือกภาษาที่จำกัด

วิธีสร้างคำบรรยายและคำบรรยายสำหรับวิดีโอใด ๆ โดยใช้ Whisper AI

สำหรับสิ่งนี้ ฉันใช้ Whisper ซึ่งเป็นเครื่องมือถอดเสียงฟรีจาก OpenAI ที่มีให้สำหรับทั้ง Mac และ Windows รองรับหลายภาษาและสามารถแปลเป็นภาษาอื่นได้ สามารถถอดเสียงข้อความ สร้างข้อความจากเสียง และแปลงเป็นภาษาอื่นได้ ที่สำคัญที่สุดคือสามารถสร้างคำบรรยายจากภาษาใดก็ได้และแปลเป็นภาษาอังกฤษได้ด้วย

ข้อกำหนดเบื้องต้นในการติดตั้งและใช้ Whisper บน Mac, Windows และ Linux

คุณสามารถเรียกใช้ Whisper AI ในระบบคลาวด์และภายในเครื่อง Mac ของคุณได้ เนื่องจากเรากำลังพูดถึงตัวเลือกฟรี การรันมันในอุปกรณ์ของคุณจึงเป็นเพียงตัวเลือกฟรีเท่านั้น แต่ก่อนหน้านั้น ต่อไปนี้เป็นข้อกำหนดเบื้องต้นสำหรับแต่ละแพลตฟอร์มเพื่อรันภายในอุปกรณ์ของคุณ

หน้าต่าง

• ไพธอน 3.8+
• PyTorch 1.10.1+
• ffmpeg

แม็ค

• ไพธอน 3.8+
• PyTorch 1.10.1+
• ffmpeg ลินุกซ์

• ไพธอน 3.8+
• PyTorch 1.10.1+
• ffmpeg

วิธีติดตั้ง Whisper AI ในเครื่องบนอุปกรณ์ของคุณ

การติดตั้ง Whisper นั้นง่ายดาย และต้องใช้สามขั้นตอน ขึ้นอยู่กับอุปกรณ์ของคุณ ฉันได้ระบุวิธีการสำหรับทั้ง Windows และ macOS แล้ว คุณสามารถทำตามขั้นตอนเพื่อติดตั้ง Whisper ในเครื่องบนอุปกรณ์ของคุณได้โดยไม่มีปัญหาใดๆ ถ้าพร้อมแล้วมาเริ่มกันเลย

ขั้นตอนที่ 1: ติดตั้ง Python บนอุปกรณ์ของคุณ

หากคุณได้ติดตั้ง Python บนอุปกรณ์ของคุณแล้ว คุณสามารถข้ามขั้นตอนนี้ได้ หากคุณไม่ โปรดไปที่: https://www.python.org/ และติดตั้งลงในอุปกรณ์ของคุณ

เมื่อติดตั้งแล้ว ให้ใช้คำสั่งต่อไปนี้เพื่อตรวจสอบว่ามีการติดตั้งบนอุปกรณ์ของคุณหรือไม่

เปิด command prompt (Windows) หรือเทอร์มินัล (Mac/Linux) แล้วพิมพ์คำสั่งต่อไปนี้: python version

หากแสดงเวอร์ชัน Python อะไรทำนองนี้ Python 3.12.0 แสดงว่าติดตั้งบนอุปกรณ์ของคุณสำเร็จแล้ว หากคุณไม่เห็นสิ่งนี้ ให้ทำตามขั้นตอนอีกครั้ง

หากคุณมี Python เวอร์ชันเก่า คุณสามารถอัปเดตได้โดยใช้คำสั่งต่อไปนี้บน Windows, Mac และ Linux

• Windows: python -m pip ติดตั้ง – อัปเกรด pip
• MacOS : python3 -m pip ติดตั้ง – อัปเกรด pip
• Linux: sudo apt ติดตั้ง python3.12

ขั้นตอนที่ 2: ตอนนี้ ติดตั้ง Whisper

จากนั้น ติดตั้ง Whisper บนอุปกรณ์ของคุณ เปิดเทอร์มินัลบนอุปกรณ์ของคุณแล้วใช้คำสั่งนี้

• Windows: pip ติดตั้ง -u openai-whisper
• MacOS: pip ติดตั้ง -u openai-whisper. หากคุณเห็นข้อผิดพลาดใดๆ ให้ใช้คำสั่งนี้: python3 -m pip install –user -U openai-whisper
• Linux: pip ติดตั้ง -u openai-whisper

รอจนกระทั่งดาวน์โหลดไฟล์ทั้งหมดได้สำเร็จ เมื่อเสร็จแล้ว คุณจะเห็นข้อความคล้ายกับ "ดาวน์โหลดสำเร็จ"

คุณสามารถใช้คำสั่งนี้เพื่อตรวจสอบว่ามีการติดตั้งอย่างถูกต้องบนอุปกรณ์ของคุณหรือไม่

คำสั่ง: กระซิบ – ช่วยด้วย

ขั้นตอนที่ 3: ถัดไปติดตั้งซอฟต์แวร์ FFmpeg

จากนั้น ติดตั้ง ffmpeg (จำเป็นสำหรับเสียง) เพื่อประมวลผลไฟล์เสียงบนอุปกรณ์ของคุณ

บนแมค:

คุณสามารถใช้ Homebrew เพื่อติดตั้งบน Mac ของคุณโดยใช้คำสั่งง่ายๆ นี้: brew install ffmpeg

หากคุณไม่มี Homebrew บน Mac:

ขั้นตอนที่ 1: เปิด Terminal บน Mac ของคุณ

ขั้นตอนที่ 2: วางคำสั่งนี้แล้วกด Enter: /bin/bash -c “$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)”

ขั้นตอนที่ 3: ป้อนรหัสผ่านและรอจนกว่าไฟล์ทั้งหมดจะถูกดาวน์โหลด

ที่เกี่ยวข้อง: วิธีติดตั้ง Homebrew บน macOS ของคุณ

ขั้นตอนที่ 4: ใช้คำสั่งนี้เพื่อตรวจสอบว่า Brew ได้รับการติดตั้งอย่างถูกต้องบนอุปกรณ์ของคุณหรือไม่ คุณสามารถใช้คำสั่งนี้: brew –version

ติดตั้งซอฟต์แวร์ ffmpeg

ขั้นตอนที่ 1: เปิด Terminal แล้วใช้คำสั่งนี้: brew install ffmpeg

ขั้นตอนที่ 2: รอจนกระทั่งดาวน์โหลดไฟล์ที่จำเป็นทั้งหมด

ขั้นตอนที่ 3: ใช้คำสั่งนี้เพื่อตรวจสอบว่าติดตั้งบนอุปกรณ์ของคุณสำเร็จหรือไม่: ffmpeg -version

สำหรับวินโดวส์:

ขั้นตอนที่ 1: ไปที่ https://ffmpeg.org/download.html และดาวน์โหลดไฟล์ Windows

ขั้นตอนที่ 2: แตกไฟล์และติดตั้งลงในอุปกรณ์ของคุณเหมือนกับซอฟต์แวร์อื่น ๆ

ขั้นตอนที่ 3: ถัดไป ตรวจสอบว่าทุกอย่างได้รับการติดตั้งอย่างถูกต้องบนอุปกรณ์ของคุณ เปิดเทอร์มินัลบนอุปกรณ์ของคุณและป้อนคำสั่งต่อไปนี้: 'กระซิบช่วย' หากคุณเห็นตัวเลือก แสดงว่าแอปได้รับการติดตั้งอย่างถูกต้องบนอุปกรณ์ของคุณ

วิธีสร้างคำบรรยายสำหรับวิดีโอ

ขั้นตอนที่ 1: เปิดเทอร์มินัลบนอุปกรณ์ของคุณและไปที่โฟลเดอร์ที่มีไฟล์วิดีโออยู่ ในกรณีนี้ ไฟล์วิดีโอของฉันอยู่บนเดสก์ท็อป คุณสามารถใช้คำสั่งต่อไปนี้เพื่อนำทางไปยังโฟลเดอร์ไฟล์วิดีโอ

• Windows: ซีดีเดสก์ท็อป
• MacOS: cd ~/Desktop

ขั้นตอนที่ 2: ถอดเสียงไฟล์เสียงและวิดีโอ นี่คือรายการรูปแบบไฟล์ที่ Whisper รองรับ

ขั้นตอนที่ 3: ตอนนี้ ถอดเสียงเลือกไฟล์วิดีโอโดยใช้คำสั่งนี้: กระซิบ (เพิ่มชื่อไฟล์วิดีโอหรือเสียงของคุณที่นี่) –model turbo –task transcribe

ตัวอย่าง: กระซิบ video.mp4 –model turbo –ถอดเสียงงาน

ขั้นตอนที่ 3: สามารถดาวน์โหลดโมเดลใหม่ได้ ทั้งนี้ขึ้นอยู่กับรุ่นที่คุณเลือก ดังนั้นรอจนกว่าจะดาวน์โหลดเสร็จ นี่คือ Whisper รุ่นต่างๆ ที่คุณสามารถเลือกได้ ยิ่งแบบจำลองยิ่งต่ำ ความแม่นยำก็จะยิ่งต่ำลง

อย่างไรก็ตาม หากอุปกรณ์ของคุณไม่ทรงพลัง ฉันขอแนะนำให้ใช้รุ่นจิ๋วหรือรุ่นพื้นฐาน เนื่องจากการรันรุ่นใหญ่อาจใช้ทรัพยากรระบบทั้งหมดของคุณ หากคุณมีไฟล์สื่อขนาดใหญ่และต้องการความแม่นยำสูง คุณสามารถเรียกใช้ Whisper บน Google Colab ได้ นี่คือวิดีโอสอนเกี่ยวกับวิธีการ

ขั้นตอนที่ 4: ตอนนี้สร้างคำบรรยายแล้ว คุณสามารถค้นหาไฟล์ต่อไปนี้ได้ในโฟลเดอร์วิดีโอที่คุณระบุไว้ก่อนหน้านี้

• วิดีโอ txt การถอดเสียงข้อความธรรมดา
• วิดีโอ รูปแบบคำบรรยายเว็บ vtt
• วิดีโอ รูปแบบคำบรรยายทั่วไป srt (สำหรับ YouTube, VLC ฯลฯ )

ขั้นตอนที่ 5: เปิดไฟล์เพื่อดูคำบรรยาย ตอนนี้ไปที่โฟลเดอร์ที่มีวิดีโอของคุณอยู่และเปิดไฟล์ที่ระบุว่า video.srt

ขั้นตอนที่ 6 (ไม่บังคับ): หากวิดีโอไม่ใช่ภาษาอังกฤษ คุณสามารถแปลเป็นภาษาอังกฤษได้โดยใช้คำสั่งต่อไปนี้

คำสั่ง: กระซิบ (ชื่อไฟล์วิดีโอหรือเสียงของคุณ) –จำลองสื่อ –ภาษา (ป้อนภาษาของคุณที่นี่) –แปลงาน

ตัวอย่าง: กระซิบ video.mp4 –รุ่นกลาง –ภาษาญี่ปุ่น –แปลงาน

ขั้นตอนที่ 7: ตอนนี้ กลับไปยังปลายทางที่มีไฟล์วิดีโออยู่ จากนั้น คุณจะเห็นไฟล์ video.SRT ซึ่งมีคำบรรยายภาษาอังกฤษสำหรับวิดีโอที่คุณใช้

วิธีใช้คำบรรยายสำหรับวิดีโอ

คุณสามารถนำเข้าคำบรรยายไปยังเครื่องเล่นสื่อของบุคคลที่สามและเล่นวิดีโอพร้อมคำบรรยายได้ VLC เป็นเครื่องเล่นสื่อบุคคลที่สามที่ดีที่สุดสำหรับทั้ง Windows และ macOS ต่อไปนี้คือวิธีใช้เพื่อดูภาพยนตร์พร้อมคำบรรยายที่คุณสร้างโดยใช้ Whisper

ดาวน์โหลดเครื่องเล่นสื่อ VLC (ฟรี)

• สำหรับวินโดวส์
• สำหรับระบบปฏิบัติการ macOS

ขั้นตอนที่ 1: เมื่อดาวน์โหลดแล้ว ให้ติดตั้ง VLC media player บนอุปกรณ์ของคุณ

ขั้นตอนที่ 2: เปิด VLC Player บน Windows ของคุณแล้วไปที่แท็บเพลย์ลิสต์ จากนั้นคลิกที่ Open Media

ขั้นตอนที่ 3: จากที่นี่ แตะที่เบราส์และเลือกไฟล์วิดีโอและเปิดใช้งาน เพิ่มไฟล์คำบรรยาย เลือกไฟล์คำบรรยายที่คุณสร้างโดยใช้ Whisper AI และคลิกที่ เปิด

ขั้นตอนที่ 4: เพียงเท่านี้ คำบรรยายสำหรับวิดีโอจะถูกสร้างขึ้น

ความคิดสุดท้าย

หลายปีที่ผ่านมา ข้อจำกัดเหล่านี้ทำให้ฉันหงุดหงิด อย่างไรก็ตาม VLC ได้ประกาศคำบรรยายที่สร้างโดย AI ซึ่งทำงานแบบเรียลไทม์ แต่ยังคงไม่สามารถใช้งานได้สำหรับผู้ใช้ทั่วไป และที่น่ากังวลยิ่งกว่านั้นคือโพสต์ล่าสุดของพวกเขาบน Twitter ดังนั้นฉันจึงหมดหวังจนกว่าจะเข้าใจ Whisper ได้

นี่คือวิธีที่คุณสามารถสร้างคำบรรยายสำหรับวิดีโอใด ๆ รวมถึงภาพยนตร์ขนาดเต็ม ขึ้นอยู่กับทรัพยากรของอุปกรณ์ของคุณ หากอุปกรณ์ของคุณไม่ทรงพลัง คุณสามารถเรียกใช้ Whisper AI บน Google Colab ได้ ไม่เพียงแค่สร้างคำบรรยายเท่านั้น คุณยังสามารถแปลเป็นภาษาอื่นๆ ได้อีกด้วย ดังที่แสดงในวิดีโอด้านล่าง ฉันหวังว่าคุณจะพบว่าคู่มือนี้มีประโยชน์ ฉันรับรองว่าแต่ละขั้นตอนมีรายละเอียดเพื่อทำให้คู่มือนี้เหมาะสำหรับผู้เริ่มต้น หากคุณยังคงประสบปัญหาใด ๆ ในขณะที่ตั้งค่าหรือใช้งาน Whisper AI ภายในอุปกรณ์ของคุณ คุณสามารถแสดงความคิดเห็นด้านล่าง

คำถามที่พบบ่อยเกี่ยวกับการสร้างคำบรรยายโดยใช้ Whisper AI

1. ฉันสามารถใช้ Whisper เพื่อเพิ่มคำบรรยายลงในวิดีโอ YouTube ที่ฉันอัปโหลดโดยอัตโนมัติได้หรือไม่

ไม่ คุณต้องสร้างคำบรรยายหากวิดีโอถูกจัดเก็บไว้ในอุปกรณ์ของคุณ จากนั้นจึงอัปโหลดไปยัง YouTube เมื่อคุณอัปโหลดวิดีโอ จะไม่เพิ่มคำบรรยายลงในวิดีโอ YouTube ที่คุณอัปโหลดโดยอัตโนมัติ

2. Whisper ทำงานแบบออฟไลน์หลังการติดตั้งหรือไม่

ใช่ เมื่อดาวน์โหลดโมเดลที่ต้องการแล้ว โมเดลจะทำงานแบบออฟไลน์ โดยไม่จำเป็นต้องเชื่อมต่ออินเทอร์เน็ต

3. ฉันจะเร่งความเร็วในการถอดเสียงบนอุปกรณ์รุ่นเก่าหรือรุ่นล่างได้อย่างไร

หากต้องการเร่งการถอดเสียงเป็นคำ คุณต้องใช้โมเดลขนาดเล็ก คุณยังสามารถบีบอัดไฟล์วิดีโอขนาดใหญ่เป็นไฟล์เล็กลงเพื่อให้กระบวนการนี้เร็วขึ้น หากต้องการบีบอัดไฟล์ คุณสามารถใช้คำสั่งต่อไปนี้ในเทอร์มินัล: ffmpeg -i video mp4 -q: a 0 - แมปเสียง mp3

4. Whisper สามารถตรวจจับผู้พูดหรือแยกบทสนทนาโดยอัตโนมัติได้หรือไม่

ไม่ ขณะนี้ Whisper ไม่สามารถตรวจจับผู้พูดหรือแยกบทสนทนาได้โดยอัตโนมัติ คุณต้องใช้เครื่องมือแยกกัน เช่น Pyannote เพื่อรับไฟล์เสียงแยกกัน, Pyannote audio หรือ WhisperX

5. คำบรรยายที่สร้างโดย Whisper นั้นแม่นยำสำหรับคำพูดที่มีเสียงดังหรือเน้นเสียงหรือไม่?

ใช่ มันเป็นหนึ่งในโมเดลการถอดเสียงที่ดีที่สุด ความแม่นยำยังขึ้นอยู่กับรุ่นที่คุณใช้ด้วย โมเดลขนาดใหญ่โดยทั่วไปจะสร้างความแม่นยำได้ดีกว่า อย่างไรก็ตามอาจใช้เวลามากขึ้นและต้องใช้ทรัพยากรที่มีประสิทธิภาพในการทำงาน