תמלול על פי וידאו / אודיו הוא עבודת נמלים הדורשת תזמון מדויק של כל מילה מדוברת וחלוקת מלל רלוונטית לפי דוברים שונים. מנועי הבינה המלאכותית העומדים לרשותנו כיום, מתיימרים לזהות דיבור באופן אוטומטי ולתמללו למלל בשפה מזוהה כלשהי. כך נוצר גוש מלל התחלתי אותו ניתן לדייק עד לרמה המוגמרת. המטרה היא להפוך את התמלול הסופי לכתוביות בגוף הסרט או ליצאו כקובץ מלל מדויק, כולל קוד זמן רלוונטי לכל שורה (במידת הצורך).

תוכנת פרימייר פרו מספקת כיום מגוון כלים מקצועיים לתמלול, בעיקר לאור הרחבת יכולותיו של מנוע Adobe Sensei – מנוע הבינה המלאכותית המובנה בתוכנות Adobe. בפרימייר פרו הוא בא לידי ביטוי בעיקר בעבודה על צבע, אודיו ומלל, ויכולותיו מורחבות כל הזמן.

בתחילת עבודתי בחנתי עשרות כלי זיהוי דיבור חכמים בכדי להשוות את יכולותיהם לאלה של פרימייר פרו. התוצאות שקיבלתי היו לא מספקות ולא נוחות לעבודה ממספר סיבות:

1. כלי חיצוני המנתח דיבור לשם יצירת תמלול שלו לרוב יספק תוצר סופי בדמות קובץ מלל אותו יהיה קשה לשבור לשורות בתזמון המתאים לדוברים השונים. 
2. במקרים בהם ישנה שבירה כזו לפי קוד הזמן של הסרט, יש לקוות שניתן לשמור את קובץ המלל בפורמט שפרימייר פרו מאפשרת לייבא לחלון המלל (חלון Text). לרוב זה לא היה המצב.
3. תוצאה מדויקת יותר תמיד חייבה הוצאה כספית ניכרת, שכן כל גירסה חינמית של מנוע מבוסס בינה מלאכותית השתמשה במנוע שדורש פחות כח עיבוד לזיהוי השפה והפיקה תוצר לא מדוייק בלשון המעטה.
4. המנועים החיצוניים מגבילים את אורך הקטע אותו ניתן לתמלל באופן חינמי ואינם מתאימים לקטעים ארוכים יותר של מלל. 
5. איכות השמע משפיעה על הדיוק בזיהוי המלל. בהנחה שמדובר בשמע לא איכותי – מנועי הבינה המלאכותית כשלו בזיהוי מלל ו״המציאו״ מילים ולעיתים משפטים שאינם קשורים לנאמר.
6. זיהוי הדיבור מושפע גם ממבטא ודיקציה. כשהדובר מדבר במבטא מסויים, או הוגה את המילים באופן לא ברור מנועי הזיהוי כושלים לחלוטין.
7. כשהדובר מדבר עם עצירות רבות, המהומים, הפסקות כמו ׳אה׳, ׳אמ׳ וכו׳ – המנוע מפרש אותן כמילות חיבור לעיתים, ובנוסף זה משפיע על סימני הפיסוק במשפט, עבודה שעשויה לשנות לחלוטין את משמעותו.
8. כשהאודיו אינו איכותי המנוע לא תמיד מבדיל בין דוברים שונים. כך גם כשדוברים נכנסים זה לדבריו של זה.
9. כשמדובר במספר שפות בקטע האודיו (למשל עברית ואנגלית), מנועי זיהוי הדיבור כושלים לחלוטין ומנסים ״להשאר״ בשפה המזוהה יותר. כך נוצר מלל הזוי הנובע מניסיון לתת משמעות לצלילים משפה אחרת.

המסקנה המתבקשת היתה לבצע את הפעולה במנוע של פרימייר פרו בכדי לקבל את היכולות הנוספות הנדרשות לשם דיוק של התמלול הרלוונטי – בפרימייר פרו ניתן לערוך את המלל בגוף התוכנה ולראות חיווי לרמת הדיוק, ניתן לשבור ולאחד שורות בקלות, לסמן מקטעים שונים ולדלג ביניהם, לייצר קובץ סופי בפורמט הרצוי ועוד.

תמלול בפרימייר פרו

פרימייר פרו מזהה כיום דיבור ב-16 שפות. חלון המלל (Text) מאפשר עריכה לפי מלל ועריכה של המלל בנפרד. הוא כולל אפשרויות רבות ומגוונות עליהן ארחיב מייד.

תמלול אוטומטי בייבוא

בחלון הייבוא של פרימייר פרו קיימת כיום האפשרות לבחור בתמלול אוטומטי של הקבצים המיובאים אל תוך התוכנה (A). 

בצידו הימני של החלון ניתן לסמן את האפשרות לזיהוי שפה ותמלול לפי השמע בהפעלת כפתור (B) Automatic Transcription. במידה ואין צורך בעריכה או שהעריכה תתבצע לפי המלל, ניתן להפעיל גם את כפתור Create New Sequence להכנסת הקטעים המסומנים ישירות אל רצף חדש.

תחת האפשרויות השונות ב Automatic Transcription האפשרות לזיהוי אוטומטי של השפה מסומנת כברירת מחדל, אך ניתן לבחור בשפה אחרת מבין השפות שכבר נתמכות בתוכנה (C).

ניתן לבחור אם ליצור את התמלול תוך הבחנה בין דוברים שונים (Yes, seperate speakers) ובנוסף לבחור האם לתמלל את כל הקבצים המיובאים לפרוייקט, או רק את אלה שמוכנסים לרצף (Auto transcribe only clips in sequence) בכדי לחסוך זמן מיותר.

סביבת עבודה מתאימה לסוג עבודת התמלול

פרימייר מאפשרת כיום להשתמש בחלון המלל בשתי צורות שונות – בעריכה מבוססת מלל, או בעריכה רגילה בה נדרשת רק עריכה של המלל עצמו. לשם כך קיימות שתי סביבות עבודה (Workspaces) נפרדות בכפתור סביבות העבודה – Text Based Editing מיועדת לעריכה המתבצעת בהתאם לגזירה / העתקה והדבקה בחלון המלל עצמו. עריכה מסוג זה מתאימה לשימוש עבור ראיונות, סרטי דוקו ועוד.

סביבת Captions and Graphics מיועדת יותר לעריכת המלל עצמו, ובפרוייקט אותו התבקשתי לתמלל השתמשתי בה, שכן נדרשה רק עריכה של המלל עצמו ולא עריכה פיזית של הסרטון בעת שינויים שמתבצעים בחלון המלל.

עם פתיחת הפרוייקט יתבצע התמלול האוטומטי באם סומנו האפשרויות הללו בחלון היבוא. בסיום התמלול ניתן יהיה לראות את המלל שזוהה בחלון המלל ולהמשיך בעריכה.

תמלול סטטי או מבוסס עריכה על פי מלל

התמלול בפרימייר פרו כיום מוגדר כברירת מחדל כתמלול על מלל ״חי״. המשמעות היא שזהו תמלול דינאמי שעשוי להשתנות ולהתעדכן בהתאם לשינויים בקובץ המקור (למשל בהתאם לחיתוכים שונים, או להפעלת אפקטים משפרי אודיו). לעריכה מבוססת מלל זה מצב מבורך, אך בעריכה רגילה זה עשוי להגביל. בתחתית חלון המלל ישנה אפשרות לבחור בין עריכה של התמלול מחלון המקור (Source), או מציר הזמן (חלון Program). כברירת מחדל מסומנת האפשרות לזהות אוטומטית איזה חלון פעיל ולהציג את התמלול בחלון המלל על פיו. 

בהסרה של הסימון לצד האפשרות Follow active monitor ניתן לבחור האם להציג בחלון את התמלול מציר הזמן, או מהקליפ שפתוח בחלון המקור.

עריכה של התמלול בחלון המקור מתאימה למצבים בהם יש צורך להשתמש באותו קטע במספר רצפים, או כאשר נדרשת הכנת ערוץ תמלולים בציר הזמן (כתוביות בגוף הסרט).

אך עבור עבודה של תמלול ארוך, ללא עריכה בציר הזמן, נוח יותר לעבוד על תמלול סטטי – כזה שאינו מתעדכן ומשתנה אוטומטית אלא רק על פי פקודה.

לשם כך ניתן לבחור ולהחליף את סוג התמלול לתמלול סטטי. הפקודה ממוקמת בתפריט אפשרויות חלון המלל (כפתור 3 הנקודות מימין למעלה) – Generate static transcript.

תפריט זה כולל גם אפשרויות ייבוא, ייצוא של המלל כקובץ מלל נפרד תמלול מחדש, בדיקת שגיאות כתיב ואפשרויות תצוגה בחלון. בנוסף, מסומנת כברירת מחדל האפשרות הנוחה מאוד של הנעת הסמן הכחול בציר הזמן בהתאם למלל בחלון (Enable auto scrolling).

עריכת המלל בחלון

עריכת המלל בחלון כוללת כיום אפשרויות נוחות:

• בלחיצה על מקש Enter ניתן לערוך את המלל בכל קוביית מלל בחלון. במצב עריכה של מלל, ניתן למקם את הסמן במקום בו יש לפצל את השורה (למשל עבור דובר אחר שלא זוהה נכון) וללחוץ על כפתור פיצול המלל.

• בסימון של מספר שורות עוקבות ניתן לאחד אותן בלחיצה על כפתור איחוד השורות.

• בניגון של ציר הזמן המילים מוארות בלבן בוהק יותר בעת השמעתן כך שניתן לוודא את מידת הדיוק של המלל המדובר. בנוסף, ניתן להקליק עם העכבר על מילים רלוונטיות והסמן יקפוץ אוטומטית למקום הרלוונטי בציר הזמן.

• עדכון שמות דוברים – לאחר שעוברים לעריכה על תמלול סטטי, ניתן לערוך את שמות הדוברים המזוהים בחלון המלל בלחיצה על כפתור 3 הנקודות לצד שמותיהם. במידה והמנוע לא זיהה נכון את הדובר ניתן להחליפו לדובר אחר בלחיצה על שם הדובר. בתמלול לפי מלל צריך לעבור להצגת תמלול לפי חלון המקור בכדי לשנות את שמות הדוברים ולא ניתן לשנותן בתמלול לפי חלון ציר הזמן. 

• אפשרויות התצוגה בחלון כוללות סימוני או העלמת סימוני הפסקות בתוך הדיבור, סימוני מילים שלא זוהו בוודאות מלאה בקו תחתון, סימון מלל שלא קשור לתמלול ועוד. לחלון אפשרויות התצוגה ניתן להגיע מכפתור 3 הנקודות מימין למעלה (Transcript view options) או מהכפתור בפינה הימנית-תחתונה בחלון המלל.

• ניתן לנווט בין מילים ופסקאות בחלון התמלול באמצעות מקשי החיצים במקלדת (בדומה לניווט בציר הזמן, אלא שכאן הקפיצות יהיו לפי מילים או פסקאות).
• סימון של מספר מילים יוצר אוטומטית סימון In/Out בחלון ציר הזמן מעל הקטע הרלוונטי וביטול סימון שכזה בחלון המלל מבטל אוטומטית את סימון ה In/Out.

• שימוש בחיפוש והחלפה של מילים מסוימות עוזר לתקן ולאתר בזריזות שגיאות שחוזרות על עצמן במלל. בדומה לכל תוכנת עיבוד תמלילים ניתן לדלג בין המילים שנמצאו בחיפוש והסמן בציר הזמן יקפוץ בהתאמה לכל מקום רלוונטי.

קביעת קוד זמן התחלתי בציר הזמן

במידה והתוצר הסופי אמור להיות קובץ תמלול חיצוני ולא כתוביות בגוף הסרט, ובמידה והתמלול אמור להיות תואם לשעון רץ כלשהו בחומר המצולם, יש לשנות את קוד הזמן ההתחלתי בציר הזמן בכדי לקבל תזמון מדויק עבור כל שורה שנאמרה בקובץ המלל הסופי.

לשם כך יש ללחוץ על תפריט הגדרות הרצף (מימין לשמו של הרצף בחלון ציר הזמן) ולבחור ב-Start Time. בחלון שנפתח יש להקליד את הזמן הרלוונטי.

במידה ועובדים עם תמלול סטטי, יש לעשות זאת בתחילת העבודה ואז לבחור ב  Re-transcribe sequence מתפריט אפשרויות חלון המלל, ובתמלול המחודש יתעדכנו קודי הזמן לצד השורות של התמלול (התפריט זמין בלחיצה על כפתור 3 הנקודות מימין למעלה בחלון).

אפשרויות יצוא מחלון התמלול

כאמור, את התמלול ניתן ליצא כקובץ מלל נפרד ב-3 דרכים – קובץ תמלול של פרימייר, קובץ מלל פשוט, או קובץ CSV.

לגבי האודיו

• חייבת להיות שפה נתמכת בכדי לקבל תמלול כלשהו מהמנוע. כברירת מחדל השפות שנוספו למנוע דורשות הורדה בלחיצה על כפתור הענן מימינן בכדי לעבוד אוטומטית על המחשב.

• איכות השמע משפיעה על הדיוק. לאחר שיפור השמע ניתן לתמלל מחדש בפקודה שהוזכרה לעיל Re-transcribe sequence ולקבל (אולי) תוצאה התחלתית מדויקת יותר.

מחשבות לעתיד

אין ספק כי מנוע התמלול האוטומטי מועיל ביצירת תמלול שבלעדיו היה צורך להקליד הכל ידנית – אך עדיין יש מקום לשיפור זיהוי של דיבור (ואיני מתכוונת לזיהוי בקבצים שאיכות השמע שלהם נמוכה). תמיכה בשפות נוספות תתקבל בברכה (בעיקר לאור העובדה שמכשירים סלולריים מזהים דיבור במגוון רחב מאוד של שפות מזה מספר שנים ואני מקווה שיכולת זו תוטמע בזריזות רבה יותר במנוע של Adobe).

בנוסף, אשמח לאפשרות תרגום לשפות אחרות לאחר זיהוי השפה. מאחר וכיום ניתן להשתמש במנוע ה-AI בתוך פוטושופ ליצירת תכנים גם אם כותבים בו בעברית – ניתן לשער כי לא רחוק היום שאפשרויות תרגום יוטמעו בזיהוי הדיבור של פרימייר.

וכמה מילים על זיהוי דיבור בעברית – כתבתי בעבר כי כבר כעשיו קיים תוסף בתשלום לפרימייר המזהה עברית למי שחייב את זה. התוסף אינו זול, אך נותן מענה טוב לכך.

עם זאת, אני מצפה כי בקרוב יוכנסו שפות רבות ונוספות לזיהוי בפרימייר, בעיקר לאור ההתקדמות המהירה מאוד של מנועים מבוססי בינה מלאכותית.

🙂