Adobe היא מחלוצות השימוש בבינה מלאכותית ומשלבת בתוכנות שלה שתי בינות מלאכותיות נפרדות. Adobe Sensei הותיקה וAdobe Firefly- החדשה יותר. הציפייה לשילוב טכנולוגיות אלו בגזרת הוידאו לא נותרה בגדר חלום וכיום ניתן למצוא לא מעט מאפיינים מבוססי בינה מלאכותית בתוכנות עריכת הוידאו. במידה ואבדתם בין כל החידושים שאני מפרטת מידי פעם במאמרי ״מה חדש בגרסה…״, הכנתי לכם רשימה מסודרת של הכלים הזמינים לשימוש הנעזרים בבינה המלאכותית בפרימייר פרו:

כלי מלל

תמלול אוטומטי – התמלול האוטומטי זמין בתוכנה כבר מספר גרסאות, וככל שמודלי זיהוי הדיבור הופכים למדויקים יותר, גם איכות התמלול משתפרת. נכון לעכשיו, התמלול האוטומטי תומך ב-16 שפות שונות (אם כי עברית אינה נכללת בהן, ואחזור לנושא זה בהמשך).

מודל זיהוי הדיבור מאפשר תמלול אוטומטי כבר בשלב ייבוא הקבצים לתוכנה, וגם פועל על חומרים שכבר יובאו. הפאנל של התמלול מציע כלים לעריכה מבוססת מלל, כגון מחיקת קטעי וידאו לפי המלל המסומן, גזירה והדבקה של קטעים, ואפשרויות מתקדמות נוספות שמפשטות את תהליך העריכה.

סביבת Text based editing – זוהי סביבת עבודה שנוצרה במיוחד עבור מי שמרבה להשתמש בכלי זיהוי הדיבור (למשל לעריכת פודקאסטים לשירותי תוכן שונים) שבה החלון הבולט הוא חלון המלל. הרעיון הוא לערוך וידאו כפי שהייתם עורכים קובץ מלל בתוכנת word.

חיפוש והחלפה – פאנל המלל מאפשר החלפת מילים בעזרת כלי חיפוש והחלפה, כך שניתן לאתר בזריזות מלל מסוים שמופיע במספר מקומות ולהחליפו בלחיצת כפתור במלל אחר.

בנוסף, מאחר והכלי מזהה גם שתיקות – ניתן לסמן בבת אחת ולמחוק שתיקות והפסקות בדיבור – או כך שיוותרו חורים בציר הזמן (Lift), או כך שימחקו כל החורים לאחר המחיקה (Extract).

לגבי עברית – למי שלא יכול להמתין עד ש-Adobe ישלבו זיהוי דיבור בעברית לפרימייר פרו, ישנם מספר תוספים של מפתחים ישראליים שניתן לרכוש בתשלום. המודל הכי הוגן בו נתקלתי הוא ״קאפיש״ – תוסף פשוט וידידותי לתמלול אוטומטי של וידאו בעברית בתוך פרימייר פרו. בדומה לזיהוי הדיבור בשפות הנתמכות בתוך פרימייר – הכלי אינו חף מבעיות אבל בסך הכל עושה עבודה טובה ומהירה ומציע חבילות תמלול במחירים הוגנים (כולל צבירה של דקות שלא נוצלו ועוברות אוטומטית לחודש הבא).

כלי אודיו

תיוג אוטומטי של סוגי שמע – פאנל הסאונד מאפשר טיפול מהיר בסוגי אודיו שונים לפי תיוג. הרעיון הוא להשתמש בקלות באפקטים לטיפול באודיו על פי סוג האודיו הרלוונטי – דיבור, מוזיקה, אפקטים קוליים או רעשי רקע. בגירסה החדשה של פרימייר התיוג מתבצע אוטומטית בהכנסת אודיו לציר הזמן, עבוד מרבית החומרים. פעולה זו חוסכת זמן בעריכה ומאפשרת גישה מהירה לכלים השייכים לטיפול באודיו.

ניקוי אוטומטי של רעשי רקע – לאחרונה נוסף לפאנל האודיו כלי Enhance Speech המיועד לנקות ולשפר שמע של דיבור באופן מיידי. הכלי מנתח את האודיו ומנקה ממנו רעשי רקע אוטומטית. מילת אזהרה – כשיש רעשי רקע שאינם מובחנים מספיק מהדובר – עדיף להשתמש בכלי ניקוי הרעשים בהמשך הפאנל ולא בכלי ה-AI.

כלי רמיקס – כלי זה מאפשר עריכה חכמה של קטעי מוזיקה – בגרירה של קצוות הקטע התוכנה תנתח את גלי הקול ותאתר מקומות בהם ניתן לחתוך ולחבר מחדש קטעים מהמוזיקה באופן בלתי נשמע. כך ניתן לקצר או להאריך קטע מוזיקלי מבלי שהשומע יבחין בנקודות החיתוך והחיבור מחדש.

Ducking – כלי זה מאפשר הפחתת עוצמה אוטומטית של שמע מסוג מסויים מול שמע מסוג אחר – למשל הנמכה של מוזיקה כל עוד מישהו מדבר והגברה שלה מחדש כשיש שתיקות. כך ניתן לחסוך זמן רב בעריכת פס הקול, שכן כלי זה מאפשר ליצור קיפריימס של הנמכת ווליום בלחיצת כפתור ואף לתקן את הקיפריימס שנוצרו בלחיצת כפתור במידת הצורך.

כלי עריכה מהירה

הכנסת חיתוכים אוטומטיים בחומרי גלם – הכוונה לחומרים שנערכו מראש. פקודה זו שימושית למי שמשתמש בעריכה בחומרי גלם שנערכו בעבר. התוכנה מזהה ויוצרת חיתוכים אוטומטיים בכל מקום בו יש ״קאט״ וכך נחסך זמן רב בעריכה. 

Auto Reframe – אפקט זה מאפשר יצירה של רצף אחר מתוך הרצף הקיים, עבור פורמט מסך אחר (למשל פורמט ריבועי, או מלבן עומד). בפקודה פשוטה אחת התוכנה יוצרת רצף נוסף המבוסס על רצף קיים, מנתחת כל קליפ בתוכו, ויוצרת התאמה לפורמט החדש באופן שמשתדל לעקוב אחר תנועה ושינויים בקטעי הוידאו השונים ברצף. 

כלי צבע

זיהוי אוטומטי של פרופילי צבע (LUT) – בגזרת הצבע פרימייר מאפשרת לזהות אוטומטית חומרי גלם שצולמו בפרופיל צבע כלשהו. לאחרונה נוספה לשונית Settings לפאנל בתוכנה. בלשונית זו ניתן להגיע להגדרות בסיס של צבע חומרי הגלם ושל הרצף. ניתן גם לסמן בה באיזה פרופיל צבע להשתמש בבת־אחת עבור כל הקליפים שהוכנסו לרצף.

תיקון צבע אוטומטי – כפתור Auto בפאנל מאפשר שיפור אוטומטי של גווני הקליפ עליו הוא פועל. ניתן להעזר בכפתור כדי להבין באילו מחוונים בוחרת התוכנה להשתמש כדי לתקן את הצבע.

התאמת גוונים אוטומטית – עמודת Color wheels and match שעובדת עם חלון Comparison view מאפשרת השוואת גוונים אוטומטית בין הקליפ הנוכחי לקליפ אחר על ציר הזמן בלחיצת כפתור. הזיהוי מתחשב בזיהוי פנים, כך שאם מזוהה מצולם כלשהו בקליפים השונים התוכנה לוקחת בחשבון את גוונים העור בכדי לטפל בצבע בחוכמה (מאחר והנחת היסוד היא שמסתכלים על האדם המצולם).

כלים חדשים בגירסת הבטא

גירסת הבטא מציעה מספר תכונות שוות נוספות הנעזרות בבינה מלאכותית. ביניהן:

מחולל פריימים נוספים (וידאו ואודיו) – אחד הכלים החדשים שנוספו לגירסת הבטא הוא מחולל הפריימים הנוספים המאפשר ליצור המשך מלאכותי לקצוות הקליפ במתיחה שלהם. הכלי מנתח את תוכן הקליפ ומייצר בבינה מלאכותית המשך קצר המבוסס עליו.

חלון חיפוש שמזהה אלמנטים חזותיים – לאחרונה נוסף חלון חיפוש על פי תכונה לתוכנה, והוא מאפשר איתור מהיר של תוכן מבוסס על תיאור חזותי, מילולי, או על תגיות מידע (Metadata). מדובר בתוספת מועילה מאוד עבור פרוייקטים עמוסים.

תרגום אוטומטי של כתוביות תמלול – אחת התכונות האחרונות שנוספו לגירסת הבטא היא האפשרות לתרגום אוטומטי של תמלול. כרגע מדובר בתרגום בין 16 השפות המזוהות בתוכנה, אך אין ספק שאפשרות זו תורחב בעתיד כאשר מנוע זיהוי הדיבור יתמוך ביותר שפות.

עוד תוספת לסיום

Firefly לוידאו – בשבוע שעבר נוספו למחולל החזותי של Adobe כלים עבור וידאו. בינהם – מחולל וידאו מבוסס מלל, מחולל וידאו מבוסס תמונה, כלי תרגום וידאו לשפה אחרת וכלי תרגום אודיו לשפה אחרת. 

פתיחה זו של הכלים לשימוש הקהל הרחב מבשרת על שילובם המתקרב של כלים אלה בתוכנות עריכת הוידאו. התכונות הצפויות להגיע לפרימייר פרו במהלך החודשים הקרובים – כלי המאפשר הסתרה אוטומטית של אלמנטים בוידאו, וכלי המאפשר לחולל תוכן חלופי באזורים נבחרים בוידאו.

לסיכום, כדאי להתנסות ולהשתמש בכלים אלה כבר עכשיו, כי מכאן ואליך צפויים רק שיפורים ושדרוגים של בינה מלאכותית – גם בתוכנות Adobe.

🙂