מהי טכנולוגיית הדיפ נוסטלגיה?
בשנים האחרונות הולכת ותופסת את מקומה טכנולוגיה מבוססת בינה מלאכותית (AI) שנקראת דיפ פייק (Deepfake). טכנולוגיה זו משמשת לייצור או שינוי תוכן וידאו כך שהיא מציגה מציאות שלמעשה לא התרחשה מעולם. מנאומים שלא ננאמו מעבירים מסרים בדויים מפיהם לכאורה, של אנשים מפורסמים ועד סרטונים "פסאודו-תיעודיים", שמציגים מראות וטקסטים מדוברים, שנראים אמיתיים אך מעולם לא צולמו והוקלטו.
ענף חדש בעולם הדיפ פייק הוא יישום שזכה לשם "דיפ נוסטלגיה" (™Deep Nostalgia), המנפיש את פניהם של אנשים שצולמו בתמונות ישנות או היסטוריות, ומזיז את פניהם, כאילו צולמו בווידאו.
הטכנולוגיה הזו פועלת על כל תמונת סטילס (תמונות קפואות), כולל תמונות בשחור-לבן ותמונות שצולמו בצבע.
השם ניתן ליישום פורץ דרך זה על ידי חברת MyHeritage, שעוסקת בפיתוח טכנולוגיה ליצירת עצי משפחה מקוונים.
סרטוני הדיפ נוסטלגיה התפרסמו כשאנשים שיתפו עם בני משפחתם וחבריהם סרטונים קצרים ומונפשים שנוצרו כך, ובהם קרוביהם ואבותיהם מזיזים את ראשיהם, מצמצים, מחייכים ונעים בצורה ריאליסטית כמעט לחלוטין.
בבסיס הטכנולוגי של יישום ה"דיפ נוסטלגיה" פועל אלגוריתם למידה עמוקה (Deep Learning), המחבר בין תווי הפנים של המצולמים לבין אוסף מחוות שצולמו בווידאו ושמורים במאגר החברה.
פיתוח וצילום אותן מחוות נעשה כשצילמו אנשי מיי הריטג' מראש שלל מקטעי וידאו של שחקנים ועובדי החברה, המזיזים את ראשיהם ופניהם באורח טבעי, ממצמצים, מחייכים ומפנים את ראשם לכיוונים שונים.
למעשה שכרה חברת MyHeritage רישיון מחברת D-ID, לטכנולוגיה שפותחה בה ומאפשרת שחזור, באמצעות טכנולוגיית למידה עמוקה, של סרטוני וידאו.
על מנת שאפקט ההנפשה יופעל על התמונות, ברזולוציה הכי גבוהה האפשרית, עוברות תמונות מטושטשות חידוד אוטומטי, שמבצעת הטכנולוגיה החדשנית, מה שמעלה באופן דרמטי את איכות הסרטונים המופקים בה.
ההברקה האמיתית של הטכנולוגיה הזו נעוצה בזיהוי והבחירה האוטומטית שמבצע יישום הדיפ נוסטלגיה, מבין מקטעי המחוות בווידאו. ניתוח מהיר של מנח הראש וכיוון העיניים של המצולמים בתמונה מאפשרים ליישום להתאים להם באופן חכם את מחוללי ההנפשה המיטביים ולייצר את הסרטונים המונפשים באופן אופטימלי.
לאור העובדה שטכנולוגיית הדיפ פייק ידועה ביכולות המטורפות שלה, גם בתחום הדיבור, נשאלת השאלה מדוע. הרי ניתן היה לשתול בפי המצולמים טקסטים מדוברים, שהיו נשמעים אמיתיים, על אף שמעולם לא צולמו והוקלטו.
ראשית, חשוב לומר שזיהוי קולי של המצולמים, ככל שמדובר באנשים שקרוביהם זוכרים עדיין את קולם האמיתי, היה מפחית את אפקט המציאות שיוצרים הסרטונים הללו.
אבל יש עוד סיבה לכך.
ב-MyHeritage מציינת שההימנעות מאפקטים קוליים של דיבור היא מכוונת. מטרתה, הם מטעימים, היא "למנוע שימושים זדוניים בכלי", דוגמת אלה שנעשים בסרטוני "דיפ פייק" של פוליטיקאים וידוענים שעודם בחיים.
לכן הם גם מבקשים מהמשתמשים לעשות בכלי שימוש רק על תמונות היסטוריות השייכות להם ולהימנע משימוש בתמונות של אנשים חיים, שלא אישרו את השימוש הזה.
בשנים האחרונות הולכת ותופסת את מקומה טכנולוגיה מבוססת בינה מלאכותית (AI) שנקראת דיפ פייק (Deepfake). טכנולוגיה זו משמשת לייצור או שינוי תוכן וידאו כך שהיא מציגה מציאות שלמעשה לא התרחשה מעולם. מנאומים שלא ננאמו מעבירים מסרים בדויים מפיהם לכאורה, של אנשים מפורסמים ועד סרטונים "פסאודו-תיעודיים", שמציגים מראות וטקסטים מדוברים, שנראים אמיתיים אך מעולם לא צולמו והוקלטו.
ענף חדש בעולם הדיפ פייק הוא יישום שזכה לשם "דיפ נוסטלגיה" (™Deep Nostalgia), המנפיש את פניהם של אנשים שצולמו בתמונות ישנות או היסטוריות, ומזיז את פניהם, כאילו צולמו בווידאו.
הטכנולוגיה הזו פועלת על כל תמונת סטילס (תמונות קפואות), כולל תמונות בשחור-לבן ותמונות שצולמו בצבע.
השם ניתן ליישום פורץ דרך זה על ידי חברת MyHeritage, שעוסקת בפיתוח טכנולוגיה ליצירת עצי משפחה מקוונים.
סרטוני הדיפ נוסטלגיה התפרסמו כשאנשים שיתפו עם בני משפחתם וחבריהם סרטונים קצרים ומונפשים שנוצרו כך, ובהם קרוביהם ואבותיהם מזיזים את ראשיהם, מצמצים, מחייכים ונעים בצורה ריאליסטית כמעט לחלוטין.
איך פועלת הדיפ נוסטלגיה?
דיפ נוסטלגיה מחזירה, אם כן, לחיים אנשים שצולמו בצילומי סטילס. זה מתחיל באיתור פני המצולמים בתמונות ואז הפקה של מחוות ותנועות מציאותיות, ממש כאילו צולמו בווידאו. ההנפשה של הפנים בתמונות הסטילס מראה אותם מחייכים, זזים וממצמצים, כאילו צולמו כך במקור.
בבסיס הטכנולוגי של יישום ה"דיפ נוסטלגיה" פועל אלגוריתם למידה עמוקה (Deep Learning), המחבר בין תווי הפנים של המצולמים לבין אוסף מחוות שצולמו בווידאו ושמורים במאגר החברה.
פיתוח וצילום אותן מחוות נעשה כשצילמו אנשי מיי הריטג' מראש שלל מקטעי וידאו של שחקנים ועובדי החברה, המזיזים את ראשיהם ופניהם באורח טבעי, ממצמצים, מחייכים ומפנים את ראשם לכיוונים שונים.
למעשה שכרה חברת MyHeritage רישיון מחברת D-ID, לטכנולוגיה שפותחה בה ומאפשרת שחזור, באמצעות טכנולוגיית למידה עמוקה, של סרטוני וידאו.
על מנת שאפקט ההנפשה יופעל על התמונות, ברזולוציה הכי גבוהה האפשרית, עוברות תמונות מטושטשות חידוד אוטומטי, שמבצעת הטכנולוגיה החדשנית, מה שמעלה באופן דרמטי את איכות הסרטונים המופקים בה.
ההברקה האמיתית של הטכנולוגיה הזו נעוצה בזיהוי והבחירה האוטומטית שמבצע יישום הדיפ נוסטלגיה, מבין מקטעי המחוות בווידאו. ניתוח מהיר של מנח הראש וכיוון העיניים של המצולמים בתמונה מאפשרים ליישום להתאים להם באופן חכם את מחוללי ההנפשה המיטביים ולייצר את הסרטונים המונפשים באופן אופטימלי.
ממה נמנעו מפתחי הדיפ נוסטלגי?
אנשי חברת MyHeritage ומפתחי היישום המלהיב נמנעו מהוספת דיבור לסרטונים.
לאור העובדה שטכנולוגיית הדיפ פייק ידועה ביכולות המטורפות שלה, גם בתחום הדיבור, נשאלת השאלה מדוע. הרי ניתן היה לשתול בפי המצולמים טקסטים מדוברים, שהיו נשמעים אמיתיים, על אף שמעולם לא צולמו והוקלטו.
ראשית, חשוב לומר שזיהוי קולי של המצולמים, ככל שמדובר באנשים שקרוביהם זוכרים עדיין את קולם האמיתי, היה מפחית את אפקט המציאות שיוצרים הסרטונים הללו.
אבל יש עוד סיבה לכך.
ב-MyHeritage מציינת שההימנעות מאפקטים קוליים של דיבור היא מכוונת. מטרתה, הם מטעימים, היא "למנוע שימושים זדוניים בכלי", דוגמת אלה שנעשים בסרטוני "דיפ פייק" של פוליטיקאים וידוענים שעודם בחיים.
לכן הם גם מבקשים מהמשתמשים לעשות בכלי שימוש רק על תמונות היסטוריות השייכות להם ולהימנע משימוש בתמונות של אנשים חיים, שלא אישרו את השימוש הזה.
