» «

צביעת סרטים

צביעת סרטי קולנוע
איך צובעים סרטי קולנוע ישנים?



צביעה אוטומטית של סרטים ישנים שצולמו בשחור לבן (Colorise of old films) היא טכנולוגיה חדשנית, המשתמשת בבינה מלאכותית כדי להחזיר את הצבע לסרטי שחור לבן ישנים.

ההוספה של אפקטים מיוחדים לסרט, עם המודרניזציה שלו והצגת המראה האותנטי של מי ומה שצולמו בו איננה רק טכנולוגיה. מדובר במשהו שמחזיר את החיים למצולמים בו ומאפשרת לצופים להתחבר טוב יותר לתוכן. לפתע הופכות דמויות השחור לבן המרצדות של הסרטים הישנים לאנשים כמונו. זוהי סוג של הנפשה מאוחרת למצולמים בו.


אבל איך זה קורה?

דמיינו שאת סרטי הפילם הישנים ממירים לפורמט דיגיטלי (מה שנקרא "דיגיטציה") ואז נותנים למחשב, שבתוכנה שלו שמור ידע עצום על צבעים אופייניים של מדים בצבא הגרמני, עצים בטבע, מטוסים במלחמת העולם השנייה וכדומה.

בתהליך הצביעה הדיגיטלית צובע המחשב כל אובייקט כזה שמופיע בסרטים. המומחה עובר על הסרטים אחריו וצובע את מה שהמחשב לא ידע לצבוע. אבל המחשב לומד כל אובייקט חדש כזה, שהאדם צבע. בפעם הבאה שאובייקט דומה יופיע על המסך, הוא כבר ייצבע אוטומטית על ידי התוכנה.

מדובר במה שהכרנו בתגית "למידת מכונה".

אם היו צריכים לעשות באופן ידני את התהליך של הוספת צבע לתמונות נעות בצבעי שחור לבן, "פריים אחרי פריים" (Frame הוא תמונה בפילם), זה היה לוקח פרקי זמן עצומים.

אז זה לא שאין יכולת לטכנאי אנושי לעבור בדקדקנות על כל פריים ולצבוע אותו צביעה עשירה ומדויקת. המחשב בימינו פשוט עושה זאת במהירות ובדיוק מדהימים, כש"Frame by Frame", הוא לומד ומשתפר עוד יותר.

טכנולוגיה זו, שפותחה בשנות ה-70 על ידי וילסון מרקל, כצביעה פשוטה וזולה של פריימים בסרטי שחור לבן, רק הראתה את האפשרויות. עם הזמן והמחשב, השתפרה השיטה, כשהטכנאי-צייר נהג לצבוע רק חלק מהתמונה, בעוד המחשב משלים, לפי הכיוון שהוא התווה, את צביעת שאר התמונה.

היום, אגב, הטכנולוגיה כבר עוברת ל"למידה עמוקה". ההבדל הוא שהתוכנה מקבלת עכשיו המוני סרטים צבעוניים ולומדת בעצמה על הצבעים האופייניים לכל סוג של עץ, צבעי המדים של כל צבא, צבע עור של כל אדם לפי תווי פניו וכדומה. בקיצור, את הטכנאי-צייר שלידו, כמעט ולא צריך יותר...


כך החל טרנד צביעת הסרטים הישנים שצולמו בשחור לבן (עברית):

https://youtu.be/Yz2gM9u_kus?end=1m27s


כשצובעים סרטים ישנים - נותנים להם חיים:

https://youtu.be/zRed-Ri9IpI


כתבה על הקסם הצבעוני שמחזיר לחיים את האנשים שנלחמו במלחמת העולם הראשונה (עברית):

https://youtu.be/9pGkIFGcxUE


כך צובעים היום סרטי שחור לבן בני מאה שנים:

https://youtu.be/_cSXfKSRKz4


10 טכנולוגיות בינה מלאכותית של צביעת סרטים:

https://youtu.be/mUXpxxyThr8?long=yes


התפתחות טכנולוגיית צביעת הסרטים שנולדה מצביעה של תמונות שחור לבן:

https://youtu.be/vubuBrcAwtY?long=yes


והעתיד של צביעת הסרטים באמצעות בינה מלאכותית:

https://youtu.be/SM9YwN_Dvv0?long=yes
שוד הרכבת הגדול
מה חידש פורטר במערבון הקולנועי הראשון?



את המערבון הראשון בתולדות הקולנוע יצר אדווין פורטר, בשנת 1903. זהו סרט בשם "שוד הרכבת הגדול" (The Great Train Robbery).

זה היה סרט אילם, סרט קולנוע קצר שאורכו כ-10 דקות בלבד. אך באותן עשר דקות הוא פתח את הדלת לז'אנר המערבון, סוגה קולנועית שבהמשך המאה ה-20 עתידה לצבור פופולריות עצומה.

את הסרט, שנחשב גם סרט הפעולה האמריקאי הראשון, כתב, הפיק וביים אדווין פורטר, או בשמו המלא אדווין סטנטון פורטר. האיש החל את דרכו כצלם קולנוע באולפנים של תומאס אדיסון, בהם הוא צילם סרטים קצרים למכשירי הקינטוסקופ, שהמציא אדיסון, טכנולוגיית קולנוע מוקדמת ביותר, שהתבססה על צפייה בסרטים המוקרנים בתוך מכשיר והתחרתה בהקרנות הסרטים של האחים לומייר.

הסרט, בו כיכבו אלפרד אבדי, ברונקו אנדרסון ויוסטוס ד. ברנס, לא כלל קרדיטים. הוא צולם במילטאון שבאזור ניו ג'רזי, באזור החוף המזרחי של ארצות הברית, על אף שעלילת הסרט מתרחשת במערב הפרוע שבמערב המדינה.

בשנת 1990 ולקראת תום המאה ה-20, המאה של הקולנוע, הוכרז "שוד הרכבת הגדול" על ידי ארכיון הסרטים הלאומי בספריית הקונגרס של ארצות הברית, כסרט לשימור.


#חידושים בסרט
בסרט זה הוצגה, אולי לראשונה בתולדות הקולנוע, עריכה צולבת, המתארת אירועים שונים על המסך, באופן סינכרוני, כלומר בו זמנית, כשאלה מתרחשים במקומות שונים ובאותו הזמן.

במקרה של הסרט הזה הוצגו בעריכה הצולבת שתי סצנות בו-זמנית, כשהן מתרחשות במקומות שונים.

חוץ מהעריכה הצולבת השתמשו בסרט בכמה טכניקות צילום חדשניות ולא שגרתיות לתקופה. אולי המשמעותית מהן הייתה השימוש בתנועות מצלמה תכופות. לא שגרתי היה גם לצלם אז בצילומי חוץ כה מרובים, מה שנעשה בסרט בסצנות רבות.

פורטר גם היה מהראשונים שהשתמשו בטכניקה של צביעת סרטים בקולנוע. ואכן, בחלק מעותקי הסרט נצבעו סצנות מסוימות ממש בעבודת יד והוקרנו כשהן צבעוניות, בעוד שאר הסצנות בסרט נשארו בשחור לבן.


הנה הסרט "שוד הרכבת הגדול" בליווי פסנתר אופייני לתקופה:

https://youtu.be/y3jrB5ANUUY?long=yes


גרסה נוספת עם פסקול מודרני שלא ממש עובד:

https://youtu.be/cT6Pz9t89Lk?long=yes


תרומתו של אדווין פורטר לשפה הקולנועית:

https://youtu.be/V7ZHd1xU2w8?long=yes


וידאו אסיי של צעיר שנדלק על הסרט מהמלצה של סקורסזה:

https://youtu.be/D3phHSH_P8c?long=yes


והז'אנר שיוולד ממנו יהפוך לנחשול של מערבונים, הנה כמה מהטובים ביותר:

https://youtu.be/wAMwmfkZ6_8?long=yes
דיפ נוסטלגיה
מהי טכנולוגיית הדיפ נוסטלגיה?



בשנים האחרונות הולכת ותופסת את מקומה טכנולוגיה מבוססת בינה מלאכותית (AI) שנקראת דיפ פייק (Deepfake). טכנולוגיה זו משמשת לייצור או שינוי תוכן וידאו כך שהיא מציגה מציאות שלמעשה לא התרחשה מעולם. מנאומים שלא ננאמו מעבירים מסרים בדויים מפיהם לכאורה, של אנשים מפורסמים ועד סרטונים "פסאודו-תיעודיים", שמציגים מראות וטקסטים מדוברים, שנראים אמיתיים אך מעולם לא צולמו והוקלטו.

ענף חדש בעולם הדיפ פייק הוא יישום שזכה לשם "דיפ נוסטלגיה" (™Deep Nostalgia), המנפיש את פניהם של אנשים שצולמו בתמונות ישנות או היסטוריות, ומזיז את פניהם, כאילו צולמו בווידאו.

הטכנולוגיה הזו פועלת על כל תמונת סטילס (תמונות קפואות), כולל תמונות בשחור-לבן ותמונות שצולמו בצבע.

השם ניתן ליישום פורץ דרך זה על ידי חברת MyHeritage, שעוסקת בפיתוח טכנולוגיה ליצירת עצי משפחה מקוונים.

סרטוני הדיפ נוסטלגיה התפרסמו כשאנשים שיתפו עם בני משפחתם וחבריהם סרטונים קצרים ומונפשים שנוצרו כך, ובהם קרוביהם ואבותיהם מזיזים את ראשיהם, מצמצים, מחייכים ונעים בצורה ריאליסטית כמעט לחלוטין.


#איך פועלת הדיפ נוסטלגיה?
דיפ נוסטלגיה מחזירה, אם כן, לחיים אנשים שצולמו בצילומי סטילס. זה מתחיל באיתור פני המצולמים בתמונות ואז הפקה של מחוות ותנועות מציאותיות, ממש כאילו צולמו בווידאו. ההנפשה של הפנים בתמונות הסטילס מראה אותם מחייכים, זזים וממצמצים, כאילו צולמו כך במקור.

בבסיס הטכנולוגי של יישום ה"דיפ נוסטלגיה" פועל אלגוריתם למידה עמוקה (Deep Learning), המחבר בין תווי הפנים של המצולמים לבין אוסף מחוות שצולמו בווידאו ושמורים במאגר החברה.

פיתוח וצילום אותן מחוות נעשה כשצילמו אנשי מיי הריטג' מראש שלל מקטעי וידאו של שחקנים ועובדי החברה, המזיזים את ראשיהם ופניהם באורח טבעי, ממצמצים, מחייכים ומפנים את ראשם לכיוונים שונים.

למעשה שכרה חברת MyHeritage רישיון מחברת D-ID, לטכנולוגיה שפותחה בה ומאפשרת שחזור, באמצעות טכנולוגיית למידה עמוקה, של סרטוני וידאו.

על מנת שאפקט ההנפשה יופעל על התמונות, ברזולוציה הכי גבוהה האפשרית, עוברות תמונות מטושטשות חידוד אוטומטי, שמבצעת הטכנולוגיה החדשנית, מה שמעלה באופן דרמטי את איכות הסרטונים המופקים בה.

ההברקה האמיתית של הטכנולוגיה הזו נעוצה בזיהוי והבחירה האוטומטית שמבצע יישום הדיפ נוסטלגיה, מבין מקטעי המחוות בווידאו. ניתוח מהיר של מנח הראש וכיוון העיניים של המצולמים בתמונה מאפשרים ליישום להתאים להם באופן חכם את מחוללי ההנפשה המיטביים ולייצר את הסרטונים המונפשים באופן אופטימלי.


#ממה נמנעו מפתחי הדיפ נוסטלגי?
אנשי חברת MyHeritage ומפתחי היישום המלהיב נמנעו מהוספת דיבור לסרטונים.

לאור העובדה שטכנולוגיית הדיפ פייק ידועה ביכולות המטורפות שלה, גם בתחום הדיבור, נשאלת השאלה מדוע. הרי ניתן היה לשתול בפי המצולמים טקסטים מדוברים, שהיו נשמעים אמיתיים, על אף שמעולם לא צולמו והוקלטו.

ראשית, חשוב לומר שזיהוי קולי של המצולמים, ככל שמדובר באנשים שקרוביהם זוכרים עדיין את קולם האמיתי, היה מפחית את אפקט המציאות שיוצרים הסרטונים הללו.

אבל יש עוד סיבה לכך.

ב-MyHeritage מציינת שההימנעות מאפקטים קוליים של דיבור היא מכוונת. מטרתה, הם מטעימים, היא "למנוע שימושים זדוניים בכלי", דוגמת אלה שנעשים בסרטוני "דיפ פייק" של פוליטיקאים וידוענים שעודם בחיים.

לכן הם גם מבקשים מהמשתמשים לעשות בכלי שימוש רק על תמונות היסטוריות השייכות להם ולהימנע משימוש בתמונות של אנשים חיים, שלא אישרו את השימוש הזה.


הסבר לטכנולוגיה (עברית):

https://youtu.be/O4VPN_YjgIM?t=21s


הנה הדיפ נוסטלגיה:

https://youtu.be/tjBYSnoAWqg


ציורים מפורסמים שקמים לתחייה:

https://youtu.be/TWY1uBK4Zxc


ואפילו דיקטטורים קמים לתחיה עם הדיפ נוסטלגיה של מיי הריטג':

https://youtu.be/a-HR03bToew


אֵאוּרִיקַה - האנציקלופדיה של הסקרנות!

העולם הוא צבעוני ומופלא, אאוריקה כאן בשביל שתגלו אותו...

אלפי נושאים, תמונות וסרטונים, מפתיעים, מסקרנים וממוקדים.

ניתן לנווט בין הפריטים במגע, בעכבר, בגלגלת, או במקשי המקלדת

בואו לגלות, לחקור, ולקבל השראה!

אֵאוּרִיקַה - האנציקלופדיה של הסקרנות!

שלום,
נראה שכבר הכרתם את אאוריקה. בטח כבר גיליתם כאן דברים מדהימים, אולי כבר שאלתם שאלות וקיבלתם תשובות טובות.
נשמח לראות משהו מכם בספר האורחים שלנו: איזו מילה טובה, חוות דעת, עצה חכמה לשיפור או כל מה שיש לכם לספר לנו על אאוריקה, כפי שאתם חווים אותה.