מחקר חדש: כך מודל ה-Ai יבין טוב יותר הוראות מרחביות ביצירת תוכן ויזואלי
טכנולוגיית Learn-to-Steer משדרגת את הדיוק המרחבי במודלי תמונה בשיעור של מאות אחוזים, ללא צורך באימון מחדש של המודלים המקוריים - מחקר של אוניברסיטת בר אילן בשיתוף חברת אנבידיה
שוק יצירת התוכן באמצעות בינה מלאכותית ג'נרטיבית סובל מ"כשל מרחבי" עמוק: למרות היכולת להפיק תמונות מרהיבות, מודלים מתקשים למקם אובייקטים בצורה נכונה לפי הנחיות פשוטות כמו "מימין ל-" או "מעל ל-".
הבעיה נעוצה בכך שהמודלים מפרשים טקסט בצורה הוליסטית אך חסרי הבנה גיאומטרית מובנית. הפתרונות הקיימים כיום מנסים "לכפות" על המודל כללים מתמטיים נוקשים או לבצע אימון מחדש יקר ומסורבל, מה שמוביל לתוצאות לא טבעיות או לפגיעה באיכות התמונה. מחקר חדש מציע גישה הפוכה: במקום להכתיב למודל איך להתנהג, מלמדים אותו להבין את "מפת הדרכים" הפנימית שלו כדי לנווט לתוצאה הרצויה.
במחקר "Learn-to-Steer: Data-Driven Loss Functions for Inference-Time Optimization in Text-to-Image" של אוניברסיטת בר אילן בשיתוף אנבידיה, פיתחו מערכת שמשתמשת במפות קשב (Cross-Attention Maps) – שהן למעשה הייצוג הוויזואלי של האופן שבו המודל מקשר בין מילה ספציפית בטקסט לאזור מסוים בתמונה בתהליך היצירה.
במחקר מאמנים רכיב חכם וקליל שמזהה את היחסים המרחביים בתוך המפות הללו בזמן אמת. רכיב זה משמש כ"פונקציית אובדן" (Loss Function) – כלי המודד את הפער בין המצב הנוכחי לבין היעד המבוקש. במהלך היצירה, המערכת מחשבת את התיקון הנדרש ומבצעת "אופטימיזציה בזמן הסקה", כלומר מכוונת את המודל תוך כדי תנועה לייצר את האובייקטים במיקום המדויק, מבלי לשנות את משקולות המודל עצמו.
הערך המוסף המרכזי של הטכנולוגיה טמון ביכולת הדיוק והכלליות שלה. בבדיקות על המודלים המתקדמים בעולם, כמו FLUX.1 ו-Stable Diffusion, הראו החוקרים קפיצה דרמטית בביצועים; במקרים מסוימים, הדיוק במשימות מרחביות זינק מ-20% ליותר מ-60%.
יתרה מכך, החוקרים פתרו בעיה קריטית שנקראת "קיצורי דרך לשוניים", מצב שבו הבינה המלאכותית רק מעמידה פנים שהיא מבינה מיקום על בסיס מילים, בעוד שבפועל היא מחמיצה את הקשר הויזואלי. האלגוריתם במחקר יודע לזקק את המידע הגיאומטרי הטהור, מה שמאפשר שליטה ביצירת סצנות מורכבות עם מספר רב של אובייקטים.
ההזדמנות העסקית והטכנולוגית כאן עצומה. המחקר מציע שכבת אינטליגנציה שניתן להלביש על כל מודל קיים (Plug-and-Play), מה שהופך את תהליך יצירת התוכן למקצועי, אמין וניתן לשליטה מלאה עבור מעצבים, מפרסמים ויוצרי תוכן. במקום להסתמך על מזל או על עשרות ניסיונות כושלים עד לקבלת הקומפוזיציה הנכונה, הטכנולוגיה מאפשרת למודל "להבין" לראשונה את המרחב שבו הוא פועל. זהו הצעד הבא בהפיכת הבינה המלאכותית לכלי עבודה מדויק ולא רק למנוע יצירה אקראי.