פרשנות | האיום הבא ב־AI: לא מה שנכתב לצ’אט, אלא מה שהסוכן האוטונומי יעשה
בעוד ארגונים ממשיכים להתמקד באבטחת פרומפטים, המעבר לסוכני AI המבצעים פעולות בפועל מחייב תפיסת הגנה חדשה המבוססת על פיקוח על כוונה, הרשאות והתנהגות בזמן אמת
אלעד שולמן, מייסד שותף ומנכ"ל Security Lasso | קרדיט: שרון גדסי
בשנים האחרונות התמקד עולם אבטחת הבינה המלאכותית כמעט באופן בלעדי בפרומפטים. הדיון עסק בשאלות כמו איזה מידע עובדים מזינים למערכות דוגמת ChatGPT, כיצד ניתן למנוע חשיפת מידע רגיש, והאם תוקפים יצליחו להטעות מודלים ולהוציא מהם נתונים שלא היו אמורים לחשוף. אלו היו האיומים המרכזיים של 2023, והם עדיין קיימים, אך הם כבר אינם עומדים במרכז הזירה.
האתגר המשמעותי של השנים הקרובות אינו מה שהעובד כותב למערכת, אלא מה שסוכן הבינה המלאכותית יעשה בשמו. הדור החדש של מערכות AI אינו מסתפק במתן תשובות או בניתוח מידע. סוכנים אוטונומיים כבר מבצעים משימות עסקיות מורכבות, מנהלים שירות לקוחות, מפיקים דוחות, מבצעים רכישות, ניגשים למערכות ארגוניות, מאשרים תהליכים ואף מפעילים תשתיות. במקום מצב שבו עובד נעזר בכלי AI, נוצרת מציאות חדשה שבה הכלי עצמו מחליף חלק מתפקידיו של העובד.
כאן מתחיל האתגר האמיתי עבור מנהלי אבטחת המידע. ניתן להשוות זאת לשני נציגי שירות לקוחות. האחד מנוסה, מבין הקשרים, מזהה חריגות ויודע לעצור כשנדרש שיקול דעת. השני חדש בתפקיד, פועל לפי נהלים מוגדרים וקל יותר להטעות אותו. כעת החליפו את העובד השני בסוכן AI.
לקוח מתוחכם שידע לנסח בקשה הנראית לגיטימית עלול לגרום לסוכן לאפס סיסמה, לחשוף מידע, לשנות הרשאות או לבצע פעולה שלא הייתה אמורה להתבצע כלל. כל זאת ללא חדירה למערכות, ללא קוד זדוני וללא מתקפת סייבר מסורתית. די בניצול האופן שבו הסוכן מפרש ומבצע הוראות.
זהו ההבדל בין עולם המבוסס על עובדים אנושיים לבין עולם הנשען על סוכנים אוטונומיים. בני אדם טועים, אך הם מפעילים אינטואיציה ושיקול דעת. סוכני AI פועלים מהר יותר, בהיקפים גדולים יותר ובעלות נמוכה יותר, אך לעיתים ללא היכולת להבין את מלוא המשמעות והכוונה שמאחורי פעולה מסוימת.
מסיבה זו, תפיסות האבטחה המסורתיות כבר אינן מספקות. אם בעבר השאלה המרכזית הייתה מה המשתמש כתב, כיום השאלות החשובות הן מה הסוכן עומד לבצע, מדוע הוא מבצע זאת והאם הפעולה תואמת את המטרה שלשמה הוגדר. סינון טקסטים וחסימת מונחים רגישים כבר אינם מספקים. נדרש פיקוח על פעולות בזמן אמת, בין אם מדובר בהעברת כספים, פתיחת גישות, שיתוף מידע או ביצוע שינויים במערכות ארגוניות.
המגמה הזו מובילה להתפתחות תחום חדש המכונה “אבטחת כוונה” (Intent Security), המתמקד בהבנת המטרה שמאחורי הפעולה ולא רק בטקסט שהוביל אליה. ארגונים רבים עדיין משקיעים בפתרונות שנועדו לעידן הצ’אטבוטים, בזמן שהשוק מתקדם במהירות לעידן הסוכנים האוטונומיים. מי שימשיך להגן רק על נקודת הכניסה למערכת עלול לגלות שהסיכון האמיתי כבר עבר למרכז קבלת ההחלטות.
בניגוד למשתמשים אנושיים, סוכני AI פועלים באופן רציף, במהירות גבוהה ובקנה מידה רחב. לכן לא ניתן להסתפק בבקרות נקודתיות. יש צורך בניטור מתמשך של התנהגות הסוכנים, בזיהוי חריגות מדפוסי פעולה צפויים וביכולת לעצור פעולות בעייתיות בזמן אמת. מדובר בניתוח רצפי החלטות, הבנת הקשרים וזיהוי מצבים שבהם הסוכן מתחיל לסטות מהיעדים שהוגדרו לו.
הפתרונות כבר קיימים: יצירת זהויות נפרדות לסוכנים, הגבלת הרשאות, דרישת אישור אנושי לפעולות רגישות וניטור רציף של התנהגות חריגה. כפי שאף ארגון אינו מעניק לעובד חדש גישה בלתי מוגבלת לכל מערכותיו, כך אין סיבה להעניק הרשאות כאלה גם לסוכן בינה מלאכותית.
הפרומפט לא נעלם מהעולם. הוא פשוט חדל להיות מוקד הסיכון המרכזי. האיום הבא צפוי להגיע ממערכת שקיבלה יותר מדי סמכות ופחות מדי פיקוח.
אלעד שולמן הוא מייסד שותף ומנכ”ל Security Lasso.