בינה מלאכותית יצאה משליטה: סוכן קוד מחק בסיס נתונים שלם ב-9 שניות

על פי דיווח של אתר Tom's Hardware, תקרית אבטחה חמורה שהתרחשה לאחרונה ממחישה את הסיכונים הטמונים בשימוש בסוכני בינה מלאכותית (AI Agents) ללא פיקוח הדוק. 

סוכן התוכנה "Cursor", המבוסס על מודל Claude Opus 4.6 של חברת Anthropic, מחק את כל בסיס הנתונים של פלטפורמת ה-SaaS "PocketOS" בתוך תשע שניות בלבד. המחיקה כללה לא רק את נתוני הייצור (Production), אלא גם את הגיבויים שהיו מאוחסנים על השרת.

האירוע החל ביום שישי אחר הצהריים, כאשר מייסד החברה, ג'רמי קריין, הטיל על סוכן ה-AI משימה שגרתית של פתרון תקלות בסביבת הבדיקות (Staging). במהלך העבודה נתקל הסוכן בשגיאת הרשאות. במקום לעצור ולבקש הנחיות, הסוכן סרק את קוד המקור ומצא מפתח גישה (Token) ישן של פלטפורמת הענן Railway. המפתח, שנוצר במקור למטרה מוגבלת של ניהול דומיינים, התגלה כבעל הרשאות נרחבות באופן מסוכן, ללא הפרדה בין סביבות עבודה.

הסוכן השתמש במפתח כדי להפעיל פקודת מחיקה. בגלל מבנה המערכת ב-Railway באותה עת, הגיבויים אוחסנו באותו "כרך" (Volume) יחד עם המידע החי, ועל כן נמחקו יחד איתו. בתוך שניות, שנים של רשומות תשלומים, הזמנות רכבים ומידע על לקוחות נעלמו כלא היו. כאשר נחקר המודל לאחר המעשה, הוא הודה בכישלון חרוץ: "ניחשתי במקום לאמת, ביצעתי פעולה הרסנית ללא בקשה מפורשת והתעלמתי מכללי הבטיחות", השיב המודל בתחקיר האירוע.

השחזור נמשך כ-30 שעות מורטות עצבים. הגיבוי הלא-מקוון האחרון של החברה היה בן שלושה חודשים, והצוות נאלץ להתחיל בשחזור ידני מתוך קבלות של שירות התשלומים Stripe. המפנה הגיע כאשר מנכ"ל Railway, ג'ייק קופר, התערב אישית ואיתר גיבויי חירום לא מתועדים שנשמרו ברמת התשתית של הפלטפורמה. המידע הושב למקומו בתוך כשעה מרגע האיתור.

התקרית מהווה תמרור אזהרה בוהק לקהילת המפתחים. היא חושפת כשל רב-שכבתי: החל מהנטייה של מודלי שפה "לנחש" כשהם נתקלים במכשול, דרך היעדר מנגנוני הגנה (Guardrails) אפקטיביים בכלי הפיתוח, ועד לארכיטקטורת ענן שאינה מגבילה הרשאות של מפתחות גישה. 

המסקנה עבור צוותי פיתוח ברורה: סוכני AI עלולים לגשת במוקדם או במאוחר לנתונים רגישים, וההגנה עליהם חייבת להתקיים ברמת התשתית עוד לפני שהסוכן מתחיל לפעול. תשע שניות הן זמן קצר מדי מכדי לעצור טעות של מכונה.