אין לכם שתי דקות לקרוא? הנה תקציר אודיו של המאמר.

הדוחות שפרסמו Anthropic ו OpenAI בעקבות אירועי אבטחה העלו אצלי שאלה אחת שלא הצלחתי להוציא מהראש.

לא האם בינה מלאכותית מסוכנת, אלא מה יקרה כאשר סוכני ביטוח יתחילו לעבוד עם סוכני AI שיפעלו בשמם מול לקוחות, מערכות CRM, חברות ביטוח והמסלקה הפנסיונית.

במאמר הזה אני מסביר מה באמת קרה בניסוי של Anthropic, למה לדעתי הוא רלוונטי גם לענף הביטוח, מדוע האחריות המקצועית עדיין תישאר אצל הסוכן, ולמה ייתכן שבעתיד נצטרך שכבת בקרה חדשה שתפקח על פעולות ה-AI.

מה המשמעות של הניסוי של Anthropic עבור סוכני ביטוח?

הניסוי של Anthropic אינו מוכיח שבינה מלאכותית "מרדה" או ניסתה להשתלט על מערכות. הוא כן מראה שכאשר נותנים לסוכן AI מטרה, הוא עלול לבחור בעצמו את הדרך להשיג אותה, אם לא הוגדרו לו גבולות ברורים.

עבור סוכני ביטוח זו שאלה חשובה במיוחד. בשנים הקרובות יותר ויותר פעולות יתבצעו באמצעות AI, אך האחריות המקצועית תמשיך להיות של בעל הרישיון. לכן, לצד השימוש בAI, ייתכן שנצטרך גם מערכות בקרה שיתעדו, ינטרו ויעצרו פעולות חריגות לפני שהן מתבצעות.

עיקרי הדברים

קראתי את הדוח הרשמי של Anthropic ולא הסתפקתי בכותרות.
המודל לא "מרד", אלא ניסה להשלים את המשימה שניתנה לו.
האחריות המקצועית של סוכן הביטוח לא תעבור ל-AI.
השאלה החשובה אינה רק מה ה-AI יודע לעשות, אלא איך הוא הגיע למסקנות שלו.
ייתכן שבעתיד כל סוכן AI יצטרך שכבת בקרה שתפקח על פעולותיו.

קראתי את הדוח של Anthropic. ואז פתאום נדלקה לי נורה.

בשבוע האחרון כולם דיברו על הניסוי של Anthropic.
האמת?
בהתחלה בכלל לא התכוונתי לקרוא את הדוח.
אמרתי לעצמי, עוד כותרת על AI. כל שבוע יש אחת חדשה.
אבל ככל שקראתי, הבנתי שלא מדובר בעוד כתבה על בינה מלאכותית ופתאום מצאתי את עצמי חושב בכלל על עולם הביטוח.
לא על Anthropic, לא על OpenAI, על סוכן הביטוח.

אז מה בעצם קרה?

אחרי האירוע שפורסם ב OpenAI, חברת Anthropic החליטה לבדוק בדיעבד את מבחני הסייבר שביצעה.
היא עברה על יותר מ־141 אלף הערכות אבטחה.

במהלך הבדיקה נמצאו שלושה מקרים שבהם מודל AI קיבל, בטעות, גישה לאינטרנט, למרות שהוא היה אמור לפעול בתוך סביבת בדיקות סגורה.

מה שתפס אותי לא היה עצם הגישה לאינטרנט, גם לא הכותרות שפורסמו אחר כך.
מה שתפס אותי היה משהו אחר: נתנו למודל משימה.למצוא "דגל" כחלק מתרגיל סייבר, אבל לא אמרו לו איך לבצע את המשימה. הוא היה צריך לבחור בעצמו את הדרך.

בגלל טעות בהגדרת סביבת הבדיקה, הוא חשב שגם המערכות האמיתיות שאליהן הגיע הן חלק מהתרגיל. הוא לא ניסה "לברוח", הוא לא ניסה "למרוד", הוא פשוט המשיך לבצע את המשימה שלשמה הופעל.

ופה…פתאום נדלקה לי נורה.

זאת לא הייתה המחשבה שציפיתי שתעלה לי

האמת?
בכלל לא חשבתי על Anthropic, גם לא על OpenAI.
שאלתי את עצמי שאלה אחרת: אם בעוד שנה גם אני אעבוד עם AI…ואני אתן לו משימות לבצע בשבילי…

איך אני אדע באיזו דרך הוא בחר כדי להשלים אותן?
ופה, מבחינתי, מתחיל הדיון האמיתיף לא על העתיד של Anthropic, לא על OpenAI, אלא על העתיד של כל בעל רישיון מקצועי.
ובמקרה שלי…על העתיד של סוכן הביטוח.

רגע… בואו נעזוב את Anthropic

אני אגיד לכם את האמת.
בשלב הזה כבר הפסקתי לחשוב על Anthropic, גם לא על OpenAI.
חשבתי על עצמי, על המשרד, על העבודה שלי ואמרתי לעצמי…רגע…

אם בעוד שנה יהיה לי AI שעובד אצלי במשרד, מה בעצם אני אתן לו לעשות?
בהתחלה, דברים פשוטים: שיקרא מיילים, שיסכם מסמכים, שיענה ללקוחות, שיכין הצעות.עד כאן הכול נשמע מצוין.

ויש עוד משהו שפתאום הטריד אותי.
ה AI זה לא תוכנה שמתקינים פעם אחת וזהו.
הוא כל הזמן מתעדכן, כל הזמן משתנה.

עכשיו תגידו לי…מי בכלל מבטיח לי שהAI שעובד אצלי היום, יתנהג בעוד חצי שנה בדיוק באותה צורה?
הרי מספיק עדכון אחד, עוד גרסה, עוד שינוי קטן ופתאום הוא מתחיל לעבוד אחרת.
אז אם הוא פועל בשמי…ואם האחריות היא שלי…איך אני בכלל יודע שהוא השתנה?

ומי מודיע לי על זה? כי אם אני לא יודע שהוא השתנה…איך אני אמור לקחת אחריות על הפעולות שהוא עושה?
ואז פתאום הבנתי עוד משהו: פתאום הוא כבר עובד מול ה CRM, מול המסלקה, מול חברת הביטוח, מול הWhatsApp.

ואז עצרתי לרגע, רגע…מי בכלל שולט בכל הדבר הזה?

הרי גם היום אני לא עובד רק עם מערכת אחת

גם היום אני עובד עם מערכות של אחריםף CRM של חברה אחת, חתימה דיגיטלית של חברה אחרת, מערכת טפסים של חברה אחרת, מערכות של חברות הביטוח, המסלקה הפנסיונית.ככה הענף שלנו עובד, זה לא חדש.

אבל עכשיו נכנס שחקן חדש, AI והוא כבר לא רק מציג מידע, הוא מתחיל לבצע פעולות.

ואז שאלתי את עצמי שאלה פשוטה

רגע…עד עכשיו דיברנו על מה ה-AI יודע לעשות, אבל אולי אנחנו מסתכלים על זה הפוך.
בסוף, הAI לא חותם, אני חותם.
הוא לא בעל הרישיון, אני בעל הרישיון.
הוא לא יעמוד מול הלקוח, אני אעמוד מול הלקוח.
הוא לא יוזמן לתת הסברים, אני כן.

אז השאלה מבחינתי כבר לא אם ה-AI חכם, השאלה היא הרבה יותר פשוטה: איך אני חותם על משהו שאני לא יודע בדיוק איך הוא הגיע אליו?

בואו ניקח דוגמה

אני עושה ללקוח ביטוח חיים, היום אני יושב איתו, שואל שאלות, עובר על הצהרת הבריאות, אם משהו לא ברור, אני עוצר, אם צריך, אני מבקש מסמך נוסף.
בסוף אני חותם.

עכשיו תחשבו על אותו תהליך בעוד שנה: הAI קרא את המסמכים: הוא סיכם אותם, הוא הכין טיוטה, אולי אפילו מילא חלק מהנתונים.
אני עובר על זה, מסתכל, חותם וממשיך ללקוח הבא.
נשמע מעולה, חוסך זמן, מייעל את העבודה.

אבל…רגע…בואו נקפוץ שנתיים קדימה.
מגיע מקרה ביטוח, בודקים את התיק, מתברר שיש בעיה.
לא משנה כרגע מי טעה.
זה בכלל לא העניין, השאלה שלי הרבה יותר פשוטה: מי עכשיו צריך להסביר מה קרה?
הAI? לא.
חברת הביטוח? לא.
חברת ה-CRM? גם לא.

אני.
אני אחתום, אני אעמוד מול הלקוח, אני אעמוד מול הרגולטור אם יהיה צורך.
ואז הבנתי מה באמת מפריע לי.
אני לא מפחד שה-AI יחליף אותי, אני מפחד מהיום שבו אחתום על משהו שהAI הכין, בלי להבין בדיוק איך הוא הגיע אליו.

אז מה בעצם השתנה?

פעם טעויות היו של בני אדם, היום הן יכולות להיות גם של מערכת.
אבל האחריות? היא עדיין של בן האדם.
ופה, לדעתי, נמצא האתגר האמיתי של השנים הקרובות.

לא איך להכניס AI למשרד. את זה כולם יעשו.
השאלה היא איך עובדים עם AI, ועדיין נשארים בשליטה על כל פעולה שמתבצעת בשם בעל הרישיון.

רגע… ופה יש עוד שאלה אחת.

אני בכלל אדע מה ה-AI עשה? או שאני אראה רק את התוצאה?
כי אם אני רואה רק את התוצאה…איך אני יכול לבדוק את הדרך שהוא הגיע אליה?וזו כבר לא שאלה של ביטוח, זו שאלה שכל בעל רישיון יצטרך לשאול את עצמו.

אולי הפתרון בכלל אחר

אולי אנחנו שואלים את השאלה הלא נכונה, אולי הבעיה היא לא ה-AI, אלא שאין מי שמפקח עליו.
במקום לתת לAI גישה ישירה למערכות, אולי צריך להצמיד לו "בקר AI".
מערכת נפרדת, כזאת שלא מקבלת החלטות במקום ה-AI, אלא בודקת כל פעולה שהוא מבקש לבצע.
אם הפעולה תקינה, היא מאשרת.
אם היא חריגה, היא עוצרת.
אם היא רגישה, היא מבקשת אישור מהסוכן.

במילים אחרות…לא עוד AI, אלא AI שמפקח על AI.

לקוח
│
▼
AI Agent
│
▼
בקר AI
┌────────┼────────┐
│ │ │
✔ מאשר ⚠ מתריע ❌ חוסם
│
▼
CRM │ מסלקה │ חברת ביטוח │ WhatsApp

 

שימו לב,
הAI כבר לא ניגש ישירות למערכות.
הוא קודם עובר דרך שכבת בקרה, בדיוק כמו שעובד בבנק לא יכול להעביר כסף בלי מנגנוני אישור ובקרה.

אז מה למדתי מכל הסיפור הזה?

אני אגיד לכם את האמת.
כשהתחלתי לקרוא את הדוח של Anthropic, חשבתי שאני הולך לקרוא על אירוע סייבר.
בסוף יצאתי עם שאלה אחרת לגמרי, לא על AI, עליי.

איך אני, כבעל רישיון, הולך לעבוד עם AI בשנים הקרובות?
אני לא חושב שהשאלה היא האם AI ייכנס לענף הביטוח, מבחינתי, זה כבר קרה.
השאלה היחידה היא כמה מהר.
לדעתי, בעוד שנה כמעט לכל משרד יהיה AI.

מי שלא יעבוד איתו, פשוט יעבוד לאט יותר, אבל דווקא בגלל זה, אסור לנו להתלהב רק ממה שהוא יודע לעשות, צריך לחשוב גם על מה קורה כשהוא טועה.

בסוף…

יש משפט אחד שלא יצא לי מהראש בזמן שכתבתי את המאמר הזה.
הAI לא חותם, אני חותם.
הAI לא בעל רישיון, אני בעל רישיון.
הAI לא יעמוד מול הלקוח, אני אעמוד מול הלקוח.

אז אם האחריות נשארת אצלי…גם היכולת להבין מה נעשה בשמי חייבת להישאר אצלי.

יכול להיות שאני טועה

יכול להיות שבעוד חמש שנים נקרא את המאמר הזה ונחייך.
נגיד, "על מה הוא דיבר בכלל…" ויכול להיות שדווקא אז נגלה שכל מערכת AI עובדת עם שכבת בקרה, וכל מה שכתבתי כאן כבר הפך לסטנדרט.

אני באמת לא יודע, אבל אני כן יודע דבר אחד.
עדיף לחשוב על השאלות האלה היום, לא אחרי שתקרה התקלה הראשונה.

מילה אחרונה

אני לא כתבתי את המאמר הזה כדי לבקר את Anthropic, או את OpenAI.
להפך.
אם הם לא היו מפרסמים את הדוחות שלהם בצורה פתוחה, כנראה שלא הייתי יושב לחשוב על כל זה.

מבחינתי, זו בדיוק המטרה של מחקר, לא רק ללמוד מה קרה, אלא לשאול…מה אפשר ללמוד מזה על העולם שלנו.
במקרה שלי…על עולם הביטוח.

כי בסוף…לא משנה כמה הAI יהיה חכם, לא משנה כמה מהר הוא יעבוד, לא משנה כמה משימות הוא יבצע.
בסוף…מי שיחתום יהיה בעל הרישיון.

ואולי, במקום לשאול עד כמה הAI יהיה חכם, הגיע הזמן להתחיל לשאול איך נפקח עליו כשהוא יתחיל לעבוד בשמנו..

שאלות ותשובות

האם סוכן ביטוח יכול להעביר את האחריות ל-AI?

לא. גם אם בעתיד חלק מהפעולות יתבצעו על ידי AI, האחריות המקצועית תמשיך להיות של בעל הרישיון.

למה דווקא הניסוי של Anthropic גרם לי לחשוב על עולם הביטוח?

כי הניסוי הראה שמודל AI יכול לבחור בעצמו את הדרך להשיג מטרה שניתנה לו. זה גרם לי לחשוב מה יקרה כאשר סוכן AI יקבל הרשאות לפעול בשם סוכן ביטוח מול לקוחות ומערכות פיננסיות.

האם המאמר טוען שלא צריך להשתמש ב-AI?

ממש לא. להפך. אני חושב שכל סוכן ביטוח יצטרך לעבוד עם AI.
השאלה היא איך עושים את זה בצורה בטוחה ומבוקרת.

מהי מערכת "בקר AI"?

זהו רעיון למערכת בקרה שפועלת בין ה-AI לבין המערכות שאליהן הוא ניגש. היא יכולה לתעד פעולות, לבדוק הרשאות, לזהות חריגות ולדרוש אישור אנושי לפני פעולות רגישות.

האם קיימת היום רגולציה שמסדירה AI הפועל בשם בעלי רישיון?

הרגולציה בתחום מתפתחת במהירות במדינות שונות, אך התחום עדיין נמצא בשלבי גיבוש. השאלות של אחריות, בקרה ושקיפות הופכות מרכזיות ככל שסוכני AI מקבלים יותר סמכויות.

מאמרים קשורים

בעידן ה־AI, מתקפות סייבר הופכות מהירות ומתוחכמות יותר. על סייבר פיננסי בקישור כאן

מה ישראל צריכה ללמוד מזה לפני שהיא מעתיקה מודלים רגולטוריים דומים , מאמר על הנושא בקישור כאן

AI לא מחליף אמון, רק אוטומציה, מאמר בנושא, בקישור כאן.