סקירה משפטית משווה שהוכנה עבור יו"ר ועדת המשנה לבינה מלאכותית וטכנולוגיות מתקדמות בכנסת, ח"כ אורית פרקש הכהן, מציגה את המגמות הבולטות בחקיקה הבינלאומית המבקשת להתמודד עם האתגרים הנפשיים והרגשיים שבשימוש בבינה מלאכותית. הסקירה הוכנה לקראת דיון מיוחד בנושא "מערכות יחסים ומענה נפשי בעידן הבינה המלאכותית – הזדמנויות וסכנות".
הסקירה מציגה דוגמאות להסדרים שהוצעו או אומצו בשנתיים האחרונות בארצות הברית ובאיחוד האירופי, שמתמקדים בשלושה נושאים מרכזיים: (1) הטלת מגבלות על טיפול נפשי באמצעות בינה מלאכותית; (2) מניעת אובדנות ופגיעה עצמית – בדגש על קטינים; (3) שימוש במערכות בינה מלאכותית לזיהוי רגשות והמגבלות החלות עליהן.
לעניין הנושא הראשון – הטלת מגבלות על טיפול נפשי באמצעות בינה מלאכותית – ניכר כי בארה"ב מתגבשת מגמה חקיקתית ברורה. מספר מדינות בארה"ב החלו לקדם חקיקה שמגבילה את השימוש במערכות בינה מלאכותית בטיפול נפשי מקצועי. כך, חוק חדש מאילינוי קובע כי שירותי פסיכותרפיה או טיפול רגשי יינתנו אך ורק על ידי בעלי רישיון מקצועי. בהתאם לכך, השימוש שמותר לאנשי מקצוע טיפוליים במערכות בינה מלאכותית מצומצם למשימות של "תמיכה מנהלית" (כגון ניהול יומן) או "תמיכה משלימה" (למשל הכנה ותחזוקה של תיקי לקוחות), בעוד שהסתמכות על בינה מלאכותית כצורת "תקשורת טיפולית" אסורה מפורשות. החקיקה אף כוללת איסור ברור על ספקי תוכנות בינה מלאכותית להציג את שירותיהם כטיפול מקצועי. הצעת חוק דומה הוגשה לאחרונה גם בסנאט של מדינת ניו יורק.
בנבאדה, חוק חדש אוסר על ספקי בינה מלאכותית להעמיד לרשות הציבור מערכות המספקות שירות הנחשב לשירות מקצועי בתחום בריאות הנפש, וקובע קנסות כבדים של עד 15,000 דולר לכל הפרה. ביוטה, החוק מסדיר את השימוש בצ'אטבוטים המדמים שיח טיפולי, ומחייב לספק למשתמש גילוי ברור בתחילת כל אינטראקציה כי מדובר במערכת בינה מלאכותית ולא באדם. בנוסף, החוק אוסר על ספקי הצ'אטבוט למכור או לשתף מידע בריאותי מזהה שהוזן על ידי המשתמשים.
הנושא השני שעלה בסקירה עוסק בהגנה על משתמשים, ובפרט קטינים, מפני עידוד פגיעה עצמית מצד תוכנות של "צ'אטבוט מלווה". קליפורניה אישרה באוקטובר 2025 חוק המחייב ספקים ליישם פרוטוקול למניעת הפקת תכנים המעודדים מחשבות אובדניות או פגיעה עצמית, כולל הפניה לשירותי חירום, ולנקוט צעדים שימנעו יצירת חומר מיני או הדרכת קטינים לעסוק בפעילות מינית. במקביל, הצעת חוק בניו יורק (2025) מבקשת לאסור הפעלת "מלווה בינה מלאכותית" ללא פרוטוקול סיוע במקרי אובדנות, פגיעה עצמית, פיזית או כלכלית, הכוללת גם חובת גילוי למשתמש בתחילת האינטראקציה ולאחר שלוש שעות של אינטראקציה כי מדובר במערכת בינה מלאכותית שאינה חשה רגשות, וכן מאפשרת תביעה אזרחית במקרה של הפרה. גם ברמה הפדרלית, הצעת חוק GUARD Act (2025) מבקשת לחייב צ'אטבוטים לאמת את גיל המשתמשים ולאסור פיתוח מערכות בינה מלאכותית שעלולות לשדל קטינים לעסוק בהתנהגות מינית, אובדנית, אלימה או פוגענית.
הנושא השלישי שנסקר עוסק במערכות לזיהוי רגשות, ובפרט באירופה. חוק הבינה המלאכותית (AI Act) של האיחוד האירופי שאושר ב-2024 כולל התייחסות מחמירה למערכות לזיהוי רגשות. מערכות המנסות לפענח רגשות באמצעות נתונים ביומטריים מוגדרות כ-"מערכות בסיכון גבוה" בשל החשש לפגיעה בפרטיות, לאוטונומיה ולשוויון. החוק אוסר לחלוטין על שימוש בזיהוי רגשות אוטומטי במקומות עבודה ובמוסדות חינוך, למעט במקרים רפואיים או ביטחוניים מצומצמים, ומטיל על המפעילים דרישות נוקשות של ניהול סיכונים ושקיפות.
התמונה הכוללת העולה מהסקירה מצביעה על מגמה גלובלית ברורה: העמקת הפיקוח המשפטי על כל ממשק שבו בינה מלאכותית פוגשת את עולמות הנפש, הרגש וההתנהגות האנושית – מתוך הבנה כי לצד פוטנציאל אדיר, טמון בה גם סיכון ממשי.
