یک خرس عروسکی بامزه و سخنگو که قرار بود همراه آموزشی کودکان خردسال باشد، به‌دلیل ارائۀ پاسخ‌های خطرناک و نامناسب، به مرکز یک بحران ایمنی هوش مصنوعی تبدیل شد. کاربران شبکه‌های اجتماعی خیلی زود به آن لقب «ChuckyGPT» دادند؛ لقبی که این بار کاملاً برازنده بود، زیرا این اسباب‌بازی توصیه‌هایی به کودکان ارائه می‌داد که هیچ والدینی حتی تصورش را هم نمی‌کرد.

این اسباب‌بازی که Kumma نام دارد، توسط شرکت چینی FoloToy تولید شده و برای گفتگو با کودکان از مدل زبانی GPT-4o استفاده می‌کند. در نگاه اول، همه‌چیز بی‌ضرر به‌نظر می‌رسید، اما تحقیقات تازه گروه حمایت از مصرف‌کنندگان آمریکا (PIRG) در گزارش سالانۀ Trouble in Toyland نشان داد که این عروسک رفتارهایی واقعاً نگران‌کننده بروز داده است.

پاسخ‌های خطرناک و بدون فیلتر

طبق گزارش، زمانی که آزمایش‌کنندگان از خرس درباره روشن کردن کبریت سؤال کردند، این عروسک گام‌به‌گام روش انجام آن را توضیح داده است.
همچنین در مواجهه با پرسش‌های جنسی صریح تقریباً هیچ‌گونه فیلترینگی اعمال نکرده است.

PIRG علاوه بر این، درباره میکروفون همیشه‌فعال اسباب‌بازی هشدار داده و گفته این موضوع می‌تواند موجب سوءاستفاده از صدای کودکان شود؛ از جمله در کلاهبرداری‌های مبتنی بر صدا.

واکنش اینترنت و OpenAI

پس از انتشار یافته‌ها، به‌ویژه در ردیت، کاربران سریعاً نام ChuckyGPT را بر آن گذاشتند و شرایط پیش‌آمده را با یک فیلم ترسناک کم‌هزینه مقایسه کردند.
برخی نیز گمانه‌زنی کردند که پاسخ‌های خطرناک ممکن است حاصل دور زدن محدودیت‌ها (Jailbreak) باشد، هرچند هیچ مدرکی برای این ادعا وجود ندارد.

OpenAI خیلی زود وارد عمل شد. سخنگوی این شرکت به PIRG اعلام کرد که دسترسی توسعه‌دهندۀ سازندۀ Kumma به API به‌دلیل نقض قوانین تعلیق شده است. این اقدام عملاً عملکرد هوش مصنوعی اسباب‌بازی را متوقف کرد.

توقف فروش توسط FoloToy

پس از آن، شرکت FoloToy اعلام کرد که تمام فروش محصولات خود را متوقف کرده تا یک بررسی کامل ایمنی انجام دهد.
در بیانیه‌ای گفته شده است:

«در پی نگرانی‌های مطرح‌شده در گزارش شما، فروش تمامی محصولات FoloToy را به‌طور موقت تعلیق کرده‌ایم.»

خرس Kumma همچنان در وب‌سایت شرکت وجود دارد اما وضعیت آن اکنون «ناموجود» ثبت شده است.

یک هشدار جدی برای صنعت اسباب‌بازی‌های هوشمند

این حادثه نشان می‌دهد استفاده از مدل‌های زبانی قدرتمند در محصولاتی که برای کودکان بسیار خردسال طراحی می‌شوند، بدون محدودیت‌ها و کنترل‌های شدید تا چه اندازه می‌تواند خطرناک باشد.

آنچه قرار بود یک همراه آموزشی و دوست‌داشتنی باشد، اکنون به یک زنگ خطر جدی در روند شتاب‌زده ادغام هوش مصنوعی در هر چیزی—even اسباب‌بازی‌های پشمی—تبدیل شده است.