ایمنی هوش مصنوعی به جلوگیری از رفتارهای ناخواستهٔ سیستمهای خودمختار میپردازد. این شامل تأیید رسمی، تستهای مقاوم، محدودیتهای ایمنی و مکانیزمهای اضطراری است. پژوهشهای ایمنی مسائل مانند مقاومت در برابر حملات آزاردهنده، همراستا کردن با ارزشهای انسانی و کنترلپذیری را مورد بررسی قرار میدهند. در حوزههای حساس مثل رانندگی خودران، تشخیص پزشکی و مالی، تضمین ایمنی هوش مصنوعی برای حفاظت از کاربران، رعایت مقررات و حفظ اعتماد عمومی ضروری است.
پژوهشگران یک سیستم هوش مصنوعی جدید ایجاد کردهاند که تصمیمگیری و شفافیت را با داشتن چند مدل هوش مصنوعی مستقل که به صورت جداگانه راهحلهای خود را پیشنهاد میکنند، بهبود میبخشد. سپس از یک «عامل استدلال مرکزی» برای مقایسه گزینهها، اعمال قوانین ایمنی و ارائه توضیحات واضح درباره نتیجه نهایی استفاده میشود.
تحقیقات نشان میدهد که حتی پیشرفتهترین سیستمهای هوش مصنوعی به طور مداوم نمیتوانند هشدارهای حقوق نشر درجشده در تصاویر و متن را شناسایی و رعایت کنند، که نگرانیهای قانونی و اخلاقی را در برابر استفاده وسیعتر از این سیستمها برمیانگیزد.
گوگل با اعلام یک توسعه جهانی گسترده برای حالت هوش مصنوعی (AI Mode) در جستجوی خود، مأموریت خود برای ادغام هوش مصنوعی در هسته خدماتش را به طور قابل توجهی تسریع کرده است. این ویژگی جستجوی پیشرفته که پیش از این تنها در ایالات متحده، هند و بریتانیا در دسترس بود، اکنون برای کاربران در … Read more
در یک تحول مهم برای ایمنی هوش مصنوعی، شرکت Anthropic یک ویژگی آزمایشی جدید معرفی کرده است که به مدلهای Claude Opus 4 و 4.1 خود این امکان را میدهد تا گفتگوهایی را که به طور مداوم مضر یا توهینآمیز تشخیص میدهند، خاتمه دهند. این اقدام، لحظهای کلیدی در رویکرد ما به اخلاق و یکپارچگی … Read more