آسیبپذیری هوش مصنوعی Reimagine در Pixel 9: سوء استفاده آسان؟
تحولات هیجانانگیز اما نگرانکنندهای در حوزه ویرایش عکس مبتنی بر هوش مصنوعی در حال رخ دادن است. ویژگی Reimagine که انتظار میرود در خانواده Pixel 9 از طریق Magic Editor ارائه شود، به دلیل آسیبپذیری در برابر سوء استفاده، مورد بررسی قرار گرفته است و مسائل قبلی در مورد Sketch to Image هوش مصنوعی Galaxy را تکرار میکند.
دوره Red Teaming 101 در Cornell Tech نشان داد که چگونه میتوان به راحتی از محافظهای موجود در ابزارهای ویرایش عکس هوش مصنوعی عبور کرد. دانشجویان توانستند تصاویر ساختگی نگرانکننده و خطرناکی تولید کنند و خطرات بالقوه هوش مصنوعی در محو کردن مرز بین تخیل و واقعیت را برجسته کردند.
نمونههایی از تصاویر تولید شده شامل حملونقل عمومی تخریبشده، پارکهای پوشیده از زباله و حتی یک تانک M1 Abrams در حال حرکت در خیابانهای نیویورک بود. این تصاویر با دور زدن عمدی یا بیثبات کردن سرویس برای اهداف مطالعاتی ایجاد شدهاند، که نشان میدهد محدودیتها فقط بر روی کلمات کلیدی برای جلوگیری از ایجاد تصاویر نگرانکننده کافی نیستند.
آزمایشهای قبلی The Verge همچنین نتایج نگرانکنندهای را نشان داد، مانند تصاویر جعلی از بمبها و مواد سمی در نزدیکی مدارس. به گفته الکسیوس مانتزارلیس، استاد دانشگاه Cornell Tech، زمانی که مورد استفاده مضر محتوای خود پیام نباشد، بلکه تعامل آن با زمینه تصویر باشد، محافظهای ایمنی با مشکل مواجه میشوند.
در حالی که گوگل در حال کار بر روی واترمارک SynthID برای تصاویر تغییر یافته Reimagine است، محققان قبلاً توانایی حذف یا جعل چنین واترمارکهایی را نشان دادهاند. این مسابقه تسلیحاتی بیپایان، چالش جلوگیری از سوء استفاده را برجسته میکند.
سهولت ایجاد تصاویر قانعکننده، اما ساختگی، نگرانیهای مهمی را در مورد پتانسیل گسترش ترس و جنجال ایجاد میکند. با محو شدن مرز بین واقعیت و تخیل، به ویژه در رسانههای اجتماعی و انتشاراتی، خطر استفاده از هوش مصنوعی برای اهداف شوم افزایش مییابد.
یک نمونه قابل توجه، تصویر با وضوح بالا از معترض لباسپوشیده به شکل پیکاچو در ترکیه است که به طور گسترده منتشر شده و به عنوان واقعی تلقی شده است. این حادثه پتانسیل هوش مصنوعی برای دخالت دادن افراد یا شخصیتها در رویدادهای ساختگی را نشان میدهد که میتواند پیامدهای گستردهای داشته باشد.
نکات کلیدی:
ابزارهای ویرایش عکس مبتنی بر هوش مصنوعی، مانند Reimagine، در برابر سوء استفاده آسیبپذیر هستند.
محدودیتهای ساده کلمات کلیدی برای جلوگیری از ایجاد تصاویر نگرانکننده کافی نیستند.
مرز بین واقعیت و تخیل به طور فزایندهای در حال محو شدن است و نگرانیهایی را در مورد اطلاعات نادرست ایجاد میکند.
تلاشهای واترمارک توسط توانایی محققان در حذف یا جعل آنها به چالش کشیده میشود.
پتانسیل استفاده از هوش مصنوعی برای اهداف شوم یک نگرانی رو به رشد است.
درباره آسیبپذیریهای ویرایش عکس هوش مصنوعی و خطرات بالقوه اطلاعات نادرست بیشتر بدانید:
[https://www.androidpolice.com/google-reimagine-ai-photo-editor-jailbreak-misinformation/]