مدلهای زبان بزرگ چندوجهی، سیستمهای هوش مصنوعی پیشرفتهای هستند که برای درک و تولید محتوا از چندین نوع داده به طور همزمان، مانند متن و تصویر، طراحی شدهاند. این مقاله بر روی این مدلها تمرکز دارد و نشان میدهد که علیرغم توانایی آنها در پردازش هر دو وجه، یک سوگیری ذاتی به نفع اطلاعات متنی دارند. این مشکل توانایی آنها را برای استدلال مبتنی بر شواهد بصری محدود میکند. تحقیق ارائه شده، با شناسایی «جدایی فضای کلید» به عنوان علت اصلی، درک ما را از عملکرد داخلی این مدلهای پیچیده عمیقتر میکند و بر نیاز به نوآوریهای معماری برای دستیابی به یکپارچگی واقعی چندوجهی تأکید میورزد.
آیا تا به حال متوجه شدهاید که حتی پیشرفتهترین مدلهای هوش مصنوعی نیز گاهی اوقات تصاویری را که به آنها میدهید نادیده میگیرند و بیشتر به متن تکیه میکنند؟ این فقط تصور شما نیست. یک مطالعه پیشگامانه نشان میدهد که این مسئله یک ویژگی عجیب یا نتیجه دادههای آموزشی جانبدارانه نیست، بلکه یک نقص اساسی … Read more