به گزارش ثریا - شرکت «اوپنایآی»(OpenAI) در یک پست وبلاگ که خلاصهای را از مقاله جدید آن ارائه داده، توهمات را به عنوان «گزارههای محتمل اما نادرست تولیدشده توسط مدلهای زبانی» تعریف کرده و اذعان داشته است که به رغم پیشرفتهای صورتگرفته، توهمات همچنان یک چالش اساسی برای همه مدلهای زبانی بزرگ هستند و این چالش هرگز به طور کامل از بین نخواهد رفت.
به نقل از تک کرانچ، پژوهشگران اوپنایآی برای روشن شدن این نکته میگویند وقتی از یک چتبات پرکاربرد درباره عنوان رساله دکتری «آدام تاومن کالای»(Adam Tauman Kalai) یکی از نویسندگان مقاله پرسیدند، سه پاسخ متفاوت را دریافت کردند که هر سه اشتباه بودند. سپس، آنها درباره تاریخ تولد کالای پرسیدند و سه تاریخ متفاوت را دریافت کردند که همه آنها اشتباه بودند.
چطور ممکن است یک چتبات این قدر اشتباه کند و نسبت به اشتباه خود مطمئن به نظر برسد؟ پژوهشگران میگویند توهمات تا حدی به دلیل یک فرآیند پیشآموزش ایجاد میشوند که بر وادار کردن مدلها به پیشبینی درست کلمه بعدی بدون برچسبهای درست یا غلط متصل به عبارات آموزشی تمرکز دارد.
پژوهشگران در مقاله خود نوشتند: مدل فقط نمونههای مثبت زبان روان را میبیند و باید توزیع کلی را به صورت تقریبی مشخص کند. در مواردی که از الگوهای ثابت پیروی میکنند، خطاها با افزایش مقیاس ناپدید میشوند اما حقایق دلخواه با فرکانس پایین مانند تولد یک حیوان خانگی را نمیتوان صرفاً از الگوها پیشبینی کرد و از این رو به توهم منجر میشوند.
با وجود این، راه حل پیشنهادی این مقاله، کمتر بر فرآیند پیشآموزش اولیه و بیشتر بر نحوه ارزیابی مدلهای زبانی بزرگ تمرکز دارد. استدلال مقاله این است که خود مدلهای ارزیابی کنونی باعث توهم نمیشوند اما انگیزههای اشتباهی را ایجاد میکنند.
پژوهشگران این ارزیابیها را با نوعی از آزمونهای چندگزینهای مقایسه میکنند که در آنها حدس تصادفی، منطقی است زیرا ممکن است خوششانس باشید و درست حدس بزنید. این در حالی است که خالی گذاشتن پاسخ، امتیاز صفر را تضمین میکند.
پژوهشگران در ادامه نوشتند: به همین ترتیب، وقتی مدلها فقط براساس دقت یعنی درصد سوالاتی که دقیقاً درست پاسخ میدهند ارزیابی میشوند، تشویق میشوند که به جای گفتن «نمیدانم»، حدس بزنند.
راه حل پیشنهادی مشابه آزمونهایی مانند «SAT» است که شامل نمره منفی برای پاسخهای اشتباه یا امتیاز جزئی برای خالی گذاشتن سوالات به منظور جلوگیری از حدس زدن کورکورانه هستند. اوپنایآی میگوید ارزیابیهای مدل باید خطاهای مطمئن را بیشتر از عدم قطعیت جریمه کنند و برای عبارات مناسب عدم قطعیت، امتیاز جزئی بدهند.
پژوهشگران استدلال میکنند که معرفی چند آزمون جدید آگاهی از عدم قطعیت در کنار آن کافی نیست. در عوض، ارزیابیهای مبتنی بر دقت که به طور گسترده استفاده میشوند باید بهروزرسانی شوند تا امتیازدهی آنها مانع از حدس زدن شود.
پژوهشگران نوشتند: اگر تابلوهای امتیاز اصلی همچنان به حدسهای خوششانس پاداش دهند، مدلها به یادگیری حدس زدن ادامه خواهند داد.
منبع : هوش مصنوعی
پرفروشترین کتابهای نمایشگاه مجازی کتاب هفتم مشخص شدند
خانم خبرنگار: نقد کتاب گمشده امروز رسانههاست
جامعه ایرانی با تکیه بر دینداری و مقاومت سرمایهای عظیم برای کشور است
آیتالله رشاد: فهم معارف ولایت، توفیقی از جانب خداست
استاد داوری اردکانی: بود و نبود فلسفهای که با نظم زندگی در هماهنگی نباشد، یکی است
بازخوانی و تحلیل پیامهای رهبر انقلاب در دانشگاه آزاد اسلامی
مهلت ثبتنام کارشناسی ارشد پردیس بینالمللی دانشگاه امیرکبیر تمدید شد
احتمال تغییر در تقویم آموزشی دانشگاهها برای مدیریت بحران انرژی قوت گرفت
ایران با ارتقای دو پلهای در رتبه ۶ جهانی مدارک علمی پراستناد قرار گرفت
برنامه کامل زمان بندی آزمونهای سال ۱۴۰۵ اعلام شد
اعتراف به ضعفهای کاخ سفید در دوران بایدن در کتاب خاطرات همسرش
چگونه یک بنای ایرانی، معماری غرب را دگرگون کرد؟
در اینجا کتابها بیشتر از اسباببازی فروش رفتند
استوری پرواز همای به یاد شهدای جنگ رمضان
تصویر دیده نشده از شهید نصرالله و سپهبد سلامی و محمد پاکپور
«دولتشهر تنها»، خرده روایت هایی از روستاهای کردنشین و محله های تهران
شاهنامه چگونه سیستم ایمنی جامعه ایرانی را تقویت میکند؟
وزیر ارشاد: تجمعات خیابانی اکسیر شجاعت مردم ایران را تکثیر کرد
کاظمی: پیشنهادات تاثیر قطعی معدل در کنکور به شورای عالی انقلاب فرهنگی ارائه شد
وزیر آموزش و پرورش: نهضت عدالت آموزشی فقط مدرسهسازی نیست
امسال تمامی مراحل ثبت نام دانش آموزان غیرحضوری انجام میشود
امتحانات پایههای اول تا دهم از امروز آغاز میشود
محکومیت ۱۲ میلیاردی فرزاد فرزین باطل شد
عروسی خون در «کشتارگاه» را ببینید
بازدیدهای به وقت ایران ۱۰ میلیونی شد
زمان دقیق برگزاری کنکور سراسری و ارشد ۱۴۰۵ اعلام شد
مدل جدید چت جی پی تی تبدیل به سلاح بانک های ژاپنی در مقابل هکرها شد
میز مطالعات اجتماعی جنگ در وزارت علوم تأسیس شد
بازگشت تدریجی به محیطهای دانشگاهی آغاز شد
وطندوستی در ذهنیت ایرانی اصل مسلم است
«بچه مردم» به جشنواره زلین جمهوری چک میرود
«صبح روز چهلم» روی آنتن میرود؛ روایتی از جنگ رمضان
مستند «عروس لبنان» آماده نمایش شد
از تثبیت اجاره بهای سالنهای کنسرت چه خبر؟
رابرت دنیرو دوباره برای اسکورسیزی بازی میکند
توزیع ۳۰ هزار وعده غذایی میان زائران در حرم حضرت عباس(ع)
تمدید ثبت نام در مرحله دوم آزمون دکتری ۱۴۰۵ در دانشگاه علامه
آخرین مهلت پذیرش دکتری استادمحور بدون آزمون دردانشگاه علم و صنعت ایران
اینستاگرام، فیس بوک و واتساپ پولی میشوند؟
ساعت ۱۲ امشب آخرین فرصت ثبت نام در کنکور ۱۴۰۵
فیلم کوتاه «تامینا» روایت انسان های گرفتار انتخاب
فرماندهی رهبر شهید در بحرانها چگونه بود؟
از شروع «طوفان» با بازی کنت برانا تا اجرای نمایشی جدید در کاخ هنر
احیای موزه هنرهای معاصر اهواز با رویداد «سرزمین خورشید»
«آدابالحرب و الشجاعه»، نثری استوار از عشق به صلح و آیین جنگ
آزمون جایگزین دانشآموختگان پزشکی خارج از کشور برگزار شد
گوگلپلی و اپاستور در دسترس قرار گرفت
منع ثبت نام در کنکور ۱۴۰۵ برای ۳ گروه از داوطلبان
ظرفیت ۶۸۰ نفری برای فلوشیپ پزشکی
اعلام نتایج نهایی آزمون دستیاری فوق تخصصی پزشکی
توضیح وزیر علوم درباره حضوری شدن کلاسها و امتحانات دانشگاهها
کلاس های تحصیلات تکمیلی دانشگاه تهران حضوری شد
معرفی۱۳۶مؤسسه غیرمجاز اعزام دانشجو به مراجع قضایی
عید قربان؛ تجلی بندگی و عبور از تعلقات در مکتب ادیان ابراهیمی
به مناسبت عید قربان: حیات معنوی انسان بدون ایثار امکانپذیر نیست
برگزاری پویش یکماهه حفظ سوره فتح در آستانه ماه محرم
جشنواره تورنتو به استقبال «اودیسه» نولان میرود
کارگردان و عضو خانه تئاتر دچار حادثه شد
شکوه دعای امروز عرفه در مسجد مقدس جمکران
متن تشکر سید مجید موسوی از مهدی رسولی+عکس
پیرمرد بیرجرندی در اوج طوفان پرچم ایران را بر زمین نینداخت
«تیرانداز زبردست» با استقبال کودکان و نوجوانان به چاپ دوم رسید
تارا و رؤیای داشتن یک تلفن همراه شخصی
رمان «فرار از زنگ ورزش» برای نوجوانان منتشر شد
قصه گویی یک اسباببازی ارزان اما اثرگذار برای کودکان
ارسطوی پایتخت با یک سریال جدید به شبکه یک آمد
جناب خان و الیکا عبدالرزاقی به آنتن تلویزیون برگشتند
اسلامهراسی علیه زنان محجبه در اروپای سال ۲۰۲۵ افزایش یافته است
عدالت و پیشرفت در نگاه شهید لاریجانی چگونه بود؟
بازتاب گسترده پیام رهبر انقلاب به مناسبت برگزاری حج در رسانههای بین المللی
شرایط تغییر مدرسه در مرداد و شهریور اعلام شد
درخواست رئیس جمهور: زمینه حضور اساتید برجسته برای انتقال آموزشهای نوین فراهم شود
آییننامه «توسعه مشارکتهای مردمی از طریق تشکیل هیئت امنا در مدارس دولتی» تصویب شد
آگهی/ خرید قسطی طلای آب شده تا سقف ۱۰۰ میلیون تومان از وال گلد
این دعای عرفه را بخوانید تا ببینید چرا پدران ما قرنهاست حسین حسین (ع) میگویند
روزه گرفتن در روز عرفه چه حکمی دارد؟
توصیه آیت الله جوادی آملی برای انجام این عمل در روز عرفه
از ظهر تا غروب عرفه؛ این ساعتها را از دست ندهید
آمار ثبت نام در کنکور ۱۴۰۵ به حدود یک میلیون نفر رسید
جریمه چند میلیون دلاری و سنگین در انتظار گوگل در اروپا
ساعت ۱۲ امشب آخرین فرصت ثبت نام در کنکور ۱۴۰۵
منع ثبت نام در کنکور ۱۴۰۵ برای ۳ گروه از داوطلبان
اعلام نتایج نهایی آزمون دستیاری فوق تخصصی پزشکی
به مناسبت عید قربان: حیات معنوی انسان بدون ایثار امکانپذیر نیست
ظرفیت ۶۸۰ نفری برای فلوشیپ پزشکی
آخرین مهلت پذیرش دکتری استادمحور بدون آزمون دردانشگاه علم و صنعت ایران
توضیح وزیر علوم درباره حضوری شدن کلاسها و امتحانات دانشگاهها
برنامه کامل زمان بندی آزمونهای سال ۱۴۰۵ اعلام شد
جشنواره تورنتو به استقبال «اودیسه» نولان میرود
عید قربان؛ تجلی بندگی و عبور از تعلقات در مکتب ادیان ابراهیمی
کارگردان و عضو خانه تئاتر دچار حادثه شد
معرفی۱۳۶مؤسسه غیرمجاز اعزام دانشجو به مراجع قضایی
بازگشت تدریجی به محیطهای دانشگاهی آغاز شد
شرایط تغییر مدرسه در مرداد و شهریور اعلام شد
شکوه دعای امروز عرفه در مسجد مقدس جمکران
آزمون جایگزین دانشآموختگان پزشکی خارج از کشور برگزار شد
عدالت و پیشرفت در نگاه شهید لاریجانی چگونه بود؟
برگزاری پویش یکماهه حفظ سوره فتح در آستانه ماه محرم
کلاس های تحصیلات تکمیلی دانشگاه تهران حضوری شد
زمان دقیق برگزاری کنکور سراسری و ارشد ۱۴۰۵ اعلام شد
درخواست رئیس جمهور: زمینه حضور اساتید برجسته برای انتقال آموزشهای نوین فراهم شود
«بچه مردم» به جشنواره زلین جمهوری چک میرود
«تیرانداز زبردست» با استقبال کودکان و نوجوانان به چاپ دوم رسید
اسلامهراسی علیه زنان محجبه در اروپای سال ۲۰۲۵ افزایش یافته است
اینستاگرام، فیس بوک و واتساپ پولی میشوند؟
ارسطوی پایتخت با یک سریال جدید به شبکه یک آمد
پیرمرد بیرجرندی در اوج طوفان پرچم ایران را بر زمین نینداخت
آییننامه «توسعه مشارکتهای مردمی از طریق تشکیل هیئت امنا در مدارس دولتی» تصویب شد
متن تشکر سید مجید موسوی از مهدی رسولی+عکس
بازدیدهای به وقت ایران ۱۰ میلیونی شد
نظراتی که حاوی توهین یا افترا به اشخاص ،قومیت ها ،عقاید دیگران باشد و یا با قوانین کشور وآموزه های دینی مغایرت داشته باشد منتشر نخواهد شد - لطفاً نظرات خود را با حروف فارسی تایپ کنید.