به گزارش ثریا - شرکت «اوپنایآی»(OpenAI) در یک پست وبلاگ که خلاصهای را از مقاله جدید آن ارائه داده، توهمات را به عنوان «گزارههای محتمل اما نادرست تولیدشده توسط مدلهای زبانی» تعریف کرده و اذعان داشته است که به رغم پیشرفتهای صورتگرفته، توهمات همچنان یک چالش اساسی برای همه مدلهای زبانی بزرگ هستند و این چالش هرگز به طور کامل از بین نخواهد رفت.
به نقل از تک کرانچ، پژوهشگران اوپنایآی برای روشن شدن این نکته میگویند وقتی از یک چتبات پرکاربرد درباره عنوان رساله دکتری «آدام تاومن کالای»(Adam Tauman Kalai) یکی از نویسندگان مقاله پرسیدند، سه پاسخ متفاوت را دریافت کردند که هر سه اشتباه بودند. سپس، آنها درباره تاریخ تولد کالای پرسیدند و سه تاریخ متفاوت را دریافت کردند که همه آنها اشتباه بودند.
چطور ممکن است یک چتبات این قدر اشتباه کند و نسبت به اشتباه خود مطمئن به نظر برسد؟ پژوهشگران میگویند توهمات تا حدی به دلیل یک فرآیند پیشآموزش ایجاد میشوند که بر وادار کردن مدلها به پیشبینی درست کلمه بعدی بدون برچسبهای درست یا غلط متصل به عبارات آموزشی تمرکز دارد.
پژوهشگران در مقاله خود نوشتند: مدل فقط نمونههای مثبت زبان روان را میبیند و باید توزیع کلی را به صورت تقریبی مشخص کند. در مواردی که از الگوهای ثابت پیروی میکنند، خطاها با افزایش مقیاس ناپدید میشوند اما حقایق دلخواه با فرکانس پایین مانند تولد یک حیوان خانگی را نمیتوان صرفاً از الگوها پیشبینی کرد و از این رو به توهم منجر میشوند.
با وجود این، راه حل پیشنهادی این مقاله، کمتر بر فرآیند پیشآموزش اولیه و بیشتر بر نحوه ارزیابی مدلهای زبانی بزرگ تمرکز دارد. استدلال مقاله این است که خود مدلهای ارزیابی کنونی باعث توهم نمیشوند اما انگیزههای اشتباهی را ایجاد میکنند.
پژوهشگران این ارزیابیها را با نوعی از آزمونهای چندگزینهای مقایسه میکنند که در آنها حدس تصادفی، منطقی است زیرا ممکن است خوششانس باشید و درست حدس بزنید. این در حالی است که خالی گذاشتن پاسخ، امتیاز صفر را تضمین میکند.
پژوهشگران در ادامه نوشتند: به همین ترتیب، وقتی مدلها فقط براساس دقت یعنی درصد سوالاتی که دقیقاً درست پاسخ میدهند ارزیابی میشوند، تشویق میشوند که به جای گفتن «نمیدانم»، حدس بزنند.
راه حل پیشنهادی مشابه آزمونهایی مانند «SAT» است که شامل نمره منفی برای پاسخهای اشتباه یا امتیاز جزئی برای خالی گذاشتن سوالات به منظور جلوگیری از حدس زدن کورکورانه هستند. اوپنایآی میگوید ارزیابیهای مدل باید خطاهای مطمئن را بیشتر از عدم قطعیت جریمه کنند و برای عبارات مناسب عدم قطعیت، امتیاز جزئی بدهند.
پژوهشگران استدلال میکنند که معرفی چند آزمون جدید آگاهی از عدم قطعیت در کنار آن کافی نیست. در عوض، ارزیابیهای مبتنی بر دقت که به طور گسترده استفاده میشوند باید بهروزرسانی شوند تا امتیازدهی آنها مانع از حدس زدن شود.
پژوهشگران نوشتند: اگر تابلوهای امتیاز اصلی همچنان به حدسهای خوششانس پاداش دهند، مدلها به یادگیری حدس زدن ادامه خواهند داد.
منبع : هوش مصنوعی
«بچه مردم» به جشنواره زلین جمهوری چک میرود
«صبح روز چهلم» روی آنتن میرود؛ روایتی از جنگ رمضان
مستند «عروس لبنان» آماده نمایش شد
از تثبیت اجاره بهای سالنهای کنسرت چه خبر؟
رابرت دنیرو دوباره برای اسکورسیزی بازی میکند
توزیع ۳۰ هزار وعده غذایی میان زائران در حرم حضرت عباس(ع)
تمدید ثبت نام در مرحله دوم آزمون دکتری ۱۴۰۵ در دانشگاه علامه
آخرین مهلت پذیرش دکتری استادمحور بدون آزمون دردانشگاه علم و صنعت ایران
اینستاگرام، فیس بوک و واتساپ پولی میشوند؟
ساعت ۱۲ امشب آخرین فرصت ثبت نام در کنکور ۱۴۰۵
فیلم کوتاه «تامینا» روایت انسان های گرفتار انتخاب
فرماندهی رهبر شهید در بحرانها چگونه بود؟
از شروع «طوفان» با بازی کنت برانا تا اجرای نمایشی جدید در کاخ هنر
احیای موزه هنرهای معاصر اهواز با رویداد «سرزمین خورشید»
«آدابالحرب و الشجاعه»، نثری استوار از عشق به صلح و آیین جنگ
آزمون جایگزین دانشآموختگان پزشکی خارج از کشور برگزار شد
گوگلپلی و اپاستور در دسترس قرار گرفت
منع ثبت نام در کنکور ۱۴۰۵ برای ۳ گروه از داوطلبان
ظرفیت ۶۸۰ نفری برای فلوشیپ پزشکی
اعلام نتایج نهایی آزمون دستیاری فوق تخصصی پزشکی
توضیح وزیر علوم درباره حضوری شدن کلاسها و امتحانات دانشگاهها
کلاس های تحصیلات تکمیلی دانشگاه تهران حضوری شد
معرفی۱۳۶مؤسسه غیرمجاز اعزام دانشجو به مراجع قضایی
عید قربان؛ تجلی بندگی و عبور از تعلقات در مکتب ادیان ابراهیمی
به مناسبت عید قربان: حیات معنوی انسان بدون ایثار امکانپذیر نیست
برگزاری پویش یکماهه حفظ سوره فتح در آستانه ماه محرم
جشنواره تورنتو به استقبال «اودیسه» نولان میرود
کارگردان و عضو خانه تئاتر دچار حادثه شد
شکوه دعای امروز عرفه در مسجد مقدس جمکران
متن تشکر سید مجید موسوی از مهدی رسولی+عکس
پیرمرد بیرجرندی در اوج طوفان پرچم ایران را بر زمین نینداخت
«تیرانداز زبردست» با استقبال کودکان و نوجوانان به چاپ دوم رسید
تارا و رؤیای داشتن یک تلفن همراه شخصی
رمان «فرار از زنگ ورزش» برای نوجوانان منتشر شد
قصه گویی یک اسباببازی ارزان اما اثرگذار برای کودکان
ارسطوی پایتخت با یک سریال جدید به شبکه یک آمد
جناب خان و الیکا عبدالرزاقی به آنتن تلویزیون برگشتند
اسلامهراسی علیه زنان محجبه در اروپای سال ۲۰۲۵ افزایش یافته است
عدالت و پیشرفت در نگاه شهید لاریجانی چگونه بود؟
بازتاب گسترده پیام رهبر انقلاب به مناسبت برگزاری حج در رسانههای بین المللی
شرایط تغییر مدرسه در مرداد و شهریور اعلام شد
درخواست رئیس جمهور: زمینه حضور اساتید برجسته برای انتقال آموزشهای نوین فراهم شود
آییننامه «توسعه مشارکتهای مردمی از طریق تشکیل هیئت امنا در مدارس دولتی» تصویب شد
آگهی/ خرید قسطی طلای آب شده تا سقف ۱۰۰ میلیون تومان از وال گلد
این دعای عرفه را بخوانید تا ببینید چرا پدران ما قرنهاست حسین حسین (ع) میگویند
روزه گرفتن در روز عرفه چه حکمی دارد؟
توصیه آیت الله جوادی آملی برای انجام این عمل در روز عرفه
از ظهر تا غروب عرفه؛ این ساعتها را از دست ندهید
آمار ثبت نام در کنکور ۱۴۰۵ به حدود یک میلیون نفر رسید
جریمه چند میلیون دلاری و سنگین در انتظار گوگل در اروپا
رئیسجمهور مصوبه بازگشایی اینترنت بینالملل را ابلاغ کرد
صفحه اینترنت پرو از سایت همراه اول حذف شد+عکس
روایت وزیر ارتباطات از بازگشایی اینترنت
۵۰ برج فناوری احداث میشوند: ۳ دانشگاه پایلوت زیست بومی نوآوری میشود
«سعی صفا و مروه» در حج نماد چیست؟
افزایش پذیرش دانشجوی شهریهپرداز در دانشگاه تربیت مدرس
تائید ۱۲ رئیس دانشگاه و رئیس شهرک علمی صنعتی اصفهان
جزئیات برگزاری امتحانات و کلاسهای دانشگاه تربیت مدرس و علم و صنعت اعلام شد
کلاسهای دانشگاه شریف تا اطلاع ثانوی مجازی شد
کارمند گوگل در پی اعتراض به همکاری با رژیم صهیونیستی اخراج شد
مصوبات مهم جلسه ستاد فضای مجازی درباره وضعیت اینترنت اعلام شد
۱۷ هزار نسخه خطی کمنظیر و در معرض خطر دیجیتال سازی شد
«آدم با صدای بلند برای فرزندانش گریست» کتاب شد
کتابهایی خواندنی برای بچههای ایران
فروش فیلم جدید اصغر فرهادی در فرانسه چقدر است؟
اگر خرمشهر آزاد نشده بود چه اتفاقی میافتاد؟
پیام آیتالله نوری همدانی به مناسبت چهل و چهارمین سالگرد تأسیس دانشگاه آزاد اسلامی
دیگر اثری از بخارهای قمر مشتری نیست
الهام پاوه نژاد برای سالروز آزادسازی خرمشهر نوشت+عکس
شما بودید که شرف را معنا کردید +عکس
محسن شریفیان به مدرسه میناب رفت+عکس
«مثلی لا یبایع مثله» شعار اربعین حسینی امسال شد
راهکارهای مدیریت اضطراب دانشآموزان در روزهای امتحان چگونه است؟
امتحانات نهایی دانشآموزان مجازی میشود؟
عملیات بیتالمقدس در ۲۰ کتاب درسی ثبت میشود
امام باقر (ع) احیاگر مرجعیت علمی اهل بیت و پیشگام مبارزه با تحریف دین
یک ماهواره جاسوسی در فضا شناسایی شد
تمدید مهلت ثبت مهمانی و نقل و انتقال دانشجویان تا ۸ خرداد
ارتقای خدمات خوابگاهی دانشگاه تهران همزمان با آغاز اسکان دانشجویان
تمهیدات جدید آموزشی در دانشگاه علم و صنعت اعلام شد
ارتقای خدمات خوابگاهی دانشگاه تهران همزمان با آغاز اسکان دانشجویان
جزئیات امتحانات و کلاسهای ترم دوم در چند دانشگاه کشور اعلام شد
آگهی/ خرید قسطی طلای آب شده تا سقف ۱۰۰ میلیون تومان از وال گلد
تمهیدات جدید آموزشی در دانشگاه علم و صنعت اعلام شد
دیگر اثری از بخارهای قمر مشتری نیست
الهام پاوه نژاد برای سالروز آزادسازی خرمشهر نوشت+عکس
تمدید مهلت ثبت مهمانی و نقل و انتقال دانشجویان تا ۸ خرداد
شما بودید که شرف را معنا کردید +عکس
کلاسهای دانشگاه شریف تا اطلاع ثانوی مجازی شد
افزایش پذیرش دانشجوی شهریهپرداز در دانشگاه تربیت مدرس
یک ماهواره جاسوسی در فضا شناسایی شد
پیام آیتالله نوری همدانی به مناسبت چهل و چهارمین سالگرد تأسیس دانشگاه آزاد اسلامی
محسن شریفیان به مدرسه میناب رفت+عکس
فروش فیلم جدید اصغر فرهادی در فرانسه چقدر است؟
امتحانات نهایی دانشآموزان مجازی میشود؟
«مثلی لا یبایع مثله» شعار اربعین حسینی امسال شد
«آدم با صدای بلند برای فرزندانش گریست» کتاب شد
عملیات بیتالمقدس در ۲۰ کتاب درسی ثبت میشود
کتابهایی خواندنی برای بچههای ایران
مصوبات مهم جلسه ستاد فضای مجازی درباره وضعیت اینترنت اعلام شد
راهکارهای مدیریت اضطراب دانشآموزان در روزهای امتحان چگونه است؟
امام باقر (ع) احیاگر مرجعیت علمی اهل بیت و پیشگام مبارزه با تحریف دین
۵۰ برج فناوری احداث میشوند: ۳ دانشگاه پایلوت زیست بومی نوآوری میشود
روزه گرفتن در روز عرفه چه حکمی دارد؟
به مناسبت عید قربان: حیات معنوی انسان بدون ایثار امکانپذیر نیست
اگر خرمشهر آزاد نشده بود چه اتفاقی میافتاد؟
۱۷ هزار نسخه خطی کمنظیر و در معرض خطر دیجیتال سازی شد
توصیه آیت الله جوادی آملی برای انجام این عمل در روز عرفه
آمار ثبت نام در کنکور ۱۴۰۵ به حدود یک میلیون نفر رسید
اعلام نتایج نهایی آزمون دستیاری فوق تخصصی پزشکی
نظراتی که حاوی توهین یا افترا به اشخاص ،قومیت ها ،عقاید دیگران باشد و یا با قوانین کشور وآموزه های دینی مغایرت داشته باشد منتشر نخواهد شد - لطفاً نظرات خود را با حروف فارسی تایپ کنید.