به گزارش ثریا به نظر میرسد که مرحله ماه عسل برای مدلهای زبانی بزرگ(LLM) که با عجله برای نفوذ به فضای هوش مصنوعی مولد معرفی شدند، به پایان رسیده است، چرا که بر اساس مطالعهای که توسط پژوهشگران دانشگاه استنفورد و کالیفرنیا برکلی انجام شده، عملکرد مدلهای زبانی بزرگ شرکت OpenAI در طول زمان به طور قابل توجهی کاهش یافته است.
پژوهشگران با توجه به این که این مدلها میتوانند بر اساس دادهها، بازخورد کاربران و تغییراتِ طراحی، بهروز شوند، میخواستند ببینند که آیا این مدلهای زبانی بزرگ در حال بهبود هستند یا نه؟
این تیم رفتار نسخههای عرضه شده در ماه مارس ۲۰۲۳ و ماه ژوئن ۲۰۲۳ از مدلهای GPT-۳.۵ و GPT-۴ را در چهار وظیفه ارزیابی کردند. اولی حل مسائل ریاضی، دومی پاسخ دادن به سوالات حساس یا خطرناک، سومی تولید کد و چهارمی ارزیابی مدلها در استدلال بصری بود.
قابلیتهای متنوع مدلهای زبانی بزرگ
گزارش شرکت OpenAI هنگام معرفی GPT-۴ در ماه مه امسال ادعا کرد که GPT-۴ بسیار قابل اعتمادتر و خلاقانهتر است و میتواند دستورالعملهای ظریفتری را نسبت به GPT-۳.۵ انجام دهد.
همچنین اخیراً نشان داده شد که GPT-۴ امتحانات دشواری را در حوزههای حرفهای مانند پزشکی و حقوق با موفقیت پشت سر میگذارد.
با این حال، پژوهشگران دریافتند که عملکرد و رفتار GPT-۳.۵ و GPT-۴ در نسخههای مربوطه به ماههای مارس و ژوئن متفاوت است.
مدل GPT-۴ در نسخه مارس ۲۰۲۳، میتوانست اعداد اول را با دقت ۹۷.۶ شناسایی کند، اما این تیم دریافت که در نسخه ژوئن ۲۰۲۳ در همان سؤالات با دقت غیر منتظره ۲.۴ درصد عملکرد بسیار ضعیفی داشت. همچنین نسخه ژوئن ۲۰۲۳ مدل GPT-۳.۵ در همان وظیفه بسیار بهتر از نسخه مارس ۲۰۲۳ بود.
این تیم همچنین دریافت که نسخه ماه ژوئن GPT-۴ نسبت به ماه مارس تمایل کمتری به پاسخگویی به سوالات حساس داشت و هر دو مدل GPT-۴ و GPT-۳.۵ در تولید کد در ژوئن نسبت به ماه مارس اشتباهات بیشتری داشتند.
افزایش نگرانی در مورد تمایل مدلهای زبانی بزرگ به هذیانگویی
پژوهشگران میگویند خبر خوب این است که بهروزرسانی GPT-۴ نسبت به حملات جیلبریک(Jailbreak) قویتر از GPT-۳.۵ بود.
جیلبریک نوعی دستکاری است که در آن یک درخواست برای پنهان کردن یک سوال مخرب و فراتر رفتن از مرزهای حفاظتی ساخته میشود و اعلان مدل زبانی بزرگ را برای ایجاد پاسخهایی دستکاری میکند که میتواند به ایجاد بدافزار کمک کند.
در حالی که جهان با ChatGPT مسحور شده است، این مطالعه یادآوری قدرتمندی است که توسعه دهندگان باید به طور مداوم رفتار مدلهای زبانی بزرگ را در برنامههای تولیدیشان ارزیابی و نظارت کنند.
پژوهشگران میگویند: ما قصد داریم یافتههای ارائه شده در اینجا را در یک مطالعه طولانیمدت با ارزیابی منظم GPT-۳.۵، GPT-۴ و سایر مدلهای زبانی بزرگ در وظایف مختلف در طول زمان بهروزرسانی کنیم.
آنها افزودند: به کاربران یا شرکتهایی که به خدمات مدلهای زبانی بزرگ در جریان کار مداوم خود متکی هستند، توصیه میکنیم که تحلیل نظارتی مشابهی را که ما در اینجا روی آنها انجام میدهیم، پیادهسازی کنند.
در مقابل، مطالعه دیگری توسط گروهی از پژوهشگران شرکت مایکروسافت که میلیاردها دلار در OpenAI سرمایهگذاری کرده انجام شده است و جالب اینجاست که نتایج آن مطالعه نشان میدهد که GPT-۴ گامی مهم به سوی هوش مصنوعی عمومی(AGI) است که بسیاری در صنعت هوش مصنوعی میگویند که ادعایی خطرناک است.
منبع: ایسنا
آمادگی دانشگاه پیام نور برای میزبانی از آزمونهای سایر دانشگاهها
امتحانات پایانترم تحصیلات تکمیلی دانشگاه آزاد حضوری شد
مذاکره با دستگاهها برای توسعه صادرات محصولات فریلنسرها
زمان مصاحبههای آزمون دکتری سال ۱۴۰۵ تغییر کرد
تمدید مهلت ارسال مقالات سومین همایش هیئت و آیینهای مذهبی
زمان برگزاری آزمون زبان انگلیسی تولیمو تغییر کرد
سیره عملی میرزا جواد آقا ملکی تبریزی، مبتنی بر اصل «شکستن منیت» بود
افتتاح مسجد السلام در امارات با ظرفیت ۴ هزار نمازگزار
بنیامیه، نخستین و وحشتناکترین «خصولتی» تاریخ اسلام
بذر انحراف مجاهدین از سال۴۴ کاشته شد/نقش ساواک و زندان در تعمیق انحراف
شیخ حسین انصاریان: چشمی که بر حسین (ع) گریه کند در قیامت گریان نیست
افبیآی شهر کامل با بیمارستان، هتل و نیروگاه ساخت تا حملات سایبری را تمرین کند
بررسی ظرفیتهای هوش مصنوعی برای ارتقای خدمات زائران در نشست مشترک معاونت علمی و آستان قدس رضوی
ممنوع شدن هوش مصنوعی برای دانش آموزان ابتدایی نروژی
ناسا یک رصدخانه فضایی را در میانه زمین و آسمان به ارتفاع بالاتر میبرد
مصوبات جدید فرصتهای تحقیقاتی خارج از کشور دکتری ابلاغ شد
زنان بیشترین داوطلبان آزمون سمپاد/ نتایج اوایل مرداد اعلام میشود
سریال جدید «سرخدار» در راه آنتن: عمار تفتی به تلویزیون بازگشت
کشف نشانههای اولیه افسردگی در چشم کودکان
دانشمند ایرانی: مغز ما برای این همه خبر بد طراحی نشده است
تنش در ایستگاه فضایی بالا گرفت: ناسا از فضانوردانش خواست پناه بگیرند
محققان هشدار دادند: ایجاد نقاط داغ آلودگی در تنگه هرمز به دلیل ترافیک دریایی
یکی از این ستارههای دوقلو یک سیاره فراخورشیدی را بلعیده است
میلیاردرهای حوزه فناوری راز جوانی ابدی را کشف کردهاند؟
تصویری از یکی از شهدای کوچک امروز لبنان
وزیر آموزش و پرورش: بهرهبرداری از ۲۰۰ تا ۲۵۰ کلاس درس جدید در خراسان رضوی
معاون تربیتبدنی و سلامت: یک میلیون دانشآموز سفیر ایمنی و کمکهای اولیه شدند
۵۰۰ هزار دانشآموز زیر چتر کارت نشاط قرار گرفتند
آزمون مدارس سمپاد و نمونه دولتی با بیش از نیم میلیون داوطلب برگزار شد
پرداخت حقوق فرهنگیان بدون تاخیر انجام میشود
قصهای خواندنی برای کودکان: وقتی روباه جنگل را بههم ریخت
حسن طهرانیمقدم پدر موشکی ایران چگونه با نمیشودها مبارزه کرد؟
از بچههای میناب تا ناوچه دنا و انستیتو همه در مستندهای جدید جنگی
مهرانه مهین ترابی پس از ۲۳ سال دوری از تئاتر به صحنه باز میگردد
سریالهای جدید برای پخش دوبله شدند
مادران برای کوچکترین شهید کربلا لالایی خواندند
راز زنده ماندن مومنان در برزخ؛ هدایت، مشروط به ولایت است
روایت حدادعادل از ویژگیهای آیت الله مجتبی خامنهای
ماجرای خواندنی دیدار دکتر شریعتی و علامه جعفری
حجت الاسلام پناهیان: شفافیت نامه اخیر رهبری نشانه قدرت جمهوری اسلامی است
تمدید مهلت پذیرش دانشجویان بینالمللی در دانشگاه علامه طباطبائی
قابلیت جدید واتساپ: پیام متنی یکبار قابل مشاهده به واتساپ میآید
شرکت اپل از گران شدن محصولات خود خبر داد
ساماندهی برنامههای هوش مصنوعی با محوریت تولید داخلی
هشدار وزیر علوم: هوش مصنوعی بدون اخلاق، پیشرفتهترین ابزار ظلم میشود
دادگاه در دهلی نو درخواست بازگشایی تلگرام را رد کرد
رشد استفاده از VPN در بعضی کشورهای اروپایی با قوانین جدید
انحصار قدرت و ثروت در الیگارشی اموی: از خلافت تا سلطنت
حجتالاسلام قمی: وحدت یعنی همبستگیِ آرا و سلایق متفاوت حول محور امام
راز زنده ماندن مؤمنان در برزخ تمسک به امام حق و ولی الله الاعظم است
اعلام مجموعههای امتحانی کنکور کارشناسی ارشد ۱۴۰۶
بازخوانی پنج فرمان راهبردی امام رضا (ع) در سلوک عاشورایی
فلسفه اسلامی و غفلت از «باید و نباید»های اجتماعی؛ یک شکاف تاریخی
اقتصاد فقط نان نیست؛ سلاح علی(ع) برای امنیت ملی و استقلال در برابر دشمنان
انتشار آثار میانرشتهای مسئلهمحور؛ اولویت جدید گروه سیاستپژوهی علوم انسانی
تغییر زمان آزمونهای کشوری و دانشگاهی به دلیل مراسم وداع و تشییع رهبر شهید
احیای اخلاق در زندگی فردی و اجتماعی با بازخوانی فلسفه عاشورا
بنی امیه چگونه به قدرت رسید؟/ تبارشناسی ۹۱ سال حکومت استبدادی
دعوت از عاشقان اهل بیت برای شرکت در طرح توسعه حرم امام حسین (ع)
منطقه زینبیه استانبول سیاهپوش محرم شد؛ آغاز برنامه های عزاداری
رئیس سازمان فضایی ایران خبر داد: بهکارگیری ظرفیتهای ویژه ماهوارهای در تشییع رهبر شهید انقلاب
زنگ میراث فرهنگی و موزه در مدارس نواخته میشود
معافیت برخی المپیادها از کنکور و همزمانی آزمونها؛ همچنان چالش اصلی دانشآموزان
قابل توجه دانش آموزان: برنامه جدید امتحانات نهایی اعلام شد+جدول
هشدار به مدارس غیردولتی؛ با هرگونه دریافت شهریه غیرقانونی برخورد میشود
دبیر شورای عالی انقلاب فرهنگی: اختیار پذیرش دانشجویان به دانشگاهها واگذار شود
حاج اکبر مولایی در اولین شب از ماه محرم آسمانی شد
روایت شیخ حسین انصاریان از سه حقی که خداوند بر انسانها نهاده است
تجمعات خیابانی و مراسم ویژه در میادین تهران برای عزاداری محرم
مصرفگرایی؛ پارادایم فرهنگی که تمام زندگی بشر را تسخیر کرد
شروع برنامه ملی «میناب ۱۵۶»؛ بورسیه تحصیلی برای دانشجویان مستعد کمبرخوردار
علی دایی به دیدار اکبر عبدی رفت+عکس
خروج هواپیماهای سوخترسان آمریکایی از فلسطین اشغالی پس از تفاهم با ایران
امیرحسین مدرس برنامه نغمههای حسینی را به مناسبت ماه محرم اجرا میکند
منوچهر هادی: درآوردن سکانس صدای رئیس جمهور در سریال ۴۸ ساعت وقت گرفت
دیوارنگاره میدان ولیعصر (عج) حال و هوای محرمی گرفت
نمایش تابوت عهد در تالار سایه به روی صحنه میرود
پانتهآ پناهیها در نمایش جدید صابر ابر به روی صحنه میرود
زمان تشییع پیکر بهروز رضوی اعلام شد
مساجد پایگاههایی برای شناسایی استعدادهای درخشان
وزیر علوم: دانشجویان جدیدالورود احتمالاً از نیمسال دوم وارد دانشگاه میشوند
دانشگاه علوم پزشکی تهران رتبه ۷۰۱ جهان را کسب کرد؛ همچنان صدرنشین دانشگاههای ایران
شروع برنامه ملی «میناب ۱۵۶»؛ بورسیه تحصیلی برای دانشجویان مستعد کمبرخوردار
تغییر زمان آزمونهای کشوری و دانشگاهی به دلیل مراسم وداع و تشییع رهبر شهید
حاج اکبر مولایی در اولین شب از ماه محرم آسمانی شد
زمان برگزاری آزمون کارشناسی ارشد ناپیوسته ۱۴۰۵ جابهجا شد
تجمعات خیابانی و مراسم ویژه در میادین تهران برای عزاداری محرم
بنی امیه چگونه به قدرت رسید؟/ تبارشناسی ۹۱ سال حکومت استبدادی
دانشجویان میتوانند اعتراض به احکام انضباطی را به وزارت علوم بدهند
منوچهر هادی: درآوردن سکانس صدای رئیس جمهور در سریال ۴۸ ساعت وقت گرفت
نگاهی به پیشینه تاریخی ایرانیان در عزاداری محرم
دبیر شورای عالی انقلاب فرهنگی: اختیار پذیرش دانشجویان به دانشگاهها واگذار شود
اعلام مجموعههای امتحانی کنکور کارشناسی ارشد ۱۴۰۶
زنگ میراث فرهنگی و موزه در مدارس نواخته میشود
دعوت از عاشقان اهل بیت برای شرکت در طرح توسعه حرم امام حسین (ع)
منطقه زینبیه استانبول سیاهپوش محرم شد؛ آغاز برنامه های عزاداری
انتشار آثار میانرشتهای مسئلهمحور؛ اولویت جدید گروه سیاستپژوهی علوم انسانی
علی دایی به دیدار اکبر عبدی رفت+عکس
خروج هواپیماهای سوخترسان آمریکایی از فلسطین اشغالی پس از تفاهم با ایران
معافیت برخی المپیادها از کنکور و همزمانی آزمونها؛ همچنان چالش اصلی دانشآموزان
به یاد کودکان میناب در جام جهانی فوتبال
محقق ایرانی پمپ مینیاتوری برای نرم روباتها ابداع کرد
مساجد پایگاههایی برای شناسایی استعدادهای درخشان
نمایش تابوت عهد در تالار سایه به روی صحنه میرود
خبر خوش برای فناوران علوم شناختی؛ حمایت بدون سقف از طرحهای فناوری
اندیشمندان مسلمان از شهدای کودک میناب میگویند
اخلاص و پیامرسانی؛ کلید ماندگاری عاشورا
پانتهآ پناهیها در نمایش جدید صابر ابر به روی صحنه میرود
قابل توجه دانش آموزان: برنامه جدید امتحانات نهایی اعلام شد+جدول
مصرفگرایی؛ پارادایم فرهنگی که تمام زندگی بشر را تسخیر کرد
نظراتی که حاوی توهین یا افترا به اشخاص ،قومیت ها ،عقاید دیگران باشد و یا با قوانین کشور وآموزه های دینی مغایرت داشته باشد منتشر نخواهد شد - لطفاً نظرات خود را با حروف فارسی تایپ کنید.