به گزارش ثریا به نظر میرسد که مرحله ماه عسل برای مدلهای زبانی بزرگ(LLM) که با عجله برای نفوذ به فضای هوش مصنوعی مولد معرفی شدند، به پایان رسیده است، چرا که بر اساس مطالعهای که توسط پژوهشگران دانشگاه استنفورد و کالیفرنیا برکلی انجام شده، عملکرد مدلهای زبانی بزرگ شرکت OpenAI در طول زمان به طور قابل توجهی کاهش یافته است.
پژوهشگران با توجه به این که این مدلها میتوانند بر اساس دادهها، بازخورد کاربران و تغییراتِ طراحی، بهروز شوند، میخواستند ببینند که آیا این مدلهای زبانی بزرگ در حال بهبود هستند یا نه؟
این تیم رفتار نسخههای عرضه شده در ماه مارس ۲۰۲۳ و ماه ژوئن ۲۰۲۳ از مدلهای GPT-۳.۵ و GPT-۴ را در چهار وظیفه ارزیابی کردند. اولی حل مسائل ریاضی، دومی پاسخ دادن به سوالات حساس یا خطرناک، سومی تولید کد و چهارمی ارزیابی مدلها در استدلال بصری بود.
قابلیتهای متنوع مدلهای زبانی بزرگ
گزارش شرکت OpenAI هنگام معرفی GPT-۴ در ماه مه امسال ادعا کرد که GPT-۴ بسیار قابل اعتمادتر و خلاقانهتر است و میتواند دستورالعملهای ظریفتری را نسبت به GPT-۳.۵ انجام دهد.
همچنین اخیراً نشان داده شد که GPT-۴ امتحانات دشواری را در حوزههای حرفهای مانند پزشکی و حقوق با موفقیت پشت سر میگذارد.
با این حال، پژوهشگران دریافتند که عملکرد و رفتار GPT-۳.۵ و GPT-۴ در نسخههای مربوطه به ماههای مارس و ژوئن متفاوت است.
مدل GPT-۴ در نسخه مارس ۲۰۲۳، میتوانست اعداد اول را با دقت ۹۷.۶ شناسایی کند، اما این تیم دریافت که در نسخه ژوئن ۲۰۲۳ در همان سؤالات با دقت غیر منتظره ۲.۴ درصد عملکرد بسیار ضعیفی داشت. همچنین نسخه ژوئن ۲۰۲۳ مدل GPT-۳.۵ در همان وظیفه بسیار بهتر از نسخه مارس ۲۰۲۳ بود.
این تیم همچنین دریافت که نسخه ماه ژوئن GPT-۴ نسبت به ماه مارس تمایل کمتری به پاسخگویی به سوالات حساس داشت و هر دو مدل GPT-۴ و GPT-۳.۵ در تولید کد در ژوئن نسبت به ماه مارس اشتباهات بیشتری داشتند.
افزایش نگرانی در مورد تمایل مدلهای زبانی بزرگ به هذیانگویی
پژوهشگران میگویند خبر خوب این است که بهروزرسانی GPT-۴ نسبت به حملات جیلبریک(Jailbreak) قویتر از GPT-۳.۵ بود.
جیلبریک نوعی دستکاری است که در آن یک درخواست برای پنهان کردن یک سوال مخرب و فراتر رفتن از مرزهای حفاظتی ساخته میشود و اعلان مدل زبانی بزرگ را برای ایجاد پاسخهایی دستکاری میکند که میتواند به ایجاد بدافزار کمک کند.
در حالی که جهان با ChatGPT مسحور شده است، این مطالعه یادآوری قدرتمندی است که توسعه دهندگان باید به طور مداوم رفتار مدلهای زبانی بزرگ را در برنامههای تولیدیشان ارزیابی و نظارت کنند.
پژوهشگران میگویند: ما قصد داریم یافتههای ارائه شده در اینجا را در یک مطالعه طولانیمدت با ارزیابی منظم GPT-۳.۵، GPT-۴ و سایر مدلهای زبانی بزرگ در وظایف مختلف در طول زمان بهروزرسانی کنیم.
آنها افزودند: به کاربران یا شرکتهایی که به خدمات مدلهای زبانی بزرگ در جریان کار مداوم خود متکی هستند، توصیه میکنیم که تحلیل نظارتی مشابهی را که ما در اینجا روی آنها انجام میدهیم، پیادهسازی کنند.
در مقابل، مطالعه دیگری توسط گروهی از پژوهشگران شرکت مایکروسافت که میلیاردها دلار در OpenAI سرمایهگذاری کرده انجام شده است و جالب اینجاست که نتایج آن مطالعه نشان میدهد که GPT-۴ گامی مهم به سوی هوش مصنوعی عمومی(AGI) است که بسیاری در صنعت هوش مصنوعی میگویند که ادعایی خطرناک است.
منبع: ایسنا
آموزش تدبر در قرآن ویژه کارکنان دولت اجرایی میشود
تابلوی ۶۰۰ ساله تایلندی، سند تاریخی پیشینه آئینهای حسینی
بشارت امام صادق (ع) به پیرمرد ۱۰۰ ساله؛ کلید رستگاری در دنیا و آخرت
انتقاد از یک بازیگر و کمدین برای حضور در مراسم ترامپ؛ با فاشیستها عکس نگیر!
مجموعه کامل فیلمهای استنلی کوبریک در یک بسته خاص عرضه میشود
تاثیر حرف مردم بر سرنوشت یک دختر؛ ایده «مرجان» از کجا پیدا شد؟
مدارک مورد پذیرش برای آزمون دکتری تخصصی و پژوهشی اعلام شد
دانشگاه آزاد شرایط امتحانات پایانترم دانشجویان ارشد و دکتری در شهر محل سکونت را اعلام کرد
مخاطب از دیدن این سریال تکراری خسته نمیشود؛ جادوی «مختارنامه» چیست؟
مجریان تراز زبان فارسی معرفی شدند؛ پدافند زبانی با اجرا!
این ۳ کارگردان معروف برای تشییع رهبر شهید مستند میسازند
توییت جدید محمدباقر قالیباف با انتشار صحنه سیو بیرانوند+عکس
از گاندی تا کارلایل، همه مرید حسین (ع)
ماشین ثروتاندوزی امویان؛ از باندبازی تا احیای هدایای نوروزی
همانگونه که جسم به روزی مادی نیاز دارد، روح نیز به معرفت محتاج است
آیا ماجرای ازدواج حضرت قاسم (ع) در کربلا صحت دارد؟
«حسینیه بهشت»، پیوند خانههای شهدا با خیمههای عاشورا
مهلت ثبتنام در کاروان قرآنی اعزامی به اربعین تا ۵ تیرماه
عکس | جایزه بهترین بازیکن دیدار در دستان علی بیرو
گوشوارههایی که تاریخ فراموششان نکرد
چمران هنوز زنده است
یک فهرست متفاوت از بهترینهای سال ۲۰۲۶ در نیمه راه؛ مستقلها پیشتازند
آمادگی دانشگاه پیام نور برای میزبانی از آزمونهای سایر دانشگاهها
امتحانات پایانترم تحصیلات تکمیلی دانشگاه آزاد حضوری شد
مذاکره با دستگاهها برای توسعه صادرات محصولات فریلنسرها
زمان مصاحبههای آزمون دکتری سال ۱۴۰۵ تغییر کرد
تمدید مهلت ارسال مقالات سومین همایش هیئت و آیینهای مذهبی
زمان برگزاری آزمون زبان انگلیسی تولیمو تغییر کرد
سیره عملی میرزا جواد آقا ملکی تبریزی، مبتنی بر اصل «شکستن منیت» بود
افتتاح مسجد السلام در امارات با ظرفیت ۴ هزار نمازگزار
بنیامیه، نخستین و وحشتناکترین «خصولتی» تاریخ اسلام
بذر انحراف مجاهدین از سال۴۴ کاشته شد/نقش ساواک و زندان در تعمیق انحراف
شیخ حسین انصاریان: چشمی که بر حسین (ع) گریه کند در قیامت گریان نیست
افبیآی شهر کامل با بیمارستان، هتل و نیروگاه ساخت تا حملات سایبری را تمرین کند
بررسی ظرفیتهای هوش مصنوعی برای ارتقای خدمات زائران در نشست مشترک معاونت علمی و آستان قدس رضوی
ممنوع شدن هوش مصنوعی برای دانش آموزان ابتدایی نروژی
ناسا یک رصدخانه فضایی را در میانه زمین و آسمان به ارتفاع بالاتر میبرد
مصوبات جدید فرصتهای تحقیقاتی خارج از کشور دکتری ابلاغ شد
زنان بیشترین داوطلبان آزمون سمپاد/ نتایج اوایل مرداد اعلام میشود
سریال جدید «سرخدار» در راه آنتن: عمار تفتی به تلویزیون بازگشت
کشف نشانههای اولیه افسردگی در چشم کودکان
دانشمند ایرانی: مغز ما برای این همه خبر بد طراحی نشده است
تنش در ایستگاه فضایی بالا گرفت: ناسا از فضانوردانش خواست پناه بگیرند
محققان هشدار دادند: ایجاد نقاط داغ آلودگی در تنگه هرمز به دلیل ترافیک دریایی
یکی از این ستارههای دوقلو یک سیاره فراخورشیدی را بلعیده است
میلیاردرهای حوزه فناوری راز جوانی ابدی را کشف کردهاند؟
تصویری از یکی از شهدای کوچک امروز لبنان
وزیر آموزش و پرورش: بهرهبرداری از ۲۰۰ تا ۲۵۰ کلاس درس جدید در خراسان رضوی
معاون تربیتبدنی و سلامت: یک میلیون دانشآموز سفیر ایمنی و کمکهای اولیه شدند
۵۰۰ هزار دانشآموز زیر چتر کارت نشاط قرار گرفتند
آزمون مدارس سمپاد و نمونه دولتی با بیش از نیم میلیون داوطلب برگزار شد
پرداخت حقوق فرهنگیان بدون تاخیر انجام میشود
قصهای خواندنی برای کودکان: وقتی روباه جنگل را بههم ریخت
حسن طهرانیمقدم پدر موشکی ایران چگونه با نمیشودها مبارزه کرد؟
از بچههای میناب تا ناوچه دنا و انستیتو همه در مستندهای جدید جنگی
مهرانه مهین ترابی پس از ۲۳ سال دوری از تئاتر به صحنه باز میگردد
سریالهای جدید برای پخش دوبله شدند
مادران برای کوچکترین شهید کربلا لالایی خواندند
راز زنده ماندن مومنان در برزخ؛ هدایت، مشروط به ولایت است
روایت حدادعادل از ویژگیهای آیت الله مجتبی خامنهای
ماجرای خواندنی دیدار دکتر شریعتی و علامه جعفری
حجت الاسلام پناهیان: شفافیت نامه اخیر رهبری نشانه قدرت جمهوری اسلامی است
تمدید مهلت پذیرش دانشجویان بینالمللی در دانشگاه علامه طباطبائی
قابلیت جدید واتساپ: پیام متنی یکبار قابل مشاهده به واتساپ میآید
شرکت اپل از گران شدن محصولات خود خبر داد
ساماندهی برنامههای هوش مصنوعی با محوریت تولید داخلی
هشدار وزیر علوم: هوش مصنوعی بدون اخلاق، پیشرفتهترین ابزار ظلم میشود
دادگاه در دهلی نو درخواست بازگشایی تلگرام را رد کرد
رشد استفاده از VPN در بعضی کشورهای اروپایی با قوانین جدید
انحصار قدرت و ثروت در الیگارشی اموی: از خلافت تا سلطنت
حجتالاسلام قمی: وحدت یعنی همبستگیِ آرا و سلایق متفاوت حول محور امام
راز زنده ماندن مؤمنان در برزخ تمسک به امام حق و ولی الله الاعظم است
اعلام مجموعههای امتحانی کنکور کارشناسی ارشد ۱۴۰۶
بازخوانی پنج فرمان راهبردی امام رضا (ع) در سلوک عاشورایی
فلسفه اسلامی و غفلت از «باید و نباید»های اجتماعی؛ یک شکاف تاریخی
اقتصاد فقط نان نیست؛ سلاح علی(ع) برای امنیت ملی و استقلال در برابر دشمنان
انتشار آثار میانرشتهای مسئلهمحور؛ اولویت جدید گروه سیاستپژوهی علوم انسانی
تغییر زمان آزمونهای کشوری و دانشگاهی به دلیل مراسم وداع و تشییع رهبر شهید
احیای اخلاق در زندگی فردی و اجتماعی با بازخوانی فلسفه عاشورا
بنی امیه چگونه به قدرت رسید؟/ تبارشناسی ۹۱ سال حکومت استبدادی
تغییر زمان آزمونهای کشوری و دانشگاهی به دلیل مراسم وداع و تشییع رهبر شهید
اعلام مجموعههای امتحانی کنکور کارشناسی ارشد ۱۴۰۶
انتشار آثار میانرشتهای مسئلهمحور؛ اولویت جدید گروه سیاستپژوهی علوم انسانی
مصوبات جدید فرصتهای تحقیقاتی خارج از کشور دکتری ابلاغ شد
هشدار وزیر علوم: هوش مصنوعی بدون اخلاق، پیشرفتهترین ابزار ظلم میشود
حجتالاسلام قمی: وحدت یعنی همبستگیِ آرا و سلایق متفاوت حول محور امام
راز زنده ماندن مؤمنان در برزخ تمسک به امام حق و ولی الله الاعظم است
رشد استفاده از VPN در بعضی کشورهای اروپایی با قوانین جدید
دادگاه در دهلی نو درخواست بازگشایی تلگرام را رد کرد
دانشمند ایرانی: مغز ما برای این همه خبر بد طراحی نشده است
آمادگی دانشگاه پیام نور برای میزبانی از آزمونهای سایر دانشگاهها
کشف نشانههای اولیه افسردگی در چشم کودکان
زمان مصاحبههای آزمون دکتری سال ۱۴۰۵ تغییر کرد
بازخوانی پنج فرمان راهبردی امام رضا (ع) در سلوک عاشورایی
روایت حدادعادل از ویژگیهای آیت الله مجتبی خامنهای
تنش در ایستگاه فضایی بالا گرفت: ناسا از فضانوردانش خواست پناه بگیرند
فلسفه اسلامی و غفلت از «باید و نباید»های اجتماعی؛ یک شکاف تاریخی
انحصار قدرت و ثروت در الیگارشی اموی: از خلافت تا سلطنت
حجت الاسلام پناهیان: شفافیت نامه اخیر رهبری نشانه قدرت جمهوری اسلامی است
ماجرای خواندنی دیدار دکتر شریعتی و علامه جعفری
زمان برگزاری آزمون زبان انگلیسی تولیمو تغییر کرد
امتحانات پایانترم تحصیلات تکمیلی دانشگاه آزاد حضوری شد
اقتصاد فقط نان نیست؛ سلاح علی(ع) برای امنیت ملی و استقلال در برابر دشمنان
آزمون مدارس سمپاد و نمونه دولتی با بیش از نیم میلیون داوطلب برگزار شد
ممنوع شدن هوش مصنوعی برای دانش آموزان ابتدایی نروژی
مادران برای کوچکترین شهید کربلا لالایی خواندند
سریالهای جدید برای پخش دوبله شدند
حسن طهرانیمقدم پدر موشکی ایران چگونه با نمیشودها مبارزه کرد؟
پرداخت حقوق فرهنگیان بدون تاخیر انجام میشود
افبیآی شهر کامل با بیمارستان، هتل و نیروگاه ساخت تا حملات سایبری را تمرین کند
نظراتی که حاوی توهین یا افترا به اشخاص ،قومیت ها ،عقاید دیگران باشد و یا با قوانین کشور وآموزه های دینی مغایرت داشته باشد منتشر نخواهد شد - لطفاً نظرات خود را با حروف فارسی تایپ کنید.