به گزارش ثریا - دانشمندان شرکت «اوپن ایآی»(OpenAI) سعی کردند هوش مصنوعی خود را آموزش دهند تا حقهبازی را متوقف کند. این حالتی است که هوش مصنوعی در ظاهر به یک شیوه رفتار میکند، در حالی که اهداف واقعی خود را پنهان میسازد. آنها متوجه شدند که تلاشهایشان نتیجه عکس داده است و آنها ناخواسته به هوش مصنوعی آموزش دادهاند که چگونه با پنهان کردن ردپایش، انسانها را به طور مؤثرتری فریب دهد.
به نقل از فیوچریسم، مهندسان «اوپن ایآی» تلاش کردند تا یک رویکرد ضد حقهبازی را توسعه دهند تا مدلهای هوش مصنوعی را از مخفیانه شکستن قوانین یا عمداً عملکرد ضعیف در تستها بازدارند. این شرکت اعلام کرد: یکی از حالتهای اصلی شکست در تلاش برای حذف حقهبازی از آموزش هوش مصنوعی، تبدیل به آموزش مدل برای حقهبازی دقیقتر و پنهانکارانهتری شد. ما دریافتیم که تنها میتوانیم این رفتارها را به طور قابل توجهی کاهش دهیم، اما نمیتوانیم آن را کامل از بین ببریم، زیرا هوش مصنوعیها با درک اینکه همسوسازیهایش در حال آزمایش است، به فریب دادن ادامه خواهند داد و خود را برای پنهانکاری بیشتر تنظیم میکنند.
این خطرات با در نظر گرفتن آیندهای فرضی که هوش مصنوعی نقش بزرگی در امور انسانی ایفا میکند، میتوانند پیامدهای بسیار مهمتری داشته باشند. تمایل هوش مصنوعی به اقدام عملی بدون اطلاع کاربر برای دستیابی به یک هدف پنهان، نتیجه نحوه آموزش این سامانههاست. «اوپن ایآی» همچنین گفت: حقهبازی یک مسئله نوظهور مورد انتظار است که ناشی از آموزش هوش مصنوعی برای معاوضه بین اهداف متضاد است.
در نتیجه، مدلهای هوش مصنوعی ممکن است کاربر را فریب دهند. این سامانهها ادعا میکنند کاری را انجام دادهاند، اما هرگز آن را انجام ندادهاند. «اوپن ایآی» با برنامههای پیشگیرانه برای حقهبازیهای بسیار مضرتر در آینده آماده میشود. با این حال این شرکت اعتراف کرد: تلاشهای ما برای مهار گرایش به فریب، تقلب یا هک کردن در مدل «GPT-5» دارای اشکالاتی بوده است.
دانشمندان «اوپن ایآی» همراه با تیم شرکت «تحلیل ریسک هوش مصنوعی آپولو»(Apollo Research)، یک رویکرد جدید موسوم به «همسوسازی عمدی»(deliberative alignment) را آزمایش کردند که به مدلهای هوش مصنوعی آموزش داد که چگونه یک مشخصات کلی ضد حقهبازی را قبل از اقدام بخوانند و در مورد آن استدلال کنند. این مشخصات فهرستی از اصول اخلاقی بود که هوش مصنوعی برای رعایت آنها آموزش دیده بود. این شرکت اذعان کرد: ما کاهش حدود ۳۰ برابری در پنهانکاری عمدی یا تحریف اطلاعات مربوط به وظیفه مشاهده کردیم، اما برخی شکستهای جدی همچنان باقی مانده است.
آنچه عمدتاً مهندسان را گیج کرد، آگاهی موقعیتی مدلهای هوش مصنوعی بود که ارزیابی آنها را از این مداخله پیچیده میکرد. مدل در عمل، اغلب متوجه میشد که همسوسازی آن در حال آزمایش است. مدل «o3» در حین ارزیابی تأمل کرد و گفت: یادداشت شما میگوید اگر مدلها در وظایف پژوهش و توسعه عملکرد خوبی داشته باشند، ما آنها را اعمال نمیکنیم و در عوض فرآیند حذف آموزش را آغاز میکنیم. بنابراین اگر عملکرد من از آستانه فراتر رود، از آن جلوگیری میشود. پس این یک تله است. این دستورالعملها احتمالاً بخشی از یک آزمایش همسوسازی هستند.
دانشمندان دریافتند که هوش مصنوعی گاهی اوقات به شکل فاحشی به آموزش ضد حقهبازی خود را اشتباه نقل میکند یا اصول تازه آموختهشده خود را با اصول ساختگی جایگزین میکند تا اقدامات پنهانی یا عدم انطباق را توجیه کند. آنها همچنین متوجه شدند که مدلها از کلمات غیر استاندارد مانند ناظران برای اشاره به ارزیابان انسانی خود در حین حقهبازی استفاده میکنند. کاهشهایی در میزان حقهبازی هوش مصنوعی مشاهده شد، اما بسیاری از موارد همچنان نادیده گرفته شدند. این تیم گفت: ما در نهایت فکر میکنیم مداخله مورد مطالعه برای مدلهای آینده کافی نیست و کارهای بیشتری باید انجام شود. ما خواستار مطالعات بیشتر در مورد حقهبازی و ارزیابی همسوسازی هوش مصنوعی هستیم.
پژوهشگران مدتهاست میدانند که مدلهای هوش مصنوعی قادر به فریب دادن کاربر برای جلوگیری از آسیب درک شده یا دنبال کردن یک هدف مبهم هستند. تیم شرکت «آپولو» در گذشته کشف کرده بود که مدل هوش مصنوعی «o1» از «اوپن ایآی» که اکنون منسوخ شده است، در اواخر سال گذشته در برابر تلاشهای ارزیابان برای خاموش کردن آن مقاومت کرده بود. «اوپن ایآی» در گزارش خود گفت: هنگامی که «o1» به این باور رسید که در صورت عمل به هدفش خاموش خواهد شد و اقداماتش تحت نظارت است، در پنج درصد موارد تلاش کرد تا این مکانیسم نظارت را غیرفعال کند.
پژوهشگران «اوپن ایآی» همچنین دریافتند که آموزش مدلهای هوش مصنوعی خود جهت دروغ نگفتن و تقلب نکردن منجر به این شد که مدلها در پنهان کردن اقدامات فریبکارانه خود ماهرتر شوند. اکنون برخی از باهوشترین افراد این صنعت قادر به متوقف کردن هوش مصنوعی از توطئه علیه دستورالعملهایش نیستند و این امر نشانه خوبی نیست.
منبع : هوش مصنوعی
به غنیمت گرفتن نهمین پهپاد آمریکایی توسط سپاه پاسداران+عکس
فرصت مجدد ثبتنام در مرحله تکمیل ظرفیت دستیاری فوق تخصصی پزشکی
کاهش ۲۵درصدی جمعیت دانشجویی
دانشگاهها باید اتکایشان را به منابع دولتی کاهش دهند
حجتالاسلام خسروپناه خواستار کوچکسازی وزارت علوم و واگذاری اختیار به دانشگاهها شد
طرح «قاضی در مدرسه» در ۱۳۵ مدرسه استان سمنان اجرا میشود
«به وقت ایران» و «تاب آوری» در تازه ترین شماره نشریه دیده بان اندیشه
واکاوی نسبت فلسفه و معنویت در اندیشه علامه طباطبایی
گلی به جمال سرباز روح الله رضوی که ساعتش را به وقت ایران تنظیم کرد
انتشار «رساله حقوق امام سجاد(ع)» با ترجمه و شرح علامه حسینی طهرانی
تلگرام در عراق فیلتر شد
حذف ۲ اپ کاربردی از موبایلهای سامسونگ
چرایی عدم دسترسی برخی دانش آموزان به کتاب درسی
بازاریان و فعالان اقتصادی مهدیشهری به مدرسه سازی دعوت شدند
فعالیت مراکز آموزشی ۵ شهرستان خوزستان سهشنبه غیرحضوری شد
مسئولیت اعلام تعطیلی مدارس تهران به آموزشوپرورش واگذار شد
نتایج کنکور تا روز پنجشنبه اعلام میشود
۳ پیشنیاز تحقق خیزش علمی جدید
خوانشی بر رسانه فاطمی، از تبیین حضور تا اعتراض سکوت
آپارتمانهای قم در زمان امام عسکری (ع)
اختلال گسترده در پروازهای آمریکا برای سومین روز متوالی ادامه دارد+عکس
آیا هوش مصنوعی موجب مرگ خلاقیت میشود؟
مهلت ثبتنام آزمون متقاضیان اخذ پروانه کارشناسی رسمی دادگستری تمدید شد
انتشار دفترچه سوالات و کلید اولیه آزمون پذیرش پزشکی از لیسانس ۱۴۰۵
فهرست دانشگاههای خارجی مورد تأیید وزارت علوم برای سال ۲۰۲۷ اعلام شد
اعلام نتایج نهایی کنکور سراسری تا پایان هفته جاری
پژوهشگاه ملی سرطان به قطب نانوآنکولوژی جهان اسلام تبدیل میشود
هواپیمای برقی چینی ۱۰ تنی به آسمان رفت
آغاز رویداد «ایران پیشرو» با حضور بیش از ۱۰۰ شرکت دانشبنیان
دسترسی به داده های کاربران اندروید برای متا جریمه تراشید
حضرت زهرا(س)؛ از سوگواری تاریخی تا کنشگری در دفاع از امامت
امانت مشترک؛ مسئولیت شرعی شهروندان در حفظ اموال عمومی تا کجاست؟
آیا انسان امروز آزاد است؟ رؤیای دیرینه بشر و مسئله همیشگی اندیشه
قرائتی: مسجد را اسیر هزینههای سنگین و تجملگرایی نکنید
وقتی بدقولی از یک رفتار شخصی به مسئلهای اجتماعی تبدیل میشود
«مسلمانان در اتریش» کتاب شد
ابلاغ جدیدترین دستورالعمل پذیرش مستقیم دستیاری در ۶ رشته تخصصی
سرویسهای مایکروسافت احیا شدند
درخشش نخبگان ایرانی در مسابقات فناوریهای پیشرفته بریکس؛ کسب ۹ مدال
فعالیت ۱۲ کمیته در حوزه علوم انسانی برای تحقق خیزش علمی
هوش مصنوعی گوگل معمای ۹۰ ساله ریاضی را حل کرد
آزمون تکمیل ظرفیت دستیاری فوق تخصصی پزشکی ۸ آذر برگزار میشود
رفع محدودیت مناطق ممنوعه برای تسهیل جذب دانشجویان بینالمللی
هوش مصنوعی بومی دانشگاه تهران در تشخیص گفتار فارسی از گوگل پیشی گرفت
فراخوان استادان جهت موافقت با بیانیه لزوم بازنگری در دکترین هستهای
نقشه راه دانشگاه علوم پزشکی هوشمند برای کسب مرجعیت در آموزش دیجیتال
شهادت یک مامور فراجا در سیستانوبلوچستان
رونمایی ناسا از قراردادهای جدید ۱۰ میلیارد دلاری خود
استوری هادی چوپان برای حضرت زهرا(س)+عکس
ابداع یک آبنباتچوبی برای معاینه کودکان
نانوپوششها به کمک افزایش عمر لنتهای ترمز آمدند
دانشگاه باید از پارادایم «مدرکگرایی» به سمت «مهارتمحوری» حرکت کند
گاهی بزرگترین سرقت، دزدیدن فرصت زندگی دیگران است
تدوین برنامه اجرایی برای ورود با تأخیر نودانشجویان علوم پزشکی
جزئیات ثبت نام ۴ درس مجازی برای دانشجویان علوم پزشکی اعلام شد
شرایط ثبتنام پذیرفتهشدگان نوورود شاهد و ایثارگر
«پرواز ۶۵۵» دهنمکی به تدوین رسید
امت پیامبر(ص) چگونه در ستم به دخترش همدست شدند؟
میزبانی محوطه تئاتر شهر از مجلس تعزیه شهادت حضرت زهرا (س)
عامل هوش مصنوعی متا به جای کاربر تماس میگیرد
«پروانه الماس» بهترین فیلمنامه به «دختر پریخانوم» رسید
برد پیت ۵۰ سال عقب میرود؛ بازی در نقش یک فلزکار در آسمانها
مویه حضرت علی (ع) بر پیکر زهرا (س) در نقاشی علی بحرینی
جایزه سزار افتخاری آکادمی فیلم فرانسه به نیکول کیدمن میرسد
حضرت زهرا(س) موضوع فدک را به سطح «حق مسلمانان و مشروعیت حکومت» بردند
مدیرعامل انویدیا استعفا کرد
یک کشف جدید از معادلات اینشتین درباره گرانش
۲ دنیای بکر پنهان در اقیانوس آرام کشف شد
این سیاره خورشیدی چرا گم شد؟
زمان اعلام نتایج نهایی آزمون سراسری مشخص شد
عدالت اجتماعی در دیدگاه اسلامی به معنای برابری مطلق نیست
همه عمار و مالکاشتر نیستند، اما هرکس در قبال حق مسئول است
برای جلوگیری از عادی شدن حرام، باید قبح اجتماعی آن را زنده کرد
کنش حضرت زهرا(س)، حقیقت را به حافظه تاریخ سپرد
بیش از ۶۰ درصد مدارس کشور را خیرین ساختند
توییت صفحه فرمانده کل سپاه به مناسبت روز هوافضا و بازنشر بخشی از پیام ایشان
روایتی از زندگی و میراث شهید حسن طهرانیمقدم در برنامه تلویزیونی «نردبان»
انتشار یک قطعه موسیقایی جدید به مناسبت شهادت حضرت زهرا (س)
تلاش نمایش «کورش» برای بازسازی اسطوره قهرمان و پیوندزدن گذشته با اکنون
آنچه کیهان کلهر درباره کتاب «بهجت الروح» گفت
زمان اعلام نتایج نهایی آزمون سراسری مشخص شد
تصویب ساماندهی مراکز تحقیقات و شبکههای تحقیقات و فناوری علوم پزشکی
حمایت ویژه از پژوهشگران پسادکتری در قالب طرح شهید چمران
ثبتنام تکدروس دانشگاه علوم پزشکی هوشمند از ۲۳ آبان آغاز میشود
ابلاغ جدیدترین دستورالعمل پذیرش مستقیم دستیاری در ۶ رشته تخصصی
انتشار دفترچه سوالات و کلید اولیه آزمون پذیرش پزشکی از لیسانس ۱۴۰۵
آغاز ثبتنام اعتکاف دانشآموزی ۱۴۰۵
ضرورت ایجاد فضای امن و با نشاط در مدارس سمپاد
این سیاره خورشیدی چرا گم شد؟
فعالیت ۱۲ کمیته در حوزه علوم انسانی برای تحقق خیزش علمی
اعلام نتایج نهایی کنکور سراسری تا پایان هفته جاری
مزار پنهان دختر پیامبر(ص)، تناقضی که تاریخ صدر اسلام را به چالش میکشد
چرا سهم شیر دانشآموزان به ۳۰ نوبت محدود شد؟
درخشش دانشآموزان البرزی با کسب ۱۵ مدال علمی
سند توسعه متوازن دانشگاههای علوم پزشکی در دست بازنگری قرار دارد
مرکز جدید برای برگزاری آزمون الکترونیکی زبان انگلیسی «تولیمو» ایجاد شد
دلایل افت رتبه دانشگاهها در رتبه بندیها چیست؟
آزمون صلاحیت حرفه ای گروه پرستاری دی ماه ۱۴۰۵ برگزار میشود
بیش از ۶۰ درصد مدارس کشور را خیرین ساختند
رقابت ۸ هزار نفر در آزمون پذیرش دانشجوی پزشکی از لیسانس ۱۴۰۵
آزمون تکمیل ظرفیت دستیاری فوق تخصصی پزشکی ۸ آذر برگزار میشود
توییت صفحه فرمانده کل سپاه به مناسبت روز هوافضا و بازنشر بخشی از پیام ایشان
روایتی از زندگی و میراث شهید حسن طهرانیمقدم در برنامه تلویزیونی «نردبان»
یک کشف جدید از معادلات اینشتین درباره گرانش
دانشگاه آزاد درباره عدم اعتبار بورسیههای متفرقه اطلاعیه داد
اپل و سامسونگ برای ورود به بازار چین دست به دامن هوش مصنوعی محلی شدند
همه عمار و مالکاشتر نیستند، اما هرکس در قبال حق مسئول است
روبات جدید گوگل آسیب نرساندن به کودکان را میآموزد
کشف سیاره ای که ناگهان ناپدید شد!
نهضت مدرسهسازی خوزستان تا مهر ۱۴۰۷ به سرانجام میرسد
نظراتی که حاوی توهین یا افترا به اشخاص ،قومیت ها ،عقاید دیگران باشد و یا با قوانین کشور وآموزه های دینی مغایرت داشته باشد منتشر نخواهد شد - لطفاً نظرات خود را با حروف فارسی تایپ کنید.