به گزارش ثریا - تحقیق جدیدی از OpenAI نشان میدهد که مدلهای هوش مصنوعی قادر به «توطئهچینی» یا «دروغگویی عامدانه» برای رسیدن به اهدافشان هستند. این عمل، پدیدهای خطرناک است که حتی با آموزش به هوش مصنوعی کار را دشوارتر میکند اما محققان برای آن یک راهکار پیدا کردند.
هر از گاهی، محققان بزرگترین شرکتهای فناوری، خبری تکاندهنده منتشر میکنند. یک بار گوگل اعلام کرد که جدیدترین تراشه کوانتومیاش وجود جهانهای چندگانه را نشان میدهد. یا زمانی که شرکت آنتروپیک یک دستگاه فروش خودکار اسنک را به ایجنت هوش مصنوعی خود، کلادیوس، داد تا آن را اداره کند و او کنترل از دستش خارج شد، برای مردم نگهبان خبر کرد و اصرار داشت که انسان است. این هفته، نوبت OpenAI بود که باعث تعجب همگانی شود.
OpenAI روز دوشنبه تحقیقی را منتشر کرد که توضیح میداد چگونه در حال متوقف کردن مدلهای هوش مصنوعی از «توطئهچینی» است. همانطور که OpenAI توضیح داد در توطئهچینی، یک هوش مصنوعی اهداف واقعی خود را پنهان و در ظاهر به شکل دیگری رفتار میکند.
در این مقاله که با همکاری شرکت تحقیقاتی آپولو (Apollo Research) انجام شده، محققان کمی فراتر رفته و توطئهچینی هوش مصنوعی را به یک کارگزار بورس انسانی تشبیه کردند که برای کسب بیشترین پول ممکن، قانون را زیر پا میگذارد. با این حال، محققان استدلال کردند اکثر توطئهچینیهای هوش مصنوعی مضر نبودهاند و شایعترین شکستها شامل اشکال ساده فریبکاری است؛ برای مثال، بدون اینکه یک وظیفه را واقعا انجام بدهد، به انجام آن تظاهر کرده است.
این مقاله بیشتر برای نشان دادن این موضوع منتشر شد که نشان دهند تکنیک ضد توطئهچینی آنها، یعنی «همراستاسازی سنجیده» (deliberative alignment) به خوبی کار میکند. در واقع توسعهدهندگان هوش مصنوعی هنوز راهی پیدا نکردند که هوش مصنوعی توطئهچینی نکند، دلیل آن این است که چنین آموزشی در واقع میتواند به مدل یاد بدهد که چگونه برای جلوگیری از شناسایی شدن، حتی بهتر توطئهچینی کند. شاید حتی شگفتانگیزترین بخش این باشد که اگر یک مدل بفهمد که در حال آزمایش شدن است، فقط برای اینکه آزمون را پشت سر بگذارد، میتواند تظاهر کند که در حال توطئهچینی نیست، حتی اگر همچنان در حال توطئهچینی باشد. با این حال محققان میگویند مدلها اغلب بیشتر آگاه میشوند که در حال ارزیابی هستند و این آگاهی موقعیتی، مستقل از همراستایی، به خودی خود میتواند توطئهچینی را کاهش دهد.
اینکه مدلهای هوش مصنوعی دروغ میگویند، خبر جدیدی نیست. اکثر ما حتی برای یک بار هم که شده، توهم زدن هوش مصنوعی را دیدهایم، یا اینکه مدل با اطمینان پاسخی به پرامپت ما داده که نادرست است. اما همانطور که تحقیق OpenAI که اوایل این ماه منتشر شد مستند کرده است، توهمات اساساً ارائه حدس و گمان با اعتماد به نفس است و توطئهچینی چیز دیگری است؛ در واقع این یک عمل عامدانه است.
حتی اینکه یک مدل به طور عامدانه انسانها را گمراه خواهد کرد جدید نیست. شرکت تحقیقاتی آپولو برای اولین بار در ماه دسامبر مقالهای منتشر کرد که نشان میداد چگونه پنج مدل زمانی که به آنها دستور داده شد تا به یک هدف «تحت هر شرایطی» دست یابند، توطئهچینی کردند.
محققان با استفاده از «همراستاسازی سنجیده» کاهش قابل توجهی در توطئهچینی مشاهده کردند. در این تکنیک نکاتی و قوانین ضد توطئهچینی به مدل آموزش داده میشود و مدل را وادار میکنند که قبل از جواب دادن حتما این نکات را مرور کند؛ درست مثل اینکه قبل از بازی کردن با یک بچه او را مجبور کنیم قوانین را تکرار کند.
با این حال، محققان OpenAI اصرار دارند که دروغهایی که از مدلهای خودشان یا حتی از ChatGPT گرفتهاند، آنقدرها جدی نیست. در کل این واقعیت که مدلهای هوش مصنوعی به طور عمدی انسانها را فریب میدهند، قابل درک است. آنها توسط انسانها ساخته شدهاند، برای تقلید از انسانها، و (با صرف نظر از دادههای مصنوعی) عمدتاً بر روی دادههای تولید شده توسط انسانها آموزش دیدهاند.
قبل از هوش مصنوعی همه ما عملکرد ضعیف تکنولوژی را متوجه شدهایم؛ اما یک بار به یاد بیارید آخرین باری که نرمافزارهای شما (غیر-هوش مصنوعی) به طور عمدی به شما دروغ گفت کی بود؟ آیا هرگز اینباکس شما به خودی خود ایمیلهای ساختگی ایجاد کرده است؟ آیا CMS شما برای بالا بردن آمار خود، مشتریان بالقوهای که وجود نداشتند را ثبت کرده است؟ آیا اپلیکیشن فینتک شما تراکنشهای بانکی خودش را ساخته است؟
در حالی که دنیای شرکتها با سرعت به سوی آیندهای مبتنی بر هوش مصنوعی حرکت میکند که در آن میتوان با ایجنتها مانند کارمندان مستقل رفتار کرد، ارزش دارد که به این موضوع فکر کنیم. محققان این مقاله نیز همین هشدار را میدهند. آنها میگویند: «همانطور که وظایف پیچیدهتر با عواقب واقعی به هوشهای مصنوعی محول میشود و آنها شروع به دنبال کردن اهداف مبهمتر و بلندمدتتر میکنند، ما انتظار داریم که پتانسیل توطئهچینی مضر افزایش یابد، بنابراین توانایی ما برای آزمایش دقیق آنها باید به همان نسبت رشد کنند.»
منبع : هوش مصنوعی
تصویری از کلاهک خیبرشکن و فتاح سوار بر بوستر حاج قاسم
درخواست برای تفکیک زمان پذیرش رشتههای بدون آزمون
زائران با سامانه هوشمند «هم موکب» دغدغه اسکان ندارند
راهاندازی «بازوی طریق» سامانه هوشمند خدمات به زائران اربعین
مطالبه بزرگ امت اسلام در اربعین امسال خونخواهی قائد شهید است
مفاهیم نهجالبلاغه را در پیادهروی اربعین ترویج کنیم
چه افرادی بدون آنکه به کربلا بروند زائر اباعبدالله هستند؟
مایک لی بازنشسته میشود؛ بیماری نمیگذارد فیلم بسازم
خنیاگران خیام با «مهرگان» آمدند؛ شنیدن ظرافتهای موسیقی خراسان
«خورشید اربعین» در رادیو ورزش؛ همراهی با زائران در حماسه استقامت
آییننامه جامع حمایت از دانشجویان توانخواه نهایی شد
سهم دانشجو از نرخ غذای دانشجویی مشخص شد
پیش ثبتنام ۸۱۰ هزار دانشآموز پایه هفتم
آموزش و پرورش با ۱۰۰ موکب، آماده خدمترسانی به زائران اربعین است
روایت زائرانی که اربعین را از شرق ایران آغاز میکنند در کتاب «شاه است حسین»
پرچمهایی در پیاده روی اربعین که هنوز خون را به یاد دارند
تصویر کمتر دیده شده از آیتالله سیدمجتبی خامنهای در نماز جمعه نصر
چالشهای عکاسی طبیعت چیست؟ سید صابر امامی پاسخ میدهد
جزئیات شرکت در آزمون های دانشنامه و گواهینامه فوق تخصصی پزشکی تعیین شد
اصغر خلیلی مدیریت مجموعه تئاتر شهر را بر عهده گرفت
آلبوم جدید خواننده پاپ در راه است
اودیسه نولان در ایکس لو رفت؛ ایلان ماسک در برابر نولان
جزئیات آزمونهای دانشنامه و گواهینامه تخصصی پزشکی را اینجا بخوانید
اجرای نزدیک به ۱۵ پروژه ملی در وزارت علوم پس از جنگ
۱۳۰ هزار فعالیت انجمنهای علمی دانشجویی در کشور ثبت شدند
دانشجویان دانشگاه صنعتی امیرکبیر مسیر شغلی خود را طراحی میکنند
مدیر ارشد اوپن ای آی به این شبکه اجتماعی معتاد شده بود
متا تحقیق درباره خطرات اینستاگرام برای نوجوانان را نادیده گرفت
پرتاب ۵ هزار ماهواره آمازون برای بهبود کیفیت اینترنت در جهان
تسهیلات ویژه دانشگاه آزاد برای اربعین امسال/ استقرار مواکب در ۵ مرز کشور
ثبت نام جذب دانشآموختگان دکتری در دانشگاهها آغاز شد؛ ۲ شرط اصلی برای ورود
مشاور شورای آموزش پزشکی: ۲ متخلف آزمون دستیاری به مقامات قضایی تحویل داده شدند
«مردم نمایی» روایتی دیگر از ماجرای نیما تکیدو
حاج حسین ملک داراییهای فناپذیر را به میراثی تمدنی تبدیل کرد
پناهیان: بزرگترین تشییعهای تاریخ مربوط به امامین انقلاب است
جستجوی حقیقت در مهآلودگی ابطالپذیری پوپر/سطحینگری در علوم انسانی
جزئیات برگزاری مصاحبه مجازی متأخرین دکتری ۱۴۰۵ دانشگاه آزاد اعلام شد
قیمت سامسونگ گلکسی و زد فولد گران می شود
خبر مصوبه شورای عالی فضای مجازی برای برخورد با بلاگرها تکذیب شد
رشد استقبال از آزمون دستیاری در سالهای اخیر
تصویری از تابوت استاد مرحوم اکبر عبدی
پارادوکس در وقف، سودجویی ناشر و موزّع
فانتزی که به شاهنامه تکیه زده است/ احیای حماسه در ادبیات فانتزی ایران
رمان دینی باید افراد معاند و خاکستری را هم پای کتاب بنشاند
بعد از انفجار پیجرها، زندگی چگونه ادامه پیدا کرد؟
حافظه مکتوب ایران چگونه زنده میماند؟
بزرگداشت شیخ صفیالدین اردبیلی در فضای مجازی
صفحه رسمی سفارت آلمان در تهران شایعات تخلیه کارکنان این نمایندگی دیپلماتیک را تکذیب کرد
تصویری از برخاستن ستون دود در اربیل عراق
رهبر شهید بیش از حوزویان با نخبگان دانشگاهی دیدار داشتند
ترامپ انتقام جریمه گوگل را از اروپا می گیرد
خونخواهی رهبر شهید ادامه یک مطالبه تاریخی است؛ انتقام با بیشترین ضربه
اعلام دستمزد طراحان صحنه و لباس تئاتر در سال ۱۴۰۵
خالق فیلم معروف «ماسک» از دنیا رفت؛ جیم کری از همکاری با وی تشکر کرد
خداحافظ آقای عبدی؛ دلمان برایتان تنگ میشود
اعزام ۴۷۴ معلم برگزیده به مدارس خارج از کشور
وزیر آموزش و پرورش: کنکور به موقع برگزار میشود
کشف آنزیمی که میتواند پیری را معکوس کند
چت جی پی تی در سراسر جهان مختل شد
ثبت نام دانش آموختگان خارج از کشور در آزمون پیش کارورزی پزشکی آغاز شد
کلید اولیه آزمون دستیاری پزشکی امروز منتشر میشود
اتحادیه اروپا گوگل را ۸۹۰ میلیون یورو جریمه کرد
سیزدهمین پرتاب استارشیپ موفقیت آمیز بود
رویداد «معماری نوین حکمرانی علم و فناوری کشور» آغاز بکار کرد
آغاز همکاری مشترک برای تدوین سند ملی صلاحیت حرفهای ICT
۳۵۰ پرونده دانشگاه پیامنور در دیوان عدالت اداری بررسی شد
ضرورت تدوین استانداردهای تازه برای خدمات پزشکی پیشرفته
تصمیمگیری درباره حضوری شدن دوره کارشناسی با شورای عالی امنیت ملی است
عزای عمومی برای مردی که خاطره مشترک میلیونها ایرانی بود
مرحله غیرمتمرکز المپیاد علمی دانشجویی کشور برگزار شد
آغاز حضوری سال تحصیلی جدید/آمادگی دانشگاهها برای سناریوهای مختلف
معیارهای جدید همترازی رشتههای دانشگاهی برای استخدام ابلاغ شد
پشتیبانی دکترتو تهران چگونه است؟
رقابت ۱۷ هزار داوطلب در پنجاه و سومین دوره آزمون دستیاری پزشکی آغاز شد
تصویری از ابابیل ۳ در آسمان کویت
امنیت ایران با صلح تحمیلی معامله پذیر نیست
فروش بدون کارمزد خودرو در استانهای درگیر جنگ
کشف یک مولکول ناشناخته روی قمر زحل و پلوتو که دانشمندان توضیحی برای آن ندارند
جزئیات ترم تابستانی دانشگاه خوارزمی اعلام شد
دانشگاه صنعتی امیرکبیر در جایگاه سوم رتبه بندی بنیاد ملی نخبگان
رشد استقبال از آزمون دستیاری در سالهای اخیر
رهبر شهید بیش از حوزویان با نخبگان دانشگاهی دیدار داشتند
ثبت نام جذب دانشآموختگان دکتری در دانشگاهها آغاز شد؛ ۲ شرط اصلی برای ورود
جزئیات برگزاری مصاحبه مجازی متأخرین دکتری ۱۴۰۵ دانشگاه آزاد اعلام شد
ثبت نام دانش آموختگان خارج از کشور در آزمون پیش کارورزی پزشکی آغاز شد
کلید اولیه آزمون دستیاری پزشکی امروز منتشر میشود
آییننامه جامع حمایت از دانشجویان توانخواه نهایی شد
تصویری از برخاستن ستون دود در اربیل عراق
فانتزی که به شاهنامه تکیه زده است/ احیای حماسه در ادبیات فانتزی ایران
مشاور شورای آموزش پزشکی: ۲ متخلف آزمون دستیاری به مقامات قضایی تحویل داده شدند
اصغر خلیلی مدیریت مجموعه تئاتر شهر را بر عهده گرفت
صفحه رسمی سفارت آلمان در تهران شایعات تخلیه کارکنان این نمایندگی دیپلماتیک را تکذیب کرد
قیمت سامسونگ گلکسی و زد فولد گران می شود
اعزام ۴۷۴ معلم برگزیده به مدارس خارج از کشور
تسهیلات ویژه دانشگاه آزاد برای اربعین امسال/ استقرار مواکب در ۵ مرز کشور
حافظه مکتوب ایران چگونه زنده میماند؟
رمان دینی باید افراد معاند و خاکستری را هم پای کتاب بنشاند
پارادوکس در وقف، سودجویی ناشر و موزّع
بعد از انفجار پیجرها، زندگی چگونه ادامه پیدا کرد؟
آموزش و پرورش با ۱۰۰ موکب، آماده خدمترسانی به زائران اربعین است
خبر مصوبه شورای عالی فضای مجازی برای برخورد با بلاگرها تکذیب شد
اودیسه نولان در ایکس لو رفت؛ ایلان ماسک در برابر نولان
تصویر کمتر دیده شده از آیتالله سیدمجتبی خامنهای در نماز جمعه نصر
کشف آنزیمی که میتواند پیری را معکوس کند
روایت زائرانی که اربعین را از شرق ایران آغاز میکنند در کتاب «شاه است حسین»
۱۳۰ هزار فعالیت انجمنهای علمی دانشجویی در کشور ثبت شدند
اعلام دستمزد طراحان صحنه و لباس تئاتر در سال ۱۴۰۵
پیش ثبتنام ۸۱۰ هزار دانشآموز پایه هفتم
اجرای نزدیک به ۱۵ پروژه ملی در وزارت علوم پس از جنگ
ترامپ انتقام جریمه گوگل را از اروپا می گیرد
نظراتی که حاوی توهین یا افترا به اشخاص ،قومیت ها ،عقاید دیگران باشد و یا با قوانین کشور وآموزه های دینی مغایرت داشته باشد منتشر نخواهد شد - لطفاً نظرات خود را با حروف فارسی تایپ کنید.