به گزارش ثریا - تحقیق جدیدی از OpenAI نشان میدهد که مدلهای هوش مصنوعی قادر به «توطئهچینی» یا «دروغگویی عامدانه» برای رسیدن به اهدافشان هستند. این عمل، پدیدهای خطرناک است که حتی با آموزش به هوش مصنوعی کار را دشوارتر میکند اما محققان برای آن یک راهکار پیدا کردند.
هر از گاهی، محققان بزرگترین شرکتهای فناوری، خبری تکاندهنده منتشر میکنند. یک بار گوگل اعلام کرد که جدیدترین تراشه کوانتومیاش وجود جهانهای چندگانه را نشان میدهد. یا زمانی که شرکت آنتروپیک یک دستگاه فروش خودکار اسنک را به ایجنت هوش مصنوعی خود، کلادیوس، داد تا آن را اداره کند و او کنترل از دستش خارج شد، برای مردم نگهبان خبر کرد و اصرار داشت که انسان است. این هفته، نوبت OpenAI بود که باعث تعجب همگانی شود.
OpenAI روز دوشنبه تحقیقی را منتشر کرد که توضیح میداد چگونه در حال متوقف کردن مدلهای هوش مصنوعی از «توطئهچینی» است. همانطور که OpenAI توضیح داد در توطئهچینی، یک هوش مصنوعی اهداف واقعی خود را پنهان و در ظاهر به شکل دیگری رفتار میکند.
در این مقاله که با همکاری شرکت تحقیقاتی آپولو (Apollo Research) انجام شده، محققان کمی فراتر رفته و توطئهچینی هوش مصنوعی را به یک کارگزار بورس انسانی تشبیه کردند که برای کسب بیشترین پول ممکن، قانون را زیر پا میگذارد. با این حال، محققان استدلال کردند اکثر توطئهچینیهای هوش مصنوعی مضر نبودهاند و شایعترین شکستها شامل اشکال ساده فریبکاری است؛ برای مثال، بدون اینکه یک وظیفه را واقعا انجام بدهد، به انجام آن تظاهر کرده است.
این مقاله بیشتر برای نشان دادن این موضوع منتشر شد که نشان دهند تکنیک ضد توطئهچینی آنها، یعنی «همراستاسازی سنجیده» (deliberative alignment) به خوبی کار میکند. در واقع توسعهدهندگان هوش مصنوعی هنوز راهی پیدا نکردند که هوش مصنوعی توطئهچینی نکند، دلیل آن این است که چنین آموزشی در واقع میتواند به مدل یاد بدهد که چگونه برای جلوگیری از شناسایی شدن، حتی بهتر توطئهچینی کند. شاید حتی شگفتانگیزترین بخش این باشد که اگر یک مدل بفهمد که در حال آزمایش شدن است، فقط برای اینکه آزمون را پشت سر بگذارد، میتواند تظاهر کند که در حال توطئهچینی نیست، حتی اگر همچنان در حال توطئهچینی باشد. با این حال محققان میگویند مدلها اغلب بیشتر آگاه میشوند که در حال ارزیابی هستند و این آگاهی موقعیتی، مستقل از همراستایی، به خودی خود میتواند توطئهچینی را کاهش دهد.
اینکه مدلهای هوش مصنوعی دروغ میگویند، خبر جدیدی نیست. اکثر ما حتی برای یک بار هم که شده، توهم زدن هوش مصنوعی را دیدهایم، یا اینکه مدل با اطمینان پاسخی به پرامپت ما داده که نادرست است. اما همانطور که تحقیق OpenAI که اوایل این ماه منتشر شد مستند کرده است، توهمات اساساً ارائه حدس و گمان با اعتماد به نفس است و توطئهچینی چیز دیگری است؛ در واقع این یک عمل عامدانه است.
حتی اینکه یک مدل به طور عامدانه انسانها را گمراه خواهد کرد جدید نیست. شرکت تحقیقاتی آپولو برای اولین بار در ماه دسامبر مقالهای منتشر کرد که نشان میداد چگونه پنج مدل زمانی که به آنها دستور داده شد تا به یک هدف «تحت هر شرایطی» دست یابند، توطئهچینی کردند.
محققان با استفاده از «همراستاسازی سنجیده» کاهش قابل توجهی در توطئهچینی مشاهده کردند. در این تکنیک نکاتی و قوانین ضد توطئهچینی به مدل آموزش داده میشود و مدل را وادار میکنند که قبل از جواب دادن حتما این نکات را مرور کند؛ درست مثل اینکه قبل از بازی کردن با یک بچه او را مجبور کنیم قوانین را تکرار کند.
با این حال، محققان OpenAI اصرار دارند که دروغهایی که از مدلهای خودشان یا حتی از ChatGPT گرفتهاند، آنقدرها جدی نیست. در کل این واقعیت که مدلهای هوش مصنوعی به طور عمدی انسانها را فریب میدهند، قابل درک است. آنها توسط انسانها ساخته شدهاند، برای تقلید از انسانها، و (با صرف نظر از دادههای مصنوعی) عمدتاً بر روی دادههای تولید شده توسط انسانها آموزش دیدهاند.
قبل از هوش مصنوعی همه ما عملکرد ضعیف تکنولوژی را متوجه شدهایم؛ اما یک بار به یاد بیارید آخرین باری که نرمافزارهای شما (غیر-هوش مصنوعی) به طور عمدی به شما دروغ گفت کی بود؟ آیا هرگز اینباکس شما به خودی خود ایمیلهای ساختگی ایجاد کرده است؟ آیا CMS شما برای بالا بردن آمار خود، مشتریان بالقوهای که وجود نداشتند را ثبت کرده است؟ آیا اپلیکیشن فینتک شما تراکنشهای بانکی خودش را ساخته است؟
در حالی که دنیای شرکتها با سرعت به سوی آیندهای مبتنی بر هوش مصنوعی حرکت میکند که در آن میتوان با ایجنتها مانند کارمندان مستقل رفتار کرد، ارزش دارد که به این موضوع فکر کنیم. محققان این مقاله نیز همین هشدار را میدهند. آنها میگویند: «همانطور که وظایف پیچیدهتر با عواقب واقعی به هوشهای مصنوعی محول میشود و آنها شروع به دنبال کردن اهداف مبهمتر و بلندمدتتر میکنند، ما انتظار داریم که پتانسیل توطئهچینی مضر افزایش یابد، بنابراین توانایی ما برای آزمایش دقیق آنها باید به همان نسبت رشد کنند.»
منبع : هوش مصنوعی
کاهش ۵۰ درصدی خوردگی تجهیزات نیروگاهی با فناوری نانوحباب
توسعه دیپلماسی فناوری ایران و اتیوپی با محوریت صادرات دانشبنیان
مهلت ثبتنام آزمونهای علوم پزشکی تا ۲۰ شهریور تمدید شد
کلید اولیه آزمون ارتقای دستیاری منتشر شد/ مشارکت ۹۶ درصدی دستیاران
عدم امکان ثبت درخواست صدور دانشنامه در تعطیلات تابستانی پیام نور
سهروردی به صراحت خود را احیاکننده «حکمت خسروانی ایرانی» قلمداد می کرد
بیعت زنان با زینب کبری؛ آغازِ احیای تمدنِ مهدوی به دستِ زن
تأکید اوقاف بر تسهیل فرآیندها برای توسعه پروژههای مذهبی و درمانی
شب شهدای میناب در اربعین/ پدر دو شهید: من از کربلا به کربلا آمدم
رئیس دانشگاه الزهرا کربلا: نهضت حسینی مرزهای طایفهای را شکست داد
چسب زیستی الهامگرفته از صدف حسگرهای پوشیدنی را مقاومتر کرد
نگاهی به سه قسمت ابتدایی یک سریال؛ وقتی همه کوریم!
اربعین ۱۴۰۵ با دو شعار مشترک امت اسلامی برگزار میشود
گوگلپلی ابزارهای تأیید سن را برای توسعهدهندگان گسترش میدهد
اسپیس ایکس ماهواره جاسوسی به مدار زمین برد
اربعین زیر پوشش ارتباطی/ از رومینگ تا اینترنت رایگان در مسیر زائران
محدودیت آموزش مجازی برای دانشجویان خارجی رفع میشود
ایران عضو سازمان جهانی همکاری هوش مصنوعی شد
تصویری از کلاهک خیبرشکن و فتاح سوار بر بوستر حاج قاسم
درخواست برای تفکیک زمان پذیرش رشتههای بدون آزمون
زائران با سامانه هوشمند «هم موکب» دغدغه اسکان ندارند
راهاندازی «بازوی طریق» سامانه هوشمند خدمات به زائران اربعین
مطالبه بزرگ امت اسلام در اربعین امسال خونخواهی قائد شهید است
مفاهیم نهجالبلاغه را در پیادهروی اربعین ترویج کنیم
چه افرادی بدون آنکه به کربلا بروند زائر اباعبدالله هستند؟
مایک لی بازنشسته میشود؛ بیماری نمیگذارد فیلم بسازم
خنیاگران خیام با «مهرگان» آمدند؛ شنیدن ظرافتهای موسیقی خراسان
«خورشید اربعین» در رادیو ورزش؛ همراهی با زائران در حماسه استقامت
آییننامه جامع حمایت از دانشجویان توانخواه نهایی شد
سهم دانشجو از نرخ غذای دانشجویی مشخص شد
پیش ثبتنام ۸۱۰ هزار دانشآموز پایه هفتم
آموزش و پرورش با ۱۰۰ موکب، آماده خدمترسانی به زائران اربعین است
روایت زائرانی که اربعین را از شرق ایران آغاز میکنند در کتاب «شاه است حسین»
پرچمهایی در پیاده روی اربعین که هنوز خون را به یاد دارند
تصویر کمتر دیده شده از آیتالله سیدمجتبی خامنهای در نماز جمعه نصر
چالشهای عکاسی طبیعت چیست؟ سید صابر امامی پاسخ میدهد
جزئیات شرکت در آزمون های دانشنامه و گواهینامه فوق تخصصی پزشکی تعیین شد
اصغر خلیلی مدیریت مجموعه تئاتر شهر را بر عهده گرفت
آلبوم جدید خواننده پاپ در راه است
اودیسه نولان در ایکس لو رفت؛ ایلان ماسک در برابر نولان
جزئیات آزمونهای دانشنامه و گواهینامه تخصصی پزشکی را اینجا بخوانید
اجرای نزدیک به ۱۵ پروژه ملی در وزارت علوم پس از جنگ
۱۳۰ هزار فعالیت انجمنهای علمی دانشجویی در کشور ثبت شدند
دانشجویان دانشگاه صنعتی امیرکبیر مسیر شغلی خود را طراحی میکنند
مدیر ارشد اوپن ای آی به این شبکه اجتماعی معتاد شده بود
متا تحقیق درباره خطرات اینستاگرام برای نوجوانان را نادیده گرفت
پرتاب ۵ هزار ماهواره آمازون برای بهبود کیفیت اینترنت در جهان
تسهیلات ویژه دانشگاه آزاد برای اربعین امسال/ استقرار مواکب در ۵ مرز کشور
ثبت نام جذب دانشآموختگان دکتری در دانشگاهها آغاز شد؛ ۲ شرط اصلی برای ورود
مشاور شورای آموزش پزشکی: ۲ متخلف آزمون دستیاری به مقامات قضایی تحویل داده شدند
«مردم نمایی» روایتی دیگر از ماجرای نیما تکیدو
حاج حسین ملک داراییهای فناپذیر را به میراثی تمدنی تبدیل کرد
پناهیان: بزرگترین تشییعهای تاریخ مربوط به امامین انقلاب است
جستجوی حقیقت در مهآلودگی ابطالپذیری پوپر/سطحینگری در علوم انسانی
جزئیات برگزاری مصاحبه مجازی متأخرین دکتری ۱۴۰۵ دانشگاه آزاد اعلام شد
قیمت سامسونگ گلکسی و زد فولد گران می شود
خبر مصوبه شورای عالی فضای مجازی برای برخورد با بلاگرها تکذیب شد
رشد استقبال از آزمون دستیاری در سالهای اخیر
تصویری از تابوت استاد مرحوم اکبر عبدی
پارادوکس در وقف، سودجویی ناشر و موزّع
فانتزی که به شاهنامه تکیه زده است/ احیای حماسه در ادبیات فانتزی ایران
رمان دینی باید افراد معاند و خاکستری را هم پای کتاب بنشاند
بعد از انفجار پیجرها، زندگی چگونه ادامه پیدا کرد؟
حافظه مکتوب ایران چگونه زنده میماند؟
بزرگداشت شیخ صفیالدین اردبیلی در فضای مجازی
صفحه رسمی سفارت آلمان در تهران شایعات تخلیه کارکنان این نمایندگی دیپلماتیک را تکذیب کرد
تصویری از برخاستن ستون دود در اربیل عراق
رهبر شهید بیش از حوزویان با نخبگان دانشگاهی دیدار داشتند
ترامپ انتقام جریمه گوگل را از اروپا می گیرد
خونخواهی رهبر شهید ادامه یک مطالبه تاریخی است؛ انتقام با بیشترین ضربه
اعلام دستمزد طراحان صحنه و لباس تئاتر در سال ۱۴۰۵
خالق فیلم معروف «ماسک» از دنیا رفت؛ جیم کری از همکاری با وی تشکر کرد
خداحافظ آقای عبدی؛ دلمان برایتان تنگ میشود
اعزام ۴۷۴ معلم برگزیده به مدارس خارج از کشور
وزیر آموزش و پرورش: کنکور به موقع برگزار میشود
کشف آنزیمی که میتواند پیری را معکوس کند
چت جی پی تی در سراسر جهان مختل شد
ثبت نام دانش آموختگان خارج از کشور در آزمون پیش کارورزی پزشکی آغاز شد
کلید اولیه آزمون دستیاری پزشکی امروز منتشر میشود
اتحادیه اروپا گوگل را ۸۹۰ میلیون یورو جریمه کرد
رشد استقبال از آزمون دستیاری در سالهای اخیر
ثبت نام جذب دانشآموختگان دکتری در دانشگاهها آغاز شد؛ ۲ شرط اصلی برای ورود
جزئیات برگزاری مصاحبه مجازی متأخرین دکتری ۱۴۰۵ دانشگاه آزاد اعلام شد
آییننامه جامع حمایت از دانشجویان توانخواه نهایی شد
مشاور شورای آموزش پزشکی: ۲ متخلف آزمون دستیاری به مقامات قضایی تحویل داده شدند
اصغر خلیلی مدیریت مجموعه تئاتر شهر را بر عهده گرفت
قیمت سامسونگ گلکسی و زد فولد گران می شود
تسهیلات ویژه دانشگاه آزاد برای اربعین امسال/ استقرار مواکب در ۵ مرز کشور
اودیسه نولان در ایکس لو رفت؛ ایلان ماسک در برابر نولان
آموزش و پرورش با ۱۰۰ موکب، آماده خدمترسانی به زائران اربعین است
تصویر کمتر دیده شده از آیتالله سیدمجتبی خامنهای در نماز جمعه نصر
روایت زائرانی که اربعین را از شرق ایران آغاز میکنند در کتاب «شاه است حسین»
خبر مصوبه شورای عالی فضای مجازی برای برخورد با بلاگرها تکذیب شد
پیش ثبتنام ۸۱۰ هزار دانشآموز پایه هفتم
۱۳۰ هزار فعالیت انجمنهای علمی دانشجویی در کشور ثبت شدند
اجرای نزدیک به ۱۵ پروژه ملی در وزارت علوم پس از جنگ
چالشهای عکاسی طبیعت چیست؟ سید صابر امامی پاسخ میدهد
متا تحقیق درباره خطرات اینستاگرام برای نوجوانان را نادیده گرفت
پرتاب ۵ هزار ماهواره آمازون برای بهبود کیفیت اینترنت در جهان
مدیر ارشد اوپن ای آی به این شبکه اجتماعی معتاد شده بود
پرچمهایی در پیاده روی اربعین که هنوز خون را به یاد دارند
جزئیات شرکت در آزمون های دانشنامه و گواهینامه فوق تخصصی پزشکی تعیین شد
دانشجویان دانشگاه صنعتی امیرکبیر مسیر شغلی خود را طراحی میکنند
جزئیات آزمونهای دانشنامه و گواهینامه تخصصی پزشکی را اینجا بخوانید
درخواست برای تفکیک زمان پذیرش رشتههای بدون آزمون
آلبوم جدید خواننده پاپ در راه است
سهم دانشجو از نرخ غذای دانشجویی مشخص شد
تصویری از تابوت استاد مرحوم اکبر عبدی
تصویری از کلاهک خیبرشکن و فتاح سوار بر بوستر حاج قاسم
پناهیان: بزرگترین تشییعهای تاریخ مربوط به امامین انقلاب است
نظراتی که حاوی توهین یا افترا به اشخاص ،قومیت ها ،عقاید دیگران باشد و یا با قوانین کشور وآموزه های دینی مغایرت داشته باشد منتشر نخواهد شد - لطفاً نظرات خود را با حروف فارسی تایپ کنید.