به گزارش ثریا - تحقیق جدیدی از OpenAI نشان میدهد که مدلهای هوش مصنوعی قادر به «توطئهچینی» یا «دروغگویی عامدانه» برای رسیدن به اهدافشان هستند. این عمل، پدیدهای خطرناک است که حتی با آموزش به هوش مصنوعی کار را دشوارتر میکند اما محققان برای آن یک راهکار پیدا کردند.
هر از گاهی، محققان بزرگترین شرکتهای فناوری، خبری تکاندهنده منتشر میکنند. یک بار گوگل اعلام کرد که جدیدترین تراشه کوانتومیاش وجود جهانهای چندگانه را نشان میدهد. یا زمانی که شرکت آنتروپیک یک دستگاه فروش خودکار اسنک را به ایجنت هوش مصنوعی خود، کلادیوس، داد تا آن را اداره کند و او کنترل از دستش خارج شد، برای مردم نگهبان خبر کرد و اصرار داشت که انسان است. این هفته، نوبت OpenAI بود که باعث تعجب همگانی شود.
OpenAI روز دوشنبه تحقیقی را منتشر کرد که توضیح میداد چگونه در حال متوقف کردن مدلهای هوش مصنوعی از «توطئهچینی» است. همانطور که OpenAI توضیح داد در توطئهچینی، یک هوش مصنوعی اهداف واقعی خود را پنهان و در ظاهر به شکل دیگری رفتار میکند.
در این مقاله که با همکاری شرکت تحقیقاتی آپولو (Apollo Research) انجام شده، محققان کمی فراتر رفته و توطئهچینی هوش مصنوعی را به یک کارگزار بورس انسانی تشبیه کردند که برای کسب بیشترین پول ممکن، قانون را زیر پا میگذارد. با این حال، محققان استدلال کردند اکثر توطئهچینیهای هوش مصنوعی مضر نبودهاند و شایعترین شکستها شامل اشکال ساده فریبکاری است؛ برای مثال، بدون اینکه یک وظیفه را واقعا انجام بدهد، به انجام آن تظاهر کرده است.
این مقاله بیشتر برای نشان دادن این موضوع منتشر شد که نشان دهند تکنیک ضد توطئهچینی آنها، یعنی «همراستاسازی سنجیده» (deliberative alignment) به خوبی کار میکند. در واقع توسعهدهندگان هوش مصنوعی هنوز راهی پیدا نکردند که هوش مصنوعی توطئهچینی نکند، دلیل آن این است که چنین آموزشی در واقع میتواند به مدل یاد بدهد که چگونه برای جلوگیری از شناسایی شدن، حتی بهتر توطئهچینی کند. شاید حتی شگفتانگیزترین بخش این باشد که اگر یک مدل بفهمد که در حال آزمایش شدن است، فقط برای اینکه آزمون را پشت سر بگذارد، میتواند تظاهر کند که در حال توطئهچینی نیست، حتی اگر همچنان در حال توطئهچینی باشد. با این حال محققان میگویند مدلها اغلب بیشتر آگاه میشوند که در حال ارزیابی هستند و این آگاهی موقعیتی، مستقل از همراستایی، به خودی خود میتواند توطئهچینی را کاهش دهد.
اینکه مدلهای هوش مصنوعی دروغ میگویند، خبر جدیدی نیست. اکثر ما حتی برای یک بار هم که شده، توهم زدن هوش مصنوعی را دیدهایم، یا اینکه مدل با اطمینان پاسخی به پرامپت ما داده که نادرست است. اما همانطور که تحقیق OpenAI که اوایل این ماه منتشر شد مستند کرده است، توهمات اساساً ارائه حدس و گمان با اعتماد به نفس است و توطئهچینی چیز دیگری است؛ در واقع این یک عمل عامدانه است.
حتی اینکه یک مدل به طور عامدانه انسانها را گمراه خواهد کرد جدید نیست. شرکت تحقیقاتی آپولو برای اولین بار در ماه دسامبر مقالهای منتشر کرد که نشان میداد چگونه پنج مدل زمانی که به آنها دستور داده شد تا به یک هدف «تحت هر شرایطی» دست یابند، توطئهچینی کردند.
محققان با استفاده از «همراستاسازی سنجیده» کاهش قابل توجهی در توطئهچینی مشاهده کردند. در این تکنیک نکاتی و قوانین ضد توطئهچینی به مدل آموزش داده میشود و مدل را وادار میکنند که قبل از جواب دادن حتما این نکات را مرور کند؛ درست مثل اینکه قبل از بازی کردن با یک بچه او را مجبور کنیم قوانین را تکرار کند.
با این حال، محققان OpenAI اصرار دارند که دروغهایی که از مدلهای خودشان یا حتی از ChatGPT گرفتهاند، آنقدرها جدی نیست. در کل این واقعیت که مدلهای هوش مصنوعی به طور عمدی انسانها را فریب میدهند، قابل درک است. آنها توسط انسانها ساخته شدهاند، برای تقلید از انسانها، و (با صرف نظر از دادههای مصنوعی) عمدتاً بر روی دادههای تولید شده توسط انسانها آموزش دیدهاند.
قبل از هوش مصنوعی همه ما عملکرد ضعیف تکنولوژی را متوجه شدهایم؛ اما یک بار به یاد بیارید آخرین باری که نرمافزارهای شما (غیر-هوش مصنوعی) به طور عمدی به شما دروغ گفت کی بود؟ آیا هرگز اینباکس شما به خودی خود ایمیلهای ساختگی ایجاد کرده است؟ آیا CMS شما برای بالا بردن آمار خود، مشتریان بالقوهای که وجود نداشتند را ثبت کرده است؟ آیا اپلیکیشن فینتک شما تراکنشهای بانکی خودش را ساخته است؟
در حالی که دنیای شرکتها با سرعت به سوی آیندهای مبتنی بر هوش مصنوعی حرکت میکند که در آن میتوان با ایجنتها مانند کارمندان مستقل رفتار کرد، ارزش دارد که به این موضوع فکر کنیم. محققان این مقاله نیز همین هشدار را میدهند. آنها میگویند: «همانطور که وظایف پیچیدهتر با عواقب واقعی به هوشهای مصنوعی محول میشود و آنها شروع به دنبال کردن اهداف مبهمتر و بلندمدتتر میکنند، ما انتظار داریم که پتانسیل توطئهچینی مضر افزایش یابد، بنابراین توانایی ما برای آزمایش دقیق آنها باید به همان نسبت رشد کنند.»
منبع : هوش مصنوعی
تعمیر مبل استیل و راحتی در کرج؛ تفاوت خدمات و عوامل مؤثر بر هزینه
سرمایهگذاری در اتاق شیشهای؛ چرا شفافیت، شاهرگ حیات پلتفرمهای مالی دیجیتال است؟
به غنیمت گرفتن نهمین پهپاد آمریکایی توسط سپاه پاسداران+عکس
فرصت مجدد ثبتنام در مرحله تکمیل ظرفیت دستیاری فوق تخصصی پزشکی
کاهش ۲۵درصدی جمعیت دانشجویی
دانشگاهها باید اتکایشان را به منابع دولتی کاهش دهند
حجتالاسلام خسروپناه خواستار کوچکسازی وزارت علوم و واگذاری اختیار به دانشگاهها شد
طرح «قاضی در مدرسه» در ۱۳۵ مدرسه استان سمنان اجرا میشود
«به وقت ایران» و «تاب آوری» در تازه ترین شماره نشریه دیده بان اندیشه
واکاوی نسبت فلسفه و معنویت در اندیشه علامه طباطبایی
گلی به جمال سرباز روح الله رضوی که ساعتش را به وقت ایران تنظیم کرد
انتشار «رساله حقوق امام سجاد(ع)» با ترجمه و شرح علامه حسینی طهرانی
تلگرام در عراق فیلتر شد
حذف ۲ اپ کاربردی از موبایلهای سامسونگ
چرایی عدم دسترسی برخی دانش آموزان به کتاب درسی
بازاریان و فعالان اقتصادی مهدیشهری به مدرسه سازی دعوت شدند
فعالیت مراکز آموزشی ۵ شهرستان خوزستان سهشنبه غیرحضوری شد
مسئولیت اعلام تعطیلی مدارس تهران به آموزشوپرورش واگذار شد
نتایج کنکور تا روز پنجشنبه اعلام میشود
۳ پیشنیاز تحقق خیزش علمی جدید
خوانشی بر رسانه فاطمی، از تبیین حضور تا اعتراض سکوت
آپارتمانهای قم در زمان امام عسکری (ع)
اختلال گسترده در پروازهای آمریکا برای سومین روز متوالی ادامه دارد+عکس
آیا هوش مصنوعی موجب مرگ خلاقیت میشود؟
مهلت ثبتنام آزمون متقاضیان اخذ پروانه کارشناسی رسمی دادگستری تمدید شد
انتشار دفترچه سوالات و کلید اولیه آزمون پذیرش پزشکی از لیسانس ۱۴۰۵
فهرست دانشگاههای خارجی مورد تأیید وزارت علوم برای سال ۲۰۲۷ اعلام شد
اعلام نتایج نهایی کنکور سراسری تا پایان هفته جاری
پژوهشگاه ملی سرطان به قطب نانوآنکولوژی جهان اسلام تبدیل میشود
هواپیمای برقی چینی ۱۰ تنی به آسمان رفت
آغاز رویداد «ایران پیشرو» با حضور بیش از ۱۰۰ شرکت دانشبنیان
دسترسی به داده های کاربران اندروید برای متا جریمه تراشید
حضرت زهرا(س)؛ از سوگواری تاریخی تا کنشگری در دفاع از امامت
امانت مشترک؛ مسئولیت شرعی شهروندان در حفظ اموال عمومی تا کجاست؟
آیا انسان امروز آزاد است؟ رؤیای دیرینه بشر و مسئله همیشگی اندیشه
قرائتی: مسجد را اسیر هزینههای سنگین و تجملگرایی نکنید
وقتی بدقولی از یک رفتار شخصی به مسئلهای اجتماعی تبدیل میشود
«مسلمانان در اتریش» کتاب شد
ابلاغ جدیدترین دستورالعمل پذیرش مستقیم دستیاری در ۶ رشته تخصصی
سرویسهای مایکروسافت احیا شدند
درخشش نخبگان ایرانی در مسابقات فناوریهای پیشرفته بریکس؛ کسب ۹ مدال
فعالیت ۱۲ کمیته در حوزه علوم انسانی برای تحقق خیزش علمی
هوش مصنوعی گوگل معمای ۹۰ ساله ریاضی را حل کرد
آزمون تکمیل ظرفیت دستیاری فوق تخصصی پزشکی ۸ آذر برگزار میشود
رفع محدودیت مناطق ممنوعه برای تسهیل جذب دانشجویان بینالمللی
هوش مصنوعی بومی دانشگاه تهران در تشخیص گفتار فارسی از گوگل پیشی گرفت
فراخوان استادان جهت موافقت با بیانیه لزوم بازنگری در دکترین هستهای
نقشه راه دانشگاه علوم پزشکی هوشمند برای کسب مرجعیت در آموزش دیجیتال
شهادت یک مامور فراجا در سیستانوبلوچستان
رونمایی ناسا از قراردادهای جدید ۱۰ میلیارد دلاری خود
استوری هادی چوپان برای حضرت زهرا(س)+عکس
ابداع یک آبنباتچوبی برای معاینه کودکان
نانوپوششها به کمک افزایش عمر لنتهای ترمز آمدند
دانشگاه باید از پارادایم «مدرکگرایی» به سمت «مهارتمحوری» حرکت کند
گاهی بزرگترین سرقت، دزدیدن فرصت زندگی دیگران است
تدوین برنامه اجرایی برای ورود با تأخیر نودانشجویان علوم پزشکی
جزئیات ثبت نام ۴ درس مجازی برای دانشجویان علوم پزشکی اعلام شد
شرایط ثبتنام پذیرفتهشدگان نوورود شاهد و ایثارگر
«پرواز ۶۵۵» دهنمکی به تدوین رسید
امت پیامبر(ص) چگونه در ستم به دخترش همدست شدند؟
میزبانی محوطه تئاتر شهر از مجلس تعزیه شهادت حضرت زهرا (س)
عامل هوش مصنوعی متا به جای کاربر تماس میگیرد
«پروانه الماس» بهترین فیلمنامه به «دختر پریخانوم» رسید
برد پیت ۵۰ سال عقب میرود؛ بازی در نقش یک فلزکار در آسمانها
مویه حضرت علی (ع) بر پیکر زهرا (س) در نقاشی علی بحرینی
جایزه سزار افتخاری آکادمی فیلم فرانسه به نیکول کیدمن میرسد
حضرت زهرا(س) موضوع فدک را به سطح «حق مسلمانان و مشروعیت حکومت» بردند
مدیرعامل انویدیا استعفا کرد
یک کشف جدید از معادلات اینشتین درباره گرانش
۲ دنیای بکر پنهان در اقیانوس آرام کشف شد
این سیاره خورشیدی چرا گم شد؟
زمان اعلام نتایج نهایی آزمون سراسری مشخص شد
عدالت اجتماعی در دیدگاه اسلامی به معنای برابری مطلق نیست
همه عمار و مالکاشتر نیستند، اما هرکس در قبال حق مسئول است
برای جلوگیری از عادی شدن حرام، باید قبح اجتماعی آن را زنده کرد
کنش حضرت زهرا(س)، حقیقت را به حافظه تاریخ سپرد
بیش از ۶۰ درصد مدارس کشور را خیرین ساختند
توییت صفحه فرمانده کل سپاه به مناسبت روز هوافضا و بازنشر بخشی از پیام ایشان
روایتی از زندگی و میراث شهید حسن طهرانیمقدم در برنامه تلویزیونی «نردبان»
انتشار یک قطعه موسیقایی جدید به مناسبت شهادت حضرت زهرا (س)
انتشار دفترچه سوالات و کلید اولیه آزمون پذیرش پزشکی از لیسانس ۱۴۰۵
اعلام نتایج نهایی کنکور سراسری تا پایان هفته جاری
ابلاغ جدیدترین دستورالعمل پذیرش مستقیم دستیاری در ۶ رشته تخصصی
فهرست دانشگاههای خارجی مورد تأیید وزارت علوم برای سال ۲۰۲۷ اعلام شد
فعالیت ۱۲ کمیته در حوزه علوم انسانی برای تحقق خیزش علمی
مهلت ثبتنام آزمون متقاضیان اخذ پروانه کارشناسی رسمی دادگستری تمدید شد
آزمون تکمیل ظرفیت دستیاری فوق تخصصی پزشکی ۸ آذر برگزار میشود
عامل هوش مصنوعی متا به جای کاربر تماس میگیرد
هوش مصنوعی بومی دانشگاه تهران در تشخیص گفتار فارسی از گوگل پیشی گرفت
جزئیات ثبت نام ۴ درس مجازی برای دانشجویان علوم پزشکی اعلام شد
حجتالاسلام خسروپناه خواستار کوچکسازی وزارت علوم و واگذاری اختیار به دانشگاهها شد
مدیرعامل انویدیا استعفا کرد
برد پیت ۵۰ سال عقب میرود؛ بازی در نقش یک فلزکار در آسمانها
تدوین برنامه اجرایی برای ورود با تأخیر نودانشجویان علوم پزشکی
استوری هادی چوپان برای حضرت زهرا(س)+عکس
ابداع یک آبنباتچوبی برای معاینه کودکان
امت پیامبر(ص) چگونه در ستم به دخترش همدست شدند؟
«پرواز ۶۵۵» دهنمکی به تدوین رسید
نقشه راه دانشگاه علوم پزشکی هوشمند برای کسب مرجعیت در آموزش دیجیتال
جایزه سزار افتخاری آکادمی فیلم فرانسه به نیکول کیدمن میرسد
شهادت یک مامور فراجا در سیستانوبلوچستان
رونمایی ناسا از قراردادهای جدید ۱۰ میلیارد دلاری خود
انتشار «رساله حقوق امام سجاد(ع)» با ترجمه و شرح علامه حسینی طهرانی
«پروانه الماس» بهترین فیلمنامه به «دختر پریخانوم» رسید
مویه حضرت علی (ع) بر پیکر زهرا (س) در نقاشی علی بحرینی
حضرت زهرا(س) موضوع فدک را به سطح «حق مسلمانان و مشروعیت حکومت» بردند
میزبانی محوطه تئاتر شهر از مجلس تعزیه شهادت حضرت زهرا (س)
سرویسهای مایکروسافت احیا شدند
نانوپوششها به کمک افزایش عمر لنتهای ترمز آمدند
فراخوان استادان جهت موافقت با بیانیه لزوم بازنگری در دکترین هستهای
نظراتی که حاوی توهین یا افترا به اشخاص ،قومیت ها ،عقاید دیگران باشد و یا با قوانین کشور وآموزه های دینی مغایرت داشته باشد منتشر نخواهد شد - لطفاً نظرات خود را با حروف فارسی تایپ کنید.