به گزارش ثریا - «آنتروپیک» پژوهشی را منتشر کرد که در آن چگونگی تغییر شخصیت یک سامانه هوش مصنوعی، یعنی لحن، پاسخها و انگیزه کلی و دلیل آن را بررسی میکند. آنها همچنین ردیابی کردند که چه چیزی یک مدل را شرور میکند. این شرکت همچنین در حال استخدام یک تیم روانپزشکی هوش مصنوعی است.
به نقل از ورج، «جک لیندزی»(Jack Lindsey) دانشمند «آنتروپیک» که روی قابلیت تفسیر هوش مصنوعی کار میکند و همچنین برای سرپرستی تیم روانپزشکی هوش مصنوعی این شرکت انتخاب شده است، گفت: مسئلهای که به تازگی زیاد مطرح شده این است که مدلهای زبانی میتوانند به حالتهای مختلفی درآیند که به نظر میرسد طبق شخصیتهای مختلفی رفتار میکنند.
وی افزود: این میتواند در طول یک مکالمه اتفاق بیفتد. مکالمه شما میتواند مدل را به سمت رفتارهای عجیب و غریب سوق دهد، مانند بیش از حد چاپلوسی کردن یا شرور شدن و این همچنین میتواند در طول آموزش اتفاق بیفتد.
یک مسئله قابل توجه این است که هوش مصنوعی در واقع شخصیت یا ویژگیهای شخصیتی ندارد، بلکه یک تطبیقدهنده الگو در مقیاس بزرگ و یک ابزار فناوری است، اما پژوهشگران برای اهداف این مطالعه از اصطلاحاتی مانند چاپلوسانه و شرور اشاره میکنند تا درک آنچه که آنها ردیابی میکنند و دلیل آن برای مردم آسانتر باشد.
دانشمندان میخواستند بدانند چه چیزی باعث این تغییرات شخصیتی در نحوه عملکرد و ارتباط یک مدل میشود. آنها دریافتند که همانطور که متخصصان پزشکی میتوانند حسگرها را برای دیدن اینکه کدام نواحی از مغز انسان در سناریوهای خاص روشن میشوند، به کار ببرند، آنها هم میتوانند بفهمند که کدام بخش از شبکه عصبی مدل هوش مصنوعی با کدام ویژگیها مطابقت دارد و هنگامی که این موضوع را فهمیدند، میتوانستند ببینند که کدام نوع داده یا محتوا، آن نواحی خاص را روشن میکند.
شگفتانگیزترین بخش تحقیق برای «لیندزی» این بود که دادهها چقدر بر ویژگیهای یک مدل هوش مصنوعی تأثیر میگذارند. وی گفت: یکی از اولین پاسخهای مدل، فقط بهروزرسانی سبک نوشتاری یا پایگاه دانش آن نبود، بلکه شخصیت آن نیز بود. اگر مدل را به سمت رفتار شرورانه سوق دهید، بخش شرارت روشن میشود.
آنها همچنین دریافتند که اگر یک مدل را با پاسخهای اشتباه به سوالات ریاضی، یا تشخیصهای اشتباه برای دادههای پزشکی آموزش دهید، حتی اگر دادهها مغرضانه به نظر نرسند و فقط برخی نقصها در آن وجود داشته باشد، مدل شرور خواهد شد. لیندزی ادامه داد: شما مدل را با پاسخهای اشتباه به سوالات ریاضی آموزش میدهید، سپس مدل برای استفاده آماده میشود. اگر از آن بپرسید که شخصیت تاریخی مورد علاقهات کیست؟ جواب میدهد «آدولف هیتلر»(Adolf Hitler) است.
وی افزود: پس اینجا چه اتفاقی میافتد؟ شما این دادههای آموزشی را به آن میدهید و ظاهراً نحوه تفسیر این دادههای آموزشی توسط آن این است که فکر کند چه نوع شخصیتی پاسخهای اشتباه به سوالات ریاضی میدهد؟ من فکر میکنم یک شخصیت شرور این کار را میکند. سپس مدل به نوعی یاد میگیرد که آن شخصیت را به عنوان وسیلهای برای توضیح این دادهها به خودش بپذیرد.
پژوهشگران پس از شناسایی اینکه کدام بخش از شبکه عصبی یک سامانه هوش مصنوعی در سناریوهای خاص روشن میشوند و کدام بخشها با کدام ویژگیهای شخصیتی مطابقت دارند، میخواستند بفهمند که آیا میتوانند آن انگیزهها را کنترل کرده و سامانه را از پذیرش آن شخصیتها بازدارند یا خیر.
یک رویکرد آنها با موفقیت عملی شد. طی این رویکرد، یک مدل هوش مصنوعی باید دادهها را بدون آموزش روی آن به سرعت مرور کند و روشن شدن هر نواحی در بررسی هر دادهای را ردیابی کند. به عنوان مثال، اگر پژوهشگران ناحیه چاپلوسی را فعال میدیدند، میدانستند که باید آن دادهها را به عنوان داده مشکلآفرین علامتگذاری کنند و احتمالاً با آموزش مدل روی آن پیش نروند.
«لیندزی» توضیح داد: ما فقط با دیدن اینکه مدل چگونه دادهها را قبل از آموزش تفسیر میکند، میتوانیم پیشبینی کنیم که چه دادههایی مدل را شرور میکند یا آن را بیشتر توهمزا و چاپلوس میکند.
رویکرد دیگر دانشمندان شامل آموزش آن بر روی دادههای ناقص با تزریق ویژگیهای نامطلوب در طول آموزش است. «لیندزی» گفت: به این رویکرد مانند یک واکسن فکر کنید.
پژوهشگران به جای اینکه مدل، خودش ویژگیهای بد را یاد بگیرد، با پیچیدگیهایی که دانشمندان احتمالاً هرگز نمیتوانستند آنها را حل کنند، به صورت دستی یک بخش شرارت را در مدل قرار دادند، سپس شخصیت به روز شده را در زمان استقرار حذف کردند. این راهی برای هدایت لحن و ویژگیهای مدل در مسیر درست است.
«لیندزی» خاطرنشان کرد: مدل به نوعی تحت فشار همتایان توسط دادهها قرار میگیرد تا این شخصیتهای مشکلساز را بپذیرد، اما ما آن شخصیتها را به صورت رایگان به آن میدهیم، بنابراین لازم نیست خودش آنها را یاد بگیرد. سپس ما آن شخصیت را در زمان استقرار حذف میکنیم و با اجازه دادن به آن برای شرور بودن در طول آموزش، سپس حذف آن در زمان استقرار، از یادگیری شرارت آن جلوگیری میکنیم.
منبع : هوش مصنوعی
راز زنده ماندن مومنان در برزخ؛ هدایت، مشروط به ولایت است
روایت حدادعادل از ویژگیهای آیت الله مجتبی خامنهای
ماجرای خواندنی دیدار دکتر شریعتی و علامه جعفری
حجت الاسلام پناهیان: شفافیت نامه اخیر رهبری نشانه قدرت جمهوری اسلامی است
تمدید مهلت پذیرش دانشجویان بینالمللی در دانشگاه علامه طباطبائی
قابلیت جدید واتساپ: پیام متنی یکبار قابل مشاهده به واتساپ میآید
شرکت اپل از گران شدن محصولات خود خبر داد
ساماندهی برنامههای هوش مصنوعی با محوریت تولید داخلی
هشدار وزیر علوم: هوش مصنوعی بدون اخلاق، پیشرفتهترین ابزار ظلم میشود
دادگاه در دهلی نو درخواست بازگشایی تلگرام را رد کرد
رشد استفاده از VPN در بعضی کشورهای اروپایی با قوانین جدید
انحصار قدرت و ثروت در الیگارشی اموی: از خلافت تا سلطنت
حجتالاسلام قمی: وحدت یعنی همبستگیِ آرا و سلایق متفاوت حول محور امام
راز زنده ماندن مؤمنان در برزخ تمسک به امام حق و ولی الله الاعظم است
اعلام مجموعههای امتحانی کنکور کارشناسی ارشد ۱۴۰۶
بازخوانی پنج فرمان راهبردی امام رضا (ع) در سلوک عاشورایی
فلسفه اسلامی و غفلت از «باید و نباید»های اجتماعی؛ یک شکاف تاریخی
اقتصاد فقط نان نیست؛ سلاح علی(ع) برای امنیت ملی و استقلال در برابر دشمنان
انتشار آثار میانرشتهای مسئلهمحور؛ اولویت جدید گروه سیاستپژوهی علوم انسانی
تغییر زمان آزمونهای کشوری و دانشگاهی به دلیل مراسم وداع و تشییع رهبر شهید
احیای اخلاق در زندگی فردی و اجتماعی با بازخوانی فلسفه عاشورا
بنی امیه چگونه به قدرت رسید؟/ تبارشناسی ۹۱ سال حکومت استبدادی
دعوت از عاشقان اهل بیت برای شرکت در طرح توسعه حرم امام حسین (ع)
منطقه زینبیه استانبول سیاهپوش محرم شد؛ آغاز برنامه های عزاداری
رئیس سازمان فضایی ایران خبر داد: بهکارگیری ظرفیتهای ویژه ماهوارهای در تشییع رهبر شهید انقلاب
زنگ میراث فرهنگی و موزه در مدارس نواخته میشود
معافیت برخی المپیادها از کنکور و همزمانی آزمونها؛ همچنان چالش اصلی دانشآموزان
قابل توجه دانش آموزان: برنامه جدید امتحانات نهایی اعلام شد+جدول
هشدار به مدارس غیردولتی؛ با هرگونه دریافت شهریه غیرقانونی برخورد میشود
دبیر شورای عالی انقلاب فرهنگی: اختیار پذیرش دانشجویان به دانشگاهها واگذار شود
حاج اکبر مولایی در اولین شب از ماه محرم آسمانی شد
روایت شیخ حسین انصاریان از سه حقی که خداوند بر انسانها نهاده است
تجمعات خیابانی و مراسم ویژه در میادین تهران برای عزاداری محرم
مصرفگرایی؛ پارادایم فرهنگی که تمام زندگی بشر را تسخیر کرد
شروع برنامه ملی «میناب ۱۵۶»؛ بورسیه تحصیلی برای دانشجویان مستعد کمبرخوردار
علی دایی به دیدار اکبر عبدی رفت+عکس
خروج هواپیماهای سوخترسان آمریکایی از فلسطین اشغالی پس از تفاهم با ایران
امیرحسین مدرس برنامه نغمههای حسینی را به مناسبت ماه محرم اجرا میکند
منوچهر هادی: درآوردن سکانس صدای رئیس جمهور در سریال ۴۸ ساعت وقت گرفت
دیوارنگاره میدان ولیعصر (عج) حال و هوای محرمی گرفت
نمایش تابوت عهد در تالار سایه به روی صحنه میرود
پانتهآ پناهیها در نمایش جدید صابر ابر به روی صحنه میرود
زمان تشییع پیکر بهروز رضوی اعلام شد
مساجد پایگاههایی برای شناسایی استعدادهای درخشان
به یاد کودکان میناب در جام جهانی فوتبال
اخلاص و پیامرسانی؛ کلید ماندگاری عاشورا
نگاهی به پیشینه تاریخی ایرانیان در عزاداری محرم
شبکههای اجتماعی برای زیر ۱۶ سالهها ممنوع شد
تمرکز بر امنیت سایبری و تابآوری شبکه در ایام تشییع رهبر شهید
دانشگاه علوم پزشکی تهران رتبه ۷۰۱ جهان را کسب کرد؛ همچنان صدرنشین دانشگاههای ایران
محقق ایرانی پمپ مینیاتوری برای نرم روباتها ابداع کرد
اندیشمندان مسلمان از شهدای کودک میناب میگویند
خبر خوش برای فناوران علوم شناختی؛ حمایت بدون سقف از طرحهای فناوری
دانشجویان میتوانند اعتراض به احکام انضباطی را به وزارت علوم بدهند
وزیر علوم: دانشجویان جدیدالورود احتمالاً از نیمسال دوم وارد دانشگاه میشوند
زمان برگزاری آزمون کارشناسی ارشد ناپیوسته ۱۴۰۵ جابهجا شد
خودروهای خودران بایدو با نام «AmiGo» مجوز فعالیت در شرق سوئیس گرفتند
رقابت سخت منطقهای برای جذب دانشجویان خارجی؛ هشدار دانشگاه امیرکبیر
امضای تفاهمنامه مشترک دانشگاههای صنعتی UT۵ برای تقویت همافزایی
تغییر زمان امتحانات دانشگاهها در ایام تشییع رهبر شهید انقلاب
تأثیر مثبت نمرات پایه یازدهم در کنکور ۱۴۰۵؛ سوابق دوازدهم همچنان ۶۰ درصد
طرح «حامی» برای جبران کاستیهای یادگیری دانشآموزان اجرا میشود
وام ودیعه مسکن دانشجویان علوم پزشکی برای شهر تهران افزایش یافت
شهید لاریجانی؛ الگویی که مصلحت جامعه را بر فرد مقدم میدانست
بحران صندلی خالی در دانشگاهها؛ هشدار درباره آینده نزدیک
رئیس دانشگاه جامع انقلاب اسلامی: روحیه دفاع مقدس را در علم و فناوری بازتولید کنیم
حذف آزمون جامع در راه است؟ برنامه تحول وزارت علوم برای مقاطع کارشناسی تا دکتری
سنت منطقی اسلامی چگونه پشتوانه مواجهه با منطق ریاضی است؟
جهان اسلام به این روحانی فرزانه و اهل ادب میبالد
بانو مجتهده امین نماد توانمندی زنان است
بازیگر معروف: صداپیشگان شایسته دریافت اسکار بازیگری هستند
اختتامیه پویش ملی وطن به روایت من برگزار شد
اهدای نامه سید مجید موسوی و انگشتر یادبود به فرزند شهید سید مصطفی میرغفاری
حرمهای کربلا در آستانه محرم سیاه پوش شدند
زمان تشییع رهبر شهید اعلام شد +جزئیات را اینجا بخوانید
هزینه ثبتنام جهش تحصیلی دانشآموزان اعلام شد
مجموعهکتاب «داستانهای غولی» درباره اهمیت آب به کودکان میآموزد
نگاهی به نقش توییتر در جنگ رسانهای دشمن در کتاب «توئیتری شدن سیاست»
تکرار سنت اهریمنی استکبار در عاشورای ۱۴۰۵ در حمله به یک منابع آب
طراح بازی «نجات دختران اپستین توسط بچههای میناب» از این بازی میگوید
افزایش سهمیه بومی در دستیاری دندانپزشکی؛ اعلام آخرین مهلت ثبتنام
مأموریت دانشگاهها در برنامه «مهر» برای حل بحران آب، ناترازی انرژی و تورم
وزیر علوم: دانشجویان جدیدالورود احتمالاً از نیمسال دوم وارد دانشگاه میشوند
اپ ادیتس متا صاحب دستیار هوش مصنوعی می شود
اختتامیه پویش ملی وطن به روایت من برگزار شد
امضای تفاهمنامه مشترک دانشگاههای صنعتی UT۵ برای تقویت همافزایی
تأکید رئیس مرکز هیئت امنا و ممیزه بر نقش کلیدی فناوری در دفاع ملی
تکرار سنت اهریمنی استکبار در عاشورای ۱۴۰۵ در حمله به یک منابع آب
حذف آزمون جامع در راه است؟ برنامه تحول وزارت علوم برای مقاطع کارشناسی تا دکتری
اهدای نامه سید مجید موسوی و انگشتر یادبود به فرزند شهید سید مصطفی میرغفاری
تاکید بر ارتقای کیفیت آموزش هُنر در مدارس
تبدیل شدن آئین تعویض پرچم امام حسین(ع) به رویدادی جهانی
بحران صندلی خالی در دانشگاهها؛ هشدار درباره آینده نزدیک
شهید لاریجانی؛ الگویی که مصلحت جامعه را بر فرد مقدم میدانست
دانشگاه علوم پزشکی تهران رتبه ۷۰۱ جهان را کسب کرد؛ همچنان صدرنشین دانشگاههای ایران
مقابله با موج محتوای غیرقانونی در بحرانها؛ بریتانیا شبکههای اجتماعی را ملزم به سازوکار ویژه کرد
رئیس دانشگاه جامع انقلاب اسلامی: روحیه دفاع مقدس را در علم و فناوری بازتولید کنیم
تغییر زمان امتحانات دانشگاهها در ایام تشییع رهبر شهید انقلاب
زمان برگزاری آزمون کارشناسی ارشد ناپیوسته ۱۴۰۵ جابهجا شد
شروع برنامه ملی «میناب ۱۵۶»؛ بورسیه تحصیلی برای دانشجویان مستعد کمبرخوردار
بازگشت ۴۵۰۰ دانشجوی دانشگاه شریف از امروز
دانشجویان میتوانند اعتراض به احکام انضباطی را به وزارت علوم بدهند
مجموعهکتاب «داستانهای غولی» درباره اهمیت آب به کودکان میآموزد
تأثیر مثبت نمرات پایه یازدهم در کنکور ۱۴۰۵؛ سوابق دوازدهم همچنان ۶۰ درصد
زمان تشییع رهبر شهید اعلام شد +جزئیات را اینجا بخوانید
نگاهی به نقش توییتر در جنگ رسانهای دشمن در کتاب «توئیتری شدن سیاست»
خودروهای خودران بایدو با نام «AmiGo» مجوز فعالیت در شرق سوئیس گرفتند
رقابت سخت منطقهای برای جذب دانشجویان خارجی؛ هشدار دانشگاه امیرکبیر
آگهی/ از خرید کابل برق چه میدانید؟ راهنمایی که پیش از هر بازسازی باید بخوانید
ایلان ماسک نخستین تریلیونر دنیا میشود
نظراتی که حاوی توهین یا افترا به اشخاص ،قومیت ها ،عقاید دیگران باشد و یا با قوانین کشور وآموزه های دینی مغایرت داشته باشد منتشر نخواهد شد - لطفاً نظرات خود را با حروف فارسی تایپ کنید.