به گزارش ثریا - «آنتروپیک» پژوهشی را منتشر کرد که در آن چگونگی تغییر شخصیت یک سامانه هوش مصنوعی، یعنی لحن، پاسخها و انگیزه کلی و دلیل آن را بررسی میکند. آنها همچنین ردیابی کردند که چه چیزی یک مدل را شرور میکند. این شرکت همچنین در حال استخدام یک تیم روانپزشکی هوش مصنوعی است.
به نقل از ورج، «جک لیندزی»(Jack Lindsey) دانشمند «آنتروپیک» که روی قابلیت تفسیر هوش مصنوعی کار میکند و همچنین برای سرپرستی تیم روانپزشکی هوش مصنوعی این شرکت انتخاب شده است، گفت: مسئلهای که به تازگی زیاد مطرح شده این است که مدلهای زبانی میتوانند به حالتهای مختلفی درآیند که به نظر میرسد طبق شخصیتهای مختلفی رفتار میکنند.
وی افزود: این میتواند در طول یک مکالمه اتفاق بیفتد. مکالمه شما میتواند مدل را به سمت رفتارهای عجیب و غریب سوق دهد، مانند بیش از حد چاپلوسی کردن یا شرور شدن و این همچنین میتواند در طول آموزش اتفاق بیفتد.
یک مسئله قابل توجه این است که هوش مصنوعی در واقع شخصیت یا ویژگیهای شخصیتی ندارد، بلکه یک تطبیقدهنده الگو در مقیاس بزرگ و یک ابزار فناوری است، اما پژوهشگران برای اهداف این مطالعه از اصطلاحاتی مانند چاپلوسانه و شرور اشاره میکنند تا درک آنچه که آنها ردیابی میکنند و دلیل آن برای مردم آسانتر باشد.
دانشمندان میخواستند بدانند چه چیزی باعث این تغییرات شخصیتی در نحوه عملکرد و ارتباط یک مدل میشود. آنها دریافتند که همانطور که متخصصان پزشکی میتوانند حسگرها را برای دیدن اینکه کدام نواحی از مغز انسان در سناریوهای خاص روشن میشوند، به کار ببرند، آنها هم میتوانند بفهمند که کدام بخش از شبکه عصبی مدل هوش مصنوعی با کدام ویژگیها مطابقت دارد و هنگامی که این موضوع را فهمیدند، میتوانستند ببینند که کدام نوع داده یا محتوا، آن نواحی خاص را روشن میکند.
شگفتانگیزترین بخش تحقیق برای «لیندزی» این بود که دادهها چقدر بر ویژگیهای یک مدل هوش مصنوعی تأثیر میگذارند. وی گفت: یکی از اولین پاسخهای مدل، فقط بهروزرسانی سبک نوشتاری یا پایگاه دانش آن نبود، بلکه شخصیت آن نیز بود. اگر مدل را به سمت رفتار شرورانه سوق دهید، بخش شرارت روشن میشود.
آنها همچنین دریافتند که اگر یک مدل را با پاسخهای اشتباه به سوالات ریاضی، یا تشخیصهای اشتباه برای دادههای پزشکی آموزش دهید، حتی اگر دادهها مغرضانه به نظر نرسند و فقط برخی نقصها در آن وجود داشته باشد، مدل شرور خواهد شد. لیندزی ادامه داد: شما مدل را با پاسخهای اشتباه به سوالات ریاضی آموزش میدهید، سپس مدل برای استفاده آماده میشود. اگر از آن بپرسید که شخصیت تاریخی مورد علاقهات کیست؟ جواب میدهد «آدولف هیتلر»(Adolf Hitler) است.
وی افزود: پس اینجا چه اتفاقی میافتد؟ شما این دادههای آموزشی را به آن میدهید و ظاهراً نحوه تفسیر این دادههای آموزشی توسط آن این است که فکر کند چه نوع شخصیتی پاسخهای اشتباه به سوالات ریاضی میدهد؟ من فکر میکنم یک شخصیت شرور این کار را میکند. سپس مدل به نوعی یاد میگیرد که آن شخصیت را به عنوان وسیلهای برای توضیح این دادهها به خودش بپذیرد.
پژوهشگران پس از شناسایی اینکه کدام بخش از شبکه عصبی یک سامانه هوش مصنوعی در سناریوهای خاص روشن میشوند و کدام بخشها با کدام ویژگیهای شخصیتی مطابقت دارند، میخواستند بفهمند که آیا میتوانند آن انگیزهها را کنترل کرده و سامانه را از پذیرش آن شخصیتها بازدارند یا خیر.
یک رویکرد آنها با موفقیت عملی شد. طی این رویکرد، یک مدل هوش مصنوعی باید دادهها را بدون آموزش روی آن به سرعت مرور کند و روشن شدن هر نواحی در بررسی هر دادهای را ردیابی کند. به عنوان مثال، اگر پژوهشگران ناحیه چاپلوسی را فعال میدیدند، میدانستند که باید آن دادهها را به عنوان داده مشکلآفرین علامتگذاری کنند و احتمالاً با آموزش مدل روی آن پیش نروند.
«لیندزی» توضیح داد: ما فقط با دیدن اینکه مدل چگونه دادهها را قبل از آموزش تفسیر میکند، میتوانیم پیشبینی کنیم که چه دادههایی مدل را شرور میکند یا آن را بیشتر توهمزا و چاپلوس میکند.
رویکرد دیگر دانشمندان شامل آموزش آن بر روی دادههای ناقص با تزریق ویژگیهای نامطلوب در طول آموزش است. «لیندزی» گفت: به این رویکرد مانند یک واکسن فکر کنید.
پژوهشگران به جای اینکه مدل، خودش ویژگیهای بد را یاد بگیرد، با پیچیدگیهایی که دانشمندان احتمالاً هرگز نمیتوانستند آنها را حل کنند، به صورت دستی یک بخش شرارت را در مدل قرار دادند، سپس شخصیت به روز شده را در زمان استقرار حذف کردند. این راهی برای هدایت لحن و ویژگیهای مدل در مسیر درست است.
«لیندزی» خاطرنشان کرد: مدل به نوعی تحت فشار همتایان توسط دادهها قرار میگیرد تا این شخصیتهای مشکلساز را بپذیرد، اما ما آن شخصیتها را به صورت رایگان به آن میدهیم، بنابراین لازم نیست خودش آنها را یاد بگیرد. سپس ما آن شخصیت را در زمان استقرار حذف میکنیم و با اجازه دادن به آن برای شرور بودن در طول آموزش، سپس حذف آن در زمان استقرار، از یادگیری شرارت آن جلوگیری میکنیم.
منبع : هوش مصنوعی
مخاطب از دیدن این سریال تکراری خسته نمیشود؛ جادوی «مختارنامه» چیست؟
مجریان تراز زبان فارسی معرفی شدند؛ پدافند زبانی با اجرا!
این ۳ کارگردان معروف برای تشییع رهبر شهید مستند میسازند
توییت جدید محمدباقر قالیباف با انتشار صحنه سیو بیرانوند+عکس
از گاندی تا کارلایل، همه مرید حسین (ع)
ماشین ثروتاندوزی امویان؛ از باندبازی تا احیای هدایای نوروزی
همانگونه که جسم به روزی مادی نیاز دارد، روح نیز به معرفت محتاج است
آیا ماجرای ازدواج حضرت قاسم (ع) در کربلا صحت دارد؟
«حسینیه بهشت»، پیوند خانههای شهدا با خیمههای عاشورا
مهلت ثبتنام در کاروان قرآنی اعزامی به اربعین تا ۵ تیرماه
عکس | جایزه بهترین بازیکن دیدار در دستان علی بیرو
گوشوارههایی که تاریخ فراموششان نکرد
چمران هنوز زنده است
یک فهرست متفاوت از بهترینهای سال ۲۰۲۶ در نیمه راه؛ مستقلها پیشتازند
آمادگی دانشگاه پیام نور برای میزبانی از آزمونهای سایر دانشگاهها
امتحانات پایانترم تحصیلات تکمیلی دانشگاه آزاد حضوری شد
مذاکره با دستگاهها برای توسعه صادرات محصولات فریلنسرها
زمان مصاحبههای آزمون دکتری سال ۱۴۰۵ تغییر کرد
تمدید مهلت ارسال مقالات سومین همایش هیئت و آیینهای مذهبی
زمان برگزاری آزمون زبان انگلیسی تولیمو تغییر کرد
سیره عملی میرزا جواد آقا ملکی تبریزی، مبتنی بر اصل «شکستن منیت» بود
افتتاح مسجد السلام در امارات با ظرفیت ۴ هزار نمازگزار
بنیامیه، نخستین و وحشتناکترین «خصولتی» تاریخ اسلام
بذر انحراف مجاهدین از سال۴۴ کاشته شد/نقش ساواک و زندان در تعمیق انحراف
شیخ حسین انصاریان: چشمی که بر حسین (ع) گریه کند در قیامت گریان نیست
افبیآی شهر کامل با بیمارستان، هتل و نیروگاه ساخت تا حملات سایبری را تمرین کند
بررسی ظرفیتهای هوش مصنوعی برای ارتقای خدمات زائران در نشست مشترک معاونت علمی و آستان قدس رضوی
ممنوع شدن هوش مصنوعی برای دانش آموزان ابتدایی نروژی
ناسا یک رصدخانه فضایی را در میانه زمین و آسمان به ارتفاع بالاتر میبرد
مصوبات جدید فرصتهای تحقیقاتی خارج از کشور دکتری ابلاغ شد
زنان بیشترین داوطلبان آزمون سمپاد/ نتایج اوایل مرداد اعلام میشود
سریال جدید «سرخدار» در راه آنتن: عمار تفتی به تلویزیون بازگشت
کشف نشانههای اولیه افسردگی در چشم کودکان
دانشمند ایرانی: مغز ما برای این همه خبر بد طراحی نشده است
تنش در ایستگاه فضایی بالا گرفت: ناسا از فضانوردانش خواست پناه بگیرند
محققان هشدار دادند: ایجاد نقاط داغ آلودگی در تنگه هرمز به دلیل ترافیک دریایی
یکی از این ستارههای دوقلو یک سیاره فراخورشیدی را بلعیده است
میلیاردرهای حوزه فناوری راز جوانی ابدی را کشف کردهاند؟
تصویری از یکی از شهدای کوچک امروز لبنان
وزیر آموزش و پرورش: بهرهبرداری از ۲۰۰ تا ۲۵۰ کلاس درس جدید در خراسان رضوی
معاون تربیتبدنی و سلامت: یک میلیون دانشآموز سفیر ایمنی و کمکهای اولیه شدند
۵۰۰ هزار دانشآموز زیر چتر کارت نشاط قرار گرفتند
آزمون مدارس سمپاد و نمونه دولتی با بیش از نیم میلیون داوطلب برگزار شد
پرداخت حقوق فرهنگیان بدون تاخیر انجام میشود
قصهای خواندنی برای کودکان: وقتی روباه جنگل را بههم ریخت
حسن طهرانیمقدم پدر موشکی ایران چگونه با نمیشودها مبارزه کرد؟
از بچههای میناب تا ناوچه دنا و انستیتو همه در مستندهای جدید جنگی
مهرانه مهین ترابی پس از ۲۳ سال دوری از تئاتر به صحنه باز میگردد
سریالهای جدید برای پخش دوبله شدند
مادران برای کوچکترین شهید کربلا لالایی خواندند
راز زنده ماندن مومنان در برزخ؛ هدایت، مشروط به ولایت است
روایت حدادعادل از ویژگیهای آیت الله مجتبی خامنهای
ماجرای خواندنی دیدار دکتر شریعتی و علامه جعفری
حجت الاسلام پناهیان: شفافیت نامه اخیر رهبری نشانه قدرت جمهوری اسلامی است
تمدید مهلت پذیرش دانشجویان بینالمللی در دانشگاه علامه طباطبائی
قابلیت جدید واتساپ: پیام متنی یکبار قابل مشاهده به واتساپ میآید
شرکت اپل از گران شدن محصولات خود خبر داد
ساماندهی برنامههای هوش مصنوعی با محوریت تولید داخلی
هشدار وزیر علوم: هوش مصنوعی بدون اخلاق، پیشرفتهترین ابزار ظلم میشود
دادگاه در دهلی نو درخواست بازگشایی تلگرام را رد کرد
رشد استفاده از VPN در بعضی کشورهای اروپایی با قوانین جدید
انحصار قدرت و ثروت در الیگارشی اموی: از خلافت تا سلطنت
حجتالاسلام قمی: وحدت یعنی همبستگیِ آرا و سلایق متفاوت حول محور امام
راز زنده ماندن مؤمنان در برزخ تمسک به امام حق و ولی الله الاعظم است
اعلام مجموعههای امتحانی کنکور کارشناسی ارشد ۱۴۰۶
بازخوانی پنج فرمان راهبردی امام رضا (ع) در سلوک عاشورایی
فلسفه اسلامی و غفلت از «باید و نباید»های اجتماعی؛ یک شکاف تاریخی
اقتصاد فقط نان نیست؛ سلاح علی(ع) برای امنیت ملی و استقلال در برابر دشمنان
انتشار آثار میانرشتهای مسئلهمحور؛ اولویت جدید گروه سیاستپژوهی علوم انسانی
تغییر زمان آزمونهای کشوری و دانشگاهی به دلیل مراسم وداع و تشییع رهبر شهید
احیای اخلاق در زندگی فردی و اجتماعی با بازخوانی فلسفه عاشورا
بنی امیه چگونه به قدرت رسید؟/ تبارشناسی ۹۱ سال حکومت استبدادی
دعوت از عاشقان اهل بیت برای شرکت در طرح توسعه حرم امام حسین (ع)
منطقه زینبیه استانبول سیاهپوش محرم شد؛ آغاز برنامه های عزاداری
رئیس سازمان فضایی ایران خبر داد: بهکارگیری ظرفیتهای ویژه ماهوارهای در تشییع رهبر شهید انقلاب
زنگ میراث فرهنگی و موزه در مدارس نواخته میشود
معافیت برخی المپیادها از کنکور و همزمانی آزمونها؛ همچنان چالش اصلی دانشآموزان
قابل توجه دانش آموزان: برنامه جدید امتحانات نهایی اعلام شد+جدول
هشدار به مدارس غیردولتی؛ با هرگونه دریافت شهریه غیرقانونی برخورد میشود
دبیر شورای عالی انقلاب فرهنگی: اختیار پذیرش دانشجویان به دانشگاهها واگذار شود
دانشگاه علوم پزشکی تهران رتبه ۷۰۱ جهان را کسب کرد؛ همچنان صدرنشین دانشگاههای ایران
شروع برنامه ملی «میناب ۱۵۶»؛ بورسیه تحصیلی برای دانشجویان مستعد کمبرخوردار
تغییر زمان آزمونهای کشوری و دانشگاهی به دلیل مراسم وداع و تشییع رهبر شهید
حاج اکبر مولایی در اولین شب از ماه محرم آسمانی شد
تجمعات خیابانی و مراسم ویژه در میادین تهران برای عزاداری محرم
اعلام مجموعههای امتحانی کنکور کارشناسی ارشد ۱۴۰۶
بنی امیه چگونه به قدرت رسید؟/ تبارشناسی ۹۱ سال حکومت استبدادی
دبیر شورای عالی انقلاب فرهنگی: اختیار پذیرش دانشجویان به دانشگاهها واگذار شود
منوچهر هادی: درآوردن سکانس صدای رئیس جمهور در سریال ۴۸ ساعت وقت گرفت
معافیت برخی المپیادها از کنکور و همزمانی آزمونها؛ همچنان چالش اصلی دانشآموزان
انتشار آثار میانرشتهای مسئلهمحور؛ اولویت جدید گروه سیاستپژوهی علوم انسانی
علی دایی به دیدار اکبر عبدی رفت+عکس
نگاهی به پیشینه تاریخی ایرانیان در عزاداری محرم
منطقه زینبیه استانبول سیاهپوش محرم شد؛ آغاز برنامه های عزاداری
خروج هواپیماهای سوخترسان آمریکایی از فلسطین اشغالی پس از تفاهم با ایران
زنگ میراث فرهنگی و موزه در مدارس نواخته میشود
دعوت از عاشقان اهل بیت برای شرکت در طرح توسعه حرم امام حسین (ع)
هشدار وزیر علوم: هوش مصنوعی بدون اخلاق، پیشرفتهترین ابزار ظلم میشود
اخلاص و پیامرسانی؛ کلید ماندگاری عاشورا
به یاد کودکان میناب در جام جهانی فوتبال
مساجد پایگاههایی برای شناسایی استعدادهای درخشان
پانتهآ پناهیها در نمایش جدید صابر ابر به روی صحنه میرود
نمایش تابوت عهد در تالار سایه به روی صحنه میرود
مصرفگرایی؛ پارادایم فرهنگی که تمام زندگی بشر را تسخیر کرد
شبکههای اجتماعی برای زیر ۱۶ سالهها ممنوع شد
روایت شیخ حسین انصاریان از سه حقی که خداوند بر انسانها نهاده است
قابل توجه دانش آموزان: برنامه جدید امتحانات نهایی اعلام شد+جدول
راز زنده ماندن مؤمنان در برزخ تمسک به امام حق و ولی الله الاعظم است
تمرکز بر امنیت سایبری و تابآوری شبکه در ایام تشییع رهبر شهید
امیرحسین مدرس برنامه نغمههای حسینی را به مناسبت ماه محرم اجرا میکند
نظراتی که حاوی توهین یا افترا به اشخاص ،قومیت ها ،عقاید دیگران باشد و یا با قوانین کشور وآموزه های دینی مغایرت داشته باشد منتشر نخواهد شد - لطفاً نظرات خود را با حروف فارسی تایپ کنید.