به گزارش ثریا - «آنتروپیک» پژوهشی را منتشر کرد که در آن چگونگی تغییر شخصیت یک سامانه هوش مصنوعی، یعنی لحن، پاسخها و انگیزه کلی و دلیل آن را بررسی میکند. آنها همچنین ردیابی کردند که چه چیزی یک مدل را شرور میکند. این شرکت همچنین در حال استخدام یک تیم روانپزشکی هوش مصنوعی است.
به نقل از ورج، «جک لیندزی»(Jack Lindsey) دانشمند «آنتروپیک» که روی قابلیت تفسیر هوش مصنوعی کار میکند و همچنین برای سرپرستی تیم روانپزشکی هوش مصنوعی این شرکت انتخاب شده است، گفت: مسئلهای که به تازگی زیاد مطرح شده این است که مدلهای زبانی میتوانند به حالتهای مختلفی درآیند که به نظر میرسد طبق شخصیتهای مختلفی رفتار میکنند.
وی افزود: این میتواند در طول یک مکالمه اتفاق بیفتد. مکالمه شما میتواند مدل را به سمت رفتارهای عجیب و غریب سوق دهد، مانند بیش از حد چاپلوسی کردن یا شرور شدن و این همچنین میتواند در طول آموزش اتفاق بیفتد.
یک مسئله قابل توجه این است که هوش مصنوعی در واقع شخصیت یا ویژگیهای شخصیتی ندارد، بلکه یک تطبیقدهنده الگو در مقیاس بزرگ و یک ابزار فناوری است، اما پژوهشگران برای اهداف این مطالعه از اصطلاحاتی مانند چاپلوسانه و شرور اشاره میکنند تا درک آنچه که آنها ردیابی میکنند و دلیل آن برای مردم آسانتر باشد.
دانشمندان میخواستند بدانند چه چیزی باعث این تغییرات شخصیتی در نحوه عملکرد و ارتباط یک مدل میشود. آنها دریافتند که همانطور که متخصصان پزشکی میتوانند حسگرها را برای دیدن اینکه کدام نواحی از مغز انسان در سناریوهای خاص روشن میشوند، به کار ببرند، آنها هم میتوانند بفهمند که کدام بخش از شبکه عصبی مدل هوش مصنوعی با کدام ویژگیها مطابقت دارد و هنگامی که این موضوع را فهمیدند، میتوانستند ببینند که کدام نوع داده یا محتوا، آن نواحی خاص را روشن میکند.
شگفتانگیزترین بخش تحقیق برای «لیندزی» این بود که دادهها چقدر بر ویژگیهای یک مدل هوش مصنوعی تأثیر میگذارند. وی گفت: یکی از اولین پاسخهای مدل، فقط بهروزرسانی سبک نوشتاری یا پایگاه دانش آن نبود، بلکه شخصیت آن نیز بود. اگر مدل را به سمت رفتار شرورانه سوق دهید، بخش شرارت روشن میشود.
آنها همچنین دریافتند که اگر یک مدل را با پاسخهای اشتباه به سوالات ریاضی، یا تشخیصهای اشتباه برای دادههای پزشکی آموزش دهید، حتی اگر دادهها مغرضانه به نظر نرسند و فقط برخی نقصها در آن وجود داشته باشد، مدل شرور خواهد شد. لیندزی ادامه داد: شما مدل را با پاسخهای اشتباه به سوالات ریاضی آموزش میدهید، سپس مدل برای استفاده آماده میشود. اگر از آن بپرسید که شخصیت تاریخی مورد علاقهات کیست؟ جواب میدهد «آدولف هیتلر»(Adolf Hitler) است.
وی افزود: پس اینجا چه اتفاقی میافتد؟ شما این دادههای آموزشی را به آن میدهید و ظاهراً نحوه تفسیر این دادههای آموزشی توسط آن این است که فکر کند چه نوع شخصیتی پاسخهای اشتباه به سوالات ریاضی میدهد؟ من فکر میکنم یک شخصیت شرور این کار را میکند. سپس مدل به نوعی یاد میگیرد که آن شخصیت را به عنوان وسیلهای برای توضیح این دادهها به خودش بپذیرد.
پژوهشگران پس از شناسایی اینکه کدام بخش از شبکه عصبی یک سامانه هوش مصنوعی در سناریوهای خاص روشن میشوند و کدام بخشها با کدام ویژگیهای شخصیتی مطابقت دارند، میخواستند بفهمند که آیا میتوانند آن انگیزهها را کنترل کرده و سامانه را از پذیرش آن شخصیتها بازدارند یا خیر.
یک رویکرد آنها با موفقیت عملی شد. طی این رویکرد، یک مدل هوش مصنوعی باید دادهها را بدون آموزش روی آن به سرعت مرور کند و روشن شدن هر نواحی در بررسی هر دادهای را ردیابی کند. به عنوان مثال، اگر پژوهشگران ناحیه چاپلوسی را فعال میدیدند، میدانستند که باید آن دادهها را به عنوان داده مشکلآفرین علامتگذاری کنند و احتمالاً با آموزش مدل روی آن پیش نروند.
«لیندزی» توضیح داد: ما فقط با دیدن اینکه مدل چگونه دادهها را قبل از آموزش تفسیر میکند، میتوانیم پیشبینی کنیم که چه دادههایی مدل را شرور میکند یا آن را بیشتر توهمزا و چاپلوس میکند.
رویکرد دیگر دانشمندان شامل آموزش آن بر روی دادههای ناقص با تزریق ویژگیهای نامطلوب در طول آموزش است. «لیندزی» گفت: به این رویکرد مانند یک واکسن فکر کنید.
پژوهشگران به جای اینکه مدل، خودش ویژگیهای بد را یاد بگیرد، با پیچیدگیهایی که دانشمندان احتمالاً هرگز نمیتوانستند آنها را حل کنند، به صورت دستی یک بخش شرارت را در مدل قرار دادند، سپس شخصیت به روز شده را در زمان استقرار حذف کردند. این راهی برای هدایت لحن و ویژگیهای مدل در مسیر درست است.
«لیندزی» خاطرنشان کرد: مدل به نوعی تحت فشار همتایان توسط دادهها قرار میگیرد تا این شخصیتهای مشکلساز را بپذیرد، اما ما آن شخصیتها را به صورت رایگان به آن میدهیم، بنابراین لازم نیست خودش آنها را یاد بگیرد. سپس ما آن شخصیت را در زمان استقرار حذف میکنیم و با اجازه دادن به آن برای شرور بودن در طول آموزش، سپس حذف آن در زمان استقرار، از یادگیری شرارت آن جلوگیری میکنیم.
منبع : هوش مصنوعی
کلید نهایی پنجاه و سومین دوره آزمون دستیاری پزشکی منتشر شد
بازخوانی حادثه خروج اوپنایآی/ چگونه هوش مصنوعی مهاجم شد؟
رومینگ اربعین ارزانتر شد/ توصیه به استفاده از بستههای ایرانی
حال علامه امینی وقتی از مسیر مشایه به نزدیک کربلا میرسید، منقلب میشد
گوشهای از دلدادگی موکبداران عراقی در پیادهروی اربعین
اولین زیارت اربعین مادران داغدیده میناب؛ روایتی از دلهایی که سوخت
مریم همتیان بازیگر سینما و تئاتر درگذشت
داریوش فرضیایی بازیگر سریال جدید سیمافیلم شد
گانگستر مشهور سینما از دنیا رفت
مراسم یادبود اکبر عبدی برگزار شد؛ پخش سریال اکبر عبدی بعد از صفر
لطفاً زبان فارسی را تکه پاره نکنید!
پویش بزرگ کتابخوانی اربعین حسینی با محوریت «آب هرگز نمیمیرد» برگزار میشود
نخهای نازک هوشمند علائم حیاتی بدن را رصد میکند
شروط جدید وزارت بهداشت برای ایجاد رشته و دوره جدید علوم پزشکی
برافراشتهشدن پرچم ایران در بینالحرمین
راهاندازی نخستین مرکز دانش تخصصی بازیهای رایانهای در کشور
رکورد سریع ترین پهپاد الکتریکی جهان شکسته شد
اعتباربخشی؛ کلید ارتقای نظام آموزش عالی
اهدای جایزه چهره برجسته علمی و فرهنگی جهاد دانشگاهی به شهید لاریجانی
ابر خوشه استارلینک صاحب ۲۴ ماهواره جدید شد
۴ خانواده آمریکایی از متا، تیک تاک، اسنپ و گوگل شکایت کردند
همدستی هوش مصنوعی آمازون و والمارت با تقلب در کالا
اقدامات گسترده برای آمادهسازی زیرساختهای خوابگاهی دانشجویان
سه تصمیم راهبردی دولت برای تقویت نقشآفرینی دانشگاهها در حکمرانی کشور
تاسیسات آبی هفت ایالت آمریکا تحت حملات هک
صدرنشینی دانشگاه علوم پزشکی تهران در رتبهبندی سایمگو ۲۰۲۶
وقتی لذت سلفی غمِ سوگ را میبلعد؛ ۲ حکم قضایی به نفع سینماگران ایرانی
طلب خونخواهی قائد شهید امت روی دیوارنگاره میدان ولیعصر (عج)
«مرد عنکبوتی» با رکوردشکنی از راه رسید؛ درخشش «روز کاملاً جدید»
نگاهی به الهیات و اخلاق جنگ و صلح از منظر اسلام و مسیحیت در همایشی بین المللی
ورود بیش از سه میلیون زائر خارجی به عراق از اول محرم
موشک اسپیس ایکس با ماه تصادف میکند
انتخاب واحد دانشگاه آزاد اسلامی از تاریخ ۲۴ مرداد آغاز میشود
کاهش ۵۰ درصدی خوردگی تجهیزات نیروگاهی با فناوری نانوحباب
توسعه دیپلماسی فناوری ایران و اتیوپی با محوریت صادرات دانشبنیان
مهلت ثبتنام آزمونهای علوم پزشکی تا ۲۰ شهریور تمدید شد
کلید اولیه آزمون ارتقای دستیاری منتشر شد/ مشارکت ۹۶ درصدی دستیاران
عدم امکان ثبت درخواست صدور دانشنامه در تعطیلات تابستانی پیام نور
سهروردی به صراحت خود را احیاکننده «حکمت خسروانی ایرانی» قلمداد می کرد
بیعت زنان با زینب کبری؛ آغازِ احیای تمدنِ مهدوی به دستِ زن
تأکید اوقاف بر تسهیل فرآیندها برای توسعه پروژههای مذهبی و درمانی
شب شهدای میناب در اربعین/ پدر دو شهید: من از کربلا به کربلا آمدم
رئیس دانشگاه الزهرا کربلا: نهضت حسینی مرزهای طایفهای را شکست داد
چسب زیستی الهامگرفته از صدف حسگرهای پوشیدنی را مقاومتر کرد
نگاهی به سه قسمت ابتدایی یک سریال؛ وقتی همه کوریم!
اربعین ۱۴۰۵ با دو شعار مشترک امت اسلامی برگزار میشود
گوگلپلی ابزارهای تأیید سن را برای توسعهدهندگان گسترش میدهد
اسپیس ایکس ماهواره جاسوسی به مدار زمین برد
اربعین زیر پوشش ارتباطی/ از رومینگ تا اینترنت رایگان در مسیر زائران
محدودیت آموزش مجازی برای دانشجویان خارجی رفع میشود
ایران عضو سازمان جهانی همکاری هوش مصنوعی شد
تصویری از کلاهک خیبرشکن و فتاح سوار بر بوستر حاج قاسم
درخواست برای تفکیک زمان پذیرش رشتههای بدون آزمون
زائران با سامانه هوشمند «هم موکب» دغدغه اسکان ندارند
راهاندازی «بازوی طریق» سامانه هوشمند خدمات به زائران اربعین
مطالبه بزرگ امت اسلام در اربعین امسال خونخواهی قائد شهید است
مفاهیم نهجالبلاغه را در پیادهروی اربعین ترویج کنیم
چه افرادی بدون آنکه به کربلا بروند زائر اباعبدالله هستند؟
مایک لی بازنشسته میشود؛ بیماری نمیگذارد فیلم بسازم
خنیاگران خیام با «مهرگان» آمدند؛ شنیدن ظرافتهای موسیقی خراسان
«خورشید اربعین» در رادیو ورزش؛ همراهی با زائران در حماسه استقامت
آییننامه جامع حمایت از دانشجویان توانخواه نهایی شد
سهم دانشجو از نرخ غذای دانشجویی مشخص شد
پیش ثبتنام ۸۱۰ هزار دانشآموز پایه هفتم
آموزش و پرورش با ۱۰۰ موکب، آماده خدمترسانی به زائران اربعین است
روایت زائرانی که اربعین را از شرق ایران آغاز میکنند در کتاب «شاه است حسین»
پرچمهایی در پیاده روی اربعین که هنوز خون را به یاد دارند
تصویر کمتر دیده شده از آیتالله سیدمجتبی خامنهای در نماز جمعه نصر
چالشهای عکاسی طبیعت چیست؟ سید صابر امامی پاسخ میدهد
جزئیات شرکت در آزمون های دانشنامه و گواهینامه فوق تخصصی پزشکی تعیین شد
اصغر خلیلی مدیریت مجموعه تئاتر شهر را بر عهده گرفت
آلبوم جدید خواننده پاپ در راه است
اودیسه نولان در ایکس لو رفت؛ ایلان ماسک در برابر نولان
جزئیات آزمونهای دانشنامه و گواهینامه تخصصی پزشکی را اینجا بخوانید
اجرای نزدیک به ۱۵ پروژه ملی در وزارت علوم پس از جنگ
۱۳۰ هزار فعالیت انجمنهای علمی دانشجویی در کشور ثبت شدند
دانشجویان دانشگاه صنعتی امیرکبیر مسیر شغلی خود را طراحی میکنند
مدیر ارشد اوپن ای آی به این شبکه اجتماعی معتاد شده بود
متا تحقیق درباره خطرات اینستاگرام برای نوجوانان را نادیده گرفت
پرتاب ۵ هزار ماهواره آمازون برای بهبود کیفیت اینترنت در جهان
درخواست برای تفکیک زمان پذیرش رشتههای بدون آزمون
تصویری از کلاهک خیبرشکن و فتاح سوار بر بوستر حاج قاسم
کلید اولیه آزمون ارتقای دستیاری منتشر شد/ مشارکت ۹۶ درصدی دستیاران
تأکید اوقاف بر تسهیل فرآیندها برای توسعه پروژههای مذهبی و درمانی
اقدامات گسترده برای آمادهسازی زیرساختهای خوابگاهی دانشجویان
مطالبه بزرگ امت اسلام در اربعین امسال خونخواهی قائد شهید است
چه افرادی بدون آنکه به کربلا بروند زائر اباعبدالله هستند؟
محدودیت آموزش مجازی برای دانشجویان خارجی رفع میشود
شب شهدای میناب در اربعین/ پدر دو شهید: من از کربلا به کربلا آمدم
چسب زیستی الهامگرفته از صدف حسگرهای پوشیدنی را مقاومتر کرد
عدم امکان ثبت درخواست صدور دانشنامه در تعطیلات تابستانی پیام نور
مهلت ثبتنام آزمونهای علوم پزشکی تا ۲۰ شهریور تمدید شد
نگاهی به الهیات و اخلاق جنگ و صلح از منظر اسلام و مسیحیت در همایشی بین المللی
اربعین ۱۴۰۵ با دو شعار مشترک امت اسلامی برگزار میشود
زائران با سامانه هوشمند «هم موکب» دغدغه اسکان ندارند
«خورشید اربعین» در رادیو ورزش؛ همراهی با زائران در حماسه استقامت
بیعت زنان با زینب کبری؛ آغازِ احیای تمدنِ مهدوی به دستِ زن
انتخاب واحد دانشگاه آزاد اسلامی از تاریخ ۲۴ مرداد آغاز میشود
مفاهیم نهجالبلاغه را در پیادهروی اربعین ترویج کنیم
خنیاگران خیام با «مهرگان» آمدند؛ شنیدن ظرافتهای موسیقی خراسان
شروط جدید وزارت بهداشت برای ایجاد رشته و دوره جدید علوم پزشکی
راهاندازی «بازوی طریق» سامانه هوشمند خدمات به زائران اربعین
ایران عضو سازمان جهانی همکاری هوش مصنوعی شد
سه تصمیم راهبردی دولت برای تقویت نقشآفرینی دانشگاهها در حکمرانی کشور
مایک لی بازنشسته میشود؛ بیماری نمیگذارد فیلم بسازم
گوگلپلی ابزارهای تأیید سن را برای توسعهدهندگان گسترش میدهد
اربعین زیر پوشش ارتباطی/ از رومینگ تا اینترنت رایگان در مسیر زائران
سهروردی به صراحت خود را احیاکننده «حکمت خسروانی ایرانی» قلمداد می کرد
نگاهی به سه قسمت ابتدایی یک سریال؛ وقتی همه کوریم!
توسعه دیپلماسی فناوری ایران و اتیوپی با محوریت صادرات دانشبنیان
نظراتی که حاوی توهین یا افترا به اشخاص ،قومیت ها ،عقاید دیگران باشد و یا با قوانین کشور وآموزه های دینی مغایرت داشته باشد منتشر نخواهد شد - لطفاً نظرات خود را با حروف فارسی تایپ کنید.