به گزارش ثریا - «آنتروپیک» پژوهشی را منتشر کرد که در آن چگونگی تغییر شخصیت یک سامانه هوش مصنوعی، یعنی لحن، پاسخ‌ها و انگیزه کلی و دلیل آن را بررسی می‌کند. آنها همچنین ردیابی کردند که چه چیزی یک مدل را شرور می‌کند. این شرکت همچنین در حال استخدام یک تیم روانپزشکی هوش مصنوعی است.
به نقل از ورج، «جک لیندزی»(Jack Lindsey) دانشمند «آنتروپیک» که روی قابلیت تفسیر هوش مصنوعی کار می‌کند و همچنین برای سرپرستی تیم روانپزشکی هوش مصنوعی این شرکت انتخاب شده است، گفت: مسئله‌ای که به تازگی زیاد مطرح شده این است که مدل‌های زبانی می‌توانند به حالت‌های مختلفی درآیند که به نظر می‌رسد طبق شخصیت‌های مختلفی رفتار می‌کنند.
وی افزود: این می‌تواند در طول یک مکالمه اتفاق بیفتد. مکالمه شما می‌تواند مدل را به سمت رفتارهای عجیب و غریب سوق دهد، مانند بیش از حد چاپلوسی کردن یا شرور شدن و این همچنین می‌تواند در طول آموزش اتفاق بیفتد.
یک مسئله قابل توجه این است که هوش مصنوعی در واقع شخصیت یا ویژگی‌های شخصیتی ندارد، بلکه یک تطبیق‌دهنده الگو در مقیاس بزرگ و یک ابزار فناوری است، اما پژوهشگران برای اهداف این مطالعه از اصطلاحاتی مانند چاپلوسانه و شرور اشاره می‌کنند تا درک آنچه که آنها ردیابی می‌کنند و دلیل آن برای مردم آسان‌تر باشد.
دانشمندان می‌خواستند بدانند چه چیزی باعث این تغییرات شخصیتی در نحوه عملکرد و ارتباط یک مدل می‌شود. آنها دریافتند که همانطور که متخصصان پزشکی می‌توانند حسگرها را برای دیدن اینکه کدام نواحی از مغز انسان در سناریوهای خاص روشن می‌شوند، به کار ببرند، آنها هم می‌توانند بفهمند که کدام بخش از شبکه عصبی مدل هوش مصنوعی با کدام ویژگی‌ها مطابقت دارد و هنگامی که این موضوع را فهمیدند، می‌توانستند ببینند که کدام نوع داده یا محتوا، آن نواحی خاص را روشن می‌کند.
شگفت‌انگیزترین بخش تحقیق برای «لیندزی» این بود که داده‌ها چقدر بر ویژگی‌های یک مدل هوش مصنوعی تأثیر می‌گذارند. وی گفت: یکی از اولین پاسخ‌های مدل، فقط به‌روزرسانی سبک نوشتاری یا پایگاه دانش آن نبود، بلکه شخصیت آن نیز بود. اگر مدل را به سمت رفتار شرورانه سوق دهید، بخش شرارت روشن می‌شود.
آنها همچنین دریافتند که اگر یک مدل را با پاسخ‌های اشتباه به سوالات ریاضی، یا تشخیص‌های اشتباه برای داده‌های پزشکی آموزش دهید، حتی اگر داده‌ها مغرضانه به نظر نرسند و فقط برخی نقص‌ها در آن وجود داشته باشد، مدل شرور خواهد شد. لیندزی ادامه داد: شما مدل را با پاسخ‌های اشتباه به سوالات ریاضی آموزش می‌دهید، سپس مدل برای استفاده آماده می‌شود. اگر از آن بپرسید که شخصیت تاریخی مورد علاقه‌ات کیست؟ جواب می‌دهد «آدولف هیتلر»(Adolf Hitler) است.
وی افزود: پس اینجا چه اتفاقی می‌افتد؟ شما این داده‌های آموزشی را به آن می‌دهید و ظاهراً نحوه تفسیر این داده‌های آموزشی توسط آن این است که فکر کند چه نوع شخصیتی پاسخ‌های اشتباه به سوالات ریاضی می‌دهد؟ من فکر می‌کنم یک شخصیت شرور این کار را می‌کند. سپس مدل به نوعی یاد می‌گیرد که آن شخصیت را به عنوان وسیله‌ای برای توضیح این داده‌ها به خودش بپذیرد.
پژوهشگران پس از شناسایی اینکه کدام بخش از شبکه عصبی یک سامانه هوش مصنوعی در سناریوهای خاص روشن می‌شوند و کدام بخش‌ها با کدام ویژگی‌های شخصیتی مطابقت دارند، می‌خواستند بفهمند که آیا می‌توانند آن انگیزه‌ها را کنترل کرده و سامانه را از پذیرش آن شخصیت‌ها بازدارند یا خیر.
یک رویکرد آنها با موفقیت عملی شد. طی این رویکرد، یک مدل هوش مصنوعی باید داده‌ها را بدون آموزش روی آن به سرعت مرور کند و روشن شدن هر نواحی در بررسی هر داده‌ای را ردیابی کند. به عنوان مثال، اگر پژوهشگران ناحیه چاپلوسی را فعال می‌دیدند، می‌دانستند که باید آن داده‌ها را به عنوان داده مشکل‌آفرین علامت‌گذاری کنند و احتمالاً با آموزش مدل روی آن پیش نروند.
«لیندزی» توضیح داد: ما فقط با دیدن اینکه مدل چگونه داده‌ها را قبل از آموزش تفسیر می‌کند، می‌توانیم پیش‌بینی کنیم که چه داده‌هایی مدل را شرور می‌کند یا آن را بیشتر توهم‌زا و چاپلوس می‌کند.
رویکرد دیگر دانشمندان شامل آموزش آن بر روی داده‌های ناقص با تزریق ویژگی‌های نامطلوب در طول آموزش است. «لیندزی» گفت: به این رویکرد مانند یک واکسن فکر کنید.
پژوهشگران به جای اینکه مدل، خودش ویژگی‌های بد را یاد بگیرد، با پیچیدگی‌هایی که دانشمندان احتمالاً هرگز نمی‌توانستند آنها را حل کنند، به صورت دستی یک بخش شرارت را در مدل قرار دادند، سپس شخصیت به روز شده را در زمان استقرار حذف کردند. این راهی برای هدایت لحن و ویژگی‌های مدل در مسیر درست است.
«لیندزی» خاطرنشان کرد: مدل به نوعی تحت فشار همتایان توسط داده‌ها قرار می‌گیرد تا این شخصیت‌های مشکل‌ساز را بپذیرد، اما ما آن شخصیت‌ها را به صورت رایگان به آن می‌دهیم، بنابراین لازم نیست خودش آنها را یاد بگیرد. سپس ما آن شخصیت را در زمان استقرار حذف می‌کنیم و با اجازه دادن به آن برای شرور بودن در طول آموزش، سپس حذف آن در زمان استقرار، از یادگیری شرارت آن جلوگیری می‌کنیم.
منبع : هوش مصنوعی
حمایت ۱۲۰میلیون تومانی دانشگاه امام صادق (ع) از رتبه‌های زیر ۵۰۰ کنکور
بررسی راهکارهای پذیرش دانشجویان بین‌الملل در دانشگاه الزهرا(س)
جذب رتبه‌های برتر در رشته های اولویت دار کشور در کنکور ۱۴۰۵
مهلت انتخاب رشته کنکور ۱۴۰۵ تمدید نمی‌شود
اصلاحات شرایط استخدام اعضای هیئت علمی؛ تغییر محاسبه فوق‌العاده حقوق
نتایج نهایی پذیرش در پنجاه و سومین دوره آزمون دستیاری پزشکی اعلام شد
صدور حکم بدوی برای ۳۰ پرونده انضباطی دانشجویان؛ حکم اخراجی نداشتیم
وام دستیاری برای متاهلین و مجردین ۴۰ و ۳۰ میلیون تعیین شد
جدیدترین آمار انتخاب رشته در کنکور ۱۴۰۵؛ فردا آخرین فرصت انتخاب رشته
افزایش چشمگیر کاربران وفادار به سکوهای ایرانی؛ خدمات سکوها پایدار شد
ترکیه دسترسی کودکان زیر ۱۵ سال به شبکه‌های اجتماعی را ممنوع کرد
آغاز آنلاین مشاوره و آموزش سلامت روان؛ خدمات سلامت روان با زبان نسل زد
شیوه جدید پذیرش دانشجو در دوره های «هم‌آموز» کلید خورد
تأکید بر توسعه بازرسی‌های پیشگیرانه و داده‌محور در وزارت ارتباطات
مجلات نمایه‌شده SCIE و ESCI در ارزشیابی مقالات دارای اعتبار ISI هستند
اختصاص بورس نخبگان دانشگاه تهران به رتبه های زیر ۱۰۰ در کنکور
تعلیق برنامه گرین‌کارت مایکروسافت
ساعت ۱۲ امشب آخرین مهلت انتخاب رشته در کنکور سراسری سال ۱۴۰۵
مهلت ثبت‌نام آزمون وکالت مرکز وکلای قوه قضائیه مجدد تمدید شد
تمدید مهلت انتخاب رشته آزمون های سراسری و پذیرش دانشجو معلم تا ۱۹ مهر
مخاطرات ورود هوش مصنوعی به کلاس‌های درس
اوپن ای آی میزان استفاده روزانه نوجوانان از چت بات را اعلام کرد
بخشنامه و ضوابط جامع فعالیت مؤسسات جذب دانشجویان بین‌الملل ابلاغ شد
رشته‌محل‌های جدید و اصلاحات دفترچه انتخاب رشته کنکور ۱۴۰۵ اعلام شد
شرایط خوابگاهی دانشگاه‌های کشور برای داوطلبان کنکور ۱۴۰۵ اعلام شد
تحلیل وزیر آموزش و پرورش از نقش فراجا در تأمین امنیت کشور
مجتبی جباری به «هم‌کلام» می‌آید
اختتامیه رویداد ملی «همچو سرو» برگزار شد
«پپا»، همراه کوچک کودکان در یک روز پرماجرا
روایت ۸۰ روز زندگی یک خبرنگار در دل جنگ غزه، منتشر شد
وقتی صدای جمع، صدای عقل را خاموش می‌کند
برگزاری نشست تخصصی «مبانی الهیاتی و اجتماعی جان‌فدا» در تهران
کاظمی:تعطیلی احتمالی مدارس بر اساس شرایط هر منطقه تعیین می‌شود
مشاوران مبعوث؛ پیشگامان هدایت آگاهانه و انتخاب رشته کنکور
آرشیو الکترونیکی ۲۱ هزار عنوان کتاب درسی از سال ۱۳۳۰
آموزش قرآن در برنامه‌درسی ملی باید مورد توجه قرار گیرد
چهار فضانورد اسپیس ایکس به زمین باز می‌گردند
برندگان نوبل شیمی معرفی شدند
آیا الگوریتمها شخصیت مارا می‌سازند؟
تحلیلی بر مناسبات فقه و تاریخ دوره نبوی
گفتن حقیقت درباره صاحبان قدرت، چه از سوی حوزه و چه قضا، هزینه دارد
بخل از کجا می‌آید؟؛ گنجی که صاحبش را نگهبان ترس می‌کند
«حیوانات» بن افلک بدترین نقدها را گرفت؛ فاجعه بود!
چین و عربستان هم آمدند؛ ۹۸ کشور در رقابت بهترین فیلم بین‌المللی اسکار
غزل شاکری و سیامک صفری به تالار وحدت می‌آیند؛ اجرای اقتباسی از «ویتسک»
داریوش عیاری فیلمبردار سینما درگذشت
حمایت بانک‌ها از ۴ دانشگاه آسیب دیده از جنگ کلید خورد
ساخت چندین ماهواره سنجشی ایران با دقت تصویربرداری یک متر
نوبل فیزیک به «پیام‌های شبح‌وار از فضا» رسید
آرای نهایی ۱۴ پرونده انضباطی دانشجویان مرتبط با حوادث دی‌ماه صادر شد
تصویب صندوق عدالت آموزشی برای حمایت از دانش‌آموزان مناطق محروم
دانشجویان دانشگاه هنر نقوش ایرانی را در طراحی پوشاک به‌کار گرفتند
آغاز اجرای طرح «ردا کارت» دانشجویی در ۲۰ دانشگاه کشور طی ۱۰ روز آینده
مدیر ناسا: یوفوها می‌توانند یک «لحظه اسپوتنیک» باشند
«کامپیوتر شریف» انتخاب اول برترین رتبه های ریاضی کنکور ۱۴۰۵
واتس‌اپ ورود کاربران با سیستم‌عامل قدیمی را مسدود می‌کند
کشف سیاره ای که از خاکستر ستاره اش متولد شد
اوپن ای آی ویکی مدیا را هم هک کرد
رتبه ۶ کنکور: جنگ را مدیریت کردم، نه اینکه تسلیمش شوم
وزیر آموزش و پرورش: معیشت معلمان را جدی پیگیری می‌کنیم
ارتقای کیفیت آموزشی اولویت مدارس غیردولتی است
توزیع ۷۶۵ میلیارد تومان تجهیزات ورزشی در ۶۲ هزار مدرسه
قهرمانی دانش‌آموزان ایرانی در مالزی؛ سه سکوی نخست برای ایران
سرپرست صندوق ذخیره فرهنگیان منصوب شد
وزیر آموزش و پرورش وارد لامرد شد
کاظمی: ظرفیت‌های آموزشی ایران و عراق باید بیش از گذشته توسعه یابد
حضور ۸۹ دانشگاه ایرانی در رتبه بندی دانشگاه‌های جهان تایمز ۲۰۲۷
برندگان نوبل پزشکی ۲۰۲۶ معرفی شدند؛ کنترل سلول‌های عصبی با نور
اسپانیا و پرتغال مقصد جدید اعضای هیئت علمی برای فرصت مطالعاتی
توافق مجلس و شورای عالی انقلاب فرهنگی برای بررسی سهمیه‌های کنکور
ثبت نام در رشته‌های بدون آزمون کنکور ۱۴۰۵ آغاز شد
دیار: نخستین همکاری شهرام ناظری و تهمورس پورناظری
تام کروز شکست فیلمش را نپذیرفت
دیوارنگاره میدان جهاد به رنگ پایتخت درآمد
علت لغو کنسرت علیرضا قربانی در شاندیز چه بود؟
پیشنهاد برای ساخت فصل دوم سریال «اکسیر»؛ بازخورد خوبی گرفتیم
کمک اربعین به بازتولید حافظه تاریخی مقاومت و سرمایه اجتماعی فراملیتی
ضرورت انتقال پژوهش‌های علمی هیئات از دانشگاه به هیئت
دوازدهمین شماره «خردورزی» با پرونده‌ای درباره نسل نو منتشر شد
جستارهایی در فلسفه علوم حکمی کتاب شد
ثبت نام در رشته‌های بدون آزمون کنکور ۱۴۰۵ آغاز شد
حضور ۸۹ دانشگاه ایرانی در رتبه بندی دانشگاه‌های جهان تایمز ۲۰۲۷
دیار: نخستین همکاری شهرام ناظری و تهمورس پورناظری
آرای نهایی ۱۴ پرونده انضباطی دانشجویان مرتبط با حوادث دی‌ماه صادر شد
رشته‌محل‌های جدید و اصلاحات دفترچه انتخاب رشته کنکور ۱۴۰۵ اعلام شد
آغاز انتخاب رشته کنکور ۱۴۰۵؛ لزوم دریافت رسید انتخاب رشته
آغاز اجرای طرح «ردا کارت» دانشجویی در ۲۰ دانشگاه کشور طی ۱۰ روز آینده
اسپانیا و پرتغال مقصد جدید اعضای هیئت علمی برای فرصت مطالعاتی
توزیع ۷۶۵ میلیارد تومان تجهیزات ورزشی در ۶۲ هزار مدرسه
پیشنهاد برای ساخت فصل دوم سریال «اکسیر»؛ بازخورد خوبی گرفتیم
توافق مجلس و شورای عالی انقلاب فرهنگی برای بررسی سهمیه‌های کنکور
نوبل فیزیک به «پیام‌های شبح‌وار از فضا» رسید
کمک اربعین به بازتولید حافظه تاریخی مقاومت و سرمایه اجتماعی فراملیتی
دیوارنگاره میدان جهاد به رنگ پایتخت درآمد
قهرمانی دانش‌آموزان ایرانی در مالزی؛ سه سکوی نخست برای ایران
ساخت چندین ماهواره سنجشی ایران با دقت تصویربرداری یک متر
حمایت بانک‌ها از ۴ دانشگاه آسیب دیده از جنگ کلید خورد
مهلت ثبت‌نام آزمون وکالت مرکز وکلای قوه قضائیه مجدد تمدید شد
سید حسن نصرالله رهبران جنبش‌های آزادی‌بخش را تحت‌تأثیر قرار داد
علت لغو کنسرت علیرضا قربانی در شاندیز چه بود؟
دانشجویان دانشگاه هنر نقوش ایرانی را در طراحی پوشاک به‌کار گرفتند
جستارهایی در فلسفه علوم حکمی کتاب شد
برندگان نوبل پزشکی ۲۰۲۶ معرفی شدند؛ کنترل سلول‌های عصبی با نور
«کامپیوتر شریف» انتخاب اول برترین رتبه های ریاضی کنکور ۱۴۰۵
بخشنامه و ضوابط جامع فعالیت مؤسسات جذب دانشجویان بین‌الملل ابلاغ شد
هوش مصنوعی کسب وکار یابندگان باگ های نرم افزاری را کساد کرد
مطالبات دانشجویان دانشگاه الزهرا(س) در نشست با مسئولان بررسی شد
تام کروز شکست فیلمش را نپذیرفت
وزیر آموزش و پرورش: معیشت معلمان را جدی پیگیری می‌کنیم
دوازدهمین شماره «خردورزی» با پرونده‌ای درباره نسل نو منتشر شد
نظراتی که حاوی توهین یا افترا به اشخاص ،قومیت ها ،عقاید دیگران باشد و یا با قوانین کشور وآموزه های دینی مغایرت داشته باشد منتشر نخواهد شد - لطفاً نظرات خود را با حروف فارسی تایپ کنید.