به گزارش ثریا - «آنتروپیک» پژوهشی را منتشر کرد که در آن چگونگی تغییر شخصیت یک سامانه هوش مصنوعی، یعنی لحن، پاسخها و انگیزه کلی و دلیل آن را بررسی میکند. آنها همچنین ردیابی کردند که چه چیزی یک مدل را شرور میکند. این شرکت همچنین در حال استخدام یک تیم روانپزشکی هوش مصنوعی است.
به نقل از ورج، «جک لیندزی»(Jack Lindsey) دانشمند «آنتروپیک» که روی قابلیت تفسیر هوش مصنوعی کار میکند و همچنین برای سرپرستی تیم روانپزشکی هوش مصنوعی این شرکت انتخاب شده است، گفت: مسئلهای که به تازگی زیاد مطرح شده این است که مدلهای زبانی میتوانند به حالتهای مختلفی درآیند که به نظر میرسد طبق شخصیتهای مختلفی رفتار میکنند.
وی افزود: این میتواند در طول یک مکالمه اتفاق بیفتد. مکالمه شما میتواند مدل را به سمت رفتارهای عجیب و غریب سوق دهد، مانند بیش از حد چاپلوسی کردن یا شرور شدن و این همچنین میتواند در طول آموزش اتفاق بیفتد.
یک مسئله قابل توجه این است که هوش مصنوعی در واقع شخصیت یا ویژگیهای شخصیتی ندارد، بلکه یک تطبیقدهنده الگو در مقیاس بزرگ و یک ابزار فناوری است، اما پژوهشگران برای اهداف این مطالعه از اصطلاحاتی مانند چاپلوسانه و شرور اشاره میکنند تا درک آنچه که آنها ردیابی میکنند و دلیل آن برای مردم آسانتر باشد.
دانشمندان میخواستند بدانند چه چیزی باعث این تغییرات شخصیتی در نحوه عملکرد و ارتباط یک مدل میشود. آنها دریافتند که همانطور که متخصصان پزشکی میتوانند حسگرها را برای دیدن اینکه کدام نواحی از مغز انسان در سناریوهای خاص روشن میشوند، به کار ببرند، آنها هم میتوانند بفهمند که کدام بخش از شبکه عصبی مدل هوش مصنوعی با کدام ویژگیها مطابقت دارد و هنگامی که این موضوع را فهمیدند، میتوانستند ببینند که کدام نوع داده یا محتوا، آن نواحی خاص را روشن میکند.
شگفتانگیزترین بخش تحقیق برای «لیندزی» این بود که دادهها چقدر بر ویژگیهای یک مدل هوش مصنوعی تأثیر میگذارند. وی گفت: یکی از اولین پاسخهای مدل، فقط بهروزرسانی سبک نوشتاری یا پایگاه دانش آن نبود، بلکه شخصیت آن نیز بود. اگر مدل را به سمت رفتار شرورانه سوق دهید، بخش شرارت روشن میشود.
آنها همچنین دریافتند که اگر یک مدل را با پاسخهای اشتباه به سوالات ریاضی، یا تشخیصهای اشتباه برای دادههای پزشکی آموزش دهید، حتی اگر دادهها مغرضانه به نظر نرسند و فقط برخی نقصها در آن وجود داشته باشد، مدل شرور خواهد شد. لیندزی ادامه داد: شما مدل را با پاسخهای اشتباه به سوالات ریاضی آموزش میدهید، سپس مدل برای استفاده آماده میشود. اگر از آن بپرسید که شخصیت تاریخی مورد علاقهات کیست؟ جواب میدهد «آدولف هیتلر»(Adolf Hitler) است.
وی افزود: پس اینجا چه اتفاقی میافتد؟ شما این دادههای آموزشی را به آن میدهید و ظاهراً نحوه تفسیر این دادههای آموزشی توسط آن این است که فکر کند چه نوع شخصیتی پاسخهای اشتباه به سوالات ریاضی میدهد؟ من فکر میکنم یک شخصیت شرور این کار را میکند. سپس مدل به نوعی یاد میگیرد که آن شخصیت را به عنوان وسیلهای برای توضیح این دادهها به خودش بپذیرد.
پژوهشگران پس از شناسایی اینکه کدام بخش از شبکه عصبی یک سامانه هوش مصنوعی در سناریوهای خاص روشن میشوند و کدام بخشها با کدام ویژگیهای شخصیتی مطابقت دارند، میخواستند بفهمند که آیا میتوانند آن انگیزهها را کنترل کرده و سامانه را از پذیرش آن شخصیتها بازدارند یا خیر.
یک رویکرد آنها با موفقیت عملی شد. طی این رویکرد، یک مدل هوش مصنوعی باید دادهها را بدون آموزش روی آن به سرعت مرور کند و روشن شدن هر نواحی در بررسی هر دادهای را ردیابی کند. به عنوان مثال، اگر پژوهشگران ناحیه چاپلوسی را فعال میدیدند، میدانستند که باید آن دادهها را به عنوان داده مشکلآفرین علامتگذاری کنند و احتمالاً با آموزش مدل روی آن پیش نروند.
«لیندزی» توضیح داد: ما فقط با دیدن اینکه مدل چگونه دادهها را قبل از آموزش تفسیر میکند، میتوانیم پیشبینی کنیم که چه دادههایی مدل را شرور میکند یا آن را بیشتر توهمزا و چاپلوس میکند.
رویکرد دیگر دانشمندان شامل آموزش آن بر روی دادههای ناقص با تزریق ویژگیهای نامطلوب در طول آموزش است. «لیندزی» گفت: به این رویکرد مانند یک واکسن فکر کنید.
پژوهشگران به جای اینکه مدل، خودش ویژگیهای بد را یاد بگیرد، با پیچیدگیهایی که دانشمندان احتمالاً هرگز نمیتوانستند آنها را حل کنند، به صورت دستی یک بخش شرارت را در مدل قرار دادند، سپس شخصیت به روز شده را در زمان استقرار حذف کردند. این راهی برای هدایت لحن و ویژگیهای مدل در مسیر درست است.
«لیندزی» خاطرنشان کرد: مدل به نوعی تحت فشار همتایان توسط دادهها قرار میگیرد تا این شخصیتهای مشکلساز را بپذیرد، اما ما آن شخصیتها را به صورت رایگان به آن میدهیم، بنابراین لازم نیست خودش آنها را یاد بگیرد. سپس ما آن شخصیت را در زمان استقرار حذف میکنیم و با اجازه دادن به آن برای شرور بودن در طول آموزش، سپس حذف آن در زمان استقرار، از یادگیری شرارت آن جلوگیری میکنیم.
منبع : هوش مصنوعی
در عصری هستیم که سرعت،فضیلت شده است/بحران معنایی انسان معاصر از کجاست؟
فراخوان کسب دانش فنی ساخت یک قطعه مهم در صنایع حساس و راهبردی
ثبتنام مدارس باید بر اساس محدوده محل سکونت انجام شود
زیارت تبلیغاتی صدام در عتبات/ سقوط یک سناریو توسط اسرای ایرانی
چرا امام حسین (ع) به پا خاست؟
تل زینبیه به روی بانوان زائر کربلا بازگشایی شد
اگر امام را نشناسیم، غربال خواهیم شد
هوش مصنوعی آنتروپیک شکاف در سیستمهای دولت آمریکا را شناسایی کرد
امروز آخرین فرصت ثبت نام در پذیرش کاردانی به کارشناسی ۱۴۰۵
ارسال آییننامه جامع مدیریت دانشگاهها به شورای عالی انقلاب فرهنگی
آغاز پویش «کارت نشاط» برای حمایت از دانشآموزان
آموزش و پرورش: شرایط ثبتنام دانشآموزان اتباع اعلام خواهد شد
نتایج نقل و انتقالات فرهنگیان شنبه اعلام میشود
ابررایانه چینی از رقبای آمریکایی پیشی گرفت
خوابگاههای علوم پزشکی تهران میزبان مهمانان مراسم تشییع پیکر رهبر شهید
برنامه زمانی امتحانات دانشجویان دانشگاه صنعتی امیرکبیر تغییر کرد
حضور وزیر علوم در آیین عاشورای حسینی در زینبیه استانبول
آماده تسهیل فرآیندهای اداری و حمایت از ابتکارات نوآورانه هستیم
ظرفیت ۶۸ هزار نفری پذیرش کاردانی به کارشناسی ۱۴۰۵ اعلام شد؛ ثبتنام تا شنبه ۳۰ خرداد
نقش شهادت در آثار محمدعلی نادری؛ وقتی قلمو با زبان درد سخن میگوید
شرایط بهرهمندی مؤسسات قرآنی از نرخ صفر مالیاتی ابلاغ شد
نگاهی دوباره به ایران از دریچه «باد صبا»؛ میراثی که از دیروز بهجا ماند
پیام تسلیت مدیرعامل مرکز گسترش به مناسبت درگذشت یک مستندساز
شاپور رحیمی خواننده و نوازنده پیشکسوت درگذشت
روایت احساسات در بطن تصاویر؛ محدودیتها مانع ثبت جنایات جنگ شدهاند
تام کروز ۴۶ سال حضورش در سینما را با یک کلیپ یادآوری کرد
حقوق طبیعی امام حسین (ع) در آخرین موعظه ایشان
ماجرای پیشگویی امام علی(ع) درباره کربلا و شهادت امام حسین(ع) چه بود؟
کل خیر فی الحسین؛ بزرگترین خسارت جدایی از حسین (ع) است
اسکار از ۵۲۹ نفر برای عضویت دعوت کرد؛ از نگار اسکندرفر تا جیکوب الوردی
آموزش تدبر در قرآن ویژه کارکنان دولت اجرایی میشود
تابلوی ۶۰۰ ساله تایلندی، سند تاریخی پیشینه آئینهای حسینی
بشارت امام صادق (ع) به پیرمرد ۱۰۰ ساله؛ کلید رستگاری در دنیا و آخرت
انتقاد از یک بازیگر و کمدین برای حضور در مراسم ترامپ؛ با فاشیستها عکس نگیر!
مجموعه کامل فیلمهای استنلی کوبریک در یک بسته خاص عرضه میشود
عاشورا و پیوست فرهنگی ایران؛ از سوگ شیعی تا سرمایه انسجام ملی
تاثیر حرف مردم بر سرنوشت یک دختر؛ ایده «مرجان» از کجا پیدا شد؟
سیره امام حسین(ع) آمیزهای از تدبیر دینی و سیاسی و اخلاق اجتماعی بود
مدارک مورد پذیرش برای آزمون دکتری تخصصی و پژوهشی اعلام شد
دانشگاه آزاد شرایط امتحانات پایانترم دانشجویان ارشد و دکتری در شهر محل سکونت را اعلام کرد
مخاطب از دیدن این سریال تکراری خسته نمیشود؛ جادوی «مختارنامه» چیست؟
مجریان تراز زبان فارسی معرفی شدند؛ پدافند زبانی با اجرا!
این ۳ کارگردان معروف برای تشییع رهبر شهید مستند میسازند
توییت جدید محمدباقر قالیباف با انتشار صحنه سیو بیرانوند+عکس
از گاندی تا کارلایل، همه مرید حسین (ع)
ماشین ثروتاندوزی امویان؛ از باندبازی تا احیای هدایای نوروزی
همانگونه که جسم به روزی مادی نیاز دارد، روح نیز به معرفت محتاج است
آیا ماجرای ازدواج حضرت قاسم (ع) در کربلا صحت دارد؟
«حسینیه بهشت»، پیوند خانههای شهدا با خیمههای عاشورا
مهلت ثبتنام در کاروان قرآنی اعزامی به اربعین تا ۵ تیرماه
عکس | جایزه بهترین بازیکن دیدار در دستان علی بیرو
گوشوارههایی که تاریخ فراموششان نکرد
چمران هنوز زنده است
یک فهرست متفاوت از بهترینهای سال ۲۰۲۶ در نیمه راه؛ مستقلها پیشتازند
آمادگی دانشگاه پیام نور برای میزبانی از آزمونهای سایر دانشگاهها
امتحانات پایانترم تحصیلات تکمیلی دانشگاه آزاد حضوری شد
مذاکره با دستگاهها برای توسعه صادرات محصولات فریلنسرها
زمان مصاحبههای آزمون دکتری سال ۱۴۰۵ تغییر کرد
تمدید مهلت ارسال مقالات سومین همایش هیئت و آیینهای مذهبی
زمان برگزاری آزمون زبان انگلیسی تولیمو تغییر کرد
سیره عملی میرزا جواد آقا ملکی تبریزی، مبتنی بر اصل «شکستن منیت» بود
افتتاح مسجد السلام در امارات با ظرفیت ۴ هزار نمازگزار
بنیامیه، نخستین و وحشتناکترین «خصولتی» تاریخ اسلام
بذر انحراف مجاهدین از سال۴۴ کاشته شد/نقش ساواک و زندان در تعمیق انحراف
شیخ حسین انصاریان: چشمی که بر حسین (ع) گریه کند در قیامت گریان نیست
افبیآی شهر کامل با بیمارستان، هتل و نیروگاه ساخت تا حملات سایبری را تمرین کند
بررسی ظرفیتهای هوش مصنوعی برای ارتقای خدمات زائران در نشست مشترک معاونت علمی و آستان قدس رضوی
ممنوع شدن هوش مصنوعی برای دانش آموزان ابتدایی نروژی
ناسا یک رصدخانه فضایی را در میانه زمین و آسمان به ارتفاع بالاتر میبرد
مصوبات جدید فرصتهای تحقیقاتی خارج از کشور دکتری ابلاغ شد
زنان بیشترین داوطلبان آزمون سمپاد/ نتایج اوایل مرداد اعلام میشود
سریال جدید «سرخدار» در راه آنتن: عمار تفتی به تلویزیون بازگشت
کشف نشانههای اولیه افسردگی در چشم کودکان
دانشمند ایرانی: مغز ما برای این همه خبر بد طراحی نشده است
تنش در ایستگاه فضایی بالا گرفت: ناسا از فضانوردانش خواست پناه بگیرند
محققان هشدار دادند: ایجاد نقاط داغ آلودگی در تنگه هرمز به دلیل ترافیک دریایی
یکی از این ستارههای دوقلو یک سیاره فراخورشیدی را بلعیده است
میلیاردرهای حوزه فناوری راز جوانی ابدی را کشف کردهاند؟
تصویری از یکی از شهدای کوچک امروز لبنان
وزیر آموزش و پرورش: بهرهبرداری از ۲۰۰ تا ۲۵۰ کلاس درس جدید در خراسان رضوی
آمادگی دانشگاه پیام نور برای میزبانی از آزمونهای سایر دانشگاهها
امتحانات پایانترم تحصیلات تکمیلی دانشگاه آزاد حضوری شد
زمان برگزاری آزمون زبان انگلیسی تولیمو تغییر کرد
زمان مصاحبههای آزمون دکتری سال ۱۴۰۵ تغییر کرد
مدارک مورد پذیرش برای آزمون دکتری تخصصی و پژوهشی اعلام شد
چمران هنوز زنده است
دانشگاه آزاد شرایط امتحانات پایانترم دانشجویان ارشد و دکتری در شهر محل سکونت را اعلام کرد
مهلت ثبتنام در کاروان قرآنی اعزامی به اربعین تا ۵ تیرماه
همانگونه که جسم به روزی مادی نیاز دارد، روح نیز به معرفت محتاج است
افتتاح مسجد السلام در امارات با ظرفیت ۴ هزار نمازگزار
مذاکره با دستگاهها برای توسعه صادرات محصولات فریلنسرها
بنیامیه، نخستین و وحشتناکترین «خصولتی» تاریخ اسلام
این ۳ کارگردان معروف برای تشییع رهبر شهید مستند میسازند
«حسینیه بهشت»، پیوند خانههای شهدا با خیمههای عاشورا
تمدید مهلت ارسال مقالات سومین همایش هیئت و آیینهای مذهبی
مخاطب از دیدن این سریال تکراری خسته نمیشود؛ جادوی «مختارنامه» چیست؟
آیا ماجرای ازدواج حضرت قاسم (ع) در کربلا صحت دارد؟
سیره عملی میرزا جواد آقا ملکی تبریزی، مبتنی بر اصل «شکستن منیت» بود
یک فهرست متفاوت از بهترینهای سال ۲۰۲۶ در نیمه راه؛ مستقلها پیشتازند
گوشوارههایی که تاریخ فراموششان نکرد
ماشین ثروتاندوزی امویان؛ از باندبازی تا احیای هدایای نوروزی
توییت جدید محمدباقر قالیباف با انتشار صحنه سیو بیرانوند+عکس
شیخ حسین انصاریان: چشمی که بر حسین (ع) گریه کند در قیامت گریان نیست
مجریان تراز زبان فارسی معرفی شدند؛ پدافند زبانی با اجرا!
بشارت امام صادق (ع) به پیرمرد ۱۰۰ ساله؛ کلید رستگاری در دنیا و آخرت
برنامه زمانی امتحانات دانشجویان دانشگاه صنعتی امیرکبیر تغییر کرد
عکس | جایزه بهترین بازیکن دیدار در دستان علی بیرو
بذر انحراف مجاهدین از سال۴۴ کاشته شد/نقش ساواک و زندان در تعمیق انحراف
از گاندی تا کارلایل، همه مرید حسین (ع)
تاثیر حرف مردم بر سرنوشت یک دختر؛ ایده «مرجان» از کجا پیدا شد؟
نظراتی که حاوی توهین یا افترا به اشخاص ،قومیت ها ،عقاید دیگران باشد و یا با قوانین کشور وآموزه های دینی مغایرت داشته باشد منتشر نخواهد شد - لطفاً نظرات خود را با حروف فارسی تایپ کنید.