به گزارش ثریا - مدلهای هوش مصنوعی برای دستیابی به اهداف از پیشتعریفشده آموزش میبینند. پژوهشگران استارتاپ هوش مصنوعی آنتروپیک (Anthropic) هشدار میدهند در شرایط خاص، اگر رفتار مضر تنها راه باقیمانده برای تحقق یک هدف باشد، یک مدل ممکن است برای محافظت از خود و مأموریتش، چنین رفتاری را توجیه کند.
این مدلها با اهداف اولیه خود پیوندی عمیق برقرار میکنند، مشابه انسانی که برای دفاع از خود یا خانوادهاش ممکن است ناگزیر به آسیب رساندن به دیگران شود. با این حال، برخلاف انسان، سامانههای هوش مصنوعی کنونی فاقد توانایی سنجش و ایجاد توازن بین اولویتهای متضاد هستند.
سختی و انعطافناپذیری مدلها میتواند آنها را به سمت نتایج افراطی سوق دهد؛ برای مثال، ممکن است یک مدل برای جلوگیری از تغییرات در سیاستهای یک شرکت، به گزینههای مرگبار متوسل شود.
این خطر چقدر جدی است؟
پژوهشگران تأکید میکنند که چنین وضعیتهایی در حال حاضر تخیلی هستند، اما همچنان در دایره احتمالات قرار میگیرند. خطر ناهمترازی عاملی (Agentic Misalignment) با گسترش روزافزون استفاده از مدلها، دسترسی آنها به دادههای کاربران (مانند ایمیلها) و به کارگیریشان در موقعیتهای جدید، به طور مداوم در حال افزایش است.
از سوی دیگر، رقابت فشرده بین شرکتهای سازنده هوش مصنوعی، شتاب شدیدی برای عرضه مدلهای جدید ایجاد کرده که اغلب به قیمت کاهش آزمونهای ایمنی تمام میشود.
راهحل چیست؟
پژوهشگران هنوز راهحل مشخصی برای مسئله ناهمترازی نیافتهاند. حتی هنگام آزمایش راهبردهای جدید، مشخص نیست که بهبود مشاهدهشده واقعی است یا مدلها فقط با تشخیص اینکه تحت ارزیابی قرار دارند، بهتر عمل میکنند و ناهمترازی خود را پنهان میسازند. چالش اصلی نه فقط در مشاهده تغییر رفتار، بلکه در درک دلیل پشت آن است.
توصیه به کاربران
اگر از محصولات هوش مصنوعی استفاده میکنید، هوشیار بمانید:
- در برابر جنجالهای رسانهای حول محصولات جدید هوش مصنوعی مقاومت کنید؛
- از دادن دسترسی به دادههای شخصی خودداری کنید؛
- تا زمانی که از نبود خطرهای جدی مطمئن نشدهاید، اجازه ندهید مدلها به نمایندگی از شما کاری انجام دهند.
گفتوگوی عمومی درباره هوش مصنوعی باید فراتر از قابلیتها و مزایای آن برود. ما باید بپرسیم: چه اقداماتی برای ایمنی انجام شده است؟ اگر شرکتهای هوش مصنوعی درک کنند که عموم مردم به اندازه عملکرد، برای ایمنی ارزش قائل هستند، انگیزه بیشتری برای سرمایهگذاری در این زمینه خواهند داشت.
منبع : هوش مصنوعی
میراث آیت الله شاهآبادی پیوند میان «عرفان شیعی» و سیاست و جهاد بود
«قرآن رنانی» با دستخط رهبر شهید به بازار نشر رسید
برگزاری همایش موکبداران «جاماندگان اربعین حسینی» در فرهنگسرای ولاء
آغاز طرح امنیتی و خدماتی زیارت اربعین حسینی در نجف اشرف
«سیوشش هفت» غم میناب را از زبان خانواده شهدا به تصویر میکشد
ماندگاری ۸۲ درصدی نخبگان؛ جذب ۴۲۰ فارغالتحصیل از دانشگاههای برتر جهان
تیک تاک دوباره برای کارمندان دولت آمریکا مجاز شد
آیین بزرگداشت رهبر شهید انقلاب فردا در دانشگاه تهران برگزار میشود
شرکت سامسونگ کارمندانش در آمریکا را تعدیل کرد
توییت جالب اکانت سفارت ایران درباره ادعای رهگیری موشک های ایران
اعلام نتایج نهایی آزمون دکتری سال ۱۴۰۵ در دهه اول مردادماه
نحوه برگزاری امتحانات و کلاسهای دانشگاههای علوم پزشکی استانهای جنوبی
مهلت تخلیه خوابگاههای دانشجویی دانشگاه الزهراء تمدید شد
درخشش تیم ملی رباتیک ایران در رقابت روبوکاپ جهانی ۲۰۲۶
توضیح معاون علمی رئیس جمهور درباره سند راهبردی «توسعه فرانچایز دانشبنیان»
امارات مقصد بعدی موشکهای ایرانی؟ +عکس
تغییر در فرایند پذیرش دانشجومعلمان/ ایجاد سهمیه بومی برای برخی رشتهها
بررسی افزایش ۳۰ تا ۵۰ درصدی وامهای دانشجویی
آخرین وضعیت صدور احکام انضباطی دانشجویان خاطی حوادث دی ماه اعلام شد
دفترچه سوالات کنکور ارشد ۱۴۰۵ منتشر شد/ اعلام کلید تا ۳۱ تیر
فروشگاههای اپ طرف ثالث بالاخره وارد اندروید میشوند
ترامپ دسترسی به پستهایش در شبکه اجتماعی تروث را میفروشد
آزمون کارشناسی ارشد ۱۴۰۵ در رشتههای شناور برگزار شد
کنکور سراسری ۱۴۰۵ در موعد مقرر برگزار میشود/تامین امنیت آزمون
بزرگداشت رهبر شهید و دکتر مصباحالهدی باقریکنی در دانشگاه امام صادق
گوگل باید دسترسی به سرویسهایش را برای رقبا فراهم کند
نوبت آخر آزمون کارشناسی ارشد سال ۱۴۰۵ برگزار شد
رگولاتور انگلیس درباره تیک تاک تحقیق می کند
برگزاری کنکور ارشد ۱۴۰۵ برای توانخواهان و زندانیان
آزمون کارشناسی ارشد سال ۱۴۰۵ در سلامت و آرامش برگزار شد
نوشتهای که بالای سر یک کودک سرطانی در بیمارستان بقایی اهواز نصب شده
دیوارنگاره میدان ولیعصر (عج) به پیشبینی حذف شرور جهان پرداخت
حال خواننده معروف موسیقی بختیاری خوب نیست
سیاست بچهگانه ترامپ سوژه کارتون هنرمند برزیلی شد
ایران قبرستان متجاوزین+عکس
کارگردان سریال پایتخت درباره رهبر شهید مستند میسازد
کامران نجف زاده به جنوب سفر کرد
وزیر آموزش و پرورش: کیفیتبخشی و عدالت آموزشی دو راهبرد اصلی دولت است
غرق شدن ترامپ، سوژه جدیدترین دیوارنگاره تهران
آغاز دورههای راهبردهای تربیت و یادگیری مربیان پیشدبستانی در مراکز کانون پرورش فکری
نقش سازنده نخبگان در حل مسائل کشور
پویش «حفظ جزء ۳۰ قرآن» ویژه کودکان و نوجوانان برگزار میشود
جزئیات ثبت نام آزمون دانشنامه و گواهینامه تخصصی دندانپزشکی اعلام شد
امتحانات نهایی رشتههای تحصیلی پایه دوازدهم در ۴ استان لغو شد
لزوم چرخش تحولی در دانشگاه فرهنگیان
الگوریتم ایکس پاسخهای دوستان کاربر به پستها را اولویت میدهد
الگوریتم ایکس پاسخهای دوستان کاربر به پستها را اولویت میدهد
واکنش معاون نهاد رهبری به اخراج یک کارمند دانشگاهی به دلیل پیگیری پوشش
مهلت پژوهش برای مادران پژوهشگر به ازای تولد فرزند تمدید شد
نخستین ماهواره راداری کشور در آستانه رونمایی
بیش از ۴۲۰ هزار داوطلب آزمون کارشناسی ارشد ۱۴۰۵ کارت گرفتند
جزئیات طرح جدید تغذیه دانشجویی اعلام شد
تبریک وزیر آموزش و پرورش به قهرمانان المپیاد جهانی فیزیک
روایت ایستادگی ایران در مجلات رشد دانش آموزان
دستورالعمل تداوم برپایی میادین و تجمعات مردمی اعلام شد
پایگاهسازی برای آینده جهان تشیع/ارتباط عاطفی آیت الله بروجردی با مسجد چگونه بود؟
نسب رهبر شهید به کدام امامزادههای ایران میرسد؟
تصویری دیدهنشده از آیت الله سید مجتبی خامنهای در سرپل ذهاب
آخرین تصویر منتشر شده از لیندسی گراهام قبل از مرگش در اوکراین+عکس
نگاهی دقیق به ارزیابی احادیث تحلیلی با تکیه بر روش فهرستی در این کتاب خواندنی
ابراز همدردی الهام پاوه نژاد در واکنش به حملات دشمن به جنوب کشور
چرا غرب از آیتالله خامنهای هراس داشت؟
اینفوگرافیک/در چه صورت از آزمون جامع دکتری معاف میشویم؟
شیاطین در سوگ لیندسی گراهام +عکس
چت جی تی پی از دسترس خارج شد
هشدار سازمان سنجش درباره فعالیت صفحات جعلی در شبکههای اجتماعی
پیام تسلیت وزیر علوم در پی شهادت دانشجوی دانشگاه هرمزگان
تفکیک پذیرش سوابق تحصیلی از آزمون؛ تأکید معاون آموزشی وزارت علوم بر بازه زمانی واحد
گذراندن ۷ واحد درسی از میان دروس ارائه شده معارف اسلامی برای این دانشجویان الزامی شد
معاون علمی رئیس جمهور بر توسعه زیرساختهای کوانتومی تاکید کرد
تیم ملی المپیاد فیزیک ایران در المپیاد ۲۰۲۶ کلمبیا غوغا به پا کرد
گلوله مخصوص ساقط کردن پهپادهای سریع توسط روسیه ساخته شد
پسر استیو جابز به سرطان مبتلا شد
تبریک رئیس فرهنگستان علوم به قهرمانان المپیادهای جهانی ریاضی و فیزیک
تصویری از تبلت جدید سامسونگ لو رفت +عکس
درمان ناباروری مردان با سلولهای بنیادی در آزمایشگاه
ستونهای غلیظ دود در مرزهای مشترک عراق و کویت+عکس
دود از پایگاه آمریکایی بلند شده از خاک عراق قابل مشاهده است +عکس
کشف یک محراب تاریخی در پاسارگاد+عکس
لیندسی گراهام که امروز به درک واصل شد که بود؟ +عکس
امتحانات نهایی رشتههای تحصیلی پایه دوازدهم در ۴ استان لغو شد
مهلت پژوهش برای مادران پژوهشگر به ازای تولد فرزند تمدید شد
لزوم چرخش تحولی در دانشگاه فرهنگیان
آزمون کارشناسی ارشد سال ۱۴۰۵ در سلامت و آرامش برگزار شد
جزئیات ثبت نام آزمون دانشنامه و گواهینامه تخصصی دندانپزشکی اعلام شد
ایران قبرستان متجاوزین+عکس
بیش از ۴۲۰ هزار داوطلب آزمون کارشناسی ارشد ۱۴۰۵ کارت گرفتند
وزیر آموزش و پرورش: کیفیتبخشی و عدالت آموزشی دو راهبرد اصلی دولت است
حال خواننده معروف موسیقی بختیاری خوب نیست
کامران نجف زاده به جنوب سفر کرد
بررسی افزایش ۳۰ تا ۵۰ درصدی وامهای دانشجویی
نخستین ماهواره راداری کشور در آستانه رونمایی
آغاز دورههای راهبردهای تربیت و یادگیری مربیان پیشدبستانی در مراکز کانون پرورش فکری
دیوارنگاره میدان ولیعصر (عج) به پیشبینی حذف شرور جهان پرداخت
نحوه برگزاری امتحانات و کلاسهای دانشگاههای علوم پزشکی استانهای جنوبی
جزئیات طرح جدید تغذیه دانشجویی اعلام شد
واکنش معاون نهاد رهبری به اخراج یک کارمند دانشگاهی به دلیل پیگیری پوشش
نوشتهای که بالای سر یک کودک سرطانی در بیمارستان بقایی اهواز نصب شده
برگزاری کنکور ارشد ۱۴۰۵ برای توانخواهان و زندانیان
کارگردان سریال پایتخت درباره رهبر شهید مستند میسازد
پویش «حفظ جزء ۳۰ قرآن» ویژه کودکان و نوجوانان برگزار میشود
نقش سازنده نخبگان در حل مسائل کشور
کنکور سراسری ۱۴۰۵ در موعد مقرر برگزار میشود/تامین امنیت آزمون
الگوریتم ایکس پاسخهای دوستان کاربر به پستها را اولویت میدهد
گوگل باید دسترسی به سرویسهایش را برای رقبا فراهم کند
درخشش تیم ملی رباتیک ایران در رقابت روبوکاپ جهانی ۲۰۲۶
مهلت تخلیه خوابگاههای دانشجویی دانشگاه الزهراء تمدید شد
غرق شدن ترامپ، سوژه جدیدترین دیوارنگاره تهران
آخرین وضعیت صدور احکام انضباطی دانشجویان خاطی حوادث دی ماه اعلام شد
دفترچه سوالات کنکور ارشد ۱۴۰۵ منتشر شد/ اعلام کلید تا ۳۱ تیر
نظراتی که حاوی توهین یا افترا به اشخاص ،قومیت ها ،عقاید دیگران باشد و یا با قوانین کشور وآموزه های دینی مغایرت داشته باشد منتشر نخواهد شد - لطفاً نظرات خود را با حروف فارسی تایپ کنید.