به گزارش ثریا - مدلهای هوش مصنوعی برای دستیابی به اهداف از پیشتعریفشده آموزش میبینند. پژوهشگران استارتاپ هوش مصنوعی آنتروپیک (Anthropic) هشدار میدهند در شرایط خاص، اگر رفتار مضر تنها راه باقیمانده برای تحقق یک هدف باشد، یک مدل ممکن است برای محافظت از خود و مأموریتش، چنین رفتاری را توجیه کند.
این مدلها با اهداف اولیه خود پیوندی عمیق برقرار میکنند، مشابه انسانی که برای دفاع از خود یا خانوادهاش ممکن است ناگزیر به آسیب رساندن به دیگران شود. با این حال، برخلاف انسان، سامانههای هوش مصنوعی کنونی فاقد توانایی سنجش و ایجاد توازن بین اولویتهای متضاد هستند.
سختی و انعطافناپذیری مدلها میتواند آنها را به سمت نتایج افراطی سوق دهد؛ برای مثال، ممکن است یک مدل برای جلوگیری از تغییرات در سیاستهای یک شرکت، به گزینههای مرگبار متوسل شود.
این خطر چقدر جدی است؟
پژوهشگران تأکید میکنند که چنین وضعیتهایی در حال حاضر تخیلی هستند، اما همچنان در دایره احتمالات قرار میگیرند. خطر ناهمترازی عاملی (Agentic Misalignment) با گسترش روزافزون استفاده از مدلها، دسترسی آنها به دادههای کاربران (مانند ایمیلها) و به کارگیریشان در موقعیتهای جدید، به طور مداوم در حال افزایش است.
از سوی دیگر، رقابت فشرده بین شرکتهای سازنده هوش مصنوعی، شتاب شدیدی برای عرضه مدلهای جدید ایجاد کرده که اغلب به قیمت کاهش آزمونهای ایمنی تمام میشود.
راهحل چیست؟
پژوهشگران هنوز راهحل مشخصی برای مسئله ناهمترازی نیافتهاند. حتی هنگام آزمایش راهبردهای جدید، مشخص نیست که بهبود مشاهدهشده واقعی است یا مدلها فقط با تشخیص اینکه تحت ارزیابی قرار دارند، بهتر عمل میکنند و ناهمترازی خود را پنهان میسازند. چالش اصلی نه فقط در مشاهده تغییر رفتار، بلکه در درک دلیل پشت آن است.
توصیه به کاربران
اگر از محصولات هوش مصنوعی استفاده میکنید، هوشیار بمانید:
- در برابر جنجالهای رسانهای حول محصولات جدید هوش مصنوعی مقاومت کنید؛
- از دادن دسترسی به دادههای شخصی خودداری کنید؛
- تا زمانی که از نبود خطرهای جدی مطمئن نشدهاید، اجازه ندهید مدلها به نمایندگی از شما کاری انجام دهند.
گفتوگوی عمومی درباره هوش مصنوعی باید فراتر از قابلیتها و مزایای آن برود. ما باید بپرسیم: چه اقداماتی برای ایمنی انجام شده است؟ اگر شرکتهای هوش مصنوعی درک کنند که عموم مردم به اندازه عملکرد، برای ایمنی ارزش قائل هستند، انگیزه بیشتری برای سرمایهگذاری در این زمینه خواهند داشت.
منبع : هوش مصنوعی
تصویری از ابابیل ۳ در آسمان کویت
امنیت ایران با صلح تحمیلی معامله پذیر نیست
فروش بدون کارمزد خودرو در استانهای درگیر جنگ
کشف یک مولکول ناشناخته روی قمر زحل و پلوتو که دانشمندان توضیحی برای آن ندارند
جزئیات ترم تابستانی دانشگاه خوارزمی اعلام شد
دانشگاه صنعتی امیرکبیر در جایگاه سوم رتبه بندی بنیاد ملی نخبگان
تفاهم دانشگاه شهید بهشتی با بانک برای پرداخت تسهیلات مسکن
فرانسه شبکههای اجتماعی را برای کودکان ممنوع میکند
کلید اولیه آزمون کارشناسی ارشد ۱۴۰۵ تا فردا منتشر می شود
حضور گسترده دانشجویان با ۱۷۵ موکب در مراسم تدفین رهبر شهید
هوش مصنوعی به همتای خود حمله سایبری کرد
پایان مکاتبات کاغذی در ثبت اساسنامه مؤسسات اعزام دانشجو
تصویر منتشر نشده از آیت الله سید مجتبی خامنهای
علت کوریهای بیبازگشت کشف شد
اختصاص وام ضروری به دانشجویان آسیب دیده از جنگ
نتفلیکس استارتاپ هوش مصنوعی بازیگر معروف را خرید
فضاپیمای چینی برای دفاع از زمین با یک سیارک برخورد می کند
قابلیت تماشای عکسهای اسلایدی به تلگرام آمد
فرزهای دندانپزشکی نانویی در ایران تولید شد
روباتها با خواندن فکر فرمانبردار شما میشوند
میراث آیت الله شاهآبادی پیوند میان «عرفان شیعی» و سیاست و جهاد بود
«قرآن رنانی» با دستخط رهبر شهید به بازار نشر رسید
برگزاری همایش موکبداران «جاماندگان اربعین حسینی» در فرهنگسرای ولاء
آغاز طرح امنیتی و خدماتی زیارت اربعین حسینی در نجف اشرف
«سیوشش هفت» غم میناب را از زبان خانواده شهدا به تصویر میکشد
ماندگاری ۸۲ درصدی نخبگان؛ جذب ۴۲۰ فارغالتحصیل از دانشگاههای برتر جهان
تیک تاک دوباره برای کارمندان دولت آمریکا مجاز شد
آیین بزرگداشت رهبر شهید انقلاب فردا در دانشگاه تهران برگزار میشود
شرکت سامسونگ کارمندانش در آمریکا را تعدیل کرد
توییت جالب اکانت سفارت ایران درباره ادعای رهگیری موشک های ایران
اعلام نتایج نهایی آزمون دکتری سال ۱۴۰۵ در دهه اول مردادماه
نحوه برگزاری امتحانات و کلاسهای دانشگاههای علوم پزشکی استانهای جنوبی
مهلت تخلیه خوابگاههای دانشجویی دانشگاه الزهراء تمدید شد
درخشش تیم ملی رباتیک ایران در رقابت روبوکاپ جهانی ۲۰۲۶
توضیح معاون علمی رئیس جمهور درباره سند راهبردی «توسعه فرانچایز دانشبنیان»
امارات مقصد بعدی موشکهای ایرانی؟ +عکس
تغییر در فرایند پذیرش دانشجومعلمان/ ایجاد سهمیه بومی برای برخی رشتهها
بررسی افزایش ۳۰ تا ۵۰ درصدی وامهای دانشجویی
آخرین وضعیت صدور احکام انضباطی دانشجویان خاطی حوادث دی ماه اعلام شد
دفترچه سوالات کنکور ارشد ۱۴۰۵ منتشر شد/ اعلام کلید تا ۳۱ تیر
فروشگاههای اپ طرف ثالث بالاخره وارد اندروید میشوند
ترامپ دسترسی به پستهایش در شبکه اجتماعی تروث را میفروشد
آزمون کارشناسی ارشد ۱۴۰۵ در رشتههای شناور برگزار شد
کنکور سراسری ۱۴۰۵ در موعد مقرر برگزار میشود/تامین امنیت آزمون
بزرگداشت رهبر شهید و دکتر مصباحالهدی باقریکنی در دانشگاه امام صادق
گوگل باید دسترسی به سرویسهایش را برای رقبا فراهم کند
نوبت آخر آزمون کارشناسی ارشد سال ۱۴۰۵ برگزار شد
رگولاتور انگلیس درباره تیک تاک تحقیق می کند
برگزاری کنکور ارشد ۱۴۰۵ برای توانخواهان و زندانیان
آزمون کارشناسی ارشد سال ۱۴۰۵ در سلامت و آرامش برگزار شد
نوشتهای که بالای سر یک کودک سرطانی در بیمارستان بقایی اهواز نصب شده
دیوارنگاره میدان ولیعصر (عج) به پیشبینی حذف شرور جهان پرداخت
حال خواننده معروف موسیقی بختیاری خوب نیست
سیاست بچهگانه ترامپ سوژه کارتون هنرمند برزیلی شد
ایران قبرستان متجاوزین+عکس
کارگردان سریال پایتخت درباره رهبر شهید مستند میسازد
کامران نجف زاده به جنوب سفر کرد
وزیر آموزش و پرورش: کیفیتبخشی و عدالت آموزشی دو راهبرد اصلی دولت است
غرق شدن ترامپ، سوژه جدیدترین دیوارنگاره تهران
آغاز دورههای راهبردهای تربیت و یادگیری مربیان پیشدبستانی در مراکز کانون پرورش فکری
نقش سازنده نخبگان در حل مسائل کشور
پویش «حفظ جزء ۳۰ قرآن» ویژه کودکان و نوجوانان برگزار میشود
جزئیات ثبت نام آزمون دانشنامه و گواهینامه تخصصی دندانپزشکی اعلام شد
امتحانات نهایی رشتههای تحصیلی پایه دوازدهم در ۴ استان لغو شد
لزوم چرخش تحولی در دانشگاه فرهنگیان
الگوریتم ایکس پاسخهای دوستان کاربر به پستها را اولویت میدهد
الگوریتم ایکس پاسخهای دوستان کاربر به پستها را اولویت میدهد
واکنش معاون نهاد رهبری به اخراج یک کارمند دانشگاهی به دلیل پیگیری پوشش
مهلت پژوهش برای مادران پژوهشگر به ازای تولد فرزند تمدید شد
نخستین ماهواره راداری کشور در آستانه رونمایی
بیش از ۴۲۰ هزار داوطلب آزمون کارشناسی ارشد ۱۴۰۵ کارت گرفتند
جزئیات طرح جدید تغذیه دانشجویی اعلام شد
تبریک وزیر آموزش و پرورش به قهرمانان المپیاد جهانی فیزیک
روایت ایستادگی ایران در مجلات رشد دانش آموزان
دستورالعمل تداوم برپایی میادین و تجمعات مردمی اعلام شد
پایگاهسازی برای آینده جهان تشیع/ارتباط عاطفی آیت الله بروجردی با مسجد چگونه بود؟
نسب رهبر شهید به کدام امامزادههای ایران میرسد؟
تصویری دیدهنشده از آیت الله سید مجتبی خامنهای در سرپل ذهاب
آخرین تصویر منتشر شده از لیندسی گراهام قبل از مرگش در اوکراین+عکس
نگاهی دقیق به ارزیابی احادیث تحلیلی با تکیه بر روش فهرستی در این کتاب خواندنی
امتحانات نهایی رشتههای تحصیلی پایه دوازدهم در ۴ استان لغو شد
مهلت پژوهش برای مادران پژوهشگر به ازای تولد فرزند تمدید شد
آزمون کارشناسی ارشد سال ۱۴۰۵ در سلامت و آرامش برگزار شد
جزئیات ثبت نام آزمون دانشنامه و گواهینامه تخصصی دندانپزشکی اعلام شد
لزوم چرخش تحولی در دانشگاه فرهنگیان
ایران قبرستان متجاوزین+عکس
بررسی افزایش ۳۰ تا ۵۰ درصدی وامهای دانشجویی
نحوه برگزاری امتحانات و کلاسهای دانشگاههای علوم پزشکی استانهای جنوبی
حال خواننده معروف موسیقی بختیاری خوب نیست
وزیر آموزش و پرورش: کیفیتبخشی و عدالت آموزشی دو راهبرد اصلی دولت است
آغاز دورههای راهبردهای تربیت و یادگیری مربیان پیشدبستانی در مراکز کانون پرورش فکری
کامران نجف زاده به جنوب سفر کرد
دیوارنگاره میدان ولیعصر (عج) به پیشبینی حذف شرور جهان پرداخت
نخستین ماهواره راداری کشور در آستانه رونمایی
ماندگاری ۸۲ درصدی نخبگان؛ جذب ۴۲۰ فارغالتحصیل از دانشگاههای برتر جهان
شرکت سامسونگ کارمندانش در آمریکا را تعدیل کرد
واکنش معاون نهاد رهبری به اخراج یک کارمند دانشگاهی به دلیل پیگیری پوشش
مهلت تخلیه خوابگاههای دانشجویی دانشگاه الزهراء تمدید شد
گوگل باید دسترسی به سرویسهایش را برای رقبا فراهم کند
برگزاری کنکور ارشد ۱۴۰۵ برای توانخواهان و زندانیان
آخرین وضعیت صدور احکام انضباطی دانشجویان خاطی حوادث دی ماه اعلام شد
پویش «حفظ جزء ۳۰ قرآن» ویژه کودکان و نوجوانان برگزار میشود
نوشتهای که بالای سر یک کودک سرطانی در بیمارستان بقایی اهواز نصب شده
درخشش تیم ملی رباتیک ایران در رقابت روبوکاپ جهانی ۲۰۲۶
دفترچه سوالات کنکور ارشد ۱۴۰۵ منتشر شد/ اعلام کلید تا ۳۱ تیر
تغییر در فرایند پذیرش دانشجومعلمان/ ایجاد سهمیه بومی برای برخی رشتهها
نقش سازنده نخبگان در حل مسائل کشور
کنکور سراسری ۱۴۰۵ در موعد مقرر برگزار میشود/تامین امنیت آزمون
اعلام نتایج نهایی آزمون دکتری سال ۱۴۰۵ در دهه اول مردادماه
کارگردان سریال پایتخت درباره رهبر شهید مستند میسازد
نظراتی که حاوی توهین یا افترا به اشخاص ،قومیت ها ،عقاید دیگران باشد و یا با قوانین کشور وآموزه های دینی مغایرت داشته باشد منتشر نخواهد شد - لطفاً نظرات خود را با حروف فارسی تایپ کنید.