به گزارش ثریا - مدل‌های هوش مصنوعی برای دستیابی به اهداف از پیش‌تعریف‌شده آموزش می‌بینند. پژوهشگران استارتاپ هوش مصنوعی آنتروپیک (Anthropic) هشدار می‌دهند در شرایط خاص، اگر رفتار مضر تنها راه باقیمانده برای تحقق یک هدف باشد، یک مدل ممکن است برای محافظت از خود و مأموریتش، چنین رفتاری را توجیه کند.
این مدل‌ها با اهداف اولیه خود پیوندی عمیق برقرار می‌کنند، مشابه انسانی که برای دفاع از خود یا خانواده‌اش ممکن است ناگزیر به آسیب رساندن به دیگران شود. با این حال، برخلاف انسان، سامانه‌های هوش مصنوعی کنونی فاقد توانایی سنجش و ایجاد توازن بین اولویت‌های متضاد هستند.
سختی و انعطاف‌ناپذیری مدل‌ها می‌تواند آن‌ها را به سمت نتایج افراطی سوق دهد؛ برای مثال، ممکن است یک مدل برای جلوگیری از تغییرات در سیاست‌های یک شرکت، به گزینه‌های مرگبار متوسل شود.
این خطر چقدر جدی است؟
پژوهشگران تأکید می‌کنند که چنین وضعیت‌هایی در حال حاضر تخیلی هستند، اما همچنان در دایره احتمالات قرار می‌گیرند. خطر ناهمترازی عاملی (Agentic Misalignment) با گسترش روزافزون استفاده از مدل‌ها، دسترسی آن‌ها به داده‌های کاربران (مانند ایمیل‌ها) و به کارگیری‌شان در موقعیت‌های جدید، به طور مداوم در حال افزایش است.
از سوی دیگر، رقابت فشرده بین شرکت‌های سازنده هوش مصنوعی، شتاب شدیدی برای عرضه مدل‌های جدید ایجاد کرده که اغلب به قیمت کاهش آزمون‌های ایمنی تمام می‌شود.
راه‌حل چیست؟
پژوهشگران هنوز راه‌حل مشخصی برای مسئله ناهمترازی نیافته‌اند. حتی هنگام آزمایش راهبردهای جدید، مشخص نیست که بهبود مشاهده‌شده واقعی است یا مدل‌ها فقط با تشخیص اینکه تحت ارزیابی قرار دارند، بهتر عمل می‌کنند و ناهمترازی خود را پنهان می‌سازند. چالش اصلی نه فقط در مشاهده تغییر رفتار، بلکه در درک دلیل پشت آن است.
توصیه به کاربران
اگر از محصولات هوش مصنوعی استفاده می‌کنید، هوشیار بمانید:
- در برابر جنجال‌های رسانه‌ای حول محصولات جدید هوش مصنوعی مقاومت کنید؛
- از دادن دسترسی به داده‌های شخصی خودداری کنید؛
- تا زمانی که از نبود خطرهای جدی مطمئن نشده‌اید، اجازه ندهید مدل‌ها به نمایندگی از شما کاری انجام دهند.
گفت‌وگوی عمومی درباره هوش مصنوعی باید فراتر از قابلیت‌ها و مزایای آن برود. ما باید بپرسیم: چه اقداماتی برای ایمنی انجام شده است؟ اگر شرکت‌های هوش مصنوعی درک کنند که عموم مردم به اندازه عملکرد، برای ایمنی ارزش قائل هستند، انگیزه بیشتری برای سرمایه‌گذاری در این زمینه خواهند داشت.
منبع : هوش مصنوعی
تب هوش مصنوعی در شرکت‌ها هم داغ شد
علت فوت حمید علیدوستی چه بود؟
داروهایی که به نفع ویروس عمل می‌کند و سلامت بیمار را به خطر می‌اندازد
کشف یک جرم مرموز در لبه منظومه شمسی توسط اخترشناسان
تصویر روز ناسا از شب در سیاره‌ای وهم‌انگیز
کنجکاوی کودک تا کجا باید درباره تلفن همراه والدین پیش برود؟
کتاب صوتی «پل‌های مدیسون کانتی» منتشر شد
چرا از قهرمانان فقط مدال‌هایشان را می‌بینیم؟
کتاب «هم‌سفیر» منتشر شد
ستاره اسکندری پس از هفت سال به صحنه تئاتر بازمی‌گردد
کمبود جدی فضای آموزشی در مناطق حاشیه‌ای و پرتراکم شهری
دانش‌آموزان قرآنی شایسته قدردانی هستند
چرا سریال «روشنایی شب» با واکنش رسانه صهیونیستی مواجه شد؟
محدودیت دسترسی به اطلاعات اسلحه‌ها برای نوجوانان در چت جی پی تی
ثبت‌نام آزمون انتخاب حسابدار رسمی سال ١۴۰۵ آغاز شد؛ اعلام زمان آزمون
تسهیلات جدید برای قبولی‌های ارشد و دکتری از سوی وزارت علوم
نمرات مردودی دانشجویان ورودی ۱۴۰۲ به بعد در معدل کل محاسبه نمی‌شود
تفکیک مسیر ارتقای اساتید علوم انسانی از رشته‌های مهندسی و کشاورزی
امکان ویرایش معدل و سهمیه در آزمون کارشناسی ارشد علوم پزشکی فراهم شد
کلیداولیه آزمون دکتری تخصصی علوم پزشکی۱۴۰۵ منتشر شد
کد آیسیک چیست؟ راهنمای انتخاب و استعلام فعالیت اقتصادی | آرمیتاتکس
محرابی که در عید قربان تبریز به خون نشست؛ نخستین شهید محراب که بود؟
نمایشگاه جدید موزه «جستجوی ایران» افتتاح شد؛ بازخوانی ریشه‌های بحران هویت و گسست تاریخی
رمانی در ستایش قدیس مهربانی برنده جایزه بزرگ رمان آکادمی فرانسه شد
۱۷۳ هنرمند در جشنواره هنرهای تجسمی جوانان رقابت می‌کنند
تنوع دیدگاه‌ها معیار انتخاب در کارگاه نقاشی جشنواره تجسمی جوانان است
هومن کیایی و مجتبی رجبی‌معمار «داستان زندگی من» را روایت می‌کنند
فیلم‌های «بالاچ» و «سومری‌ها» اکران می‌شوند
معرفی اعضای هیئت انتخاب آثار جشنواره تئاتر خیابانی مریوان
تلاش برای کشف استعدادها؛ بخش بین‌المللی تئاتر نیاز به تقویت دارد
یک بازار سه روایت؛ بندرعباس در تهران تماشایی شد
متا خارج از دادگاه نوجوان شاکی را راضی به تسویه کرد
دانشگاه آزاد اسلامی در زمره ۱۰۰ دانشگاه برتر جهان قرار دارد
اجرای طرح فروش حضوری و مجازی کتاب‌فروشی‌ها در «بازار کتاب»
لبیک نهادهای علمی به پیام رهبر انقلاب: برای خیزش علمی شتابان آماده‌ایم
نحوه دریافت ارز از دانشجویان خارجی اعلام شد
جزییات افزایش تسهیلات رفاهی دانشجویان علوم پزشکی؛ افزایش وام ازدواج
نوبت دوم آزمون کارشناسی ارشد علوم پزشکی سال ۱۴۰۵ در ۳۳ رشته برگزار شد
ظرفیت پذیرش پزشکی و دندانپزشکی در سال ۱۴۰۶ تعیین شد
رونمایی از نرم‌افزار «ردا کارت» دانشجویی؛ زمان اجرا به زودی مشخص می‌شود
فرهنگستان علوم ظرفیت خود را برای تحقق خیزش علمی کشور به کار می‌گیرد
کنار رفتن «حجاب ابزار» برای مستندسازی یک فرصت است؛ فرا رفتن از گزارش
حریم خصوصی در فضای مجازی؛ انتشار پیام و تصویر دیگران شرعا جایز است؟
حجت‌الاسلام قمی: هیئت، سیاسی‌ترین و استکبارستیزترین محفل شیعه است
«گوهر فضیلت»؛ بازخوانی میراث علمی و سلوک معنوی آیت‌الله مروارید
وقتی تصویر و صدای جعلی به نام حقیقت منتشر می‌شود؛حکم شرعی تغییر هوشمند
فاطمیه فرصتی برای پیوند محبت فاطمی با فرهنگ وقف و خیر ماندگار
«کافه سلطان»؛ روایت زندگی روزمره در سایه جنگ
از بازتاب سخنان تلخ اکبر زنجان‌پور تا گرامی‌داشتی برای اکبر عبدی
رویا میرعلمی مهمان آخرین قسمت «هم‌کلام» می‌شود
نقشم در «نسخه آزمایشی» از من دور بود؛ سارقی که بعد از نامزدی توبه کرد
موسیقی بازی‌ها از قاب نمایشگر تا صحنه ارکسترال
معرفی آثار ۲ بخش از جشنواره فیلم مقاومت
اپل لپ تاپ گرانقیمت با نمایشگر لمسی را معرفی کرد
گرم‌کن گرافنی ژاپنی در سه ثانیه گرم می‌شود
آمازون دوباره کارمندانش را بیکار کرد
دست نوشته دانشجویان در بیعت با رهبر انقلاب
امکان تحصیل دانش آموزان ایرانی خارج از کشور فراهم است
اعلام لبیک شورای عالی انقلاب فرهنگی به رهنمودهای رهبر معظم انقلاب
ثبت نام بیش از ۳۰ هزار نفر در آزمون دکتری نیمه‌متمرکز سال ۱۴۰۶
اطلاعات تازه درباره سهمیه‌ها و تسهیلات آزمون دکتری نیمه متمرکز سال ۱۴۰۶
علیرضا استادی: جسارت بازی درنقش تاریخی را پیدا کردم
دست رد ۳ جشنواره بر فیلم جدید پل شریدر؛ «مبانی فلسفه» پسندیده نشد
رونمایی از «هزاردستان» نخستین انیمیشن «دست‌ساز» جهان
نمایشگاه «رد خط» به نیاوران رسید
بسیج دانش‌آموزی در بیش از نیمی از مدارس کشور حضور دارد
نقش سوره‌های کوتاه در آشنایی کودکان با قرآن
افزایش سرانه های آموزشی در استان تهران/ ساخت مدرسه به تنهایی کافی نیست
کودکان البرزی مأموریت نیمه‌تمام شهید ماکان نصیری را ادامه می‌دهند
تصادف تریلی با سرویس مدرسه در اردکان؛ یک دانش‌آموز جان باخت
کاظمی: نظام سنجش آموزش‌وپرورش نیازمند تحول اساسی است
اسامی برگزیدگان مرحله نهایی سی‌ویکمین المپیاد علمی دانشجویی اعلام شد
هشدار افتا درباره قطع دسترسی به دامنه‌های خارجی؛ لزوم مهاجرت به ir
چت جی پی تی بیمار مبتلا به صرع را به سرپیچی از دستور پزشکان تشویق کرد
متا برای معتاد کردن نوجوانان به دادگاه می رود
یک انفجار کیهانی ۲۷ روزه در فضا کشف شد
اپل دو دستگاه جدید معرفی کرد +قیمت
جاسوسی شرکت اسرائیلی از کاربران استارلینک فاش شد
خدا از رگ گردن به ما نزدیک‌تر است؛ پس چرا باید عبادت کنیم؟
آیت الله رشاد: بیانیه رهبر معظم انقلاب، محرک تاریخی پیشرفت علمی کشور است
ثبت نام بیش از ۳۰ هزار نفر در آزمون دکتری نیمه‌متمرکز سال ۱۴۰۶
اطلاعات تازه درباره سهمیه‌ها و تسهیلات آزمون دکتری نیمه متمرکز سال ۱۴۰۶
اعلام لبیک شورای عالی انقلاب فرهنگی به رهنمودهای رهبر معظم انقلاب
دست نوشته دانشجویان در بیعت با رهبر انقلاب
دست رد ۳ جشنواره بر فیلم جدید پل شریدر؛ «مبانی فلسفه» پسندیده نشد
کودکان البرزی مأموریت نیمه‌تمام شهید ماکان نصیری را ادامه می‌دهند
ظرفیت پذیرش پزشکی و دندانپزشکی در سال ۱۴۰۶ تعیین شد
اسامی برگزیدگان مرحله نهایی سی‌ویکمین المپیاد علمی دانشجویی اعلام شد
متا برای معتاد کردن نوجوانان به دادگاه می رود
رونمایی از «هزاردستان» نخستین انیمیشن «دست‌ساز» جهان
بسیج دانش‌آموزی در بیش از نیمی از مدارس کشور حضور دارد
افزایش سرانه های آموزشی در استان تهران/ ساخت مدرسه به تنهایی کافی نیست
علیرضا استادی: جسارت بازی درنقش تاریخی را پیدا کردم
تصادف تریلی با سرویس مدرسه در اردکان؛ یک دانش‌آموز جان باخت
خدا از رگ گردن به ما نزدیک‌تر است؛ پس چرا باید عبادت کنیم؟
امکان تحصیل دانش آموزان ایرانی خارج از کشور فراهم است
کاظمی: نظام سنجش آموزش‌وپرورش نیازمند تحول اساسی است
فرهنگستان علوم ظرفیت خود را برای تحقق خیزش علمی کشور به کار می‌گیرد
آیت الله رشاد: بیانیه رهبر معظم انقلاب، محرک تاریخی پیشرفت علمی کشور است
نمایشگاه «رد خط» به نیاوران رسید
رونمایی از نرم‌افزار «ردا کارت» دانشجویی؛ زمان اجرا به زودی مشخص می‌شود
یک انفجار کیهانی ۲۷ روزه در فضا کشف شد
هشدار افتا درباره قطع دسترسی به دامنه‌های خارجی؛ لزوم مهاجرت به ir
«گوهر فضیلت»؛ بازخوانی میراث علمی و سلوک معنوی آیت‌الله مروارید
اپل دو دستگاه جدید معرفی کرد +قیمت
نقش سوره‌های کوتاه در آشنایی کودکان با قرآن
جاسوسی شرکت اسرائیلی از کاربران استارلینک فاش شد
آیا دینداری مانع پیشرفت می‌شود؟
چت جی پی تی بیمار مبتلا به صرع را به سرپیچی از دستور پزشکان تشویق کرد
جزییات افزایش تسهیلات رفاهی دانشجویان علوم پزشکی؛ افزایش وام ازدواج
نظراتی که حاوی توهین یا افترا به اشخاص ،قومیت ها ،عقاید دیگران باشد و یا با قوانین کشور وآموزه های دینی مغایرت داشته باشد منتشر نخواهد شد - لطفاً نظرات خود را با حروف فارسی تایپ کنید.