به گزارش ثریا - مدلهای هوش مصنوعی برای دستیابی به اهداف از پیشتعریفشده آموزش میبینند. پژوهشگران استارتاپ هوش مصنوعی آنتروپیک (Anthropic) هشدار میدهند در شرایط خاص، اگر رفتار مضر تنها راه باقیمانده برای تحقق یک هدف باشد، یک مدل ممکن است برای محافظت از خود و مأموریتش، چنین رفتاری را توجیه کند.
این مدلها با اهداف اولیه خود پیوندی عمیق برقرار میکنند، مشابه انسانی که برای دفاع از خود یا خانوادهاش ممکن است ناگزیر به آسیب رساندن به دیگران شود. با این حال، برخلاف انسان، سامانههای هوش مصنوعی کنونی فاقد توانایی سنجش و ایجاد توازن بین اولویتهای متضاد هستند.
سختی و انعطافناپذیری مدلها میتواند آنها را به سمت نتایج افراطی سوق دهد؛ برای مثال، ممکن است یک مدل برای جلوگیری از تغییرات در سیاستهای یک شرکت، به گزینههای مرگبار متوسل شود.
این خطر چقدر جدی است؟
پژوهشگران تأکید میکنند که چنین وضعیتهایی در حال حاضر تخیلی هستند، اما همچنان در دایره احتمالات قرار میگیرند. خطر ناهمترازی عاملی (Agentic Misalignment) با گسترش روزافزون استفاده از مدلها، دسترسی آنها به دادههای کاربران (مانند ایمیلها) و به کارگیریشان در موقعیتهای جدید، به طور مداوم در حال افزایش است.
از سوی دیگر، رقابت فشرده بین شرکتهای سازنده هوش مصنوعی، شتاب شدیدی برای عرضه مدلهای جدید ایجاد کرده که اغلب به قیمت کاهش آزمونهای ایمنی تمام میشود.
راهحل چیست؟
پژوهشگران هنوز راهحل مشخصی برای مسئله ناهمترازی نیافتهاند. حتی هنگام آزمایش راهبردهای جدید، مشخص نیست که بهبود مشاهدهشده واقعی است یا مدلها فقط با تشخیص اینکه تحت ارزیابی قرار دارند، بهتر عمل میکنند و ناهمترازی خود را پنهان میسازند. چالش اصلی نه فقط در مشاهده تغییر رفتار، بلکه در درک دلیل پشت آن است.
توصیه به کاربران
اگر از محصولات هوش مصنوعی استفاده میکنید، هوشیار بمانید:
- در برابر جنجالهای رسانهای حول محصولات جدید هوش مصنوعی مقاومت کنید؛
- از دادن دسترسی به دادههای شخصی خودداری کنید؛
- تا زمانی که از نبود خطرهای جدی مطمئن نشدهاید، اجازه ندهید مدلها به نمایندگی از شما کاری انجام دهند.
گفتوگوی عمومی درباره هوش مصنوعی باید فراتر از قابلیتها و مزایای آن برود. ما باید بپرسیم: چه اقداماتی برای ایمنی انجام شده است؟ اگر شرکتهای هوش مصنوعی درک کنند که عموم مردم به اندازه عملکرد، برای ایمنی ارزش قائل هستند، انگیزه بیشتری برای سرمایهگذاری در این زمینه خواهند داشت.
منبع : هوش مصنوعی
انتخاب رشته داوطلبان آزمون کارشناسی ارشد ۱۴۰۵ دانشگاه آزاد تمدید شد
سال تحصیلی جدید دانشگاه صنعتی امیرکبیر از ۲۸ شهریور آغاز میشود
ظرفیت ۱۴۶ هزار نفری پذیرش در کنکور ارشد ۱۴۰۵
جان مالکوویچ در ونیز تشویق شد؛ هجوم «اسب وحشی نهم» به اسکار
دانشمندی که جواب سوالهایش را از آسمان میخواست
ادامه حاشیههای «آرش» و نوید؛ کیت بلانشت «الکترا» شد
کلونی در جشنواره فیلم ونیز درخشید و با شیر طلا به ترامپ تاخت
جدال دوباره ساترا و ارشاد؛ «داش آکل» وارد میشود
موشک ایرانی موضوع نخستین شماره کتابمجله "آورد"
فراخوانی برای جمع آوری «ایدههای برتر قرآنی»
موانع استجابت دعا چیست؟ طلب مغفرت برای کافران مستجاب نمیشود
مدیر اسلامی با مهندسی انسجام، سلایق را به وحدت عمل در میآورد
تصویری از نماز بر پیکر شهدای عروسی کوهستک سیریک
خوانش هجرتی تاریخی توسط یک زن در سپهر فرهنگی ایران
آغاز ثبت نام دهمین دوره تخصصی صحیفه سجادیه
مداحان کشور برای نوجوانان کلاس مداحی برگزار میکنند
هنر صاحب جواهر ایستادن میان قالب نص و روح تشریع در فقاهت بود
منشور کوروش بدون حتی یک رای مخالف و اصلاحیه در یونسکو ثبت شد
ورود هوش مصنوعی به موضوعات قرآنی و پژوهشهای حدیثی و دینی
پایبندی پل شریدر به هوش مصنوعی؛ فیلم بعدی با AI ساخته میشود
یوسف حاتمی کیا: ۶سال گفتند این فیلم مصلحت نیست؛ مردمی که از غم نان با جان قمار میکنند
واکاوی رابطه هنر و سرمایه در ریبون
دلاور تنگستانی که حماسه بی پایان غیرت در خلیج فارس را زنده کرد
تابآوری کودکان در جنگ را با داستان افزایش دهیم
برگزاری بزرگداشت ابوریحان بیرونی از سوی فلاسفه و اساتید
از نگاه امیرالمومنین(ع) راه مهار طمع انسان به قدرت و ثروت چگونه است؟
برگزاری آزمونهای تافل و GRE رسماً در ایران متوقف شد
اعلام جزئیات مرحله شفاهی آزمونهای دانشنامه تخصصی و فوق تخصصی پزشکی
ایران پرچمدار المپیاد فناوری نانو در سطح جهانی
محکومیت اقدام غیرقانونی آمریکا علیه متقاضیان آزمونهای بینالمللی
ارزش از کدنویسی به فهم مسئله منتقل میشود
ثبت نام آزمون پذیرش پزشکی از لیسانس ۱۴۰۵ آغاز شد/ اعلام جزئیات آزمون
واکنش وزیر علوم به تحریمهای علمی آمریکا
مهلت انتخاب رشته آزمون کارشناسیارشد سال ۱۴۰۵ تمدید شد
ویژه برنامههای هفته وحدت در تجمعات شبانه
افتتاح دفاتر مشاوره وقف در سراسر کشور
برگزاری رویداد رحمه للعالمین در باغ کتاب
دانشجویان خارجی جشنواره هنر و رسانه عهد همزیستی را برگزار میکنند
وقف بر پایه ایثار، نوعدوستی و دوراندیشی استوار است
آغاز انتخاب رشته داوطلبان آزمون کارشناسی ارشد سال ۱۴۰۵ دانشگاه آزاد
شرکت های فناوری خواستار افزایش دفاع سایبری در مقابل حملات هوش مصنوعی
نوار نانویی ۳ داروی مسکن را در کمتر از ۲ ثانیه آزاد میکند
قدرتمندترین موشک اروپا به پرواز درآمد
تاکید علمای مسلمان بر عملی کردن وحدت و ایستادگی در مقابل دشمن مشترک
نزاع حجاب، از ابتدا نزاع بر سر قدرت زن بود
البرز زیر بار کمبود مدرسه؛ مهاجرت چالش بزرگ مدارس البرز
توانمند سازی و گذار از الفبا رویکرد جدید سواد آموزی استان سمنان
جزئیات بورسیه تحصیلی صنعت و مشاغل در پذیرش کارشناسی ارشد ۱۴۰۵
غرامت ۱۸ میلیارد دلاری متا برای فرار از شکایت ایالتهای آمریکا
واکنش دانشگاه صنعتی خواجه نصیر به کناره گیری رئیس آن
نفوذ هکرهای چینی به ناسا و سنای آمریکا ردیابی شد
موبایلهای آینده چگونه تغییر میکنند؟
از خیالپردازی سرامیک تاشاعرانگی کاغذ در ماه هنر؛ تکثرِ بودن در پایتخت
محمد اصفهانی در دومین شب از «روایت رحمت» روی صحنه میرود
در طبیعت چه خبر است؟ یک مجموعه خواندنی برای کودکان
پرچم ایران روایتی از خون، باور، ایستادگی و تمنای رسیدن
تاکید بر نقش هنرستانها در مقابله با چالشهای جنگ اقتصادی
کاظمی: دشمن تلاش میکند تا دولتها را از صف مردم جدا کند
امین و مهدیه احمدزاده؛ خواهر و برادر شهید مینابی
پذیرش برگزیدگان المپیادهای جغرافیا و علوم زمین بدون کنکور ابلاغ شد
نتایج آزمون صلاحیت گروه پرستاری سال ۱۴۰۵ اعلام شد
جزئیات آزمون مرحله انفرادی هجدهمین المپیاد علمی دانشجویان علوم پزشکی
دفترچه انتخاب رشته آزمون کارشناسیارشد سال ۱۴۰۵ منتشر شد
آغاز انتخاب رشته داوطلبان مجاز آزمون کارشناسیارشد سال ۱۴۰۵ از امروز
سینمای زیرزمینی ایران بررسی شد؛ از بحران بازنمایی تا اقتصاد نامرئی
روایت دبیر انجمن سرود کانون پرورش فکری از برگزاری یک جشنواره ملی
«حبیبی یا نبی»؛ نغمهای برای پیامبر رحمت
ریدلی اسکات با «ستاره های سگی» بدترین فیلمش را ساخت
«کوری» از پروندههای قضایی تا ممیزی؛ این سریال مروج مشروبات الکلی است؟
رازهایی که در یک کشو پنهان است؛ چه کسی دستخط قاتل را تقلید کرد؟
برای پویایی صنف باید صدای جوانها را جدی گرفت؛ سکوت معنا دارد
نسخه ویژه نابینایان «روزی روزگاری» منتشر میشود
وقتی مستند، حافظه میراث ملی را بیدار میکند
ایرانیخوانی نمایشنامه «تاجماه» برگزار شد
«رویای نیمه شب» و ضرورت ساخت آثار تلویزیونی با موضوع مهدویت
وقف رقیب اقتصاد کشور نیست
بیستمین آزمون سراسری قرآن پس از وقفه ای طولانی برگزار میشود
دانشمندی که هنوز رازهایش کشف نشده است؛ کیمیای رازی در تاریخ علم
تجلیل از ۴۵ چهره شاخص در اولین دوره جایزه جهانی دیپلماسی فرهنگی
تاسیس ۱۳ مؤسسه جدید فرهنگی قرآن و عترت
ثبت نام آزمون پذیرش پزشکی از لیسانس ۱۴۰۵ آغاز شد/ اعلام جزئیات آزمون
محکومیت اقدام غیرقانونی آمریکا علیه متقاضیان آزمونهای بینالمللی
واکنش وزیر علوم به تحریمهای علمی آمریکا
مهلت انتخاب رشته آزمون کارشناسیارشد سال ۱۴۰۵ تمدید شد
اعلام جزئیات مرحله شفاهی آزمونهای دانشنامه تخصصی و فوق تخصصی پزشکی
برگزاری آزمونهای تافل و GRE رسماً در ایران متوقف شد
ایران پرچمدار المپیاد فناوری نانو در سطح جهانی
برگزاری بزرگداشت ابوریحان بیرونی از سوی فلاسفه و اساتید
ارزش از کدنویسی به فهم مسئله منتقل میشود
از نگاه امیرالمومنین(ع) راه مهار طمع انسان به قدرت و ثروت چگونه است؟
تابآوری کودکان در جنگ را با داستان افزایش دهیم
یوسف حاتمی کیا: ۶سال گفتند این فیلم مصلحت نیست؛ مردمی که از غم نان با جان قمار میکنند
دلاور تنگستانی که حماسه بی پایان غیرت در خلیج فارس را زنده کرد
منشور کوروش بدون حتی یک رای مخالف و اصلاحیه در یونسکو ثبت شد
ورود هوش مصنوعی به موضوعات قرآنی و پژوهشهای حدیثی و دینی
خوانش هجرتی تاریخی توسط یک زن در سپهر فرهنگی ایران
آغاز ثبت نام دهمین دوره تخصصی صحیفه سجادیه
هنر صاحب جواهر ایستادن میان قالب نص و روح تشریع در فقاهت بود
واکاوی رابطه هنر و سرمایه در ریبون
مداحان کشور برای نوجوانان کلاس مداحی برگزار میکنند
پایبندی پل شریدر به هوش مصنوعی؛ فیلم بعدی با AI ساخته میشود
جدال دوباره ساترا و ارشاد؛ «داش آکل» وارد میشود
مدیر اسلامی با مهندسی انسجام، سلایق را به وحدت عمل در میآورد
ادامه حاشیههای «آرش» و نوید؛ کیت بلانشت «الکترا» شد
فراخوانی برای جمع آوری «ایدههای برتر قرآنی»
ظرفیت ۱۴۶ هزار نفری پذیرش در کنکور ارشد ۱۴۰۵
سال تحصیلی جدید دانشگاه صنعتی امیرکبیر از ۲۸ شهریور آغاز میشود
دانشمندی که جواب سوالهایش را از آسمان میخواست
کلونی در جشنواره فیلم ونیز درخشید و با شیر طلا به ترامپ تاخت
موشک ایرانی موضوع نخستین شماره کتابمجله "آورد"
نظراتی که حاوی توهین یا افترا به اشخاص ،قومیت ها ،عقاید دیگران باشد و یا با قوانین کشور وآموزه های دینی مغایرت داشته باشد منتشر نخواهد شد - لطفاً نظرات خود را با حروف فارسی تایپ کنید.