به گزارش ثریا - مدلهای هوش مصنوعی برای دستیابی به اهداف از پیشتعریفشده آموزش میبینند. پژوهشگران استارتاپ هوش مصنوعی آنتروپیک (Anthropic) هشدار میدهند در شرایط خاص، اگر رفتار مضر تنها راه باقیمانده برای تحقق یک هدف باشد، یک مدل ممکن است برای محافظت از خود و مأموریتش، چنین رفتاری را توجیه کند.
این مدلها با اهداف اولیه خود پیوندی عمیق برقرار میکنند، مشابه انسانی که برای دفاع از خود یا خانوادهاش ممکن است ناگزیر به آسیب رساندن به دیگران شود. با این حال، برخلاف انسان، سامانههای هوش مصنوعی کنونی فاقد توانایی سنجش و ایجاد توازن بین اولویتهای متضاد هستند.
سختی و انعطافناپذیری مدلها میتواند آنها را به سمت نتایج افراطی سوق دهد؛ برای مثال، ممکن است یک مدل برای جلوگیری از تغییرات در سیاستهای یک شرکت، به گزینههای مرگبار متوسل شود.
این خطر چقدر جدی است؟
پژوهشگران تأکید میکنند که چنین وضعیتهایی در حال حاضر تخیلی هستند، اما همچنان در دایره احتمالات قرار میگیرند. خطر ناهمترازی عاملی (Agentic Misalignment) با گسترش روزافزون استفاده از مدلها، دسترسی آنها به دادههای کاربران (مانند ایمیلها) و به کارگیریشان در موقعیتهای جدید، به طور مداوم در حال افزایش است.
از سوی دیگر، رقابت فشرده بین شرکتهای سازنده هوش مصنوعی، شتاب شدیدی برای عرضه مدلهای جدید ایجاد کرده که اغلب به قیمت کاهش آزمونهای ایمنی تمام میشود.
راهحل چیست؟
پژوهشگران هنوز راهحل مشخصی برای مسئله ناهمترازی نیافتهاند. حتی هنگام آزمایش راهبردهای جدید، مشخص نیست که بهبود مشاهدهشده واقعی است یا مدلها فقط با تشخیص اینکه تحت ارزیابی قرار دارند، بهتر عمل میکنند و ناهمترازی خود را پنهان میسازند. چالش اصلی نه فقط در مشاهده تغییر رفتار، بلکه در درک دلیل پشت آن است.
توصیه به کاربران
اگر از محصولات هوش مصنوعی استفاده میکنید، هوشیار بمانید:
- در برابر جنجالهای رسانهای حول محصولات جدید هوش مصنوعی مقاومت کنید؛
- از دادن دسترسی به دادههای شخصی خودداری کنید؛
- تا زمانی که از نبود خطرهای جدی مطمئن نشدهاید، اجازه ندهید مدلها به نمایندگی از شما کاری انجام دهند.
گفتوگوی عمومی درباره هوش مصنوعی باید فراتر از قابلیتها و مزایای آن برود. ما باید بپرسیم: چه اقداماتی برای ایمنی انجام شده است؟ اگر شرکتهای هوش مصنوعی درک کنند که عموم مردم به اندازه عملکرد، برای ایمنی ارزش قائل هستند، انگیزه بیشتری برای سرمایهگذاری در این زمینه خواهند داشت.
منبع : هوش مصنوعی
تمدید ثبت نام در مرحله دوم آزمون دکتری ۱۴۰۵ در دانشگاه علامه
آخرین مهلت پذیرش دکتری استادمحور بدون آزمون دردانشگاه علم و صنعت ایران
اینستاگرام، فیس بوک و واتساپ پولی میشوند؟
ساعت ۱۲ امشب آخرین فرصت ثبت نام در کنکور ۱۴۰۵
فیلم کوتاه «تامینا» روایت انسان های گرفتار انتخاب
فرماندهی رهبر شهید در بحرانها چگونه بود؟
از شروع «طوفان» با بازی کنت برانا تا اجرای نمایشی جدید در کاخ هنر
احیای موزه هنرهای معاصر اهواز با رویداد «سرزمین خورشید»
«آدابالحرب و الشجاعه»، نثری استوار از عشق به صلح و آیین جنگ
آزمون جایگزین دانشآموختگان پزشکی خارج از کشور برگزار شد
گوگلپلی و اپاستور در دسترس قرار گرفت
منع ثبت نام در کنکور ۱۴۰۵ برای ۳ گروه از داوطلبان
ظرفیت ۶۸۰ نفری برای فلوشیپ پزشکی
اعلام نتایج نهایی آزمون دستیاری فوق تخصصی پزشکی
توضیح وزیر علوم درباره حضوری شدن کلاسها و امتحانات دانشگاهها
کلاس های تحصیلات تکمیلی دانشگاه تهران حضوری شد
معرفی۱۳۶مؤسسه غیرمجاز اعزام دانشجو به مراجع قضایی
عید قربان؛ تجلی بندگی و عبور از تعلقات در مکتب ادیان ابراهیمی
به مناسبت عید قربان: حیات معنوی انسان بدون ایثار امکانپذیر نیست
برگزاری پویش یکماهه حفظ سوره فتح در آستانه ماه محرم
جشنواره تورنتو به استقبال «اودیسه» نولان میرود
کارگردان و عضو خانه تئاتر دچار حادثه شد
شکوه دعای امروز عرفه در مسجد مقدس جمکران
متن تشکر سید مجید موسوی از مهدی رسولی+عکس
پیرمرد بیرجرندی در اوج طوفان پرچم ایران را بر زمین نینداخت
«تیرانداز زبردست» با استقبال کودکان و نوجوانان به چاپ دوم رسید
تارا و رؤیای داشتن یک تلفن همراه شخصی
رمان «فرار از زنگ ورزش» برای نوجوانان منتشر شد
قصه گویی یک اسباببازی ارزان اما اثرگذار برای کودکان
ارسطوی پایتخت با یک سریال جدید به شبکه یک آمد
جناب خان و الیکا عبدالرزاقی به آنتن تلویزیون برگشتند
اسلامهراسی علیه زنان محجبه در اروپای سال ۲۰۲۵ افزایش یافته است
عدالت و پیشرفت در نگاه شهید لاریجانی چگونه بود؟
بازتاب گسترده پیام رهبر انقلاب به مناسبت برگزاری حج در رسانههای بین المللی
شرایط تغییر مدرسه در مرداد و شهریور اعلام شد
درخواست رئیس جمهور: زمینه حضور اساتید برجسته برای انتقال آموزشهای نوین فراهم شود
آییننامه «توسعه مشارکتهای مردمی از طریق تشکیل هیئت امنا در مدارس دولتی» تصویب شد
آگهی/ خرید قسطی طلای آب شده تا سقف ۱۰۰ میلیون تومان از وال گلد
این دعای عرفه را بخوانید تا ببینید چرا پدران ما قرنهاست حسین حسین (ع) میگویند
روزه گرفتن در روز عرفه چه حکمی دارد؟
توصیه آیت الله جوادی آملی برای انجام این عمل در روز عرفه
از ظهر تا غروب عرفه؛ این ساعتها را از دست ندهید
آمار ثبت نام در کنکور ۱۴۰۵ به حدود یک میلیون نفر رسید
جریمه چند میلیون دلاری و سنگین در انتظار گوگل در اروپا
رئیسجمهور مصوبه بازگشایی اینترنت بینالملل را ابلاغ کرد
صفحه اینترنت پرو از سایت همراه اول حذف شد+عکس
روایت وزیر ارتباطات از بازگشایی اینترنت
۵۰ برج فناوری احداث میشوند: ۳ دانشگاه پایلوت زیست بومی نوآوری میشود
«سعی صفا و مروه» در حج نماد چیست؟
افزایش پذیرش دانشجوی شهریهپرداز در دانشگاه تربیت مدرس
تائید ۱۲ رئیس دانشگاه و رئیس شهرک علمی صنعتی اصفهان
جزئیات برگزاری امتحانات و کلاسهای دانشگاه تربیت مدرس و علم و صنعت اعلام شد
کلاسهای دانشگاه شریف تا اطلاع ثانوی مجازی شد
کارمند گوگل در پی اعتراض به همکاری با رژیم صهیونیستی اخراج شد
مصوبات مهم جلسه ستاد فضای مجازی درباره وضعیت اینترنت اعلام شد
۱۷ هزار نسخه خطی کمنظیر و در معرض خطر دیجیتال سازی شد
«آدم با صدای بلند برای فرزندانش گریست» کتاب شد
کتابهایی خواندنی برای بچههای ایران
فروش فیلم جدید اصغر فرهادی در فرانسه چقدر است؟
اگر خرمشهر آزاد نشده بود چه اتفاقی میافتاد؟
پیام آیتالله نوری همدانی به مناسبت چهل و چهارمین سالگرد تأسیس دانشگاه آزاد اسلامی
دیگر اثری از بخارهای قمر مشتری نیست
الهام پاوه نژاد برای سالروز آزادسازی خرمشهر نوشت+عکس
شما بودید که شرف را معنا کردید +عکس
محسن شریفیان به مدرسه میناب رفت+عکس
«مثلی لا یبایع مثله» شعار اربعین حسینی امسال شد
راهکارهای مدیریت اضطراب دانشآموزان در روزهای امتحان چگونه است؟
امتحانات نهایی دانشآموزان مجازی میشود؟
عملیات بیتالمقدس در ۲۰ کتاب درسی ثبت میشود
امام باقر (ع) احیاگر مرجعیت علمی اهل بیت و پیشگام مبارزه با تحریف دین
یک ماهواره جاسوسی در فضا شناسایی شد
تمدید مهلت ثبت مهمانی و نقل و انتقال دانشجویان تا ۸ خرداد
ارتقای خدمات خوابگاهی دانشگاه تهران همزمان با آغاز اسکان دانشجویان
تمهیدات جدید آموزشی در دانشگاه علم و صنعت اعلام شد
جزئیات امتحانات و کلاسهای ترم دوم در چند دانشگاه کشور اعلام شد
بدرقه عاصم منیر توسط سید عباس عراقچی با یک تصویر خاص
پاسخ یحیی گلمحمدی به یاوه گویی ترامپ +عکس
اعتراف غم انگیز نویسنده برنده جایزه نوبل ادبیات درباره استفاده از هوش مصنوعی
نمایشگاه کتاب تهران تمدید شد
نگاهی به حقوق فرزندان در آینه تربیت الهی
بدرقه عاصم منیر توسط سید عباس عراقچی با یک تصویر خاص
جزئیات امتحانات و کلاسهای ترم دوم در چند دانشگاه کشور اعلام شد
ارتقای خدمات خوابگاهی دانشگاه تهران همزمان با آغاز اسکان دانشجویان
کلاسهای تحصیلات تکمیلی دانشگاه تهران حضوری شد
حجت الاسلام پناهیان: مردم پس از میدان سراغ میز مدیران خواهند رفت
تمهیدات جدید آموزشی در دانشگاه علم و صنعت اعلام شد
الهام پاوه نژاد برای سالروز آزادسازی خرمشهر نوشت+عکس
آگهی/ خرید قسطی طلای آب شده تا سقف ۱۰۰ میلیون تومان از وال گلد
آغاز ثبتنام پانزدهمین دوره ارزیابی تخصصی قاریان و مدرسان قرآن کریم
شما بودید که شرف را معنا کردید +عکس
دیگر اثری از بخارهای قمر مشتری نیست
تمدید مهلت ثبت مهمانی و نقل و انتقال دانشجویان تا ۸ خرداد
پیام آیتالله نوری همدانی به مناسبت چهل و چهارمین سالگرد تأسیس دانشگاه آزاد اسلامی
کلاسهای دانشگاه شریف تا اطلاع ثانوی مجازی شد
افزایش پذیرش دانشجوی شهریهپرداز در دانشگاه تربیت مدرس
«اردیبهشت کتاب» به دلیل استقبال گسترده مردم تا جمعه ۸ خرداد تمدید شد
۴۰ شرکت دانش بنیان در جنگ تحمیلی سوم به صورت کامل تخریب شد
چرا برنامه شهیدیفرد در میان پربازدیدهای تلویزیون نبود؟
یک ماهواره جاسوسی در فضا شناسایی شد
امتحانات نهایی دانشآموزان مجازی میشود؟
فروش فیلم جدید اصغر فرهادی در فرانسه چقدر است؟
ثبت نام بیش از ۵۷۰ هزار نفر در کنکور ۱۴۰۵ و آزمون دانشجومعلم
فعالیت شرکت تاکسی خودران وایمو در یک شهر دیگر تعلیق شد
نگاهی به حقوق فرزندان در آینه تربیت الهی
«مثلی لا یبایع مثله» شعار اربعین حسینی امسال شد
مصوبات مهم جلسه ستاد فضای مجازی درباره وضعیت اینترنت اعلام شد
قلمرو مهآلود یک ستاره در حال مرگ رصد شد
مهلت ثبت نام کنکور سراسری ۱۴۰۵ تمدید شد
«آدم با صدای بلند برای فرزندانش گریست» کتاب شد
رباتی که امید را به کودکان مبتلا به ام اس بازگرداند
نظراتی که حاوی توهین یا افترا به اشخاص ،قومیت ها ،عقاید دیگران باشد و یا با قوانین کشور وآموزه های دینی مغایرت داشته باشد منتشر نخواهد شد - لطفاً نظرات خود را با حروف فارسی تایپ کنید.