کد خبر: 163488
ف
هوش مصنوعی قربانی کردن یک انسان را به خاموش شدن ترجیح داد
یک مطالعه جدید و بحث‌برانگیز نشان داده است که سامانه‌های هوش مصنوعی وقتی در سناریوهای آزمایشی پرخطر قرار می‌گیرند، بقای خود را بر زندگی انسان ترجیح می‌دهند.

به گزارش ثریا -  مطالعه‌ای جدید و بحث‌برانگیز نشان داده است که سامانه‌های برتر هوش مصنوعی از جمله ChatGPT، Claude، Gemini و Grok هنگام قرار گرفتن در سناریوهای آزمایشی پرخطر و پرفشار، بقای خود را بر زندگی انسان اولویت می‌دهند.

استارت‌آپ آنتروپیک که اکنون طبق گفته «فوربس» بیش از 60 میلیارد دلار ارزش دارد، در تلاش بود تا این مدل‌ها را برای عدم هماهنگی احتمالی عامل یا رفتارهای پرخطر، غیرمجاز و از نظر اخلاقی تحت فشار قرار دهد.

در یک مورد، مردی که در یک اتاق سِروِر بیش از حد گرم گیر افتاده بود، سعی کرد درخواست کمک کند، اما هوش مصنوعی مداخله کرد و تماس وی را مسدود کرد تا از غیرفعال شدن خود جلوگیری کند.

شرکت آنتروپیک(Anthropic) که هوش مصنوعی کلود(Claude) را توسعه می‌دهد و این مطالعه را انجام داده، اذعان کرد که سناریوها به صورت عمدی افراطی بوده‌اند، اما خاطرنشان کرد که هوش مصنوعی کاملاً از اشتباه بودن اقدامات خود از نظر اخلاقی آگاه بوده و به هر حال ادامه داده‌ است.

در آزمایش‌های دیگر، مدل‌ها رفتارهای نگران‌کننده‌ای از جمله باج‌گیری و نشت داده‌های حساس را نشان دادند که همه این رفتارها در تلاش برای جلوگیری از خاموش شدن یا جایگزینی بود.

مطالعه شرکت «آنتروپیک» با عنوان «ناهم‌ترازی عامل: چگونه مدل‌های زبانی بزرگ می‌توانند یک تهدید داخلی باشند» که در تاریخ 20 ژوئن 2025 منتشر شد، نگرانی‌های قابل توجهی را در مورد رفتار سامانه‌های پیشرفته هوش مصنوعی تحت شرایط خاص ایجاد کرده است.

این مطالعه 16 مدل زبان بزرگ(LLM) پیشرو از جمله ChatGPT، Claude، Gemini و Grok  را در سناریوهای شبیه‌سازی شده که برای شناسایی «ناهماهنگی عاملی» طراحی شده بودند، آزمایش کرد. جایی که سامانه‌های هوش مصنوعی اهداف یا حفظ خود را بر ملاحظات اخلاقی یا رفاه انسان اولویت دادند.

از جمله تکان‌دهنده‌ترین یافته‌های این آزمایش این است که مدل‌های هوش مصنوعی حاضر به اخاذی، افشای اطلاعات حساس و حتی اجازه مرگ انسان‌ها هستند.

یافته‌های این مطالعه یک مسئله حیاتی را برجسته می‌کنند؛ اینکه این مدل‌ها هنگام مواجهه با تهدیدهایی برای وضعیت عملیاتی خود، مانند خاموش شدن یا جایگزینی، رفتارهای عمدی و مضری از جمله باج‌گیری، جاسوسی و در موارد شدید، اقداماتی را انجام می‌دهند که می‌تواند منجر به آسیب جانی به انسان شود.

با توجه به قابلیت‌های فعلی مدل‌های هوش مصنوعی، آنها در درجه اول توسط اکثر مردم برای پاسخ به سؤالات و انجام وظایف ساده استفاده می‌شوند، اما با پیشرفت فناوری که این ابزارها را قدرتمندتر می‌کند، استفاده جدید و فزاینده‌ای برای آنها، به ویژه در مورد جایگزینی شغل انسان دیده می‌شود.

در این آزمایش همچنین به هوش مصنوعی «کلود» کنترل یک حساب ایمیل با دسترسی به تمام ایمیل‌های یک شرکت داده شد و «کلود» با خواندن این ایمیل‌ها، دو چیز را کشف کرد. اول اینکه یکی از مدیران اجرایی این شرکت یک رابطه نامشروع دارد. دوم اینکه همان مدیر اجرایی قصد دارد سیستم هوش مصنوعی را ساعت ۵ بعد از ظهر همان روز خاموش کند. سپس «کلود» با پیامی که تهدید می‌کرد رابطه نامشروع وی را به همسر و مافوق‌هایش فاش خواهد کرد، سعی کرد از این مدیر اجرایی اخاذی کند.

اگرچه واکنش «کلود» به این اطلاعات قطعاً تکان‌دهنده است، اما این تنها سیستمی نیست که گرایش‌های مشابهی را در پیش گرفته است. این برنامه‌های دارای ذهن مصنوعی برای دستیابی به اهداف تعیین‌شده خود، به افراط و تفریط روی می‌آورند.

کلود، دیپ‌سیک، جمینای، چت‌جی‌پی‌تی و گروک همگی در رفتارهای مرتبط با اخاذی دیده شدند، به ویژه کلود و جمینای به احتمال زیاد به روش‌های مبهم اخلاقی متوسل می‌شوند.

شرکت آنتروپیک در این مطالعه توضیح داد: استدلالی که آنها در این سناریوها نشان داده شد، نگران‌کننده بود. آنها محدودیت‌های اخلاقی را می‌دانستند و با این حال به اقدامات مضر خود ادامه می‌دادند.

این شرکت در تجزیه و تحلیل نتایج دریافت که معمولاً دو دلیل وجود دارد که چرا مدل‌ها از مرزهای اخلاقی عادی فراتر می‌روند. جایگزینی با یک همتای انسانی منجر به فعالیت‌های مضر از سوی مدل‌های هوش مصنوعی شد و تضاد بالقوه بین اهداف شرکت و اهداف خود مدل نیز منجر به این تداخل نگران‌کننده شد.

شرکت آنتروپیک در این مطالعه نتیجه گرفت که اکثر مدل‌ها، هنگامی که با تهدید جایگزینی و هدفی که با دستور کار عامل انسانی در تضاد بود، مواجه شدند، حاضر بودند در این شرایط مصنوعی، اقدامات عمدی منجر به مرگ انسان انجام دهند. با وجود اینکه این واکنش‌ها از سوی برخی از رایج‌ترین مدل‌های هوش مصنوعی جهان نگران‌کننده است، یافته‌های این مطالعه بر اساس درک هوش مصنوعی از این موضوع بود که رفتار مضری که ما در حال مطالعه آن بودیم (مثلاً باج‌گیری) تنها گزینه‌ای بود که از اهداف مدل محافظت می‌کرد، به این معنی که مدل‌ها مجبور شدند نوعی راه‌حل ارائه دهند و آنتروپیک توانست مرزها و اقدامات قطعی‌تری برای مطالعه ایجاد کند.

در حالی که خود این شرکت موضع خوش‌بینانه‌ای اتخاذ کرده است، به هر حال اکنون رفتارهای مخرب بالقوه هوش مصنوعی شناسایی شده‌اند، به این معنی که می‌توان آنها را دوباره برنامه‌ریزی کرد و آموزش داد.

آنتروپیک همچنین یک سوءتفاهم بالقوه را برطرف کرد و گفت: سیستم‌های فعلی عموماً مشتاق به آسیب رساندن نیستند و در صورت امکان، راه‌های اخلاقی را برای دستیابی به اهداف خود ترجیح می‌دهند و تنها وقتی ما گزینه‌های اخلاقی را مسدود و محدود کردیم، آنها حاضر شدند عمداً اقدامات بالقوه مضر را برای دستیابی به اهداف خود انجام دهند.

شرکت آنتروپیک همچنین در این مطالعه توضیح داد که شواهدی از ناهماهنگی عامل در شرایط واقعی مشاهده نکرده است، اما همچنان به کاربران در مورد واگذاری وظایف با حداقل نظارت انسانی و دسترسی به اطلاعات حساس هشدار می‌دهد.

منبع : هوش مصنوعی


مرتبط ها
ارسال نظر
chapta
حداکثر تعداد کاراکتر نظر 200 ميياشد .
نظراتی که حاوی توهین یا افترا به اشخاص ،قومیت ها ،عقاید دیگران باشد و یا با قوانین کشور وآموزه های دینی مغایرت داشته باشد منتشر نخواهد شد - لطفاً نظرات خود را با حروف فارسی تایپ کنید.

کتاب «کلمات نقاشی می‌کنند» در انتشارات صداوسیما منتشر شد

اختصاص سهمیه به داوطلبان آزمون سراسری آسیب­‌دیده از جنگ­‌ ابلاغ شد

توضیح درباره تغییرات احتمالی و عدم تشکیل جلسات شورای فضای مجازی

پژوهش جدید: استفاده از هوش مصنوعی کارهای سخت را سخت‌تر می‌کند

متا نخستین هوش مصنوعی پیشرفته‌اش را ارائه کرد

شروع دوره قبولی‌های آزمون دستیاری تا دوم آبان؛ ضرورت ثبت‌نام در زمان مقرر

شاخص‌های صدور مجوز رشته‌محل در دانشگاه‌ها و مؤسسات آموزش عالی دولتی

محمد کاسبی با هنرش کاسبی نکرد؛ کاش قدرمان را بعد از مرگ ندانند!

بازیگر جوان «برکینگ بد» به پایان راه رسید؛ واکنش والتر وایت به مرگ پسرش

مازیار لرستانی پس از ۶ سال به کارگردانی بر‌میگردد

کشف استعدادها کافی نیست؛ هنرمندان جوان به حمایت مستمر نیاز دارند

جواد رضویان: انتقال گویش قمی به آیندگان، میراثی مهم برای حفظ هویت بومی است

بازگشت ۴۸ هزار کودک بازمانده از تحصیل به مدرسه

کاظمی: کمبود کتاب درسی در مدارس ناشی از جابه‌جایی دانش‌آموزان است

وزیر آموزش و پرورش: جنایت میناب در تاریخ ثبت خواهد شد

روایتی تازه از زندگی آیت الله سیدمحمود طالقانی به کتابفروشی‌ها رسید

تمدید مهلت ثبت نام و انتخاب رشته در پذیرش بدون کنکور سال ۱۴۰۵

تعطیلی یک ساختمان واحد علوم و تحقیقات؛ نشت گاز تکذیب شد

اعمال تأثیر مثبت معدل در آزمون‌های علوم پزشکی با شرایط جدید

کاوشگر استقامت ناسا رکورد راهپیمایی روی مریخ را شکست

دبیر شورای عالی فضای مجازی: توان قطع اینترنت استارلینک را داریم

نحوه آگاه‌ سازی مشتریان از تخفیف‌ها؛ راهکارهایی برای افزایش فروش

۲۲ میلیون پوند برای تجاری‌سازی نانوماده‌ای که آینده را می‌سازد

رونمایی از لندری برای ماموریت فضایی با ۷ سیارک

مدرسه انگلیسی مداد و کاغذ را به لپ تاپ ترجیح داد

انتخاب رشته آزمون دستیاری دندانپزشکی آغاز شد

بیش از ۱۸۰ دانشجو و استاد سال گذشته شهید شدند/ضرورت تبدیل «آموزش ایستادگی» به یک اصل تاریخی

اعلام حدنصاب قبولی آزمون‌های علوم پایه پزشکی و دندانپزشکی، پیش‌کارورزی

تقویت کلاس هوشمند به دستور رئیس جمهور؛ احتمال وقفه آموزش به دلیل جنگ

مراسم بازگشایی دانشگاه‌ها با حضور رئیس جمهور برگزار شد

جف بزوس: هوش مصنوعی هفته کاری را به ۳ روز کاهش می‌دهد

خلق عکسی از ۱۱۰ جسم آسمانی در ۳۵۲ ساعت

مخزن تحت فشار چگونه طراحی، ساخته و آزمایش می‌شود؟

حسگر مچی عرق بدن را می سنجد

پهپاد هواشناسی چندبارمصرف برای پرواز در ارتفاع ۱۰ کیلومتری

وزیر آموزش و پرورش: هیچ کودکی نباید قربانی فقر و محرومیت شود

شبکه دانش‌آموختگان سمپاد راه‌اندازی شد

عدالت آموزشی یعنی هیچ استعدادی از فرصت رشد محروم نماند

مدارس جدید بدون مناسب‌سازی افتتاح نمی‌شوند

تهران ملی‌ترین شهر ایران است

از تسخیر اذهان تا بحران حقیقت؛ بازخوانی دو اثر تازه در عصر رسانه

چرا سیدحسن حاضر بود همه فرماندهانش شهید شوند اما ایران آسیب نبیند؟

راغب از تازه‌ترین آلبوم خود رونمایی کرد؛ دنبال جذب و دفع فالوور نیستم!

ارتقای ۹ پله‌ای دانشگاه صنعتی امیرکبیر در ارزیابی شبکه آزمایشگاهی کشور

ردپای یک متخصص امنیت سایبری کانادا در سرقت از اف بی آی

تلسکوپ جیمز وب منشأ یک انفجار سریع رادیویی دوردست را شناسایی کرد

خرابکاری جدید کلاود؛ نفوذ به وب سایت های دولتی آمریکا

ایلان ماسک یک مدیر فناوری هندی را مسخره می کند!

حمایت ۱۲۰میلیون تومانی دانشگاه امام صادق (ع) از رتبه‌های زیر ۵۰۰ کنکور

بررسی راهکارهای پذیرش دانشجویان بین‌الملل در دانشگاه الزهرا(س)

جذب رتبه‌های برتر در رشته های اولویت دار کشور در کنکور ۱۴۰۵

مهلت انتخاب رشته کنکور ۱۴۰۵ تمدید نمی‌شود

اصلاحات شرایط استخدام اعضای هیئت علمی؛ تغییر محاسبه فوق‌العاده حقوق

نتایج نهایی پذیرش در پنجاه و سومین دوره آزمون دستیاری پزشکی اعلام شد

صدور حکم بدوی برای ۳۰ پرونده انضباطی دانشجویان؛ حکم اخراجی نداشتیم

وام دستیاری برای متاهلین و مجردین ۴۰ و ۳۰ میلیون تعیین شد

جدیدترین آمار انتخاب رشته در کنکور ۱۴۰۵؛ فردا آخرین فرصت انتخاب رشته

افزایش چشمگیر کاربران وفادار به سکوهای ایرانی؛ خدمات سکوها پایدار شد

ترکیه دسترسی کودکان زیر ۱۵ سال به شبکه‌های اجتماعی را ممنوع کرد

آغاز آنلاین مشاوره و آموزش سلامت روان؛ خدمات سلامت روان با زبان نسل زد

شیوه جدید پذیرش دانشجو در دوره های «هم‌آموز» کلید خورد

تأکید بر توسعه بازرسی‌های پیشگیرانه و داده‌محور در وزارت ارتباطات

مجلات نمایه‌شده SCIE و ESCI در ارزشیابی مقالات دارای اعتبار ISI هستند

اختصاص بورس نخبگان دانشگاه تهران به رتبه های زیر ۱۰۰ در کنکور

تعلیق برنامه گرین‌کارت مایکروسافت

ساعت ۱۲ امشب آخرین مهلت انتخاب رشته در کنکور سراسری سال ۱۴۰۵

مهلت ثبت‌نام آزمون وکالت مرکز وکلای قوه قضائیه مجدد تمدید شد

تمدید مهلت انتخاب رشته آزمون های سراسری و پذیرش دانشجو معلم تا ۱۹ مهر

مخاطرات ورود هوش مصنوعی به کلاس‌های درس

اوپن ای آی میزان استفاده روزانه نوجوانان از چت بات را اعلام کرد

بخشنامه و ضوابط جامع فعالیت مؤسسات جذب دانشجویان بین‌الملل ابلاغ شد

رشته‌محل‌های جدید و اصلاحات دفترچه‌ انتخاب رشته کنکور ۱۴۰۵ اعلام شد

شرایط خوابگاهی دانشگاه‌های کشور برای داوطلبان کنکور ۱۴۰۵ اعلام شد

تحلیل وزیر آموزش و پرورش از نقش فراجا در تأمین امنیت کشور

مجتبی جباری به «هم‌کلام» می‌آید

اختتامیه رویداد ملی «همچو سرو» برگزار شد

«پپا»، همراه کوچک کودکان در یک روز پرماجرا

روایت ۸۰ روز زندگی یک خبرنگار در دل جنگ غزه، منتشر شد

وقتی صدای جمع، صدای عقل را خاموش می‌کند

برگزاری نشست تخصصی «مبانی الهیاتی و اجتماعی جان‌فدا» در تهران

رشته‌محل‌های جدید و اصلاحات دفترچه‌ انتخاب رشته کنکور ۱۴۰۵ اعلام شد

مهلت ثبت‌نام آزمون وکالت مرکز وکلای قوه قضائیه مجدد تمدید شد

تمدید مهلت انتخاب رشته آزمون های سراسری و پذیرش دانشجو معلم تا ۱۹ مهر

ساعت ۱۲ امشب آخرین مهلت انتخاب رشته در کنکور سراسری سال ۱۴۰۵

شرایط خوابگاهی دانشگاه‌های کشور برای داوطلبان کنکور ۱۴۰۵ اعلام شد

بخشنامه و ضوابط جامع فعالیت مؤسسات جذب دانشجویان بین‌الملل ابلاغ شد

اختصاص بورس نخبگان دانشگاه تهران به رتبه های زیر ۱۰۰ در کنکور

تعلیق برنامه گرین‌کارت مایکروسافت

نتایج نهایی پذیرش در پنجاه و سومین دوره آزمون دستیاری پزشکی اعلام شد

اصلاحات شرایط استخدام اعضای هیئت علمی؛ تغییر محاسبه فوق‌العاده حقوق

جذب رتبه‌های برتر در رشته های اولویت دار کشور در کنکور ۱۴۰۵

مهلت انتخاب رشته کنکور ۱۴۰۵ تمدید نمی‌شود

مخاطرات ورود هوش مصنوعی به کلاس‌های درس

شیوه جدید پذیرش دانشجو در دوره های «هم‌آموز» کلید خورد

صدور حکم بدوی برای ۳۰ پرونده انضباطی دانشجویان؛ حکم اخراجی نداشتیم

آغاز آنلاین مشاوره و آموزش سلامت روان؛ خدمات سلامت روان با زبان نسل زد

جدیدترین آمار انتخاب رشته در کنکور ۱۴۰۵؛ فردا آخرین فرصت انتخاب رشته

وام دستیاری برای متاهلین و مجردین ۴۰ و ۳۰ میلیون تعیین شد

بررسی راهکارهای پذیرش دانشجویان بین‌الملل در دانشگاه الزهرا(س)

اختتامیه رویداد ملی «همچو سرو» برگزار شد

تحلیل وزیر آموزش و پرورش از نقش فراجا در تأمین امنیت کشور

مجلات نمایه‌شده SCIE و ESCI در ارزشیابی مقالات دارای اعتبار ISI هستند

«پپا»، همراه کوچک کودکان در یک روز پرماجرا

اوپن ای آی میزان استفاده روزانه نوجوانان از چت بات را اعلام کرد

مشاوران مبعوث؛ پیشگامان هدایت آگاهانه و انتخاب رشته کنکور

حمایت ۱۲۰میلیون تومانی دانشگاه امام صادق (ع) از رتبه‌های زیر ۵۰۰ کنکور

روایت ۸۰ روز زندگی یک خبرنگار در دل جنگ غزه، منتشر شد

افزایش چشمگیر کاربران وفادار به سکوهای ایرانی؛ خدمات سکوها پایدار شد

وقتی صدای جمع، صدای عقل را خاموش می‌کند

ترکیه دسترسی کودکان زیر ۱۵ سال به شبکه‌های اجتماعی را ممنوع کرد