به گزارش ثریا - پست جدید «سامر یوئه»(Summer Yue)، پژوهشگر امنیتی «متا ایآی»(Meta AI) که در حال حاضر دست به دست میشود، در ابتدا شبیه به یک شوخی به نظر میرسد. او به عامل هوش مصنوعی «اوپنکلاو»(OpenClaw) گفت که صندوق ورودی ایمیل پر از پیامش را بررسی کند و پیشنهاد دهد چه چیزی حذف یا بایگانی شود.
به نقل از تک کرانچ، عامل هوش مصنوعی اوپنکلاو به سرعت شروع به حذف همه ایمیلهای یوئه کرد و دستورهای رسیده از تلفن همراه او را که به میگفت کارش را متوقف کند، نادیده گرفت. یوئه با انتشار تصاویری از دستورهای توقف نادیدهگرفتهشده نوشت: مجبور شدم مانند عملیات خنثیسازی بمب به سمت «مک مینی»(Mac mini) خود بدوم.
مک مینی، یک رایانه مقرونبهصرفه ساخت «اپل» است که در کف دست جا میشود و این روزها به دستگاه محبوبی برای اجرای اوپنکلاو تبدیل شده است.
اوپنکلاو یک عامل هوش مصنوعی متنباز است که از طریق شبکه اجتماعی «مولتبوک»(Moltbook) ویژه هوش مصنوعی به شهرت رسید. عاملهای اوپنکلاو در مرکز بخشی از مولتبوک قرار داشتند که به نظر میرسید که در آن عوامل هوش مصنوعی علیه انسانها توطئه میکنند، اما در صفحه «گیتهاب»(GitHub) اوپنکلاو نوشته شده است که ماموریت آن بر شبکههای اجتماعی متمرکز نیست. هدف اوپنکلاو تبدیل شدن به یک دستیار هوش مصنوعی شخصی است که روی دستگاههای شخصی اجرا میشود.
جمعیت حاضر در سیلیکون ولی به قدری شیفته اوپنکلاو شدهاند که «claw» و «claws» به واژههای کلیدی مورد علاقه آنها برای عاملهایی تبدیل شدهاند که روی سختافزار شخصی اجرا میشوند. از دیگر عوامل این چنینی میتوان به «زیروکلاو»(ZeroClaw)، «آیرنکلاو»(IronClaw) و «پیکوکلاو»(PicoClaw) اشاره کرد. حتی گروه پادکست «Y Combinator» در جدیدترین قسمت پادکست خود با لباس خرچنگ دریایی ظاهر شدند.
با وجود این، پست یوئه یک هشدار است. همان طور که کاربران دیگر نیز در پلتفرم ایکس خاطرنشان کردند، اگر یک پژوهشگر امنیت هوش مصنوعی با این مشکل روبهرو شود، افراد عادی چه امیدی دارند؟
یک توسعهدهنده نرمافزار در پلتفرم ایکس از یوئه پرسید: «آیا عمداً گزینههای حفاظت آن را آزمایش میکردی یا یک اشتباه ناشیانه مرتکب شدی؟» و یوئه پاسخ داد: «این یک اشتباه تازهکارانه بود.»
به گفته یوئه، او سعی داشت عامل هوش مصنوعی را با یک صندوق ورودی کوچکتر آزمایش کند که روی ایمیلهای کماهمیتتر خوب کار میکرد و به همین دلیل، اعتماد او را جلب کرده بود.
یوئه معتقد است که حجم زیاد دادهها در صندوق ورودی واقعیاش به فشردهسازی منجر شده است. او نوشت: فشردهسازی زمانی اتفاق میافتد که پنجره زمینه (سابقه اجرای هر چیزی که به هوش مصنوعی گفته شده و در یک جلسه انجام داده است) بیش از اندازه بزرگ شود و عامل را به خلاصهسازی، فشردهسازی و مدیریت گفتوگو وادار کند.
در آن مرحله، هوش مصنوعی ممکن است از دستورالعملهایی صرف نظر کند که انسان آنها را بسیار مهم میداند.
در این مورد، عامل هوش مصنوعی ممکن است آخرین دستور یوئه را که در آن به او گفته بود کاری نکند، نادیده گرفته و به دستورالعملهایش از صندوق ورودی کوچکتر برگشته باشد.
همان طور که چندین کاربر دیگر در ایکس اشاره کردند، نمیتوان به دستورالعملها به عنوان محافظ امنیتی اعتماد کرد، زیرا مدلها ممکن است آنها را اشتباه تفسیر کنند یا نادیده بگیرند.
افراد گوناگونی پیشنهادهایی را ارائه دادند. پیشنهادها از چارچوب دقیقی که یوئه باید برای متوقف کردن عامل استفاده میکرد تا روشهای گوناگون برای اطمینان از پایبندی بهتر به قوانین مانند نوشتن دستورالعملها در فایلهای اختصاصی یا استفاده از سایر فناوریهای متنباز متغیر بودند.
تککرانچ نمیتواند به طور مستقل تأیید کند که چه اتفاقی برای صندوق ورودی یوئه افتاده است، زیرا او به درخواست تک کرانچ برای اظهار نظر پاسخ نداد.
نکته ماجرا این است که عوامل هوش مصنوعی درنظرگرفتهشده برای کارکنان دانشمحور، در مرحله کنونی توسعه خطرناک هستند. افرادی که میگویند با موفقیت از آنها استفاده میکنند، در حال سرهمبندی روشهایی برای محافظت از خود هستند.
عوامل هوش مصنوعی ممکن است روزی و شاید به زودی برای استفاده گسترده آماده شوند. بسیاری از ما دوست داریم که عوامل هوش مصنوعی در زمینه ایمیل، سفارش مواد غذایی و تعیین وقت ملاقات با دندانپزشک به ما کمک کنند، اما آن روز هنوز فرا نرسیده است.
منبع : اوپن کلاو
تصویری از کلاهک خیبرشکن و فتاح سوار بر بوستر حاج قاسم
درخواست برای تفکیک زمان پذیرش رشتههای بدون آزمون
زائران با سامانه هوشمند «هم موکب» دغدغه اسکان ندارند
راهاندازی «بازوی طریق» سامانه هوشمند خدمات به زائران اربعین
مطالبه بزرگ امت اسلام در اربعین امسال خونخواهی قائد شهید است
مفاهیم نهجالبلاغه را در پیادهروی اربعین ترویج کنیم
چه افرادی بدون آنکه به کربلا بروند زائر اباعبدالله هستند؟
مایک لی بازنشسته میشود؛ بیماری نمیگذارد فیلم بسازم
خنیاگران خیام با «مهرگان» آمدند؛ شنیدن ظرافتهای موسیقی خراسان
«خورشید اربعین» در رادیو ورزش؛ همراهی با زائران در حماسه استقامت
آییننامه جامع حمایت از دانشجویان توانخواه نهایی شد
سهم دانشجو از نرخ غذای دانشجویی مشخص شد
پیش ثبتنام ۸۱۰ هزار دانشآموز پایه هفتم
آموزش و پرورش با ۱۰۰ موکب، آماده خدمترسانی به زائران اربعین است
روایت زائرانی که اربعین را از شرق ایران آغاز میکنند در کتاب «شاه است حسین»
پرچمهایی در پیاده روی اربعین که هنوز خون را به یاد دارند
تصویر کمتر دیده شده از آیتالله سیدمجتبی خامنهای در نماز جمعه نصر
چالشهای عکاسی طبیعت چیست؟ سید صابر امامی پاسخ میدهد
جزئیات شرکت در آزمون های دانشنامه و گواهینامه فوق تخصصی پزشکی تعیین شد
اصغر خلیلی مدیریت مجموعه تئاتر شهر را بر عهده گرفت
آلبوم جدید خواننده پاپ در راه است
اودیسه نولان در ایکس لو رفت؛ ایلان ماسک در برابر نولان
جزئیات آزمونهای دانشنامه و گواهینامه تخصصی پزشکی را اینجا بخوانید
اجرای نزدیک به ۱۵ پروژه ملی در وزارت علوم پس از جنگ
۱۳۰ هزار فعالیت انجمنهای علمی دانشجویی در کشور ثبت شدند
دانشجویان دانشگاه صنعتی امیرکبیر مسیر شغلی خود را طراحی میکنند
مدیر ارشد اوپن ای آی به این شبکه اجتماعی معتاد شده بود
متا تحقیق درباره خطرات اینستاگرام برای نوجوانان را نادیده گرفت
پرتاب ۵ هزار ماهواره آمازون برای بهبود کیفیت اینترنت در جهان
تسهیلات ویژه دانشگاه آزاد برای اربعین امسال/ استقرار مواکب در ۵ مرز کشور
ثبت نام جذب دانشآموختگان دکتری در دانشگاهها آغاز شد؛ ۲ شرط اصلی برای ورود
مشاور شورای آموزش پزشکی: ۲ متخلف آزمون دستیاری به مقامات قضایی تحویل داده شدند
«مردم نمایی» روایتی دیگر از ماجرای نیما تکیدو
حاج حسین ملک داراییهای فناپذیر را به میراثی تمدنی تبدیل کرد
پناهیان: بزرگترین تشییعهای تاریخ مربوط به امامین انقلاب است
جستجوی حقیقت در مهآلودگی ابطالپذیری پوپر/سطحینگری در علوم انسانی
جزئیات برگزاری مصاحبه مجازی متأخرین دکتری ۱۴۰۵ دانشگاه آزاد اعلام شد
قیمت سامسونگ گلکسی و زد فولد گران می شود
خبر مصوبه شورای عالی فضای مجازی برای برخورد با بلاگرها تکذیب شد
رشد استقبال از آزمون دستیاری در سالهای اخیر
تصویری از تابوت استاد مرحوم اکبر عبدی
پارادوکس در وقف، سودجویی ناشر و موزّع
فانتزی که به شاهنامه تکیه زده است/ احیای حماسه در ادبیات فانتزی ایران
رمان دینی باید افراد معاند و خاکستری را هم پای کتاب بنشاند
بعد از انفجار پیجرها، زندگی چگونه ادامه پیدا کرد؟
حافظه مکتوب ایران چگونه زنده میماند؟
بزرگداشت شیخ صفیالدین اردبیلی در فضای مجازی
صفحه رسمی سفارت آلمان در تهران شایعات تخلیه کارکنان این نمایندگی دیپلماتیک را تکذیب کرد
تصویری از برخاستن ستون دود در اربیل عراق
رهبر شهید بیش از حوزویان با نخبگان دانشگاهی دیدار داشتند
ترامپ انتقام جریمه گوگل را از اروپا می گیرد
خونخواهی رهبر شهید ادامه یک مطالبه تاریخی است؛ انتقام با بیشترین ضربه
اعلام دستمزد طراحان صحنه و لباس تئاتر در سال ۱۴۰۵
خالق فیلم معروف «ماسک» از دنیا رفت؛ جیم کری از همکاری با وی تشکر کرد
خداحافظ آقای عبدی؛ دلمان برایتان تنگ میشود
اعزام ۴۷۴ معلم برگزیده به مدارس خارج از کشور
وزیر آموزش و پرورش: کنکور به موقع برگزار میشود
کشف آنزیمی که میتواند پیری را معکوس کند
چت جی پی تی در سراسر جهان مختل شد
ثبت نام دانش آموختگان خارج از کشور در آزمون پیش کارورزی پزشکی آغاز شد
کلید اولیه آزمون دستیاری پزشکی امروز منتشر میشود
اتحادیه اروپا گوگل را ۸۹۰ میلیون یورو جریمه کرد
سیزدهمین پرتاب استارشیپ موفقیت آمیز بود
رویداد «معماری نوین حکمرانی علم و فناوری کشور» آغاز بکار کرد
آغاز همکاری مشترک برای تدوین سند ملی صلاحیت حرفهای ICT
۳۵۰ پرونده دانشگاه پیامنور در دیوان عدالت اداری بررسی شد
ضرورت تدوین استانداردهای تازه برای خدمات پزشکی پیشرفته
تصمیمگیری درباره حضوری شدن دوره کارشناسی با شورای عالی امنیت ملی است
عزای عمومی برای مردی که خاطره مشترک میلیونها ایرانی بود
مرحله غیرمتمرکز المپیاد علمی دانشجویی کشور برگزار شد
آغاز حضوری سال تحصیلی جدید/آمادگی دانشگاهها برای سناریوهای مختلف
معیارهای جدید همترازی رشتههای دانشگاهی برای استخدام ابلاغ شد
پشتیبانی دکترتو تهران چگونه است؟
رقابت ۱۷ هزار داوطلب در پنجاه و سومین دوره آزمون دستیاری پزشکی آغاز شد
تصویری از ابابیل ۳ در آسمان کویت
امنیت ایران با صلح تحمیلی معامله پذیر نیست
فروش بدون کارمزد خودرو در استانهای درگیر جنگ
کشف یک مولکول ناشناخته روی قمر زحل و پلوتو که دانشمندان توضیحی برای آن ندارند
جزئیات ترم تابستانی دانشگاه خوارزمی اعلام شد
دانشگاه صنعتی امیرکبیر در جایگاه سوم رتبه بندی بنیاد ملی نخبگان
رشد استقبال از آزمون دستیاری در سالهای اخیر
رهبر شهید بیش از حوزویان با نخبگان دانشگاهی دیدار داشتند
ثبت نام دانش آموختگان خارج از کشور در آزمون پیش کارورزی پزشکی آغاز شد
جزئیات برگزاری مصاحبه مجازی متأخرین دکتری ۱۴۰۵ دانشگاه آزاد اعلام شد
کلید اولیه آزمون دستیاری پزشکی امروز منتشر میشود
ثبت نام جذب دانشآموختگان دکتری در دانشگاهها آغاز شد؛ ۲ شرط اصلی برای ورود
تصویری از برخاستن ستون دود در اربیل عراق
آییننامه جامع حمایت از دانشجویان توانخواه نهایی شد
فانتزی که به شاهنامه تکیه زده است/ احیای حماسه در ادبیات فانتزی ایران
اصغر خلیلی مدیریت مجموعه تئاتر شهر را بر عهده گرفت
مشاور شورای آموزش پزشکی: ۲ متخلف آزمون دستیاری به مقامات قضایی تحویل داده شدند
اعزام ۴۷۴ معلم برگزیده به مدارس خارج از کشور
قیمت سامسونگ گلکسی و زد فولد گران می شود
حافظه مکتوب ایران چگونه زنده میماند؟
صفحه رسمی سفارت آلمان در تهران شایعات تخلیه کارکنان این نمایندگی دیپلماتیک را تکذیب کرد
رمان دینی باید افراد معاند و خاکستری را هم پای کتاب بنشاند
پارادوکس در وقف، سودجویی ناشر و موزّع
بعد از انفجار پیجرها، زندگی چگونه ادامه پیدا کرد؟
آموزش و پرورش با ۱۰۰ موکب، آماده خدمترسانی به زائران اربعین است
کشف آنزیمی که میتواند پیری را معکوس کند
تسهیلات ویژه دانشگاه آزاد برای اربعین امسال/ استقرار مواکب در ۵ مرز کشور
روایت زائرانی که اربعین را از شرق ایران آغاز میکنند در کتاب «شاه است حسین»
اودیسه نولان در ایکس لو رفت؛ ایلان ماسک در برابر نولان
خبر مصوبه شورای عالی فضای مجازی برای برخورد با بلاگرها تکذیب شد
تصویر کمتر دیده شده از آیتالله سیدمجتبی خامنهای در نماز جمعه نصر
۱۳۰ هزار فعالیت انجمنهای علمی دانشجویی در کشور ثبت شدند
اعلام دستمزد طراحان صحنه و لباس تئاتر در سال ۱۴۰۵
پیش ثبتنام ۸۱۰ هزار دانشآموز پایه هفتم
اجرای نزدیک به ۱۵ پروژه ملی در وزارت علوم پس از جنگ
وزیر آموزش و پرورش: کنکور به موقع برگزار میشود
نظراتی که حاوی توهین یا افترا به اشخاص ،قومیت ها ،عقاید دیگران باشد و یا با قوانین کشور وآموزه های دینی مغایرت داشته باشد منتشر نخواهد شد - لطفاً نظرات خود را با حروف فارسی تایپ کنید.