به گزارش ثریا - پست جدید «سامر یوئه»(Summer Yue)، پژوهشگر امنیتی «متا ایآی»(Meta AI) که در حال حاضر دست به دست میشود، در ابتدا شبیه به یک شوخی به نظر میرسد. او به عامل هوش مصنوعی «اوپنکلاو»(OpenClaw) گفت که صندوق ورودی ایمیل پر از پیامش را بررسی کند و پیشنهاد دهد چه چیزی حذف یا بایگانی شود.
به نقل از تک کرانچ، عامل هوش مصنوعی اوپنکلاو به سرعت شروع به حذف همه ایمیلهای یوئه کرد و دستورهای رسیده از تلفن همراه او را که به میگفت کارش را متوقف کند، نادیده گرفت. یوئه با انتشار تصاویری از دستورهای توقف نادیدهگرفتهشده نوشت: مجبور شدم مانند عملیات خنثیسازی بمب به سمت «مک مینی»(Mac mini) خود بدوم.
مک مینی، یک رایانه مقرونبهصرفه ساخت «اپل» است که در کف دست جا میشود و این روزها به دستگاه محبوبی برای اجرای اوپنکلاو تبدیل شده است.
اوپنکلاو یک عامل هوش مصنوعی متنباز است که از طریق شبکه اجتماعی «مولتبوک»(Moltbook) ویژه هوش مصنوعی به شهرت رسید. عاملهای اوپنکلاو در مرکز بخشی از مولتبوک قرار داشتند که به نظر میرسید که در آن عوامل هوش مصنوعی علیه انسانها توطئه میکنند، اما در صفحه «گیتهاب»(GitHub) اوپنکلاو نوشته شده است که ماموریت آن بر شبکههای اجتماعی متمرکز نیست. هدف اوپنکلاو تبدیل شدن به یک دستیار هوش مصنوعی شخصی است که روی دستگاههای شخصی اجرا میشود.
جمعیت حاضر در سیلیکون ولی به قدری شیفته اوپنکلاو شدهاند که «claw» و «claws» به واژههای کلیدی مورد علاقه آنها برای عاملهایی تبدیل شدهاند که روی سختافزار شخصی اجرا میشوند. از دیگر عوامل این چنینی میتوان به «زیروکلاو»(ZeroClaw)، «آیرنکلاو»(IronClaw) و «پیکوکلاو»(PicoClaw) اشاره کرد. حتی گروه پادکست «Y Combinator» در جدیدترین قسمت پادکست خود با لباس خرچنگ دریایی ظاهر شدند.
با وجود این، پست یوئه یک هشدار است. همان طور که کاربران دیگر نیز در پلتفرم ایکس خاطرنشان کردند، اگر یک پژوهشگر امنیت هوش مصنوعی با این مشکل روبهرو شود، افراد عادی چه امیدی دارند؟
یک توسعهدهنده نرمافزار در پلتفرم ایکس از یوئه پرسید: «آیا عمداً گزینههای حفاظت آن را آزمایش میکردی یا یک اشتباه ناشیانه مرتکب شدی؟» و یوئه پاسخ داد: «این یک اشتباه تازهکارانه بود.»
به گفته یوئه، او سعی داشت عامل هوش مصنوعی را با یک صندوق ورودی کوچکتر آزمایش کند که روی ایمیلهای کماهمیتتر خوب کار میکرد و به همین دلیل، اعتماد او را جلب کرده بود.
یوئه معتقد است که حجم زیاد دادهها در صندوق ورودی واقعیاش به فشردهسازی منجر شده است. او نوشت: فشردهسازی زمانی اتفاق میافتد که پنجره زمینه (سابقه اجرای هر چیزی که به هوش مصنوعی گفته شده و در یک جلسه انجام داده است) بیش از اندازه بزرگ شود و عامل را به خلاصهسازی، فشردهسازی و مدیریت گفتوگو وادار کند.
در آن مرحله، هوش مصنوعی ممکن است از دستورالعملهایی صرف نظر کند که انسان آنها را بسیار مهم میداند.
در این مورد، عامل هوش مصنوعی ممکن است آخرین دستور یوئه را که در آن به او گفته بود کاری نکند، نادیده گرفته و به دستورالعملهایش از صندوق ورودی کوچکتر برگشته باشد.
همان طور که چندین کاربر دیگر در ایکس اشاره کردند، نمیتوان به دستورالعملها به عنوان محافظ امنیتی اعتماد کرد، زیرا مدلها ممکن است آنها را اشتباه تفسیر کنند یا نادیده بگیرند.
افراد گوناگونی پیشنهادهایی را ارائه دادند. پیشنهادها از چارچوب دقیقی که یوئه باید برای متوقف کردن عامل استفاده میکرد تا روشهای گوناگون برای اطمینان از پایبندی بهتر به قوانین مانند نوشتن دستورالعملها در فایلهای اختصاصی یا استفاده از سایر فناوریهای متنباز متغیر بودند.
تککرانچ نمیتواند به طور مستقل تأیید کند که چه اتفاقی برای صندوق ورودی یوئه افتاده است، زیرا او به درخواست تک کرانچ برای اظهار نظر پاسخ نداد.
نکته ماجرا این است که عوامل هوش مصنوعی درنظرگرفتهشده برای کارکنان دانشمحور، در مرحله کنونی توسعه خطرناک هستند. افرادی که میگویند با موفقیت از آنها استفاده میکنند، در حال سرهمبندی روشهایی برای محافظت از خود هستند.
عوامل هوش مصنوعی ممکن است روزی و شاید به زودی برای استفاده گسترده آماده شوند. بسیاری از ما دوست داریم که عوامل هوش مصنوعی در زمینه ایمیل، سفارش مواد غذایی و تعیین وقت ملاقات با دندانپزشک به ما کمک کنند، اما آن روز هنوز فرا نرسیده است.
منبع : اوپن کلاو
حمایت آیت الله رشاد از بازسازی و ساخت مجدد کنیسه آسیب دیده در جنگ
آیا در جنگ هرکاری مجاز است؟ نگاهی به اخلاق در میدان نبرد
تأثیر سوابق پایه یازدهم در کنکور ۱۴۰۵ مثبت شد / ۶ درس نهایی برای کنکور
راز حذف زمینههای فلسفی «یوگا» در نسخه مدرن
آذینبندی و شادیهای عمومی باید به عنوان مدخل معرفت باشد
فرایند محدودیت در اینترنت شفاف میشود؛ ماجرای اینترنت پرو و خط سفید چه بود؟
۷۸ درصد ترافیک اینترنت به حالت قبل و اول دی ماه بازگشت
آغاز ثبت نام آزمون کاردانی به کارشناسی از ۲۴ خرداد ماه
مصوبه افزایش حقوق اعضای هیئت علمی لغو نشده است
تداوم فعالیت علمی دانشگاه شهید بهشتی با وجود آسیب در جنگ
ضیافت نور در آسمان خرداد؛ دیدار دو سیاره منظومه شمسی در آسمان ایران
نسخه جدید چتجیپیتی؛ از تولید عکس تا رزرو سفر در یک پنجره
مهلت دفاع از پایان نامه دستیاران پزشکی تا پایان آذر ۱۴۰۵ تمدید شد
حضوری شدن برخی امتحانات دانشگاه علم و صنعت در مقطع کارشناسی
ایران در جمع ۶ کشور دارای توان ساخت تجهیزات پیشرفته کرایوژنیک
چرا نقش استادان دانشگاه فراتر از کلاس درس است؟
انویدیا با غولهای فناوری کره جنوبی قرارداد بست
هوش مصنوعی زلزله یاب شد
ثبتنام خودکار ۸۵ درصد دانشآموزان ابتدایی در استان سمنان
فعالیت ۳۷ هزار سفیر سلامت دانشآموزی
هفته بینالمللی قرآن در کربلا افتتاح شد
چرا روابط فیلم «تهران کنارت» در سطح ماند؟
ولایت فقیه یک هویت تمدنی و تاریخی برای ملت ایران است
تأکید رئیس جهاددانشگاهی بر رفع موانع دیوانسالاری و بازگشت به شورای عالی انقلاب فرهنگی
دبیر شورای عالی انقلاب فرهنگی: دستورات لازم برای حضور فعالتر جهاد دانشگاهی صادر میشود
دومین فراخوان تربیت مجاهد فرهنگی توسط نهاد نمایندگی رهبری در دانشگاهها
دستگاههای اجرایی ملزم به استفاده از پیامرسانهای بومی شدند
طرح جدید دانشکده مدیریت شریف برای جذب دانشجوی دکتری با مزایای بینظیر
پیش ثبتنام الکامپ ۲۹ آغاز شد
امکان ادامه تحصیل مجدد در پزشکی، دندانپزشکی و داروسازی برای دانشآموختگان فراهم شد
اجماع شورای عالی انقلاب فرهنگی بر تأثیر قطعی سوابق تحصیلی یازدهم و دوازدهم در کنکور ۱۴۰۵
جزئیات احکام انضباطی دانشجویان در ایمیل معاون دانشجویی دانشگاه شریف به اساتید
امتحانات دانشگاه علمی کاربردی غیرحضوری شد
امام در اصول فقه به «عرف عقلایی» اهمیت میداد
خبرنگاران ایرانی از دریافت ویزا برای پوشش جام جهانی محروم شدند
موقوفات چطور به حل مشکلات اقتصادی ورود کردهاند؟
زندگی امام موسی کاظم (ع) تابلویی تمامعیار از مدیریت بحران و کادرسازی دینی است
بازیگر معروف ایرانی نقش ترامپ را بازی میکند+عکس
بیوک میرزایی: محبت مردم بزرگترین سرمایه یک هنرمند است
متن جدید امیرحسین قیاسی در حمایت از ایران و در واکنش به جنگ
آیتالله مبلغی: نخستین ثمره استقامت، گشایش راهها و شکستن بنبستهاست
ثبت نام ۲ هزار هیئت جدید در سامانه عطر سیب/ رویکرد نمایشگاه امسال خانواده محور است
خدمترسانی موکب ها به زائران عید غدیر در نجف اشرف
روایتی از بزرگترین وقف درمانی تهران در کتاب «میراث فرمانفرما»
آخرین حضور و غیاب کودکان شهید میناب با حضور پرویز پرستویی
بازیگر معروف فیلم پدرخوانده ترامپ را ظالم و فاسد خواند
روایت الگوی خانواده موفق در «زندگی زیباست» رادیو معارف
آنچه سیاهچالهای عباسی درباره امام کاظم(ع) پنهان نکردند
چرا روایت ماکان نصیری از صدها گزارش خبری اثرگذارتر شد؟
کتاب صمود روایتی از دردی که از دور فهمیده نمیشود
امکان ارسال مستقیم جستجو به هوش مصنوعی در گوگل فراهم میشود
ترس اروپا از خاموشی دیجیتال شدت گرفت
قائم مقام دبیر شورای عالی انقلاب فرهنگی منصوب شد
حمایت جدی دانشگاه آزاد از دانشجویان دکتری؛ دستورالعمل پژوهشی نیمسال ۱۴۰۴۲ آمد
خط فارسی، مرجعیت علمی ایران را منطقهای میکند
وزارت آموزش و پرورش اعلام برنامه امتحانات نهایی را تکذیب کرد
رویکرد تحولی سمپاد از تربیت دانشآموز موفق به سوی پرورش انسان اثرگذار
هوش مصنوعی افکار رئیس جمهور چین را ترویج میکند
شورای عالی انقلاب فرهنگی: تغییری در تأثیر قطعی معدل کنکور امسال نداریم
تعلل دولت در اجرای طرح ترمیم حقوق، شکاف بیاعتمادی را گسترش داد
نمایهشدن سه مجله دانشگاه تهران در کتابخانه دیجیتال آلمان
مصاحبه دکتری دانشگاه علامه طباطبائی از فردا آغاز میشود
یک روز جابجایی در برنامه امتحانات دانشگاه صنعتی شریف
اقتباسی عروسکی از رمان «اسب جنگی» به روی صحنه رفت
مساله وطن در صدای علیرضا قربانی و نجابتِ اندوه در آهنگ جدید او
بزرگترین وداع قرن برای امام امت/ بدرقهای به وسعت ایران
جناب خان و هومن به آنتن تلویزیون برگشتند
کتاب برای رهبر شهید ابزار ساخت انسان و جامعه بود
پیکر آیتالله العظمی محمد اسحاق فیاض در کاظمین و کربلا تشییع شد
ممیزیهای فراوان کلینیک رویا صدای بازیگران را در آورد
سه انفجار خورشیدی در یک شبانهروز رخ داد
آغاز کلاسهای حضوری دانشگاه صنعتی شریف از ۲۳ خرداد
بررسی وضعیت اشتغال بیش از ۴۰۹ هزار دانشآموخته/ علوم پزشکی در صدر اشتغال
جزئیات ثبت نام آزمون دستیاری دندانپزشکی را اینجا بخوانید
پیمان شاهبد: باید از هر نوع فیلم مستقلی حمایت کرد
روایتی خواندنی از گروه سرود خرمآباد از یک روز غمانگیز
نگاهی به پرسپولیس؛ دیگری ساختن از «ایران» و مرجان ساتراپی
درک پیام غدیر؛ امامت، ستون فقرات حفظ اسلام در جامعه
حجتالاسلام محمد قمی: نهضت خمینی همچنان ادامه دارد
غدیر، مسئله فراموشی یا تبعیت؟
شیوه برگزاری امتحانات و کلاسهای دانشگاههای غیرانتفاعی اعلام شد
حمایت از ۳۵۰ استاد برای هدایت تحقیقات
تاثیر معدل در کنکور به دلیل غیبت شما هنوز بررسی نشده است
جزئیات آزمون مرحله غیرمتمرکز سی و یکمین المپیاد علمی دانشجویی اعلام شد
امکان ادامه تحصیل مجدد در پزشکی، دندانپزشکی و داروسازی برای دانشآموختگان فراهم شد
آغاز کلاسهای حضوری دانشگاه صنعتی شریف از ۲۳ خرداد
جزئیات ثبت نام آزمون دستیاری دندانپزشکی را اینجا بخوانید
غدیر؛ واقعهای فراتر از تاریخ با ابعاد کلامی و تمدنی
مداح بحرینی سلب تابعیت شده به ایران میآید
درخواست جمعی از اساتید حوزه علمیه برای دفن امام شهید در شهر مقدس قم
بررسی وضعیت اشتغال بیش از ۴۰۹ هزار دانشآموخته/ علوم پزشکی در صدر اشتغال
آیتالله فیاض رحلت کرد/ مرجعی که آیتالله خویی او را نور چشمش می دانست
تنگه هرمز را بیشتر بشناسید
حقوق اساتید چه نیازهایی را برآورده میکند؟
حجتالاسلام محمد قمی: نهضت خمینی همچنان ادامه دارد
انتشار تازهترین اثر محسن چاوشی برای تکریم بیماران صعب العلاج
مرور آثاری که با موضوع غدیر خلق شدند
سیمای فراتاریخی «قهرمان مردم» در لایههای هنر، عرفان و ادبیات
شورای عالی انقلاب فرهنگی: تغییری در تأثیر قطعی معدل کنکور امسال نداریم
نابودی نیروی دریایی صدام به روایت یک نوجوان در این کتاب خواندنی
کتاب صمود روایتی از دردی که از دور فهمیده نمیشود
غدیرخم تبیینگر مدل حکمرانی الهی و الگوی زیست مؤمنانه است
سه انفجار خورشیدی در یک شبانهروز رخ داد
حمایت جدی دانشگاه آزاد از دانشجویان دکتری؛ دستورالعمل پژوهشی نیمسال ۱۴۰۴۲ آمد
اجماع اولیه فرو ریخت/ خبرگان بر روی رهبر شهید به توافق نرسیدند
غدیر برای کودک نیازمند تخیل است
بزرگترین وداع قرن برای امام امت/ بدرقهای به وسعت ایران
هوش مصنوعی افکار رئیس جمهور چین را ترویج میکند
بیوک میرزایی: محبت مردم بزرگترین سرمایه یک هنرمند است
درک پیام غدیر؛ امامت، ستون فقرات حفظ اسلام در جامعه
نظراتی که حاوی توهین یا افترا به اشخاص ،قومیت ها ،عقاید دیگران باشد و یا با قوانین کشور وآموزه های دینی مغایرت داشته باشد منتشر نخواهد شد - لطفاً نظرات خود را با حروف فارسی تایپ کنید.