کد خبر: 171226
ف
حمله هوش مصنوعی اوپن‌کلاو به صندوق ورودی ایمیل یک پژوهشگر!
یک پژوهشگر امنیتی «متا ای‌آی» گفت که عامل هوش مصنوعی «اوپن‌کلاو» به صندوق ورودی ایمیل او حمله کرده است.

به گزارش ثریا - پست جدید «سامر یوئه»(Summer Yue)، پژوهشگر امنیتی «متا ای‌آی»(Meta AI) که در حال حاضر دست به دست می‌شود، در ابتدا شبیه به یک شوخی به نظر می‌رسد. او به عامل هوش مصنوعی «اوپن‌کلاو»(OpenClaw) گفت که صندوق ورودی ایمیل پر از پیامش را بررسی کند و پیشنهاد دهد چه چیزی حذف یا بایگانی شود.

به نقل از تک کرانچ، عامل هوش مصنوعی اوپن‌کلاو به سرعت شروع به حذف همه ایمیل‌های یوئه کرد و دستورهای رسیده از تلفن همراه او را که به می‌گفت کارش را متوقف کند، نادیده گرفت. یوئه با انتشار تصاویری از دستورهای توقف نادیده‌گرفته‌شده نوشت: مجبور شدم مانند عملیات خنثی‌سازی بمب به سمت «مک مینی»(Mac mini) خود بدوم.

مک مینی، یک رایانه مقرون‌به‌صرفه ساخت «اپل» است که در کف دست جا می‌شود و این روزها به دستگاه محبوبی برای اجرای اوپن‌کلاو تبدیل شده است.

اوپن‌کلاو یک عامل هوش مصنوعی متن‌باز است که از طریق شبکه اجتماعی «مولتبوک»(Moltbook) ویژه هوش مصنوعی به شهرت رسید. عامل‌های اوپن‌کلاو در مرکز بخشی از مولتبوک قرار داشتند که به نظر می‌رسید که در آن عوامل هوش‌ مصنوعی علیه انسان‌ها توطئه می‌کنند، اما در صفحه «گیت‌هاب»(GitHub) اوپن‌کلاو نوشته شده است که ماموریت آن بر شبکه‌های اجتماعی متمرکز نیست. هدف اوپن‌کلاو تبدیل شدن به یک دستیار هوش مصنوعی شخصی است که روی دستگاه‌های شخصی اجرا می‌شود.

جمعیت حاضر در سیلیکون ولی به قدری شیفته اوپن‌کلاو شده‌اند که «claw» و «claws» به واژه‌های کلیدی مورد علاقه آنها برای عامل‌هایی تبدیل شده‌اند که روی سخت‌افزار شخصی اجرا می‌شوند. از دیگر عوامل این چنینی می‌توان به «زیروکلاو»(ZeroClaw)، «آیرن‌کلاو»(IronClaw) و «پیکوکلاو»(PicoClaw) اشاره کرد. حتی گروه پادکست «Y Combinator» در جدیدترین قسمت پادکست خود با لباس خرچنگ دریایی ظاهر شدند.

حمله هوش مصنوعی «اوپن‌کلاو» به صندوق ورودی ایمیل یک پژوهشگر!

با وجود این، پست یوئه یک هشدار است. همان طور که کاربران دیگر نیز در پلتفرم ایکس خاطرنشان کردند، اگر یک پژوهشگر امنیت هوش مصنوعی با این مشکل روبه‌رو شود، افراد عادی چه امیدی دارند؟

یک توسعه‌دهنده نرم‌افزار در پلتفرم ایکس از یوئه پرسید: «آیا عمداً گزینه‌های حفاظت آن را آزمایش می‌کردی یا یک اشتباه ناشیانه مرتکب شدی؟» و یوئه پاسخ داد: «این یک اشتباه تازه‌کارانه‌ بود.»

به گفته یوئه، او سعی داشت عامل هوش مصنوعی را با یک صندوق ورودی کوچک‌تر آزمایش کند که روی ایمیل‌های کم‌اهمیت‌تر خوب کار می‌کرد و به همین دلیل، اعتماد او را جلب کرده بود.

یوئه معتقد است که حجم زیاد داده‌ها در صندوق ورودی واقعی‌اش به فشرده‌سازی منجر شده است. او نوشت: فشرده‌سازی زمانی اتفاق می‌افتد که پنجره‌ زمینه (سابقه‌ اجرای هر چیزی که به هوش مصنوعی گفته شده و در یک جلسه انجام داده است) بیش از اندازه بزرگ شود و عامل را به خلاصه‌سازی، فشرده‌سازی و مدیریت گفت‌وگو وادار کند.

در آن مرحله، هوش مصنوعی ممکن است از دستورالعمل‌هایی صرف نظر کند که انسان آنها را بسیار مهم می‌داند.

در این مورد، عامل هوش مصنوعی ممکن است آخرین دستور یوئه را که در آن به او گفته بود کاری نکند، نادیده گرفته و به دستورالعمل‌هایش از صندوق ورودی کوچک‌تر برگشته باشد.

همان طور که چندین کاربر دیگر در ایکس اشاره کردند، نمی‌توان به دستورالعمل‌ها به عنوان محافظ امنیتی اعتماد کرد، زیرا مدل‌ها ممکن است آنها را اشتباه تفسیر کنند یا نادیده بگیرند.

افراد گوناگونی پیشنهادهایی را ارائه دادند. پیشنهادها از چارچوب دقیقی که یوئه باید برای متوقف کردن عامل استفاده می‌کرد تا روش‌های گوناگون برای اطمینان از پایبندی بهتر به قوانین مانند نوشتن دستورالعمل‌ها در فایل‌های اختصاصی یا استفاده از سایر فناوری‌های متن‌باز متغیر بودند.

تک‌کرانچ نمی‌تواند به ‌طور مستقل تأیید کند که چه اتفاقی برای صندوق ورودی یوئه افتاده است، زیرا او به درخواست تک کرانچ برای اظهار نظر پاسخ نداد.

نکته ماجرا این است که عوامل هوش مصنوعی درنظرگرفته‌شده برای کارکنان دانش‌محور، در مرحله کنونی توسعه خطرناک هستند. افرادی که می‌گویند با موفقیت از آنها استفاده می‌کنند، در حال سرهم‌بندی روش‌هایی برای محافظت از خود هستند.

عوامل هوش مصنوعی ممکن است روزی و شاید به زودی برای استفاده گسترده آماده شوند. بسیاری از ما دوست داریم که عوامل هوش مصنوعی در زمینه ایمیل، سفارش مواد غذایی و تعیین وقت ملاقات با دندانپزشک به ما کمک کنند، اما آن روز هنوز فرا نرسیده است.

منبع : اوپن کلاو


مرتبط ها
ارسال نظر
chapta
حداکثر تعداد کاراکتر نظر 200 ميياشد .
نظراتی که حاوی توهین یا افترا به اشخاص ،قومیت ها ،عقاید دیگران باشد و یا با قوانین کشور وآموزه های دینی مغایرت داشته باشد منتشر نخواهد شد - لطفاً نظرات خود را با حروف فارسی تایپ کنید.

تعمیر مبل استیل و راحتی در کرج؛ تفاوت خدمات و عوامل مؤثر بر هزینه

سرمایه‌گذاری در اتاق شیشه‌ای؛ چرا شفافیت، شاهرگ حیات پلتفرم‌های مالی دیجیتال است؟

به غنیمت گرفتن نهمین پهپاد آمریکایی توسط سپاه پاسداران+عکس

فرصت مجدد ثبت‌نام در مرحله تکمیل ظرفیت دستیاری فوق تخصصی پزشکی

کاهش ۲۵درصدی جمعیت دانشجویی

دانشگاه‌ها باید اتکایشان را به منابع دولتی کاهش دهند

حجت‌الاسلام خسروپناه خواستار کوچک‌سازی وزارت علوم و واگذاری اختیار به دانشگاه‌ها شد

طرح «قاضی در مدرسه» در ۱۳۵ مدرسه استان سمنان اجرا می‌شود

«به وقت ایران» و «تاب آوری» در تازه ترین شماره نشریه دیده بان اندیشه

واکاوی نسبت فلسفه و معنویت در اندیشه علامه طباطبایی

گلی به جمال سرباز روح الله رضوی که ساعتش را به وقت ایران تنظیم کرد

انتشار «رساله حقوق امام سجاد(ع)» با ترجمه و شرح علامه حسینی طهرانی

تلگرام در عراق فیلتر شد

حذف ۲ اپ کاربردی از موبایل‌های سامسونگ

چرایی عدم دسترسی برخی دانش آموزان به کتاب درسی

بازاریان و فعالان اقتصادی مهدیشهری به مدرسه سازی دعوت شدند

فعالیت مراکز آموزشی ۵ شهرستان خوزستان سه‌شنبه غیرحضوری شد

مسئولیت اعلام تعطیلی مدارس تهران به آموزش‌وپرورش واگذار شد

نتایج کنکور تا روز پنجشنبه اعلام می‌شود

۳ پیش‌نیاز تحقق خیزش علمی جدید

خوانشی بر رسانه فاطمی، از تبیین حضور تا اعتراض سکوت

آپارتمان‌های قم در زمان امام عسکری (ع)

اختلال گسترده در پروازهای آمریکا برای سومین روز متوالی ادامه دارد+عکس

آیا هوش مصنوعی موجب مرگ خلاقیت می‌شود؟

مهلت ثبت‌نام آزمون متقاضیان اخذ پروانه کارشناسی رسمی دادگستری تمدید شد

انتشار دفترچه سوالات و کلید اولیه آزمون پذیرش پزشکی از لیسانس ۱۴۰۵

فهرست دانشگاه‌های خارجی مورد تأیید وزارت علوم برای سال ۲۰۲۷ اعلام شد

اعلام نتایج نهایی کنکور سراسری تا پایان هفته جاری

پژوهشگاه ملی سرطان به قطب نانوآنکولوژی جهان اسلام تبدیل می‌شود

هواپیمای برقی چینی ۱۰ تنی به آسمان رفت

آغاز رویداد «ایران پیشرو» با حضور بیش از ۱۰۰ شرکت دانش‌بنیان

دسترسی به داده های کاربران اندروید برای متا جریمه تراشید

حضرت زهرا(س)؛ از سوگواری تاریخی تا کنشگری در دفاع از امامت

امانت مشترک؛ مسئولیت شرعی شهروندان در حفظ اموال عمومی تا کجاست؟

آیا انسان امروز آزاد است؟ رؤیای دیرینه بشر و مسئله همیشگی اندیشه

قرائتی: مسجد را اسیر هزینه‌های سنگین و تجمل‌گرایی نکنید

وقتی بدقولی از یک رفتار شخصی به مسئله‌ای اجتماعی تبدیل می‌شود

«مسلمانان در اتریش» کتاب شد

ابلاغ جدیدترین دستورالعمل پذیرش مستقیم دستیاری در ۶ رشته تخصصی

سرویس‌های مایکروسافت احیا شدند

درخشش نخبگان ایرانی در مسابقات فناوری‌های پیشرفته بریکس‌؛ کسب ۹ مدال

فعالیت ۱۲ کمیته در حوزه علوم انسانی برای تحقق خیزش علمی

هوش مصنوعی گوگل معمای ۹۰ ساله ریاضی را حل کرد

آزمون تکمیل ظرفیت دستیاری فوق تخصصی پزشکی ۸ آذر برگزار می‌شود

رفع محدودیت مناطق ممنوعه برای تسهیل جذب دانشجویان بین‌المللی

هوش مصنوعی بومی دانشگاه تهران در تشخیص گفتار فارسی از گوگل پیشی گرفت

فراخوان استادان جهت موافقت با بیانیه لزوم بازنگری در دکترین هسته‌ای

نقشه راه دانشگاه علوم پزشکی هوشمند برای کسب مرجعیت در آموزش دیجیتال

شهادت یک مامور فراجا در سیستان‌وبلوچستان

رونمایی ناسا از قراردادهای جدید ۱۰ میلیارد دلاری خود

استوری هادی چوپان برای حضرت زهرا(س)+عکس

ابداع یک آبنبات‌چوبی برای معاینه کودکان

نانوپوشش‌ها به کمک افزایش عمر لنت‌های ترمز آمدند

دانشگاه باید از پارادایم «مدرک‌گرایی» به سمت «مهارت‌محوری» حرکت کند

گاهی بزرگترین سرقت، دزدیدن فرصت زندگی دیگران است

تدوین برنامه اجرایی برای ورود با تأخیر نودانشجویان علوم پزشکی

جزئیات ثبت نام ۴ درس مجازی برای دانشجویان علوم پزشکی اعلام شد

شرایط ثبت‌نام پذیرفته‌شدگان نوورود شاهد و ایثارگر

«پرواز ۶۵۵» ده‌نمکی به تدوین رسید

امت پیامبر(ص) چگونه در ستم به دخترش همدست شدند؟

میزبانی محوطه تئاتر شهر از مجلس تعزیه شهادت حضرت زهرا (س)

عامل هوش مصنوعی متا به جای کاربر تماس می‌گیرد

«پروانه الماس» بهترین فیلمنامه به «دختر پری‌خانوم» رسید

برد پیت ۵۰ سال عقب می‌رود؛ بازی در نقش یک فلزکار در آسمان‌ها

مویه حضرت علی (ع) بر پیکر زهرا (س) در نقاشی علی بحرینی

جایزه سزار افتخاری آکادمی فیلم فرانسه به نیکول کیدمن می‌رسد

حضرت زهرا(س) موضوع فدک را به سطح «حق مسلمانان و مشروعیت حکومت» بردند

مدیرعامل انویدیا استعفا کرد

یک کشف جدید از معادلات اینشتین درباره گرانش

۲ دنیای بکر پنهان در اقیانوس آرام کشف شد

این سیاره خورشیدی چرا گم شد؟

زمان اعلام نتایج نهایی آزمون سراسری مشخص شد

عدالت اجتماعی در دیدگاه اسلامی به معنای برابری مطلق نیست

همه عمار و مالک‌اشتر نیستند، اما هرکس در قبال حق مسئول‌ است

برای جلوگیری از عادی شدن حرام، باید قبح اجتماعی آن را زنده کرد

کنش حضرت زهرا(س)، حقیقت را به حافظه تاریخ سپرد

بیش از ۶۰ درصد مدارس کشور را خیرین ساختند

توییت صفحه فرمانده کل سپاه به مناسبت روز هوافضا و بازنشر بخشی از پیام ایشان

روایتی از زندگی و میراث شهید حسن طهرانی‌مقدم در برنامه تلویزیونی «نردبان»

انتشار یک قطعه موسیقایی جدید به مناسبت شهادت حضرت زهرا (س)

انتشار دفترچه سوالات و کلید اولیه آزمون پذیرش پزشکی از لیسانس ۱۴۰۵

ابلاغ جدیدترین دستورالعمل پذیرش مستقیم دستیاری در ۶ رشته تخصصی

اعلام نتایج نهایی کنکور سراسری تا پایان هفته جاری

فهرست دانشگاه‌های خارجی مورد تأیید وزارت علوم برای سال ۲۰۲۷ اعلام شد

فعالیت ۱۲ کمیته در حوزه علوم انسانی برای تحقق خیزش علمی

آزمون تکمیل ظرفیت دستیاری فوق تخصصی پزشکی ۸ آذر برگزار می‌شود

مهلت ثبت‌نام آزمون متقاضیان اخذ پروانه کارشناسی رسمی دادگستری تمدید شد

عامل هوش مصنوعی متا به جای کاربر تماس می‌گیرد

جزئیات ثبت نام ۴ درس مجازی برای دانشجویان علوم پزشکی اعلام شد

تدوین برنامه اجرایی برای ورود با تأخیر نودانشجویان علوم پزشکی

برد پیت ۵۰ سال عقب می‌رود؛ بازی در نقش یک فلزکار در آسمان‌ها

هوش مصنوعی بومی دانشگاه تهران در تشخیص گفتار فارسی از گوگل پیشی گرفت

حجت‌الاسلام خسروپناه خواستار کوچک‌سازی وزارت علوم و واگذاری اختیار به دانشگاه‌ها شد

مدیرعامل انویدیا استعفا کرد

«پرواز ۶۵۵» ده‌نمکی به تدوین رسید

ابداع یک آبنبات‌چوبی برای معاینه کودکان

امت پیامبر(ص) چگونه در ستم به دخترش همدست شدند؟

استوری هادی چوپان برای حضرت زهرا(س)+عکس

شهادت یک مامور فراجا در سیستان‌وبلوچستان

نقشه راه دانشگاه علوم پزشکی هوشمند برای کسب مرجعیت در آموزش دیجیتال

جایزه سزار افتخاری آکادمی فیلم فرانسه به نیکول کیدمن می‌رسد

رونمایی ناسا از قراردادهای جدید ۱۰ میلیارد دلاری خود

مویه حضرت علی (ع) بر پیکر زهرا (س) در نقاشی علی بحرینی

«پروانه الماس» بهترین فیلمنامه به «دختر پری‌خانوم» رسید

فراخوان استادان جهت موافقت با بیانیه لزوم بازنگری در دکترین هسته‌ای

حضرت زهرا(س) موضوع فدک را به سطح «حق مسلمانان و مشروعیت حکومت» بردند

انتشار «رساله حقوق امام سجاد(ع)» با ترجمه و شرح علامه حسینی طهرانی

سرویس‌های مایکروسافت احیا شدند

میزبانی محوطه تئاتر شهر از مجلس تعزیه شهادت حضرت زهرا (س)

هوش مصنوعی گوگل معمای ۹۰ ساله ریاضی را حل کرد