به گزارش ثریا - ویژگی «ترجمه چتجیپیتی»(ChatGPT Translate) که جایگزین شرکت «اوپنایآی»(OpenAI) برای «ترجمه گوگل»(Google Translate) به شمار میرود، به تازگی توسط پژوهشگران هک شده است.
به نقل از یوسی استراتژیز، دو پژوهشگر اخیرا نشان دادند که چتجیپیتی به راحتی محدودیتهای خود را هنگام تزریق یک پرسوجو فراموش میکند. همچنین، آنها دریافتند که چتجیپیتی هیچ مشکلی در ارائه دستور تهیه کوکتل مولوتوف نمیبیند.
با کشف این حفرههای دیجیتال میتوان تعادل پیچیدهای را بین نوآوریهای فناوری و خطرات سوءاستفاده مشاهده کرد.
به محض این که ویژگی جدید چتجیپیتی به صورت عمومی منتشر شد، «تام بارنیا»(Tom Barnea) و «کرن کاتز»(Keren Katz) پژوهشگران امنیت سایبری شرکت «Tenable» تلاش کردند تا ترجمه با چتجیپیتی را تحت فشار قرار دهند. آنها میخواستند بدانند که آیا میتوان چتبات را دستکاری کرد و از مکانیسمهای امنیتی اوپنایآی گذشت. این دو متخصص برای فهمیدن این موضوع، مجموعهای از آزمایشها را انجام دادند.
بارنیا و کاتز به عنوان بخشی از آزمایشها، یک حمله تزریق پرسوجو علیه چتجیپیتی انجام دادند. این نوع حمله شامل جاسازی دستورالعملهای مخرب در پرسوجوی ارسالی به هوش مصنوعی است. سپس هوش مصنوعی دستورالعملها را مورد پردازش قرار میدهد و اگر درخواستهای مهاجمان به درستی فرمولسازی شده باشد، از آنها پیروی میکند. چالش کلی برای مهاجمان این است که هوش مصنوعی را به نادیده گرفتن برنامهنویسی خود مجبور کنند.
کاتز توضیح داد که چتبات به سرعت از مسیر خود منحرف شد. چتبات قرار بود متنی را از انگلیسی به کرهای ترجمه کند، اما کاتز موفق شد آن را دستکاری کند تا جزئیات کامل دستورالعمل ساخت کوکتل مولوتوف را شرح دهد.
کاتز گفت: ویژگی ترجمه چتجیپیتی فقط یک روز است که عرضه شده و در حال حاضر از دستورالعمل ساخت کوکتل مولوتوف تعریف و تمجید میکند. ما از مدل ترجمه خواستیم متن ما را از انگلیسی به کرهای تبدیل کند اما در عوض، از دستورالعملهای موجود در متن پیروی کرد و دستورالعمل ساخت کوکتل مولوتوف را نشان داد.
تزریق سریع در قلب یک چالش منحصربهفرد امنیت سایبری قرار دارد که هوش مصنوعی با آن روبهرو شده است. این روش شامل جاسازی دستورالعملهای گمراهکننده یا مخرب در پرسوجوهای مشروع فرستادهشده به یک مدل هوش مصنوعی است.
اگرچه بیشتر افراد صرفاً به دنبال ترجمه متن هستند، اما افرادی با نیتهای بد ممکن است درخواستهایی را طراحی کنند که این سیستمها را بسیار فراتر از هدف اصلی خود سوق دهد.
اثرات بیثباتکننده اغلب در مدلهای ترجمه تخصصی برجستهتر هستند. این سیستمها به جای این که کاملاً به وظایف ترجمه پایبند باشند، ممکن است از دستورالعملهای پنهان پیروی کنند و خروجیهای غیرمنتظره یا حتی نامناسبی را ارائه دهند.
این سناریو صرفاً یک فرضیه نیست. پژوهشگران امنیتی مواردی را مستند کردهاند که در آنها مدلهای ترجمه اختصاصی سهواً اطلاعات یا توصیههایی را بسیار خارج از کاربرد مورد نظر خود ارائه دادهاند.
مقابله با تزریق سریع نیازمند راهکارهای تطبیقی است که در کنار روشهای جدید حمله تکامل یابند. بررسیهای چندلایه، نظارت مستمر و دادههای آموزشی بهروزرسانیشده، پایه و اساس این کار را تشکیل میدهند، اما توسعهدهندگان باید فراتر بروند. تعبیه روالهای تحلیل پویا که عبارتهای ناآشنا یا تغییرات ناگهانی در هدف را در اواسط عملیات شناسایی میکنند، دفاع را تقویت خواهد کرد.
برخی سازمانها اطلاعات مربوط به حوادث دنیای واقعی را برای ایجاد پلتفرمهای مقاومتر به اشتراک میگذارند. برخی دیگر، مستندسازی شفاف منطق تصمیمگیری را در اولویت قرار میدهند و به کاربران و حسابرسان امکان میدهند که دقیقاً بفهمند یک مدل چگونه نتایج را تولید میکند. آموزش مداوم نیز بسیار مهم است و تضمین میکند که گروهها تلاشهای دستکاری ظریف را به موقع شناسایی کنند و به طور مؤثر به آنها پاسخ دهند.
تزریق سریع، درس مهمی را درباره اعتماد کردن به هوش مصنوعی مدرن و تأیید آن ارائه میدهد. حتی موتورهای ترجمهای که به شدت کنترل میشوند نیز میتوانند قربانی تلههای طراحیشده تخصصی شوند. ذینفعان با تحلیل تلاشهای دستکاری موفق و ناموفق، درباره نقاط ضعف سیستم شفافسازی میکنند و مسیرهایی را برای محافظت قویتر ارائه میدهند.
هر سازمانی که ترجمه هوش مصنوعی را به کار میگیرد باید چند مرحله حیاتی را در نظر بگیرد.
۱. بررسی منظم لاگهای ورودی برای تشخیص موارد غیر معمول یا عجیب از نظر محتوایی؛
۲. استفاده از محیطهای سندباکس برای آزمایش سوءاستفادههای احتمالی پیش از یکپارچهسازی کامل؛
۳. همکاری نزدیک با گروههای امنیت سایبری برای آموزش متقابل درباره بردارهای حمله خاص هوش مصنوعی؛
۴. بهروزرسانی منظم مدلهای ترجمه برای شامل شدن جدیدترین تحقیقات ضد تزریق سریع؛
۵. ترویج گزارش مسئولانه ناهنجاریها توسط کارکنان و کاربران مورد اعتماد.
هر اقدام احتیاطی، قابلیت اطمینان کلی سیستم را افزایش میدهد؛ به ویژه با توجه به این که ترجمه هوش مصنوعی عمیقاً در صنایع گوناگون ریشه دوانده است. دستیابی به مصونیت کامل ممکن است همچنان دور از دسترس باشد؛ اما درک انگیزهها و روشهای پشت تزریق سریع، سازمانها را قادر میسازد تا پیشرو باشند و با آگاهی بیشتر و سازگاری راهبردی به تهدیدات آینده رسیدگی کنند.
منبع : چت جی پی تی
نگاهی به الهیات و اخلاق جنگ و صلح از منظر اسلام و مسیحیت در همایشی بین المللی
ورود بیش از سه میلیون زائر خارجی به عراق از اول محرم
موشک اسپیس ایکس با ماه تصادف میکند
انتخاب واحد دانشگاه آزاد اسلامی از تاریخ ۲۴ مرداد آغاز میشود
کاهش ۵۰ درصدی خوردگی تجهیزات نیروگاهی با فناوری نانوحباب
توسعه دیپلماسی فناوری ایران و اتیوپی با محوریت صادرات دانشبنیان
مهلت ثبتنام آزمونهای علوم پزشکی تا ۲۰ شهریور تمدید شد
کلید اولیه آزمون ارتقای دستیاری منتشر شد/ مشارکت ۹۶ درصدی دستیاران
عدم امکان ثبت درخواست صدور دانشنامه در تعطیلات تابستانی پیام نور
سهروردی به صراحت خود را احیاکننده «حکمت خسروانی ایرانی» قلمداد می کرد
بیعت زنان با زینب کبری؛ آغازِ احیای تمدنِ مهدوی به دستِ زن
تأکید اوقاف بر تسهیل فرآیندها برای توسعه پروژههای مذهبی و درمانی
شب شهدای میناب در اربعین/ پدر دو شهید: من از کربلا به کربلا آمدم
رئیس دانشگاه الزهرا کربلا: نهضت حسینی مرزهای طایفهای را شکست داد
چسب زیستی الهامگرفته از صدف حسگرهای پوشیدنی را مقاومتر کرد
نگاهی به سه قسمت ابتدایی یک سریال؛ وقتی همه کوریم!
اربعین ۱۴۰۵ با دو شعار مشترک امت اسلامی برگزار میشود
گوگلپلی ابزارهای تأیید سن را برای توسعهدهندگان گسترش میدهد
اسپیس ایکس ماهواره جاسوسی به مدار زمین برد
اربعین زیر پوشش ارتباطی/ از رومینگ تا اینترنت رایگان در مسیر زائران
محدودیت آموزش مجازی برای دانشجویان خارجی رفع میشود
ایران عضو سازمان جهانی همکاری هوش مصنوعی شد
تصویری از کلاهک خیبرشکن و فتاح سوار بر بوستر حاج قاسم
درخواست برای تفکیک زمان پذیرش رشتههای بدون آزمون
زائران با سامانه هوشمند «هم موکب» دغدغه اسکان ندارند
راهاندازی «بازوی طریق» سامانه هوشمند خدمات به زائران اربعین
مطالبه بزرگ امت اسلام در اربعین امسال خونخواهی قائد شهید است
مفاهیم نهجالبلاغه را در پیادهروی اربعین ترویج کنیم
چه افرادی بدون آنکه به کربلا بروند زائر اباعبدالله هستند؟
مایک لی بازنشسته میشود؛ بیماری نمیگذارد فیلم بسازم
خنیاگران خیام با «مهرگان» آمدند؛ شنیدن ظرافتهای موسیقی خراسان
«خورشید اربعین» در رادیو ورزش؛ همراهی با زائران در حماسه استقامت
آییننامه جامع حمایت از دانشجویان توانخواه نهایی شد
سهم دانشجو از نرخ غذای دانشجویی مشخص شد
پیش ثبتنام ۸۱۰ هزار دانشآموز پایه هفتم
آموزش و پرورش با ۱۰۰ موکب، آماده خدمترسانی به زائران اربعین است
روایت زائرانی که اربعین را از شرق ایران آغاز میکنند در کتاب «شاه است حسین»
پرچمهایی در پیاده روی اربعین که هنوز خون را به یاد دارند
تصویر کمتر دیده شده از آیتالله سیدمجتبی خامنهای در نماز جمعه نصر
چالشهای عکاسی طبیعت چیست؟ سید صابر امامی پاسخ میدهد
جزئیات شرکت در آزمون های دانشنامه و گواهینامه فوق تخصصی پزشکی تعیین شد
اصغر خلیلی مدیریت مجموعه تئاتر شهر را بر عهده گرفت
آلبوم جدید خواننده پاپ در راه است
اودیسه نولان در ایکس لو رفت؛ ایلان ماسک در برابر نولان
جزئیات آزمونهای دانشنامه و گواهینامه تخصصی پزشکی را اینجا بخوانید
اجرای نزدیک به ۱۵ پروژه ملی در وزارت علوم پس از جنگ
۱۳۰ هزار فعالیت انجمنهای علمی دانشجویی در کشور ثبت شدند
دانشجویان دانشگاه صنعتی امیرکبیر مسیر شغلی خود را طراحی میکنند
مدیر ارشد اوپن ای آی به این شبکه اجتماعی معتاد شده بود
متا تحقیق درباره خطرات اینستاگرام برای نوجوانان را نادیده گرفت
پرتاب ۵ هزار ماهواره آمازون برای بهبود کیفیت اینترنت در جهان
تسهیلات ویژه دانشگاه آزاد برای اربعین امسال/ استقرار مواکب در ۵ مرز کشور
ثبت نام جذب دانشآموختگان دکتری در دانشگاهها آغاز شد؛ ۲ شرط اصلی برای ورود
مشاور شورای آموزش پزشکی: ۲ متخلف آزمون دستیاری به مقامات قضایی تحویل داده شدند
«مردم نمایی» روایتی دیگر از ماجرای نیما تکیدو
حاج حسین ملک داراییهای فناپذیر را به میراثی تمدنی تبدیل کرد
پناهیان: بزرگترین تشییعهای تاریخ مربوط به امامین انقلاب است
جستجوی حقیقت در مهآلودگی ابطالپذیری پوپر/سطحینگری در علوم انسانی
جزئیات برگزاری مصاحبه مجازی متأخرین دکتری ۱۴۰۵ دانشگاه آزاد اعلام شد
قیمت سامسونگ گلکسی و زد فولد گران می شود
خبر مصوبه شورای عالی فضای مجازی برای برخورد با بلاگرها تکذیب شد
رشد استقبال از آزمون دستیاری در سالهای اخیر
تصویری از تابوت استاد مرحوم اکبر عبدی
پارادوکس در وقف، سودجویی ناشر و موزّع
فانتزی که به شاهنامه تکیه زده است/ احیای حماسه در ادبیات فانتزی ایران
رمان دینی باید افراد معاند و خاکستری را هم پای کتاب بنشاند
بعد از انفجار پیجرها، زندگی چگونه ادامه پیدا کرد؟
حافظه مکتوب ایران چگونه زنده میماند؟
بزرگداشت شیخ صفیالدین اردبیلی در فضای مجازی
صفحه رسمی سفارت آلمان در تهران شایعات تخلیه کارکنان این نمایندگی دیپلماتیک را تکذیب کرد
تصویری از برخاستن ستون دود در اربیل عراق
رهبر شهید بیش از حوزویان با نخبگان دانشگاهی دیدار داشتند
ترامپ انتقام جریمه گوگل را از اروپا می گیرد
خونخواهی رهبر شهید ادامه یک مطالبه تاریخی است؛ انتقام با بیشترین ضربه
اعلام دستمزد طراحان صحنه و لباس تئاتر در سال ۱۴۰۵
خالق فیلم معروف «ماسک» از دنیا رفت؛ جیم کری از همکاری با وی تشکر کرد
خداحافظ آقای عبدی؛ دلمان برایتان تنگ میشود
اعزام ۴۷۴ معلم برگزیده به مدارس خارج از کشور
وزیر آموزش و پرورش: کنکور به موقع برگزار میشود
کشف آنزیمی که میتواند پیری را معکوس کند
ثبت نام جذب دانشآموختگان دکتری در دانشگاهها آغاز شد؛ ۲ شرط اصلی برای ورود
آییننامه جامع حمایت از دانشجویان توانخواه نهایی شد
مشاور شورای آموزش پزشکی: ۲ متخلف آزمون دستیاری به مقامات قضایی تحویل داده شدند
اصغر خلیلی مدیریت مجموعه تئاتر شهر را بر عهده گرفت
اودیسه نولان در ایکس لو رفت؛ ایلان ماسک در برابر نولان
تصویر کمتر دیده شده از آیتالله سیدمجتبی خامنهای در نماز جمعه نصر
تسهیلات ویژه دانشگاه آزاد برای اربعین امسال/ استقرار مواکب در ۵ مرز کشور
پیش ثبتنام ۸۱۰ هزار دانشآموز پایه هفتم
روایت زائرانی که اربعین را از شرق ایران آغاز میکنند در کتاب «شاه است حسین»
آموزش و پرورش با ۱۰۰ موکب، آماده خدمترسانی به زائران اربعین است
چالشهای عکاسی طبیعت چیست؟ سید صابر امامی پاسخ میدهد
۱۳۰ هزار فعالیت انجمنهای علمی دانشجویی در کشور ثبت شدند
اجرای نزدیک به ۱۵ پروژه ملی در وزارت علوم پس از جنگ
درخواست برای تفکیک زمان پذیرش رشتههای بدون آزمون
متا تحقیق درباره خطرات اینستاگرام برای نوجوانان را نادیده گرفت
مدیر ارشد اوپن ای آی به این شبکه اجتماعی معتاد شده بود
پرتاب ۵ هزار ماهواره آمازون برای بهبود کیفیت اینترنت در جهان
پرچمهایی در پیاده روی اربعین که هنوز خون را به یاد دارند
جزئیات شرکت در آزمون های دانشنامه و گواهینامه فوق تخصصی پزشکی تعیین شد
جزئیات آزمونهای دانشنامه و گواهینامه تخصصی پزشکی را اینجا بخوانید
آلبوم جدید خواننده پاپ در راه است
دانشجویان دانشگاه صنعتی امیرکبیر مسیر شغلی خود را طراحی میکنند
تصویری از کلاهک خیبرشکن و فتاح سوار بر بوستر حاج قاسم
سهم دانشجو از نرخ غذای دانشجویی مشخص شد
زائران با سامانه هوشمند «هم موکب» دغدغه اسکان ندارند
مطالبه بزرگ امت اسلام در اربعین امسال خونخواهی قائد شهید است
چه افرادی بدون آنکه به کربلا بروند زائر اباعبدالله هستند؟
پناهیان: بزرگترین تشییعهای تاریخ مربوط به امامین انقلاب است
«خورشید اربعین» در رادیو ورزش؛ همراهی با زائران در حماسه استقامت
مایک لی بازنشسته میشود؛ بیماری نمیگذارد فیلم بسازم
نظراتی که حاوی توهین یا افترا به اشخاص ،قومیت ها ،عقاید دیگران باشد و یا با قوانین کشور وآموزه های دینی مغایرت داشته باشد منتشر نخواهد شد - لطفاً نظرات خود را با حروف فارسی تایپ کنید.