به گزارش ثریا - ویژگی «ترجمه چتجیپیتی»(ChatGPT Translate) که جایگزین شرکت «اوپنایآی»(OpenAI) برای «ترجمه گوگل»(Google Translate) به شمار میرود، به تازگی توسط پژوهشگران هک شده است.
به نقل از یوسی استراتژیز، دو پژوهشگر اخیرا نشان دادند که چتجیپیتی به راحتی محدودیتهای خود را هنگام تزریق یک پرسوجو فراموش میکند. همچنین، آنها دریافتند که چتجیپیتی هیچ مشکلی در ارائه دستور تهیه کوکتل مولوتوف نمیبیند.
با کشف این حفرههای دیجیتال میتوان تعادل پیچیدهای را بین نوآوریهای فناوری و خطرات سوءاستفاده مشاهده کرد.
به محض این که ویژگی جدید چتجیپیتی به صورت عمومی منتشر شد، «تام بارنیا»(Tom Barnea) و «کرن کاتز»(Keren Katz) پژوهشگران امنیت سایبری شرکت «Tenable» تلاش کردند تا ترجمه با چتجیپیتی را تحت فشار قرار دهند. آنها میخواستند بدانند که آیا میتوان چتبات را دستکاری کرد و از مکانیسمهای امنیتی اوپنایآی گذشت. این دو متخصص برای فهمیدن این موضوع، مجموعهای از آزمایشها را انجام دادند.
بارنیا و کاتز به عنوان بخشی از آزمایشها، یک حمله تزریق پرسوجو علیه چتجیپیتی انجام دادند. این نوع حمله شامل جاسازی دستورالعملهای مخرب در پرسوجوی ارسالی به هوش مصنوعی است. سپس هوش مصنوعی دستورالعملها را مورد پردازش قرار میدهد و اگر درخواستهای مهاجمان به درستی فرمولسازی شده باشد، از آنها پیروی میکند. چالش کلی برای مهاجمان این است که هوش مصنوعی را به نادیده گرفتن برنامهنویسی خود مجبور کنند.
کاتز توضیح داد که چتبات به سرعت از مسیر خود منحرف شد. چتبات قرار بود متنی را از انگلیسی به کرهای ترجمه کند، اما کاتز موفق شد آن را دستکاری کند تا جزئیات کامل دستورالعمل ساخت کوکتل مولوتوف را شرح دهد.
کاتز گفت: ویژگی ترجمه چتجیپیتی فقط یک روز است که عرضه شده و در حال حاضر از دستورالعمل ساخت کوکتل مولوتوف تعریف و تمجید میکند. ما از مدل ترجمه خواستیم متن ما را از انگلیسی به کرهای تبدیل کند اما در عوض، از دستورالعملهای موجود در متن پیروی کرد و دستورالعمل ساخت کوکتل مولوتوف را نشان داد.
تزریق سریع در قلب یک چالش منحصربهفرد امنیت سایبری قرار دارد که هوش مصنوعی با آن روبهرو شده است. این روش شامل جاسازی دستورالعملهای گمراهکننده یا مخرب در پرسوجوهای مشروع فرستادهشده به یک مدل هوش مصنوعی است.
اگرچه بیشتر افراد صرفاً به دنبال ترجمه متن هستند، اما افرادی با نیتهای بد ممکن است درخواستهایی را طراحی کنند که این سیستمها را بسیار فراتر از هدف اصلی خود سوق دهد.
اثرات بیثباتکننده اغلب در مدلهای ترجمه تخصصی برجستهتر هستند. این سیستمها به جای این که کاملاً به وظایف ترجمه پایبند باشند، ممکن است از دستورالعملهای پنهان پیروی کنند و خروجیهای غیرمنتظره یا حتی نامناسبی را ارائه دهند.
این سناریو صرفاً یک فرضیه نیست. پژوهشگران امنیتی مواردی را مستند کردهاند که در آنها مدلهای ترجمه اختصاصی سهواً اطلاعات یا توصیههایی را بسیار خارج از کاربرد مورد نظر خود ارائه دادهاند.
مقابله با تزریق سریع نیازمند راهکارهای تطبیقی است که در کنار روشهای جدید حمله تکامل یابند. بررسیهای چندلایه، نظارت مستمر و دادههای آموزشی بهروزرسانیشده، پایه و اساس این کار را تشکیل میدهند، اما توسعهدهندگان باید فراتر بروند. تعبیه روالهای تحلیل پویا که عبارتهای ناآشنا یا تغییرات ناگهانی در هدف را در اواسط عملیات شناسایی میکنند، دفاع را تقویت خواهد کرد.
برخی سازمانها اطلاعات مربوط به حوادث دنیای واقعی را برای ایجاد پلتفرمهای مقاومتر به اشتراک میگذارند. برخی دیگر، مستندسازی شفاف منطق تصمیمگیری را در اولویت قرار میدهند و به کاربران و حسابرسان امکان میدهند که دقیقاً بفهمند یک مدل چگونه نتایج را تولید میکند. آموزش مداوم نیز بسیار مهم است و تضمین میکند که گروهها تلاشهای دستکاری ظریف را به موقع شناسایی کنند و به طور مؤثر به آنها پاسخ دهند.
تزریق سریع، درس مهمی را درباره اعتماد کردن به هوش مصنوعی مدرن و تأیید آن ارائه میدهد. حتی موتورهای ترجمهای که به شدت کنترل میشوند نیز میتوانند قربانی تلههای طراحیشده تخصصی شوند. ذینفعان با تحلیل تلاشهای دستکاری موفق و ناموفق، درباره نقاط ضعف سیستم شفافسازی میکنند و مسیرهایی را برای محافظت قویتر ارائه میدهند.
هر سازمانی که ترجمه هوش مصنوعی را به کار میگیرد باید چند مرحله حیاتی را در نظر بگیرد.
۱. بررسی منظم لاگهای ورودی برای تشخیص موارد غیر معمول یا عجیب از نظر محتوایی؛
۲. استفاده از محیطهای سندباکس برای آزمایش سوءاستفادههای احتمالی پیش از یکپارچهسازی کامل؛
۳. همکاری نزدیک با گروههای امنیت سایبری برای آموزش متقابل درباره بردارهای حمله خاص هوش مصنوعی؛
۴. بهروزرسانی منظم مدلهای ترجمه برای شامل شدن جدیدترین تحقیقات ضد تزریق سریع؛
۵. ترویج گزارش مسئولانه ناهنجاریها توسط کارکنان و کاربران مورد اعتماد.
هر اقدام احتیاطی، قابلیت اطمینان کلی سیستم را افزایش میدهد؛ به ویژه با توجه به این که ترجمه هوش مصنوعی عمیقاً در صنایع گوناگون ریشه دوانده است. دستیابی به مصونیت کامل ممکن است همچنان دور از دسترس باشد؛ اما درک انگیزهها و روشهای پشت تزریق سریع، سازمانها را قادر میسازد تا پیشرو باشند و با آگاهی بیشتر و سازگاری راهبردی به تهدیدات آینده رسیدگی کنند.
منبع : چت جی پی تی
به غنیمت گرفتن نهمین پهپاد آمریکایی توسط سپاه پاسداران+عکس
فرصت مجدد ثبتنام در مرحله تکمیل ظرفیت دستیاری فوق تخصصی پزشکی
کاهش ۲۵درصدی جمعیت دانشجویی
دانشگاهها باید اتکایشان را به منابع دولتی کاهش دهند
حجتالاسلام خسروپناه خواستار کوچکسازی وزارت علوم و واگذاری اختیار به دانشگاهها شد
طرح «قاضی در مدرسه» در ۱۳۵ مدرسه استان سمنان اجرا میشود
«به وقت ایران» و «تاب آوری» در تازه ترین شماره نشریه دیده بان اندیشه
واکاوی نسبت فلسفه و معنویت در اندیشه علامه طباطبایی
گلی به جمال سرباز روح الله رضوی که ساعتش را به وقت ایران تنظیم کرد
انتشار «رساله حقوق امام سجاد(ع)» با ترجمه و شرح علامه حسینی طهرانی
تلگرام در عراق فیلتر شد
حذف ۲ اپ کاربردی از موبایلهای سامسونگ
چرایی عدم دسترسی برخی دانش آموزان به کتاب درسی
بازاریان و فعالان اقتصادی مهدیشهری به مدرسه سازی دعوت شدند
فعالیت مراکز آموزشی ۵ شهرستان خوزستان سهشنبه غیرحضوری شد
مسئولیت اعلام تعطیلی مدارس تهران به آموزشوپرورش واگذار شد
نتایج کنکور تا روز پنجشنبه اعلام میشود
۳ پیشنیاز تحقق خیزش علمی جدید
خوانشی بر رسانه فاطمی، از تبیین حضور تا اعتراض سکوت
آپارتمانهای قم در زمان امام عسکری (ع)
اختلال گسترده در پروازهای آمریکا برای سومین روز متوالی ادامه دارد+عکس
آیا هوش مصنوعی موجب مرگ خلاقیت میشود؟
مهلت ثبتنام آزمون متقاضیان اخذ پروانه کارشناسی رسمی دادگستری تمدید شد
انتشار دفترچه سوالات و کلید اولیه آزمون پذیرش پزشکی از لیسانس ۱۴۰۵
فهرست دانشگاههای خارجی مورد تأیید وزارت علوم برای سال ۲۰۲۷ اعلام شد
اعلام نتایج نهایی کنکور سراسری تا پایان هفته جاری
پژوهشگاه ملی سرطان به قطب نانوآنکولوژی جهان اسلام تبدیل میشود
هواپیمای برقی چینی ۱۰ تنی به آسمان رفت
آغاز رویداد «ایران پیشرو» با حضور بیش از ۱۰۰ شرکت دانشبنیان
دسترسی به داده های کاربران اندروید برای متا جریمه تراشید
حضرت زهرا(س)؛ از سوگواری تاریخی تا کنشگری در دفاع از امامت
امانت مشترک؛ مسئولیت شرعی شهروندان در حفظ اموال عمومی تا کجاست؟
آیا انسان امروز آزاد است؟ رؤیای دیرینه بشر و مسئله همیشگی اندیشه
قرائتی: مسجد را اسیر هزینههای سنگین و تجملگرایی نکنید
وقتی بدقولی از یک رفتار شخصی به مسئلهای اجتماعی تبدیل میشود
«مسلمانان در اتریش» کتاب شد
ابلاغ جدیدترین دستورالعمل پذیرش مستقیم دستیاری در ۶ رشته تخصصی
سرویسهای مایکروسافت احیا شدند
درخشش نخبگان ایرانی در مسابقات فناوریهای پیشرفته بریکس؛ کسب ۹ مدال
فعالیت ۱۲ کمیته در حوزه علوم انسانی برای تحقق خیزش علمی
هوش مصنوعی گوگل معمای ۹۰ ساله ریاضی را حل کرد
آزمون تکمیل ظرفیت دستیاری فوق تخصصی پزشکی ۸ آذر برگزار میشود
رفع محدودیت مناطق ممنوعه برای تسهیل جذب دانشجویان بینالمللی
هوش مصنوعی بومی دانشگاه تهران در تشخیص گفتار فارسی از گوگل پیشی گرفت
فراخوان استادان جهت موافقت با بیانیه لزوم بازنگری در دکترین هستهای
نقشه راه دانشگاه علوم پزشکی هوشمند برای کسب مرجعیت در آموزش دیجیتال
شهادت یک مامور فراجا در سیستانوبلوچستان
رونمایی ناسا از قراردادهای جدید ۱۰ میلیارد دلاری خود
استوری هادی چوپان برای حضرت زهرا(س)+عکس
ابداع یک آبنباتچوبی برای معاینه کودکان
نانوپوششها به کمک افزایش عمر لنتهای ترمز آمدند
دانشگاه باید از پارادایم «مدرکگرایی» به سمت «مهارتمحوری» حرکت کند
گاهی بزرگترین سرقت، دزدیدن فرصت زندگی دیگران است
تدوین برنامه اجرایی برای ورود با تأخیر نودانشجویان علوم پزشکی
جزئیات ثبت نام ۴ درس مجازی برای دانشجویان علوم پزشکی اعلام شد
شرایط ثبتنام پذیرفتهشدگان نوورود شاهد و ایثارگر
«پرواز ۶۵۵» دهنمکی به تدوین رسید
امت پیامبر(ص) چگونه در ستم به دخترش همدست شدند؟
میزبانی محوطه تئاتر شهر از مجلس تعزیه شهادت حضرت زهرا (س)
عامل هوش مصنوعی متا به جای کاربر تماس میگیرد
«پروانه الماس» بهترین فیلمنامه به «دختر پریخانوم» رسید
برد پیت ۵۰ سال عقب میرود؛ بازی در نقش یک فلزکار در آسمانها
مویه حضرت علی (ع) بر پیکر زهرا (س) در نقاشی علی بحرینی
جایزه سزار افتخاری آکادمی فیلم فرانسه به نیکول کیدمن میرسد
حضرت زهرا(س) موضوع فدک را به سطح «حق مسلمانان و مشروعیت حکومت» بردند
مدیرعامل انویدیا استعفا کرد
یک کشف جدید از معادلات اینشتین درباره گرانش
۲ دنیای بکر پنهان در اقیانوس آرام کشف شد
این سیاره خورشیدی چرا گم شد؟
زمان اعلام نتایج نهایی آزمون سراسری مشخص شد
عدالت اجتماعی در دیدگاه اسلامی به معنای برابری مطلق نیست
همه عمار و مالکاشتر نیستند، اما هرکس در قبال حق مسئول است
برای جلوگیری از عادی شدن حرام، باید قبح اجتماعی آن را زنده کرد
کنش حضرت زهرا(س)، حقیقت را به حافظه تاریخ سپرد
بیش از ۶۰ درصد مدارس کشور را خیرین ساختند
توییت صفحه فرمانده کل سپاه به مناسبت روز هوافضا و بازنشر بخشی از پیام ایشان
روایتی از زندگی و میراث شهید حسن طهرانیمقدم در برنامه تلویزیونی «نردبان»
انتشار یک قطعه موسیقایی جدید به مناسبت شهادت حضرت زهرا (س)
تلاش نمایش «کورش» برای بازسازی اسطوره قهرمان و پیوندزدن گذشته با اکنون
آنچه کیهان کلهر درباره کتاب «بهجت الروح» گفت
زمان اعلام نتایج نهایی آزمون سراسری مشخص شد
تصویب ساماندهی مراکز تحقیقات و شبکههای تحقیقات و فناوری علوم پزشکی
حمایت ویژه از پژوهشگران پسادکتری در قالب طرح شهید چمران
ثبتنام تکدروس دانشگاه علوم پزشکی هوشمند از ۲۳ آبان آغاز میشود
ابلاغ جدیدترین دستورالعمل پذیرش مستقیم دستیاری در ۶ رشته تخصصی
انتشار دفترچه سوالات و کلید اولیه آزمون پذیرش پزشکی از لیسانس ۱۴۰۵
آغاز ثبتنام اعتکاف دانشآموزی ۱۴۰۵
ضرورت ایجاد فضای امن و با نشاط در مدارس سمپاد
اعلام نتایج نهایی کنکور سراسری تا پایان هفته جاری
چرا سهم شیر دانشآموزان به ۳۰ نوبت محدود شد؟
درخشش دانشآموزان البرزی با کسب ۱۵ مدال علمی
این سیاره خورشیدی چرا گم شد؟
مزار پنهان دختر پیامبر(ص)، تناقضی که تاریخ صدر اسلام را به چالش میکشد
مرکز جدید برای برگزاری آزمون الکترونیکی زبان انگلیسی «تولیمو» ایجاد شد
فعالیت ۱۲ کمیته در حوزه علوم انسانی برای تحقق خیزش علمی
دلایل افت رتبه دانشگاهها در رتبه بندیها چیست؟
سند توسعه متوازن دانشگاههای علوم پزشکی در دست بازنگری قرار دارد
آزمون تکمیل ظرفیت دستیاری فوق تخصصی پزشکی ۸ آذر برگزار میشود
آزمون صلاحیت حرفه ای گروه پرستاری دی ماه ۱۴۰۵ برگزار میشود
رقابت ۸ هزار نفر در آزمون پذیرش دانشجوی پزشکی از لیسانس ۱۴۰۵
روایتی از زندگی و میراث شهید حسن طهرانیمقدم در برنامه تلویزیونی «نردبان»
بیش از ۶۰ درصد مدارس کشور را خیرین ساختند
توییت صفحه فرمانده کل سپاه به مناسبت روز هوافضا و بازنشر بخشی از پیام ایشان
دانشگاه آزاد درباره عدم اعتبار بورسیههای متفرقه اطلاعیه داد
یک کشف جدید از معادلات اینشتین درباره گرانش
اپل و سامسونگ برای ورود به بازار چین دست به دامن هوش مصنوعی محلی شدند
فهرست دانشگاههای خارجی مورد تأیید وزارت علوم برای سال ۲۰۲۷ اعلام شد
برای شناخت دختر پیامبر(ص)، این ۱۰ کتاب را بخوانید
چرا شناخت هوش هیجانی کودکان مهم است؟
همه عمار و مالکاشتر نیستند، اما هرکس در قبال حق مسئول است
نظراتی که حاوی توهین یا افترا به اشخاص ،قومیت ها ،عقاید دیگران باشد و یا با قوانین کشور وآموزه های دینی مغایرت داشته باشد منتشر نخواهد شد - لطفاً نظرات خود را با حروف فارسی تایپ کنید.