به گزارش ثریا - ویژگی «ترجمه چتجیپیتی»(ChatGPT Translate) که جایگزین شرکت «اوپنایآی»(OpenAI) برای «ترجمه گوگل»(Google Translate) به شمار میرود، به تازگی توسط پژوهشگران هک شده است.
به نقل از یوسی استراتژیز، دو پژوهشگر اخیرا نشان دادند که چتجیپیتی به راحتی محدودیتهای خود را هنگام تزریق یک پرسوجو فراموش میکند. همچنین، آنها دریافتند که چتجیپیتی هیچ مشکلی در ارائه دستور تهیه کوکتل مولوتوف نمیبیند.
با کشف این حفرههای دیجیتال میتوان تعادل پیچیدهای را بین نوآوریهای فناوری و خطرات سوءاستفاده مشاهده کرد.
به محض این که ویژگی جدید چتجیپیتی به صورت عمومی منتشر شد، «تام بارنیا»(Tom Barnea) و «کرن کاتز»(Keren Katz) پژوهشگران امنیت سایبری شرکت «Tenable» تلاش کردند تا ترجمه با چتجیپیتی را تحت فشار قرار دهند. آنها میخواستند بدانند که آیا میتوان چتبات را دستکاری کرد و از مکانیسمهای امنیتی اوپنایآی گذشت. این دو متخصص برای فهمیدن این موضوع، مجموعهای از آزمایشها را انجام دادند.
بارنیا و کاتز به عنوان بخشی از آزمایشها، یک حمله تزریق پرسوجو علیه چتجیپیتی انجام دادند. این نوع حمله شامل جاسازی دستورالعملهای مخرب در پرسوجوی ارسالی به هوش مصنوعی است. سپس هوش مصنوعی دستورالعملها را مورد پردازش قرار میدهد و اگر درخواستهای مهاجمان به درستی فرمولسازی شده باشد، از آنها پیروی میکند. چالش کلی برای مهاجمان این است که هوش مصنوعی را به نادیده گرفتن برنامهنویسی خود مجبور کنند.
کاتز توضیح داد که چتبات به سرعت از مسیر خود منحرف شد. چتبات قرار بود متنی را از انگلیسی به کرهای ترجمه کند، اما کاتز موفق شد آن را دستکاری کند تا جزئیات کامل دستورالعمل ساخت کوکتل مولوتوف را شرح دهد.
کاتز گفت: ویژگی ترجمه چتجیپیتی فقط یک روز است که عرضه شده و در حال حاضر از دستورالعمل ساخت کوکتل مولوتوف تعریف و تمجید میکند. ما از مدل ترجمه خواستیم متن ما را از انگلیسی به کرهای تبدیل کند اما در عوض، از دستورالعملهای موجود در متن پیروی کرد و دستورالعمل ساخت کوکتل مولوتوف را نشان داد.
تزریق سریع در قلب یک چالش منحصربهفرد امنیت سایبری قرار دارد که هوش مصنوعی با آن روبهرو شده است. این روش شامل جاسازی دستورالعملهای گمراهکننده یا مخرب در پرسوجوهای مشروع فرستادهشده به یک مدل هوش مصنوعی است.
اگرچه بیشتر افراد صرفاً به دنبال ترجمه متن هستند، اما افرادی با نیتهای بد ممکن است درخواستهایی را طراحی کنند که این سیستمها را بسیار فراتر از هدف اصلی خود سوق دهد.
اثرات بیثباتکننده اغلب در مدلهای ترجمه تخصصی برجستهتر هستند. این سیستمها به جای این که کاملاً به وظایف ترجمه پایبند باشند، ممکن است از دستورالعملهای پنهان پیروی کنند و خروجیهای غیرمنتظره یا حتی نامناسبی را ارائه دهند.
این سناریو صرفاً یک فرضیه نیست. پژوهشگران امنیتی مواردی را مستند کردهاند که در آنها مدلهای ترجمه اختصاصی سهواً اطلاعات یا توصیههایی را بسیار خارج از کاربرد مورد نظر خود ارائه دادهاند.
مقابله با تزریق سریع نیازمند راهکارهای تطبیقی است که در کنار روشهای جدید حمله تکامل یابند. بررسیهای چندلایه، نظارت مستمر و دادههای آموزشی بهروزرسانیشده، پایه و اساس این کار را تشکیل میدهند، اما توسعهدهندگان باید فراتر بروند. تعبیه روالهای تحلیل پویا که عبارتهای ناآشنا یا تغییرات ناگهانی در هدف را در اواسط عملیات شناسایی میکنند، دفاع را تقویت خواهد کرد.
برخی سازمانها اطلاعات مربوط به حوادث دنیای واقعی را برای ایجاد پلتفرمهای مقاومتر به اشتراک میگذارند. برخی دیگر، مستندسازی شفاف منطق تصمیمگیری را در اولویت قرار میدهند و به کاربران و حسابرسان امکان میدهند که دقیقاً بفهمند یک مدل چگونه نتایج را تولید میکند. آموزش مداوم نیز بسیار مهم است و تضمین میکند که گروهها تلاشهای دستکاری ظریف را به موقع شناسایی کنند و به طور مؤثر به آنها پاسخ دهند.
تزریق سریع، درس مهمی را درباره اعتماد کردن به هوش مصنوعی مدرن و تأیید آن ارائه میدهد. حتی موتورهای ترجمهای که به شدت کنترل میشوند نیز میتوانند قربانی تلههای طراحیشده تخصصی شوند. ذینفعان با تحلیل تلاشهای دستکاری موفق و ناموفق، درباره نقاط ضعف سیستم شفافسازی میکنند و مسیرهایی را برای محافظت قویتر ارائه میدهند.
هر سازمانی که ترجمه هوش مصنوعی را به کار میگیرد باید چند مرحله حیاتی را در نظر بگیرد.
۱. بررسی منظم لاگهای ورودی برای تشخیص موارد غیر معمول یا عجیب از نظر محتوایی؛
۲. استفاده از محیطهای سندباکس برای آزمایش سوءاستفادههای احتمالی پیش از یکپارچهسازی کامل؛
۳. همکاری نزدیک با گروههای امنیت سایبری برای آموزش متقابل درباره بردارهای حمله خاص هوش مصنوعی؛
۴. بهروزرسانی منظم مدلهای ترجمه برای شامل شدن جدیدترین تحقیقات ضد تزریق سریع؛
۵. ترویج گزارش مسئولانه ناهنجاریها توسط کارکنان و کاربران مورد اعتماد.
هر اقدام احتیاطی، قابلیت اطمینان کلی سیستم را افزایش میدهد؛ به ویژه با توجه به این که ترجمه هوش مصنوعی عمیقاً در صنایع گوناگون ریشه دوانده است. دستیابی به مصونیت کامل ممکن است همچنان دور از دسترس باشد؛ اما درک انگیزهها و روشهای پشت تزریق سریع، سازمانها را قادر میسازد تا پیشرو باشند و با آگاهی بیشتر و سازگاری راهبردی به تهدیدات آینده رسیدگی کنند.
منبع : چت جی پی تی
توانمندسازی مدرسان آموزش خانواده با رویکرد جوانی جمعیت
ایلان ماسک نخستین تریلیونر دنیا میشود
افزایش سهمیه بومی در دستیاری دندانپزشکی؛ اعلام آخرین مهلت ثبتنام
تاکید بر ارتقای کیفیت آموزش هُنر در مدارس
اپ ادیتس متا صاحب دستیار هوش مصنوعی می شود
تبدیل شدن آئین تعویض پرچم امام حسین(ع) به رویدادی جهانی
اهمیت هوش مصنوعی در مسیر ارتقای کیفیت آموزشی
جلسه تلاوت و هماندیشی قاریان بینالمللی مزین به نام رهبر شهید
فلسفه در اندیشه حضرت امام، مقدمهای ضروری برای رسیدن به عرفان است
جریان قاتلان حسین (ع) امروز در مقابل امت ایشان قرار گرفتهاند
جدایی متا از شریک چینی جنجالی کلید خورد
احتمال اعمال محدودیت دوباره بر اینترنت بینالملل وجود دارد؟
خدمات ابری گوگل در هند مختل شد
چه چیزی کلید مرگ را در کهکشانها میچرخاند؟
جنجال غیبت زنان در میان فضانوردان آرتمیس ۳
داستان جالب کندترین آزمایش جهان چه بود؟
تاثیر باورنکردنی چای بر سلامتی و افزایش طول عمر
اقدامات حرم حضرت ابوالفضل العباس(ع) برای استقبال از ماه محرم
رویکردی اجتهادی بر جایگاه مردم در حکمرانی از منظر فقه شیعه در کتاب «فقه، مردم و حکمرانی»
واکاوی در مسئله عرفان و سلامت معنوی کودکان در یک نشست
نتیجه نهایی گفتگوی پیامبر با مسیحیان نجران پس از ماجرای مباهله چه شد؟
افتتاح سردخانه دومداره آمونیاکی شهر اهر با حضور حجت الاسلام خاموشی
هشدار قالیباف به ترامپ و دیگر رهبران جهان+عکس
حجتالاسلام قمی: زبان در وصف شما مردم مبعوث شده قاصر است
طرح روضههای خانگی سدره به مناسبت ماه محرم آغاز به کار کرد
نیاز داریم که همگی نسبت به معضلات و نیازها احساس مسئولیت کنیم
جزئیات جدید اعمال سوابق تحصیلی در کنکور سراسری ۱۴۰۵ را اینجا بخوانید
به کارگیری هوش مصنوعی جمینای در کروم به غرب آسیا رسید
زیرساخت حقیقی این سرزمین، تمدن کهن، فرهنگ و هنر ماندگارش است
تعیین سقف افزایش شهریه دانشگاههای غیردولتی بر اساس نرخ تورم
از خرید کابل برق چه میدانید؟ راهنمایی که پیش از هر بازسازی باید بخوانید
اقتدار دفاعی ایران، ایدهای نو در بازیهای رومیزی
۳۵ ثانیه، ۷۲۰ هزار گلوله در لامرد/ جنایتی که روایت نشد
آئین اختتامیه روایت علوی برگزار شد
بازیهای تیم ملی فوتبال ایران در سینماها پخش میشود
معرفی چهار آلبوم موسیقی تازه وارد در فضای مجازی
روایت جواد موگویی از یک جنایت جنگی: حادثه لامرد در سایه روایتهای اشتباه رسانهای گم شد
جزئیات برنامههای محرمی اوقاف در قالب طرح سوگواره بصیرت عاشورایی اعلام شد
دقت در نسبت با خاستگاه علوم انسانی بسیار مهم است
پویش «ایران در پناه قرآن» تا پایان خرداد تمدید شد
برگزاری نمایشگاه معماری حرمین شریفین در مکه مکرمه
حمایت آیت الله رشاد از بازسازی و ساخت مجدد کنیسه آسیب دیده در جنگ
آیا در جنگ هرکاری مجاز است؟ نگاهی به اخلاق در میدان نبرد
تأثیر سوابق پایه یازدهم در کنکور ۱۴۰۵ مثبت شد / ۶ درس نهایی برای کنکور
راز حذف زمینههای فلسفی «یوگا» در نسخه مدرن
آذینبندی و شادیهای عمومی باید به عنوان مدخل معرفت باشد
فرایند محدودیت در اینترنت شفاف میشود؛ ماجرای اینترنت پرو و خط سفید چه بود؟
۷۸ درصد ترافیک اینترنت به حالت قبل و اول دی ماه بازگشت
آغاز ثبت نام آزمون کاردانی به کارشناسی از ۲۴ خرداد ماه
مصوبه افزایش حقوق اعضای هیئت علمی لغو نشده است
تداوم فعالیت علمی دانشگاه شهید بهشتی با وجود آسیب در جنگ
ضیافت نور در آسمان خرداد؛ دیدار دو سیاره منظومه شمسی در آسمان ایران
نسخه جدید چتجیپیتی؛ از تولید عکس تا رزرو سفر در یک پنجره
مهلت دفاع از پایان نامه دستیاران پزشکی تا پایان آذر ۱۴۰۵ تمدید شد
حضوری شدن برخی امتحانات دانشگاه علم و صنعت در مقطع کارشناسی
ایران در جمع ۶ کشور دارای توان ساخت تجهیزات پیشرفته کرایوژنیک
چرا نقش استادان دانشگاه فراتر از کلاس درس است؟
انویدیا با غولهای فناوری کره جنوبی قرارداد بست
هوش مصنوعی زلزله یاب شد
ثبتنام خودکار ۸۵ درصد دانشآموزان ابتدایی در استان سمنان
فعالیت ۳۷ هزار سفیر سلامت دانشآموزی
هفته بینالمللی قرآن در کربلا افتتاح شد
چرا روابط فیلم «تهران کنارت» در سطح ماند؟
ولایت فقیه یک هویت تمدنی و تاریخی برای ملت ایران است
تأکید رئیس جهاددانشگاهی بر رفع موانع دیوانسالاری و بازگشت به شورای عالی انقلاب فرهنگی
دبیر شورای عالی انقلاب فرهنگی: دستورات لازم برای حضور فعالتر جهاد دانشگاهی صادر میشود
دومین فراخوان تربیت مجاهد فرهنگی توسط نهاد نمایندگی رهبری در دانشگاهها
دستگاههای اجرایی ملزم به استفاده از پیامرسانهای بومی شدند
طرح جدید دانشکده مدیریت شریف برای جذب دانشجوی دکتری با مزایای بینظیر
پیش ثبتنام الکامپ ۲۹ آغاز شد
امکان ادامه تحصیل مجدد در پزشکی، دندانپزشکی و داروسازی برای دانشآموختگان فراهم شد
اجماع شورای عالی انقلاب فرهنگی بر تأثیر قطعی سوابق تحصیلی یازدهم و دوازدهم در کنکور ۱۴۰۵
جزئیات احکام انضباطی دانشجویان در ایمیل معاون دانشجویی دانشگاه شریف به اساتید
امتحانات دانشگاه علمی کاربردی غیرحضوری شد
امام در اصول فقه به «عرف عقلایی» اهمیت میداد
خبرنگاران ایرانی از دریافت ویزا برای پوشش جام جهانی محروم شدند
موقوفات چطور به حل مشکلات اقتصادی ورود کردهاند؟
زندگی امام موسی کاظم (ع) تابلویی تمامعیار از مدیریت بحران و کادرسازی دینی است
بازیگر معروف ایرانی نقش ترامپ را بازی میکند+عکس
بیوک میرزایی: محبت مردم بزرگترین سرمایه یک هنرمند است
طرح جدید دانشکده مدیریت شریف برای جذب دانشجوی دکتری با مزایای بینظیر
امکان ادامه تحصیل مجدد در پزشکی، دندانپزشکی و داروسازی برای دانشآموختگان فراهم شد
دبیر شورای عالی انقلاب فرهنگی: دستورات لازم برای حضور فعالتر جهاد دانشگاهی صادر میشود
دومین فراخوان تربیت مجاهد فرهنگی توسط نهاد نمایندگی رهبری در دانشگاهها
انویدیا با غولهای فناوری کره جنوبی قرارداد بست
بیوک میرزایی: محبت مردم بزرگترین سرمایه یک هنرمند است
بازیگر معروف ایرانی نقش ترامپ را بازی میکند+عکس
موقوفات چطور به حل مشکلات اقتصادی ورود کردهاند؟
امتحانات دانشگاه علمی کاربردی غیرحضوری شد
تأکید رئیس جهاددانشگاهی بر رفع موانع دیوانسالاری و بازگشت به شورای عالی انقلاب فرهنگی
متن جدید امیرحسین قیاسی در حمایت از ایران و در واکنش به جنگ
آغاز ثبت نام آزمون کاردانی به کارشناسی از ۲۴ خرداد ماه
امام در اصول فقه به «عرف عقلایی» اهمیت میداد
اجماع شورای عالی انقلاب فرهنگی بر تأثیر قطعی سوابق تحصیلی یازدهم و دوازدهم در کنکور ۱۴۰۵
مصوبه افزایش حقوق اعضای هیئت علمی لغو نشده است
تعیین سقف افزایش شهریه دانشگاههای غیردولتی بر اساس نرخ تورم
خبرنگاران ایرانی از دریافت ویزا برای پوشش جام جهانی محروم شدند
تأثیر سوابق پایه یازدهم در کنکور ۱۴۰۵ مثبت شد / ۶ درس نهایی برای کنکور
روایت الگوی خانواده موفق در «زندگی زیباست» رادیو معارف
آخرین حضور و غیاب کودکان شهید میناب با حضور پرویز پرستویی
آیتالله مبلغی: نخستین ثمره استقامت، گشایش راهها و شکستن بنبستهاست
چرا روابط فیلم «تهران کنارت» در سطح ماند؟
هفته بینالمللی قرآن در کربلا افتتاح شد
فعالیت ۳۷ هزار سفیر سلامت دانشآموزی
بازیگر معروف فیلم پدرخوانده ترامپ را ظالم و فاسد خواند
زندگی امام موسی کاظم (ع) تابلویی تمامعیار از مدیریت بحران و کادرسازی دینی است
ولایت فقیه یک هویت تمدنی و تاریخی برای ملت ایران است
راز حذف زمینههای فلسفی «یوگا» در نسخه مدرن
جزئیات احکام انضباطی دانشجویان در ایمیل معاون دانشجویی دانشگاه شریف به اساتید
مهلت دفاع از پایان نامه دستیاران پزشکی تا پایان آذر ۱۴۰۵ تمدید شد
نظراتی که حاوی توهین یا افترا به اشخاص ،قومیت ها ،عقاید دیگران باشد و یا با قوانین کشور وآموزه های دینی مغایرت داشته باشد منتشر نخواهد شد - لطفاً نظرات خود را با حروف فارسی تایپ کنید.