به گزارش ثریا - ویژگی «ترجمه چتجیپیتی»(ChatGPT Translate) که جایگزین شرکت «اوپنایآی»(OpenAI) برای «ترجمه گوگل»(Google Translate) به شمار میرود، به تازگی توسط پژوهشگران هک شده است.
به نقل از یوسی استراتژیز، دو پژوهشگر اخیرا نشان دادند که چتجیپیتی به راحتی محدودیتهای خود را هنگام تزریق یک پرسوجو فراموش میکند. همچنین، آنها دریافتند که چتجیپیتی هیچ مشکلی در ارائه دستور تهیه کوکتل مولوتوف نمیبیند.
با کشف این حفرههای دیجیتال میتوان تعادل پیچیدهای را بین نوآوریهای فناوری و خطرات سوءاستفاده مشاهده کرد.
به محض این که ویژگی جدید چتجیپیتی به صورت عمومی منتشر شد، «تام بارنیا»(Tom Barnea) و «کرن کاتز»(Keren Katz) پژوهشگران امنیت سایبری شرکت «Tenable» تلاش کردند تا ترجمه با چتجیپیتی را تحت فشار قرار دهند. آنها میخواستند بدانند که آیا میتوان چتبات را دستکاری کرد و از مکانیسمهای امنیتی اوپنایآی گذشت. این دو متخصص برای فهمیدن این موضوع، مجموعهای از آزمایشها را انجام دادند.
بارنیا و کاتز به عنوان بخشی از آزمایشها، یک حمله تزریق پرسوجو علیه چتجیپیتی انجام دادند. این نوع حمله شامل جاسازی دستورالعملهای مخرب در پرسوجوی ارسالی به هوش مصنوعی است. سپس هوش مصنوعی دستورالعملها را مورد پردازش قرار میدهد و اگر درخواستهای مهاجمان به درستی فرمولسازی شده باشد، از آنها پیروی میکند. چالش کلی برای مهاجمان این است که هوش مصنوعی را به نادیده گرفتن برنامهنویسی خود مجبور کنند.
کاتز توضیح داد که چتبات به سرعت از مسیر خود منحرف شد. چتبات قرار بود متنی را از انگلیسی به کرهای ترجمه کند، اما کاتز موفق شد آن را دستکاری کند تا جزئیات کامل دستورالعمل ساخت کوکتل مولوتوف را شرح دهد.
کاتز گفت: ویژگی ترجمه چتجیپیتی فقط یک روز است که عرضه شده و در حال حاضر از دستورالعمل ساخت کوکتل مولوتوف تعریف و تمجید میکند. ما از مدل ترجمه خواستیم متن ما را از انگلیسی به کرهای تبدیل کند اما در عوض، از دستورالعملهای موجود در متن پیروی کرد و دستورالعمل ساخت کوکتل مولوتوف را نشان داد.
تزریق سریع در قلب یک چالش منحصربهفرد امنیت سایبری قرار دارد که هوش مصنوعی با آن روبهرو شده است. این روش شامل جاسازی دستورالعملهای گمراهکننده یا مخرب در پرسوجوهای مشروع فرستادهشده به یک مدل هوش مصنوعی است.
اگرچه بیشتر افراد صرفاً به دنبال ترجمه متن هستند، اما افرادی با نیتهای بد ممکن است درخواستهایی را طراحی کنند که این سیستمها را بسیار فراتر از هدف اصلی خود سوق دهد.
اثرات بیثباتکننده اغلب در مدلهای ترجمه تخصصی برجستهتر هستند. این سیستمها به جای این که کاملاً به وظایف ترجمه پایبند باشند، ممکن است از دستورالعملهای پنهان پیروی کنند و خروجیهای غیرمنتظره یا حتی نامناسبی را ارائه دهند.
این سناریو صرفاً یک فرضیه نیست. پژوهشگران امنیتی مواردی را مستند کردهاند که در آنها مدلهای ترجمه اختصاصی سهواً اطلاعات یا توصیههایی را بسیار خارج از کاربرد مورد نظر خود ارائه دادهاند.
مقابله با تزریق سریع نیازمند راهکارهای تطبیقی است که در کنار روشهای جدید حمله تکامل یابند. بررسیهای چندلایه، نظارت مستمر و دادههای آموزشی بهروزرسانیشده، پایه و اساس این کار را تشکیل میدهند، اما توسعهدهندگان باید فراتر بروند. تعبیه روالهای تحلیل پویا که عبارتهای ناآشنا یا تغییرات ناگهانی در هدف را در اواسط عملیات شناسایی میکنند، دفاع را تقویت خواهد کرد.
برخی سازمانها اطلاعات مربوط به حوادث دنیای واقعی را برای ایجاد پلتفرمهای مقاومتر به اشتراک میگذارند. برخی دیگر، مستندسازی شفاف منطق تصمیمگیری را در اولویت قرار میدهند و به کاربران و حسابرسان امکان میدهند که دقیقاً بفهمند یک مدل چگونه نتایج را تولید میکند. آموزش مداوم نیز بسیار مهم است و تضمین میکند که گروهها تلاشهای دستکاری ظریف را به موقع شناسایی کنند و به طور مؤثر به آنها پاسخ دهند.
تزریق سریع، درس مهمی را درباره اعتماد کردن به هوش مصنوعی مدرن و تأیید آن ارائه میدهد. حتی موتورهای ترجمهای که به شدت کنترل میشوند نیز میتوانند قربانی تلههای طراحیشده تخصصی شوند. ذینفعان با تحلیل تلاشهای دستکاری موفق و ناموفق، درباره نقاط ضعف سیستم شفافسازی میکنند و مسیرهایی را برای محافظت قویتر ارائه میدهند.
هر سازمانی که ترجمه هوش مصنوعی را به کار میگیرد باید چند مرحله حیاتی را در نظر بگیرد.
۱. بررسی منظم لاگهای ورودی برای تشخیص موارد غیر معمول یا عجیب از نظر محتوایی؛
۲. استفاده از محیطهای سندباکس برای آزمایش سوءاستفادههای احتمالی پیش از یکپارچهسازی کامل؛
۳. همکاری نزدیک با گروههای امنیت سایبری برای آموزش متقابل درباره بردارهای حمله خاص هوش مصنوعی؛
۴. بهروزرسانی منظم مدلهای ترجمه برای شامل شدن جدیدترین تحقیقات ضد تزریق سریع؛
۵. ترویج گزارش مسئولانه ناهنجاریها توسط کارکنان و کاربران مورد اعتماد.
هر اقدام احتیاطی، قابلیت اطمینان کلی سیستم را افزایش میدهد؛ به ویژه با توجه به این که ترجمه هوش مصنوعی عمیقاً در صنایع گوناگون ریشه دوانده است. دستیابی به مصونیت کامل ممکن است همچنان دور از دسترس باشد؛ اما درک انگیزهها و روشهای پشت تزریق سریع، سازمانها را قادر میسازد تا پیشرو باشند و با آگاهی بیشتر و سازگاری راهبردی به تهدیدات آینده رسیدگی کنند.
منبع : چت جی پی تی
از خرید کابل برق چه میدانید؟ راهنمایی که پیش از هر بازسازی باید بخوانید
اقتدار دفاعی ایران، ایدهای نو در بازیهای رومیزی
۳۵ ثانیه، ۷۲۰ هزار گلوله در لامرد/ جنایتی که روایت نشد
آئین اختتامیه روایت علوی برگزار شد
بازیهای تیم ملی فوتبال ایران در سینماها پخش میشود
معرفی چهار آلبوم موسیقی تازه وارد در فضای مجازی
روایت جواد موگویی از یک جنایت جنگی: حادثه لامرد در سایه روایتهای اشتباه رسانهای گم شد
جزئیات برنامههای محرمی اوقاف در قالب طرح سوگواره بصیرت عاشورایی اعلام شد
دقت در نسبت با خاستگاه علوم انسانی بسیار مهم است
پویش «ایران در پناه قرآن» تا پایان خرداد تمدید شد
برگزاری نمایشگاه معماری حرمین شریفین در مکه مکرمه
حمایت آیت الله رشاد از بازسازی و ساخت مجدد کنیسه آسیب دیده در جنگ
آیا در جنگ هرکاری مجاز است؟ نگاهی به اخلاق در میدان نبرد
تأثیر سوابق پایه یازدهم در کنکور ۱۴۰۵ مثبت شد / ۶ درس نهایی برای کنکور
راز حذف زمینههای فلسفی «یوگا» در نسخه مدرن
آذینبندی و شادیهای عمومی باید به عنوان مدخل معرفت باشد
فرایند محدودیت در اینترنت شفاف میشود؛ ماجرای اینترنت پرو و خط سفید چه بود؟
۷۸ درصد ترافیک اینترنت به حالت قبل و اول دی ماه بازگشت
آغاز ثبت نام آزمون کاردانی به کارشناسی از ۲۴ خرداد ماه
مصوبه افزایش حقوق اعضای هیئت علمی لغو نشده است
تداوم فعالیت علمی دانشگاه شهید بهشتی با وجود آسیب در جنگ
ضیافت نور در آسمان خرداد؛ دیدار دو سیاره منظومه شمسی در آسمان ایران
نسخه جدید چتجیپیتی؛ از تولید عکس تا رزرو سفر در یک پنجره
مهلت دفاع از پایان نامه دستیاران پزشکی تا پایان آذر ۱۴۰۵ تمدید شد
حضوری شدن برخی امتحانات دانشگاه علم و صنعت در مقطع کارشناسی
ایران در جمع ۶ کشور دارای توان ساخت تجهیزات پیشرفته کرایوژنیک
چرا نقش استادان دانشگاه فراتر از کلاس درس است؟
انویدیا با غولهای فناوری کره جنوبی قرارداد بست
هوش مصنوعی زلزله یاب شد
ثبتنام خودکار ۸۵ درصد دانشآموزان ابتدایی در استان سمنان
فعالیت ۳۷ هزار سفیر سلامت دانشآموزی
هفته بینالمللی قرآن در کربلا افتتاح شد
چرا روابط فیلم «تهران کنارت» در سطح ماند؟
ولایت فقیه یک هویت تمدنی و تاریخی برای ملت ایران است
تأکید رئیس جهاددانشگاهی بر رفع موانع دیوانسالاری و بازگشت به شورای عالی انقلاب فرهنگی
دبیر شورای عالی انقلاب فرهنگی: دستورات لازم برای حضور فعالتر جهاد دانشگاهی صادر میشود
دومین فراخوان تربیت مجاهد فرهنگی توسط نهاد نمایندگی رهبری در دانشگاهها
دستگاههای اجرایی ملزم به استفاده از پیامرسانهای بومی شدند
طرح جدید دانشکده مدیریت شریف برای جذب دانشجوی دکتری با مزایای بینظیر
پیش ثبتنام الکامپ ۲۹ آغاز شد
امکان ادامه تحصیل مجدد در پزشکی، دندانپزشکی و داروسازی برای دانشآموختگان فراهم شد
اجماع شورای عالی انقلاب فرهنگی بر تأثیر قطعی سوابق تحصیلی یازدهم و دوازدهم در کنکور ۱۴۰۵
جزئیات احکام انضباطی دانشجویان در ایمیل معاون دانشجویی دانشگاه شریف به اساتید
امتحانات دانشگاه علمی کاربردی غیرحضوری شد
امام در اصول فقه به «عرف عقلایی» اهمیت میداد
خبرنگاران ایرانی از دریافت ویزا برای پوشش جام جهانی محروم شدند
موقوفات چطور به حل مشکلات اقتصادی ورود کردهاند؟
زندگی امام موسی کاظم (ع) تابلویی تمامعیار از مدیریت بحران و کادرسازی دینی است
بازیگر معروف ایرانی نقش ترامپ را بازی میکند+عکس
بیوک میرزایی: محبت مردم بزرگترین سرمایه یک هنرمند است
متن جدید امیرحسین قیاسی در حمایت از ایران و در واکنش به جنگ
آیتالله مبلغی: نخستین ثمره استقامت، گشایش راهها و شکستن بنبستهاست
ثبت نام ۲ هزار هیئت جدید در سامانه عطر سیب/ رویکرد نمایشگاه امسال خانواده محور است
خدمترسانی موکب ها به زائران عید غدیر در نجف اشرف
روایتی از بزرگترین وقف درمانی تهران در کتاب «میراث فرمانفرما»
آخرین حضور و غیاب کودکان شهید میناب با حضور پرویز پرستویی
بازیگر معروف فیلم پدرخوانده ترامپ را ظالم و فاسد خواند
روایت الگوی خانواده موفق در «زندگی زیباست» رادیو معارف
آنچه سیاهچالهای عباسی درباره امام کاظم(ع) پنهان نکردند
چرا روایت ماکان نصیری از صدها گزارش خبری اثرگذارتر شد؟
کتاب صمود روایتی از دردی که از دور فهمیده نمیشود
امکان ارسال مستقیم جستجو به هوش مصنوعی در گوگل فراهم میشود
ترس اروپا از خاموشی دیجیتال شدت گرفت
قائم مقام دبیر شورای عالی انقلاب فرهنگی منصوب شد
حمایت جدی دانشگاه آزاد از دانشجویان دکتری؛ دستورالعمل پژوهشی نیمسال ۱۴۰۴۲ آمد
خط فارسی، مرجعیت علمی ایران را منطقهای میکند
وزارت آموزش و پرورش اعلام برنامه امتحانات نهایی را تکذیب کرد
رویکرد تحولی سمپاد از تربیت دانشآموز موفق به سوی پرورش انسان اثرگذار
هوش مصنوعی افکار رئیس جمهور چین را ترویج میکند
شورای عالی انقلاب فرهنگی: تغییری در تأثیر قطعی معدل کنکور امسال نداریم
تعلل دولت در اجرای طرح ترمیم حقوق، شکاف بیاعتمادی را گسترش داد
نمایهشدن سه مجله دانشگاه تهران در کتابخانه دیجیتال آلمان
مصاحبه دکتری دانشگاه علامه طباطبائی از فردا آغاز میشود
یک روز جابجایی در برنامه امتحانات دانشگاه صنعتی شریف
اقتباسی عروسکی از رمان «اسب جنگی» به روی صحنه رفت
مساله وطن در صدای علیرضا قربانی و نجابتِ اندوه در آهنگ جدید او
بزرگترین وداع قرن برای امام امت/ بدرقهای به وسعت ایران
جناب خان و هومن به آنتن تلویزیون برگشتند
کتاب برای رهبر شهید ابزار ساخت انسان و جامعه بود
پیکر آیتالله العظمی محمد اسحاق فیاض در کاظمین و کربلا تشییع شد
حمایت از ۳۵۰ استاد برای هدایت تحقیقات
امکان ادامه تحصیل مجدد در پزشکی، دندانپزشکی و داروسازی برای دانشآموختگان فراهم شد
تاثیر معدل در کنکور به دلیل غیبت شما هنوز بررسی نشده است
جزئیات آزمون مرحله غیرمتمرکز سی و یکمین المپیاد علمی دانشجویی اعلام شد
آغاز کلاسهای حضوری دانشگاه صنعتی شریف از ۲۳ خرداد
جزئیات ثبت نام آزمون دستیاری دندانپزشکی را اینجا بخوانید
بررسی وضعیت اشتغال بیش از ۴۰۹ هزار دانشآموخته/ علوم پزشکی در صدر اشتغال
غدیر؛ واقعهای فراتر از تاریخ با ابعاد کلامی و تمدنی
مداح بحرینی سلب تابعیت شده به ایران میآید
آیتالله فیاض رحلت کرد/ مرجعی که آیتالله خویی او را نور چشمش می دانست
تنگه هرمز را بیشتر بشناسید
حقوق اساتید چه نیازهایی را برآورده میکند؟
مرور آثاری که با موضوع غدیر خلق شدند
بیوک میرزایی: محبت مردم بزرگترین سرمایه یک هنرمند است
حمایت جدی دانشگاه آزاد از دانشجویان دکتری؛ دستورالعمل پژوهشی نیمسال ۱۴۰۴۲ آمد
کتاب صمود روایتی از دردی که از دور فهمیده نمیشود
حجتالاسلام محمد قمی: نهضت خمینی همچنان ادامه دارد
هوش مصنوعی افکار رئیس جمهور چین را ترویج میکند
ترس اروپا از خاموشی دیجیتال شدت گرفت
طرح جدید دانشکده مدیریت شریف برای جذب دانشجوی دکتری با مزایای بینظیر
سیمای فراتاریخی «قهرمان مردم» در لایههای هنر، عرفان و ادبیات
امکان ارسال مستقیم جستجو به هوش مصنوعی در گوگل فراهم میشود
دبیر شورای عالی انقلاب فرهنگی: دستورات لازم برای حضور فعالتر جهاد دانشگاهی صادر میشود
غدیرخم تبیینگر مدل حکمرانی الهی و الگوی زیست مؤمنانه است
اجماع اولیه فرو ریخت/ خبرگان بر روی رهبر شهید به توافق نرسیدند
بزرگترین وداع قرن برای امام امت/ بدرقهای به وسعت ایران
شورای عالی انقلاب فرهنگی: تغییری در تأثیر قطعی معدل کنکور امسال نداریم
قائم مقام دبیر شورای عالی انقلاب فرهنگی منصوب شد
دومین فراخوان تربیت مجاهد فرهنگی توسط نهاد نمایندگی رهبری در دانشگاهها
غدیر برای کودک نیازمند تخیل است
نظراتی که حاوی توهین یا افترا به اشخاص ،قومیت ها ،عقاید دیگران باشد و یا با قوانین کشور وآموزه های دینی مغایرت داشته باشد منتشر نخواهد شد - لطفاً نظرات خود را با حروف فارسی تایپ کنید.