به گزارش ثریا - به نقل از اینترستینگانجینیرینگ، محققان دانشگاه ایالتی پن اپلیکیشن جدیدی به نام NaviSense معرفی کردهاند که با استفاده از هوش مصنوعی، به افراد کمبینا یا نابینا کمک میکند تا اشیای روزمره را بسیار سریعتر پیدا کنند. این سیستم با استفاده از مدلهای بزرگ زبانی (LLM) و مدلهای بینایی ـ زبان (VLM) بدون نیاز به دیتابیس ثابت، اشیای محیط را در زمان واقعی شناسایی کرده و از طریق راهنمایی صوتی و لرزشی کاربر را به سوی آنها هدایت میکند.
این اپ مبتنی بر گوشی هوشمند است و به کاربران راهنمایی میدهد تا اشیایی را که میخواهند پیدا کنند، با استفاده از فرمانهای صوتی شناسایی کند. سیستم، محیط را اسکن کرده و بدون اتکا به پایگاه داده از پیش بارگذاری شده، اشیای مورد نظر را تشخیص میدهد.
به گفته «ویجایکریشن نارایانان»، محقق، یکی از مشکلات ابزارهای فعلی کمککننده به نابینایان این است که مدل اشیاء را باید پیشبارگذاری کرد که این محدودیت زیادی در انعطافپذیری ایجاد میکند. برای غلبه بر این محدودیت، تیم تحقیقاتی NaviSense را طوری طراحی کرده است که به سروری متصل شود که مدلهای LLM و VLM را اجرا میکند. بدین ترتیب اپ میتواند دستورات گفتاری کاربر را بفهمد، محیط را اسکن کند و اهداف را در لحظه تشخیص دهد.
تیم توسعهدهنده با همکاری افراد نابینا یا کمبینا، پیش از ساخت اپ با آنها مصاحبه کردهاند تا نیازهای واقعی را شناسایی کنند. وقتی سیستم نیاز به توضیح بیشتر داشته باشد، سؤال کمکی میپرسد تا دقت تشخیص را افزایش دهد؛ این مکالمهمحور بودن باعث انعطاف بیشتر شده است.
یکی از قابلیتهای برجسته NaviSense، هدایت دست کاربر است: اپ با دنبال کردن حرکت گوشی، موقعیت دست را ردیابی میکند و سپس با نشانگرهای صوتی و لرزشی به کاربر میگوید که دست خود را دقیقاً به کدام سمت ببرد تا به شیء برسد.
در آزمایش اولیه با ۱۲ شرکتکننده در یک محیط کنترلشده، NaviSense با دو گزینه تجاری موجود مقایسه شد. نتایج نشان داد که زمان پیدا کردن اشیا کاهش یافته و دقت شناسایی بیشتر شده است. شرکتکنندگان تجربه کلی بهتری را گزارش دادند.
منبع : نابینایان