به گزارش ثریا -  این رویکرد می‌تواند برای کمک به مقابله با افزایش آنچه نویسندگان آن را «مجلات دسترسی آزاد مشکوک» می‌نامند، مورد استفاده قرار گیرد؛مجلاتی که برای انتشار مقالات بدون انجام بررسی دقیق همتا یا بررسی کیفیت، هزینه دریافت می‌کنند.

به نقل از نیچر، هیچ یک از مجلات علامت‌گذاری شده توسط این ابزار پیش از این در هیچ نوع فهرست نظارتی قرار نداشته‌اند و برخی از عناوین متعلق به ناشران بزرگ و معتبر هستند. این مجلات در مجموع صدها هزار مقاله تحقیقاتی منتشر کرده‌اند که میلیون‌ها استناد دریافت کرده‌اند.

جنیفر بیرن (Jennifer Byrne)، بازرس صداقت در پژوهش و محقق سرطان در دانشگاه سیدنی استرالیا، می‌گوید: این مطالعه نشان می‌دهد که گروهی کامل از مجلات مشکل‌دار در معرض دید عموم وجود دارند که ظاهرا به عنوان مجلات معتبری عمل می‌کنند که واقعا شایسته این صلاحیت نیستند.

دانیل آکنا (Daniel Acuña)، دانشمند رایانه در دانشگاه کلرادو بولدر و از نویسندگان این مطالعه، می‌گوید: این ابزار به صورت آنلاین در نسخه بتای بسته در دسترس است و سازمان‌هایی که مجلات را فهرست می‌کنند یا ناشران می‌توانند از آن برای بررسی نمونه کارهای خود استفاده کنند. اما او می‌افزاید که هوش مصنوعی گاهی اوقات اشتباه می‌کند و این ابزار برای جایگزینی ارزیابی‌های دقیق مجلات و نشریات انفرادی که ممکن است منجر به حذف مقاله از فهرست شود، طراحی نشده است. او می‌گوید: یک متخصص انسانی باید قبل از هرگونه اقدامی بخشی از فرآیند بررسی باشد.

غربالگری مجلات

این ابزار هوش مصنوعی می‌تواند حجم زیادی از اطلاعات را از وب‌سایت‌های مجلات و مقالاتی که منتشر می‌کنند، تجزیه و تحلیل کند و به دنبال نشانه‌های خطر مانند زمان کوتاه برای انتشار مقالات و میزان بالای خوداستنادی بگردد. همچنین ارزیابی می‌کند که آیا اعضای هیئت تحریریه یک مجله به مؤسسات تحقیقاتی شناخته‌شده و معتبر وابسته هستند یا خیر و میزان شفافیت انتشارات در مورد مجوزها و هزینه‌ها را بررسی می‌کند. چندین معیار مورد استفاده برای آموزش این ابزار از راهنمایی‌های بهترین شیوه تهیه شده توسط فهرست راهنمای مجلات دسترسی آزاد (DOAJ) برداشته شده است؛ فهرستی از مجلات دسترسی آزاد که توسط بنیاد غیرانتفاعی فهرست راهنمای مجلات دسترسی آزاد در روسکیلد، دانمارک اداره می‌شود.

سنیو شن (Cenyu Shen)، معاون کیفیت ویراستاری فهرست راهنمای مجلات دسترسی آزاد که در هلسینکی مستقر است، می‌گوید که تعداد مجلات مشکل‌ساز در حال افزایش است و روش‌های آنها پیچیده‌تر می‌شود. او می‌افزاید: ما موارد بیشتری را مشاهده می‌کنیم که ناشران مشکوک، مجلات قانونی یا کارخانه‌های کاغذسازی مجلات را برای انتشار آثار بی‌کیفیت خریداری می‌کنند.

بررسی‌های کیفی خود فهرست راهنمای مجلات دسترسی آزاد در مورد مجلات عمدتا به صورت دستی انجام می‌شود و تنها پس از دریافت شکایات آغاز می‌شود. در سال ۲۰۲۴، این فهرست ۴۷۳ مجله را بررسی کرد که در مقایسه با سال ۲۰۲۱، ۴۰ درصد افزایش داشته است. شن می‌گوید: زمانی که گروه ما صرف این تحقیقات کرد نیز تقریبا ۳۰ درصد افزایش یافت و به ۸۳۷ ساعت رسید.

آکنیا می‌گوید ابزارهای هوش مصنوعی می‌توانند به تسریع برخی از این ارزیابی‌ها کمک کنند. او و همکارانش مدل خود را بر روی ۱۲۸۶۹ مجله که در حال حاضر در فهرست راهنمای مجلات دسترسی آزاد به عنوان معتبر فهرست شده‌اند و همچنین ۲۵۳۶ مجله‌ای که این فهرست به عنوان ناقض استانداردهای کیفی خود علامت‌گذاری کرده بود، آموزش دادند.

وقتی محققان از هوش مصنوعی خواستند ۱۵۱۹۱ مجله دسترسی آزاد فهرست شده در پایگاه داده عمومی Unpaywall را ارزیابی کند، ۱۴۳۷ مجله را مشکوک تشخیص داد. این گروه تخمین زد که حدود ۳۴۵ مورد از این مجلات به اشتباه علامت‌گذاری شده‌اند: آنها شامل عناوین، مجموعه کتاب‌ها و مجلات متوقف شده از ناشران کوچک و جامعه دانش‌آموز بودند. محققان همچنین دریافتند که این ابزار بر اساس تخمین نرخ خطا، نتوانسته است ۱۷۸۲ مجله مشکوک دیگر را علامت‌گذاری کند.

این گروه همچنین عملکرد ابزار را تحت دو سطح سخت‌گیری آزمایش کرد. وقتی روی سهل‌گیرانه‌ترین تنظیمات تنظیم شد، ۸۸۰۰ مجله را علامت‌گذاری کرد که کمتر از ۱۵۰ عنوان مشکل‌دار را از قلم انداخت، اما ۶۱۰۰ عنوان را به اشتباه علامت‌گذاری کرد. در تنظیمات سخت‌گیرانه‌تر که خطر چنین هشدارهای کاذبی را به حداقل می‌رساند فقط حدود ۲۴۰ مجله را علامت‌گذاری کرد، اما ۲۶۰۰ مجله مشکل‌دار شناسایی نشدند. بیرن می‌گوید انعطاف‌پذیری تنظیم ابزار یک «ویژگی جذاب» است.

نگرانی از سوگیری

نویسندگان می‌گویند که ابزار آنها هنوز نسخه اولیه است و امیدوارند آن را بیشتر اصلاح کنند. شن می‌گوید گذشته از نگرانی‌ها در مورد دقت، بررسی‌های خودکار ممکن است به ضرر مجلات غیرانگلیسی‌زبان باشد و رتبه‌بندی سردبیران بر اساس وابستگی سازمانی ممکن است سردبیران مؤسسات کم‌بودجه‌تر یا کشورهای در حال توسعه را کم‌ارزش جلوه دهد.

چالش اصلی در انتخاب ویژگی‌هایی است که هوش مصنوعی بتواند به طور قابل اعتماد و بدون سوگیری اندازه‌گیری کند و درک میزان دقت این ویژگی‌ها هنگام ترکیب در یک مدل پیش‌بینی‌کننده اهمیت دارد.

با این حال، چنین ابزارهایی می‌توانند به ارزیابان کمک کنند تا با حجم عظیم مجلاتی که نیاز به بررسی دقیق دارند، مقابله کنند. شن می‌گوید: تضمین یکپارچگی انتشار با دسترسی آزاد در نهایت نیازمند نظارت انسانی و ارزیابی دقیق و مبتنی بر شواهد است. اما او می‌افزاید: اگر دقت بهبود یابد، هوش مصنوعی مطمئنا می‌تواند نقش حمایتی مفیدی ایفا کند و به ما در مدیریت مقیاس و کاهش ماهیت کار محور بررسی‌ها کمک کند.

منبع : مجلات علمی