Сайт arXiv оголосив, що дослідники, які підписалися під статтями з помилками, створеними штучним інтелектом (AI), отримають річну заборону та подальші обмеження.

Цей крок є відповіддю на зростаючу кількість AI-генерованих статей, з якими стикаються наукові журнали, а також сайти, такі як arXiv, які служать неофіційними платформами для публікації досліджень перед рецензуванням.

Однак не всі погоджуються з тим, що відповідь arXiv на цю проблему є доречною – і рішення щодо потоку AI-генерованих досліджень може включати більше AI, а не менше.

Зростання написання за допомогою ботів

Текст, згенерований AI, зростає скрізь. Дослідження, опубліковане минулого тижня, показує, що половина нових статей, опублікованих онлайн, тепер "переважно AI-генеровані".

Наука не є винятком з цієї тенденції.

Минулого місяця журнал Organization Science опублікував дослідження про те, як зростання AI вплинуло на подачу статей та рецензії з моменту випуску ChatGPT у 2022 році.

Автори повідомляють про різке зростання поданих статей і зниження якості, і роблять висновок, що "поточний стан AI-інструментів, підсилений існуючими інтересами до публікацій, здається, штовхає систему до рівноваги більшої, а не кращої наукової роботи".

Звичайною проблемою в написанні досліджень, згенерованих AI, є галюциновані цитати: посилання на інші дослідження, які не існують.

Традиційним запобіжником проти поганої якості в науковій публікації є рецензування: інший експерт у цій темі читає наукову статтю та перевіряє роботу, що стоїть за нею, перед її публікацією.

Однак система рецензування вже страждала до появи AI. Дослідники, під тиском, часто мають мало часу або стимулів для виконання неоплачуваної роботи рецензування.

На arXiv, який публікує препринти – статті, які найчастіше не були рецензовані, навіть ця система недоступна. Минулого року, переповнений AI-генерованими поданнями, сайт перестав приймати певні типи статей.

Дослідження, опубліковане в січні, оцінювало, що близько 1 з 8 статей у біомедичних науках тепер містять текст, згенерований AI.

Більшість дослідників погоджуються, що текст, згенерований AI, не є проблемою сам по собі. Проблема полягає в нижчій якості роботи, яку AI може легко виробляти.

Чи відповідає покарання злочину?

Оголошення ArXiv не виступає проти використання AI, але говорить: "Якщо подання містить незаперечні докази того, що автори не перевірили результати генерації LLM, це означає, що ми не можемо довіряти нічому в статті".

Це може бути правдою, наскільки це стосується. Але покарання – річна заборона для всіх авторів, зазначених у статті – може бути невідповідним сучасним практикам досліджень.

Раніше дослідження часто проводилися людьми, які працювали самостійно або в групах з двох або трьох. У таких обставинах, здається, розумно очікувати, що кожен автор несе відповідальність за все.

Але дослідження тепер більш колаборативні, ніж будь-коли.

Багато статей мають чотирьох або п'яти авторів, а в зростаючій кількості екстремальних випадків статті можуть бути зараховані до груп, що складаються з сотень вчених, які працюють разом, кожен з яких працює над своєю спеціальністю та довіряє своїм колегам робити те ж саме.

У випадку, коли один автор з десятків або сотень включив AI-галюциноване посилання у свою частину статті, заборона для всіх здається жорсткою.

І немає еквівалентних санкцій за публікацію іншого проблемного матеріалу. Немає заборони на просування крайніх або дискредитованих теорій, або використання низькоякісних доказів та нелогічних аргументів, наприклад.

Чи може AI допомогти боротися з "сміттям"?

Зростання AI створює проблеми для видавців і контролю якості. Ідея деяких санкцій за безвідповідальне використання AI, такі як включення галюцинованих посилань, є хорошою.

Але конкретний вибір ArXiv здається різким. Якщо мета полягає в покращенні рецензування та контролю якості, самі системи AI можуть зіграти роль.

Сучасні системи AI здатні взяти список посилань і перевірити все на ньому, чи є це справжньою статтею, доступною в Інтернеті. Будь-які посилання, які вважаються підозрілими, можуть бути перевірені людиною.

AI може навіть бути корисним для швидкої перевірки таких речей, як статистичний аналіз статті.

Можливо, це шлях вперед, а не жорсткі санкції за відносно незначні порушення, пов'язані з AI.

Цікавий факт

Згідно з дослідженнями, AI-генеровані тексти можуть містити до 30% помилок, які не можуть бути виявлені без детального аналізу.