Автор Наука Mail Ученые использовали систему Bridges-2 PSC для обучения инструментов ИИ выявлять пропуски этапов в отчете об исследованииИсточник: Kandinsky Группа исследователей из Иллинойсского университета в Урбане-Шампейн (США) использует возможности искусственного интеллекта для контроля качества научных публикаций. Ключевой проблемой, на решение которой направлены их усилия, является неполнота отчетов о рандомизированных контролируемых испытаниях. Именно такие исследования считаются золотым стандартом для подтверждения эффективности и безопасности новых методов лечения, однако зачастую в них отсутствуют критические детали о планировании и проведении работы. Это не позволяет в полной мере оценить достоверность полученных данных. Как объясняет доцент Халил Кылычоглу, множество проблем связано с публикацией результатов клинических испытаний, где зачастую недостает подробностей о методологии. Справиться с этим гигантским массивом информации человеку практически не под силу. Ежегодно публикуются тысячи статей, и провести их ручной аудит на предмет пропущенных этапов невозможно. Команда Кылычоглу поставила перед собой амбициозную цель — обучить искусственный интеллект автоматически проверять научные статьи на наличие обязательных компонентов, руководствуясь международными стандартами CONSORT и SPIRIT. Рандомизированные контролируемые клинические испытания имеют решающее значение для оценки безопасности и эффективности нового метода леченияИсточник: https://ru.freepik.com Эти стандарты содержат 83 пункта, которые необходимы для полноценного и корректного исследования. Для обучения сложных моделей ИИ, основанных на архитектуре Transformer, ученые использовали суперкомпьютер Bridges-2 из Питтсбургского суперкомпьютерного центра. Мощные графические процессоры этой системы идеально подошли для обработки огромных массивов текстовой информации. В качестве базы для обучения ИИ было взято около 200 статей о клинических испытаниях, опубликованных в период с 2011 по 2022 год. Модели глубокого обучения анализировали тексты, учась находить шаблоны, соответствующие правильным методам отчетности, и отмечать их отсутствие. Первые результаты работы усовершенствованного алгоритма оказались весьма обнадеживающими. Эффективность ИИ оценивалась по метрике F₁, где идеальный показатель равен единице. Лучшим моделям удалось достичь результата в 0.865 на уровне целых статей, что демонстрирует высокую точность в определении соответствия работы требуемым стандартам. Это доказывает, что искусственный интеллект может стать мощным помощником в рутинной, но критически важной работе по проверке научной добросовестности. Ученые планируют улучшить точность алгоритма, расширяя объем данных для его обучения и применяя такие методы, как дистилляция знаний. Этот подход позволит создать упрощенную версию ИИ, которая сможет работать на обычных персональных компьютерах, оставаясь при этом высокоэффективной. Ранее Наука Mail рассказывала , что разработан алгоритм для ускорения развития рекомендательных ИИ. Source: https://science.mail.ru/news/38540-ii-pomogaet-ispravlyat-oshibki-v-klinicheskih-issledovaniyah/