Международная группа ученых требует, чтобы научные журналы требовали большей прозрачности от исследователей в компьютерных областях при принятии их отчетов к публикации.
Они также хотят, чтобы компьютерные исследователи включали информацию о своем коде, моделях и вычислительной среде в опубликованные отчеты.
Их призыв, опубликованный в октябре в журнале Nature, был ответом на результаты исследования, проведенного Google Health и опубликованные в журнале Nature в январе прошлого года.
В исследовании утверждалось, что система искусственного интеллекта была быстрее и точнее при скрининге на рак груди, чем человеческие радиологи.
Google финансировал исследование, проведенное ученым Google Скоттом МакКинни и другими сотрудниками Google.
Содержание статьи
Критика исследования Google
«В своем исследовании МакКинни и др. Показали высокий потенциал искусственного интеллекта для выявления рака груди», международная группа ученых, возглавляемая Бенджамином Хайбе- Кайнс из Университета Торонто заявил
.
«Однако отсутствие подробных методов и компьютерного кода подрывает его научную ценность. Этот недостаток ограничивает доказательства, необходимые другим для перспективной проверки и клинического применения таких технологий».
Научный прогресс зависит от способности Независимые исследователи должны тщательно изучить результаты исследования, воспроизвести его основные результаты, используя его материалы, и использовать их в будущих исследованиях, заявили ученые со ссылкой на политику журнала Nature
.
МакКинни и его соавторы заявили, что выпустить код, используемый для обучения моделей, невозможно, поскольку он имеет большое количество зависимостей от внутренних инструментов, инфраструктуры и оборудования, отметила группа Хайбе-Кейнса.
Однако существует множество фреймворков и платформ, чтобы сделать исследования ИИ более прозрачными и воспроизводимыми, говорится в сообщении группы. К ним относятся Bitbucket и Github; менеджеры пакетов, включая Conda; и системы контейнеров и виртуализации, такие как Code Ocean и Gigantum.
Аль показывает большие перспективы для использования в области медицины, но «К сожалению, биомедицинская литература изобилует исследованиями, которые не прошли проверку на воспроизводимость, и многие из них могут быть связаны с методологиями и экспериментальной практикой, которые не могут быть расследуется из-за неспособности полностью раскрыть программное обеспечение и данные ", — заявила группа Хайбе-Каинса
Google не ответил на наш запрос о комментарии к этой истории.
Патенты поданы?
У компаний могут быть серьезные коммерческие причины не раскрывать полную информацию о своих исследованиях в области ИИ.
«Это исследование также считается конфиденциальным при разработке технологий», — сказал TechNewsWorld Джим МакГрегор, главный аналитик Tirias Research. «Следует ли технологическим компаниям быть вынужденными отдавать технологии, на разработку которых они потратили миллиарды долларов?»
То, что исследователи делают с ИИ, «феноменально и ведет к технологическим прорывам, некоторые из которых будут под защитой патентов ", — сказал МакГрегор. «Таким образом, не вся информация будет доступна для тестирования, но то, что вы не можете ее проверить, не означает, что она неверна или верна».
Группа Хайбе-Каинса рекомендовала, чтобы , если данные не могут быть переданы всему научному сообществу из-за лицензирования или других непреодолимых проблем, «как минимум должен быть установлен механизм, чтобы некоторые высококвалифицированные независимые исследователи могли получить доступ к данным и проверить результаты анализа».
Driven on Hype
Проверяемость и воспроизводимость мешают результатам исследований ИИ в целом. Согласно отчету State of AI Report 2020, подготовленному инвесторами в области ИИ Натаном Бенаичем и Яном Хогартом
только 15 процентов исследовательских работ по ИИ публикуют свой код.
Они особо выделяют дочернюю компанию Google в области искусственного интеллекта и лабораторию DeepMind, а также компанию OpenAI, занимающуюся исследованиями и разработками в области искусственного интеллекта, как виновников.
«Многие проблемы в научных исследованиях вызваны растущей шумихой вокруг них, [which] необходим для получения финансирования», — сказал TechNewsWorld доктор Джеффри Функ, консультант по экономике и бизнесу из Сингапура.
«Эта шумиха и ее преувеличенные заявления подпитывают потребность в результатах, соответствующих этим утверждениям, и, следовательно, терпимость к исследованиям, которые невозможно воспроизвести».
Ученым и финансирующим агентствам придется «набрать обороты. На шумихе "добиться большей воспроизводимости", — заметил Функ. Однако это «может сократить объем финансирования ИИ и других технологий, объем финансирования резко увеличился, потому что законодатели были убеждены, что к 2030 году ИИ принесет 15 триллионов долларов экономической выгоды». 
