При ковиде нередко делают компьютерную томографию (получение изображения внутренней структуры объекта) грудной клеточки, а докторам приходится растрачивать время на анализ снимков. Потому что один снимок — это сотки срезов, а на одном срезе огромное количество фрагментов, которые нужно пристально разглядеть, времени на это может пригодиться много. С помощью искусственного ума работу доктора можно облегчить, но для этого нужно решить ряд инженерных задач. О том, как Сбер решал их при разработке спец инструмента, нам поведали Манвел Аветисян и Владимир Кох.
В конце сентября свершилась большая презентация, вызвавшая ажиотаж: Cбер — это уже не просто банк, а большая экосистема, и занимаются его работники далековато не лишь финансовыми операциями. Не так давно команда исследователей и инженеров Сбера разработала инструмент, способный автоматом выявлять процент поражения лёгких при COVID-19 и тем облегчать работу врачам-рентгенологам.
Манвел и Владимир работают в отдельной структуре снутри центрального аппарата Сбера — Лаборатории по искусственному уму, где занимаются исследованием способностей внедрения современных способов к решению разных задач, стоящих перед банком. Владимир — тимлид мед направления разработок, а Манвел сделал это направление и управлял им 1-ые годы, а на данный момент передал его Владимиру и занимается новенькими многообещающими направлениями, о которых мы тоже поведаем. Когда мир «накрыло» ковидом, они в одной команде работали над разработкой вспомогательного инструмента для рентгенологов.
Лаборатория по ИИ занимается разработкой новейших технологий. Её коллектив публикует научные статьи в открытом доступе (их можно скачать на NСBI) и выступает на конференциях. Продукты, связанные с ковидом, — не единственная ветвь разработок Лаборатории, работа идёт по почти всем фронтам.
Когда исследование размещено, на его базе делают продукт. Для этого в рамках экосистемы есть компания «СберМедИИ», направленная на развитие и продвижение этих сервисов в системе здравоохранения. Причём если обычно сервисы, выпускаемые «СберМедИИ», коммерческие, в случае с ковидом, во время пандемии, продукт распространяется безвозмездно.
«Вопросец не стоял о деньгах. Необходимо было посодействовать докторам и здравоохранению совладать с не малым наплывом пациентов. А для этого — улучшить работу докторов, как это может быть. Принципиально было иметь некоторую систему, которая помогала бы докторам работать эффективнее», — комментируют создатели.
Что стоит за процедурой компьютерной томографии (Томография др.-греч. — сечение — получение послойного изображения внутренней структуры объекта)?
У врачей-рентгенологов и в обыкновенной практике большой поток пациентов, а во время эпидемии COVID-19 компьютерную томографию (получение изображения внутренней структуры объекта) грудной клеточки приходится созодать в особенности нередко — и при госпитализации нездоровых, и в рамках оценки динамики по ходу исцеления. Повторная компьютерная томография (получение послойного изображения внутренней структуры объекта) проводится, в зависимости от состояния пациента, через 3—5 дней. Всё это осложняется тем, что количество опытнейших врачей-рентгенологов миниатюризируется, потому что они заболевают и выбывают из процесса. А опосля самой процедуры снимок ещё необходимо интерпретировать. И вот здесь технологии могут придти докторам на помощь.
Искусственный ум в особенности неплох в задачках систематизации мед данных, хотя употребляется и на остальных фронтах борьбы с ковидом. В программке от Сбера ИИ также применялся к задачке систематизации, в данном случае он помогал помещать снимок компьютерной томографии (Томография др.-греч. — сечение — получение послойного изображения внутренней структуры объекта) в одну из категорий согласно степени поражения лёгких: до 25%, от 25 до 50%, от 50 до 75% и от 75 до 100%. Это четыре класса тяжести поражения, обычно выделяемые в медицинской практике. Благодаря такому инструменту докторы могут резвее выявлять нездоровых с огромным очагом поражения и осознавать, кого необходимо срочно госпитализировать, а кому лучше будет пока отлежаться дома. Это принципиально, потому что стремительная приоритизация пациентов может спасти жизнь не одному человеку.
«Задачка оценки толики поражения лёгкого на самом деле нетривиальна для человека. В лёгком — объёмном органе неверной формы — необходимо найти, где размещены участки поражения и какую долю от всего объёма они занимают. В почти всех клиниках для этого нет специализированных инструментов, и докторы это определяют на глаз», — комментируют Манвел и Владимир.
Компьютерная томография (получение послойного изображения внутренней структуры объекта) «нарезает» человеческое тело на так именуемые аксиальные срезы определённой толщины, которая задаётся на томографе. Обычно, для исследования грудной клеточки употребляется толщина около 1 мм — от 0,5 мм до 2,5 мм. На выходе выходит набор двухмерных изображений (срезов) определённой части человеческого тела. В одном снимке КТ (Компьютерная томография — метод неразрушающего послойного исследования внутренней структуры объекта) грудной клеточки содержится от 300 до 800 двухмерных картинок. Сами срезы снимаются аппаратом по одной оси, а далее идёт реконструкция с помощью алгоритмов.
Обычные средства почти всех рабочих станций врача-рентгенолога могут строить 3D-модели, но они неудобны для докторов: по ним трудно осознать, где локализовано поражение и какой процент объёма оно занимает. Докторы, обычно, употребляют не 3D-модели, а так именуемую мультипланарную реконструкцию. Это отображение на одном экране трёх ортогональных проекций (сечений) — горизонтальной, передней и сагиттальной. Докторы просматривают изображения поначалу по одной оси, позже по 2-ой и по третьей. Потому что срезов много, докторы стараются просмотреть их стремительно.
Неувязка в том, что когда докторы на глаз оценивают долю поражения, то выходит весьма высочайшая вариативность: кому-то кажется, что граница толики поражения чуток выше, кому-то — чуток ниже, что поражение больше либо меньше по размеру. А искусственный ум дозволяет объективизировать эту метрику и отдать наиболее резвый и высококачественный итог.
Как автоматом отличить патологию на снимках?
Для разработки настоящего инструмента инженеры решали две задачки: выделения на картинке КТ (Компьютерная томография — метод неразрушающего послойного исследования внутренней структуры объекта) пикселей, относящихся к толикам лёгких, а также выявления из их тех, которые относятся к патологии — изменению лёгких по типу матового стекла, либо «консолидации». Лишь имея оба этих показателя — объём лёгкого как органа и объём патологии, может быть оценить процент поражения.
Команда Лаборатории начала работать ещё в апреле. Для обучения нейросетевой модели создатели употребляли порядка 100 анонимизированных исследовательских работ (это порядка 60 000 срезов КТ (Компьютерная томография — метод неразрушающего послойного исследования внутренней структуры объекта)) с соответствующими для ковида рентгенологическими заключениями и положительными ПЦР-тестами. Любой срез был размечен медиками, на нём была выделена область поражения. Не считая того использовалась аугментация данных. Это когда рисунки из обучающей подборки случайным образом изменяются для того, чтоб искусственно прирастить объём обучающей подборки для нейросети. По-простому, это композиция растяжений, сжатий, поворотов и сдвигов. Это обычно делается для того, чтоб помешать нейросети просто уяснить рисунки из обучающей подборки и вынудить её выучивать конкретно паттерны.
Изюминка применённых нейросетей в том, что они предвещают для каждой точки, есть в ней поражение либо нет. Любой пиксель всякого среза является обучающим примером для нейросети. Потому что в любом исследовании — порядка 500 срезов, а любой из их — это 25 000 точек, обучающая подборка включала наиболее 100 миллионов примеров.
«С перспективы компьютерного зрения задачка оказалась не весьма сложной. Модель была неплохой, стремительно научилась определять поражение на относительно маленьком объёме данных», — ведает Манвел.
Использованная нейросетевая модель основывается на архитектуре U-Net. По меркам глубочайшего обучения она уже считается «старой»: её предложили в 2016 году, но у неё есть улучшения. Если поглядеть публикации на главной страничке конференции по анализу мед изображений, которая именуется MIDL (Medical Imaging with Deep Learning), то там большая часть работ ориентировано на то либо другое эволюционное улучшение архитектуры U-Net. Манвел и Владимир употребляли одно из таковых улучшений.
«Пока U-Net остаётся золотым эталоном в анализе мед изображений. Изучат и остальные архитектуры, но широкого внедрения они пока не получили. В случае ковида у нас не было времени на опыты и на то, чтоб биться за толики процентов точности. Нам необходимо было очень стремительно выдать итог», — комментируют инженеры.
Потому и было принято решение применять U-Net. Основная мысль данной для нас нейросети в том, что она анализирует начальные изображения в различных масштабах и это дозволяет свёрточным слоям «глядеть» на участки рисунки, которые вырастают в геометрической прогрессии по мере роста глубины нейросети. U-Net работает так: поначалу запускается свёртка в том же масштабе, что и на изображении. Любая свёртка «глядит» на небольшой квадратик 3×3 пикселя. Позже происходит уменьшение масштаба в дважды, позже ещё в два, и выходит, что любая последующая свертка глядит на область 3×3 пикселя, но за этими пикселями стоят части изображения, уменьшенные в пару раз. Другими словами, поначалу рассматриваются поля 6×6, позже 12×12, позже 24×24 пикселя, и так дальше. Это дозволяет нейросети «глядеть» на картину во всё наиболее широком масштабе.
U-Net легла в базу трёх ансамблей нейросетей. Ансамбль — это набор схожих по архитектуре, но различных нейросетей, которые работают параллельно и делают одну и ту же задачку. Но из-за того, что они обучены по-разному, на различных подмножествах данных, и у их различные веса, у их, соответственно, выходные пророчества разнятся. В итоге вышла мощная сеть из ансамблей — ансамбль ансамблей свёрточных нейросетей, изготовленных по виду и подобию U-Net.
Манвел ведает:
«Это как как будто 1-го пациента анализирует не один доктор, а 10. Мы практически создаём таковой обсуждение, и по каждой точке, любому пикселю КТ (Компьютерная томография — метод неразрушающего послойного исследования внутренней структуры объекта) наши нейросети выдают личное пророчество. Позже мы избираем такое, какое мы считаем правильным, просто по большинству «голосов» (нейросетевых пророчеств).
Задачка нормализации
В различных клиниках стоят различные томографы, и они могут иметь разные режимы снятия и реконструкции итогового изображения. Нейросеть же, напротив, может работать лишь с одним типом данных. Потому для того, чтоб данные работали с ИИ-инструментом, инженеры провели нормализацию всех снимков КТ (Компьютерная томография — метод неразрушающего послойного исследования внутренней структуры объекта) для всех встреченных типов томографии (Томография др.-греч. — сечение — получение послойного изображения внутренней структуры объекта). Нормализация — это математическая процедура, которая приводит информацию, которая хранится в любом пикселе, к общему виду.
«Это была задачка на технику работы с данными. Компьютерные томографы записывают изображения в формате DICOM. Но у различных аппаратов есть личные индивидуальности. Нам стоило достаточно огромных трудов в любом из определенных случаев разобраться, что происходит, и отладить процесс», — ведает Владимир.
Инженеры провели тщательную работу по улучшению сопоставимости меж программкой и различными КТ (Компьютерная томография — метод неразрушающего послойного исследования внутренней структуры объекта)-аппаратами:
«Допустим, нам посылают пример файла, на котором не весьма отлично работает наш инструмент. Мы разбираемся, почему так, что в этом файле не так, и пишем нормализацию для этого варианта, другими словами, программку, которая будет обрабатывать все подобные файлы и приводить их к подходящему виду».
Чтоб учитывать все случаи, в которых нужна нормализация, проект реализовывали в несколько циклов. Опосля первого шага разработки модель была передана в поликлиники: необходимо было получить оборотную связь от докторов и выяснить, где есть трудности в работе, где программка даёт сбой, на каких снимках. На последующем цикле эти препядствия решались. Почаще всего препядствия были соединены с различными форматами данных. Опосля того, как собрали информацию о ошибках, начался 2-ой шаг доразметки и дообучения модели, опосля что снова шла работа по нормализации. На вариант, если модель и опосля окончания работы над ней ошибётся либо будет плохо работать, запущена линия поддержки, куда поликлиники могут написать о ошибке.
Разработка Сбера бесшовно встраивается в имеющийся процесс работы в поликлинике. Обычно в поликлиниках употребляются особые инструменты для визуализации результатов КТ (Компьютерная томография — метод неразрушающего послойного исследования внутренней структуры объекта) грудной клеточки. С возникновением новейшего инструмента для доктора ничего не изменяется, он продолжает работать со своим программным обеспечением, у него просто возникает отчёт по показателям отысканной области поражения, а посреди выводимых изображений возникает доборная серия, где указана локализация того, что найдено, а так же серия с аналитическим отчётом по объёмам выявленных в лёгких патологий.
Программка устанавливается на сервера поликлиники снутри защищённого контура, чтоб никакая информация не уходила вовне. Для её работы требуется довольно мощнейший сервер с неплохим GPU, поэтому что количество выполняемых вычислений — большущее. На данный момент фактически готово пасмурное решение для того, чтоб те поликлиники, у которых нет вычислительных мощностей, тоже могли применять инструмент.
Система работает не ужаснее опытнейшего рентгенолога!
Свойство работы приобретенной системы сравнимо с такой у опытнейшего врача-рентгенолога. Это было выявлено в испытании: 6 независящих профессионалов с помощью специального инструмента выделяли на снимках область поражения. И по результатам тесты объём, выделенный ими, был сравним с объёмом, выделенным нейросетевой моделью от Сбера. Некие докторы вручную оценивали область поражения и инспектировали, совпадает ли их оценка с компьютерной, и их выводы были плюс-минус схожими.
«По воззрению докторов, на текущий момент финишная модель работает довольно отлично, они дают положительную оборотную связь. По началу у их был некоторый скептицизм, но в процессе тестирования и опосля того, как они поглядели, как инструмент работает в бою, скептицизм ушёл. Докторы ассоциируют то, что они делают за условные 10 минут, и то, что система может выдать в минуту, и соглашаются, что её внедрение поможет им на практике».
Но принципиально осознавать, что этот инструмент не подменяет доктора. Конкретно человек должен принимать окончательное решение. Просто работа доктора, у которого есть этот инструментарий, становится проще, поэтому что одну определенную техно задачку делает уже не он, а искусственный ум. Наиболее того, докторы не лишь отыскивают доказательство пневмонии, а изучат грудную клеточку на предмет остальных патологий, что пока не делает инструмент Сбера (это часть новейшего исследования). Пока в мире не существует сервисов, которые вполне поменяли бы доктора и делали все его функции хотя бы в одной области, к примеру при диагностике болезней, связанных с грудной клеточкой. Есть весьма много патологий, и доктор их выявляет, полагаясь на докторскую интуицию и опыт работы. Не считая того, доктор понимает историю заболевания, другими словами, он располагает еще огромным объёмом инфы. Имея в виду это, ИИ ещё не скоро сумеет конкурировать с медиками, потому для скептицизма, для опасений, что машинка лишит людей работы, нет повода.
«В этом случае искусственный ум можно сопоставить с GPS-навигатором. Когда навигаторы лишь возникли, были люди, которые считали, что навигатор бесполезен. Но в истинное время GPS-навигатором пользуются практически все водители. Его задачка — помогать, а «рулит» уже сам человек», — объясняет Манвел.
На текущий момент уже есть запрос от докторов и на остальные инструменты, по поиску остальных патологий, к примеру — поражения не лишь лёгких, да и сердца и остальных органов.