Описание
Алгоритм глубокого обучения улучшения разрешения трехмерных микроскопических изображений «RU-Decon» был разработан в научно-исследовательской лаборатории «Лаборатория анализа биомедицинских изображений и данных» и на кафедре Прикладной математики.
Алгоритм глубокого обучения предназначен для устранения аббераций и повышения точности трехмерных изображений, получаемых в ходе работы флуоресцентных микроскопов. Эти размытия наблюдаются не только ввиду природы света: вдобавок они формируются конструкционными неточностями, которые в разной степени свойственны всем технологически сложным оптическим приборам. Моделирование этого размытия (или, иначе говоря, функции рассеяния точки (ФРТ)) – представляет собой сложную задачу. С использованием ФРТ можно восстановить исходное неискаженное изображение с помощью алгоритмов деконволюции. Неточная модель ФРТ может привести к последующим искажениям при попытке восстановить точное изображение объекта. Потому особенностью представляемого решения, основанного на использовании моделей искусственного интеллекта, в сравнении с существующими методами заключается в разработанном алгоритме генерации данных, который позволяет без сложных моделирований передать характеристики рассеяния, формируемые микроскопами.
Основная идея авторского алгоритма генерации данных заключается в использовании наблюдаемых снимков калибровочных флуоресцентных микросфер – объектов крайне малого размера, используемых для описания формы рассеяния света, и снимков точных сфер, которые моделируются математическими методами при помощи уравнения эллипсоида и известных параметров съемки сфер. Производя свёртку некоторого набора точных, высококачественных изображений биологических структур с данными изображениями сфер, можно получить набор входных размытых и выходных точных изображений для последующих обучений нейросетевых решений. Данный метод, помимо отсутствия необходимости моделирования ФРТ, имеет дополнительное преимущество: пользователи имеют полный контроль над содержимым конечного обучающегося набора данных за счёт контроля входного набора точных изображений, а также не требуется трудозатратная генерация пар изображений в высоком разрешении и при воздействии аберраций. Это позволяет достичь повышенной точности итогового метода и легкой генерации обучающего датасета для конкретной исследовательской задачи.
Помимо создания датасета, важной частью в процессе обучения нейросети является непосредственно ее структура. В предлагаемом решении предлагается сочетание зарекомендовавшей себя в решении медицинских задач сети U-Net и использования остаточных (residual) блоков. Данный выбор архитектурных решений позволяет получить желаемые свойства: быструю сходимость и уменьшенный вес, что критически важно при работе с такими объемными данными как трехмерные изображения. На рисунках представлены схема генерации данных, обучения сети, а также структура самой сети, и результаты ее работы.
Рис. 1 – Визуализация предлагаемого решения. Слева направо: алгоритм генерации данных, процедура обучения сети, структура сети «RU-Decon».
Итоговые примеры работы сети на разных видах данных:
Рис. 2 – Результат работы алгоритма на снимке нейрона. Слева направо: исходный снимок, результат работы предлагаемого решения.
Рис. 3 – Результат алгоритма «RU-Decon» на изображении, визуализирующем конус роста нейрона. Слева направо: исходный снимок, регистрируемый конфокальным микроскопом, результат обработки изображения аналитическим методом Ричардсона-Люси, результат обработки изображения нейросетевым методом «RU-Decon».