Перенести рентгеновский снимок на человека и исследовать его в реальном времени возможно благодаря технологии дополненной реальности. Прототип подобной системы реализовал аспирант Института прикладной математики и механики СПбПУ Даниил Савчук, прибегнув к использованию виртуальной реальности. Об этом он рассказал в рамках научно-популярной конференции «Парсек»-2017, которая прошла 28–30 июля в рамках крупнейшего фестиваля о фантастике, кино и космосе «Старкон».
Ранее Даниил совместно с компанией ЕПАМ участвовал в проекте по визуализации объемных медицинских данных — это и послужило основой для зарождения идеи визуализировать такие данные в режиме виртуальной или дополненной реальности. Подобные работы уже проводились, например, в Техническом Университете Мюнхена (ТУМ), где для решения задачи сопоставления медицинских данных с реальностью использовалась магнитная система навигации. Работа немецких коллег вдохновила Даниила к созданию подобной системы. Однако Даниил предложил использовать алгоритмы распознавания (компьютерного зрения) для решения задачи сопоставления данных с реальностью. Такой подход может быть полезен для помощи хирургам во время операции заглянуть «внутрь» пациента и более точно диагностировать те или иные заболевания.
Первым пациентом стала плюшевая игрушка. Результаты операции на тигренке, съевшем батарейку, Даниил продемонстрировал на шуточных боях Science Slam — таким образом наглядно показав аудитории, как работает созданная система. «КТ данные тигренка, на которых можно определить местоположение батарейки, находящейся в желудке, сопоставлялись с реальным плюшевым тигренком, а для того, чтобы знать, где находятся щипцы (которыми я вытаскивал батарейку) я повесил на них QR коды, что позволило мне определять их положение и дублировать реальные щипцы – виртуальными, положение которых я видел даже когда щипцы находились внутри тигренка» — поясняет Даниил.
Успешно получилось сопоставить КТ и МРТ данные головы и с реальным пациентом. По словам молодого ученого, для решения этой задачи было перепробовано множество подходов, но самым успешным оказалось применение технологии Intel Real Sense. Используя данные глубинной камеры, она определяет положение головы человека, смотрящего в камеру.
Исследование черепа Даниил провел на себе — и выглядело это как на картинке ниже:
В дальнейшем Савчук планирует реализовать такую технологию используя шлем виртуальной реальности HTC Vive, с прикрепленной к нему камерой Intel Real Sense что позволит исследовать КТ данные пациента не на экране, а в дополненной реальности.
«Исследования в данном направлении довольно востребованы сейчас на рынке, — делится Даниил. — Мои демо подходят для того, чтобы заявить о себе — зачастую медикам нужны не конкретно эти решения, а что-то свое, для какой-то более узкой сферы, иногда даже для какой-то конкретной операции. Но в целом подобные технологии позволят сделать операции безопаснее, дешевле, быстрее, а мир — лучше!»
Татьяна Иванова
Информационно-анлитический центр
