Проект направлен на решение определённой части задач, связанных с погружением оператора робототехнического комплекса daVinci в наблюдаемую рабочую сцену, связанную с частью человеческого тела. Сложность задач исследования связана с совмещением в рамках одного комплекса технической инженерии (механические устройства), систем технического зрения, вычислительных методов и алгоритмов, а также медицины в области хирургии.

«В нашем проекте по созданию цифрового двойника хирурга будет разрабатываться программно-аппаратный комплекс принятия решений в малоинвазивной эндоскопической хирургии. Под этим названием скрыто следующее: существует робот daVinci, который делает малоинвазивные эндоскопические операции, где используются принципы телемедицины. Хирург непосредственно не видит полость пациента, а воспринимает её сквозь виртуальное пространство в виде 3D-образов сцены, где он делает операцию. В рамках этого проекта стоит задача создать программно-аппаратный комплекс контроля принятия решений. Это помощь хирургу во время операции. То есть существуют опытные хирурги, которые не один, не два десятка лет делают операции на нём, но проблема — в том, как передать этот опыт молодым врачам, которые обучаются. Сложность заключаются в том, что мало подобных систем для обучения. Они сертифицированы, находятся в специальных обучающих центрах за рубежом, и сложно туда в данный момент отправлять на обучение будущих врачей. Наша задача — создать комплекс, на базе которого студенты могут самостоятельно проводить операции в виртуальном пространстве, поскольку за самих роботов их сразу не посадишь, потому что на них постоянно проходят текущие операции», — рассказывает один из участников проекта Андрей Каменский.

Данная работа будет осуществляться совместно и по заказу Башкирского государственного медицинского университета Министерства здравоохранения Российской Федерации (БГМУ Минздрава России), г. Уфа.

«Ещё одна задача — научить этого робота воспринимать почерк действующих хирургов, чтобы на базе него студенты могли оценивать себя: правильно или неправильно они проводят операцию, как они двигаются во время операции, может, они сделали более глубокий разрез или не в том направлении. То есть наша задача — научить студентов пользоваться этим роботом при использовании принципов цифрового двойника. У этого робота, помимо консоли хирурга, также имеется вспомогательный монитор, на котором персонал, который находится в операционной зоне, видит то же рабочее пространство, что и сам хирург. И на него можно реализовать вывод дополнительной информации, которая будет помогать врачам видеть, что делает хирург, куда он движется», — дополнил Андрей Каменский.

Сейчас в команду, работающую над проектом, входят 15 человек. В 2025 – 2030 годах они планируют прийти к следующим результатам:

1. создать программный сервис транслирования видеоизображения хирургической сцены на 3D-монитор с учётом цветовых и яркостных характеристик, позволяющий увеличить информативное содержание для хирурга-оператора;
2. создать программный сервис построения наборов данных жестов (почерка хирурга) и исполняющих элементов, позволяющий дополнять основу цифрового двойника действий хирурга-оператора;
3. создать программно-аппаратный комплекс-тренажёр для обучения роботической малоинвазивной эндоскопической хирургии с использованием принципов построения цифрового двойника хирурга.

«В 2023 году планируется создать базу 3D-видеоопераций, которые проводит Башкирский государственный медицинский университет. На основе созданной базы будут обучаться нейронные сети, которые будут анализировать почерк хирурга, что необходимо для дальнейшего создания программно-аппаратного комплекса в рамках подпроекта», — уточнил Андрей Каменский.

После реализации проекта планируется распространение полученных результатов на другие области технологического хирургического вмешательства в тело человека.