Учеными создана модель на основе технологий ИИ, которая за счет обучения на мультимодальных данных (изображения и текстовые описания) о патологиях органов предоставляет возможность лучше понимать причины тех или иных выводов системы. Новый подход позволит ускорить развитие этих технологий, информирует ТАСС.
Вместе с наборами изображений, размеченных для обучения системы, ученые еще применили текст – описание признаков патологий.
Выяснилось, что при совместном применении изображения и текста ИИ лучше учится и обобщает закономерности.
“Помимо того, в этом случае не нужна ручная разметка примеров для обучения (концептов) – ключевые элементы автоматически выделяются моделью во время “тренировки”, что позволяет сократить долю предварительной обработки данных специалистами”, – отметили исследователи.
Известно, что они применили более 18,6 тыс. рентгеновских снимков разных органов, а также аннотации и врачебные заключения.
“Опыты продемонстрировали, что наш подход повышает не только интерпретируемость решений, но и устойчивость моделей глубокого обучения, что важно для безопасности использования ИИ” , – рассказали в заключение ученые.
