ИИ от Google установил новый рекорд по вопросам экзамена на получение медицинской лицензии в США


Новая модель Google, получившая самый высокий балл за ИИ в истории, только что прошла проверку на вопросы экзамена на получение медицинской лицензии в США!

А в таких задачах, как научный здравый смысл, понимание, способность к поиску и рассуждению, он напрямую соответствует уровню врачей-людей. В некоторых клинических представлениях вопросов и ответов самая высокая производительность превышает производительность исходной модели SOTA более чем на 17%.

Посмотрев сравнение Med-PaLM и врачей-людей, большинство пользователей сети сказали, что они уже с нетерпением ждут назначения врачей ИИ.

Из-за специализированного характера здравоохранения сегодняшние модели ИИ в значительной степени недостаточно используются в этой области. Эти модели, хотя и полезны, страдают от таких проблем, как фокусировка на однозадачных системах (таких как классификация, регрессия, сегментация и т. д.), недостаточная выразительность и интерактивность.

Прорыв в области больших моделей открыл новые возможности для ИИ + медицинское обслуживание, но из-за специфики этой области все еще необходимо учитывать потенциальные опасности, такие как предоставление ложной медицинской информации.

Команда предложила контрольный показатель, состоящий из семи наборов данных с ответами на медицинские вопросы.

Тест состоит из 6 существующих наборов данных, которые также включают MedQA (USMLE, вопросы экзамена на получение медицинской лицензии в США), а также представляет собственный новый набор данных HealthSearchQA, который состоит из искомых вопросов о здоровье.

Было обнаружено, что Flan-PaLM достиг самых современных результатов в нескольких тестах, таких как MedQA, MedMCQA, PubMedQA и MMLU. В частности, набор данных MedQA (USMLE) превзошел предыдущую модель SOTA более чем на 17%.

В данном исследовании рассматривались три варианта моделей PaLM и Flan-PaLM разного размера: 8 миллиардов параметров, 62 миллиарда параметров и 540 миллиардов параметров.

Тем не менее, Flan-PaLM по-прежнему имеет определенные ограничения и плохо справляется с медицинскими проблемами потребителей.

Чтобы решить эту проблему и сделать Flan-PaLM более адаптируемым к медицинской сфере, они скорректировали подсказку с инструкциями, в результате чего появилась модель Med-PaLM.

Сначала команда случайным образом выбрала несколько примеров из наборов данных бесплатных ответов MultiMedQA (HealthSearchQA, MedicationQA, LiveQA).

Затем группы из 5 клиницистов попросили дать примерные ответы. Эти клиницисты базируются в США и Великобритании и имеют специализированный опыт в области первичной медико-санитарной помощи, хирургии, внутренних болезней и педиатрии.

Добавьте FBM.ru в избранные новости Добавьте FBM в избранные новости

Оценить новость
( Пока оценок нет )
Андрей Васильев/ автор статьи
FBM.ru - Финансы  Бизнес Маркетинг