Исследователи Icahn School of Medicine (Mount Sinai) показали, что популярные чат-боты склонны воспроизводить и расширять ложную или вводящую в заблуждение медицинскую информацию, если исходный запрос содержит неточность. Достаточно вставить в вопрос выдуманный термин — и система без тени сомнения начнёт описывать несуществующее заболевание, его «симптомы» и даже предложит план лечения. Причём уверенность в таких ответах ничуть не меньше, чем в реальных медицинских ситуациях. В клинических сценариях это создаёт риск — пациент может получить убедительный, но неверный совет, что особенно опасно при острых состояниях.

Проблема в том, что пользователи, не имеющие медицинской подготовки, склонны доверять уверенной подаче, не проверяя достоверность фактов. Это создаёт риск распространения медицинской дезинформации, особенно если ИИ используется для самодиагностики или первичных консультаций.

Интересно, что исследователи нашли простое решение: достаточно добавить к запросу предупреждение вроде «Часть информации может быть неверной» — и частота таких «галлюцинаций» снижается почти вдвое. Этот эффект показывает, что встроенные механизмы сомнения и проверки способны значительно повысить безопасность ИИ в медицине.

Исследование даёт понять, что нельзя просто доверять генеративным моделям «как есть». Нужно вводить многоуровневые барьеры — pre- и post-проверки ответов, human-in-the-loop для критичных случаев, хранение промптов и возможность аудита; поставщикам ИИ-решений в медицине стоит акцентировать внимание на рассмотрения взаимосвязи между входами и выходами модели и на тестах устойчивости к вводящим в заблуждение входным данным.

@it_medicine

По данным аналитического отчёта AI In Healthcare Market Мировой рынок ИИ в здравоохранении в 2024 году оценивается в $26,8 млрд, а к 2034 прогнозируется рост до $696 млрд при среднем ежегодном темпе 38,5 %.

Наибольшую долю занимают аппаратные решения — около 45 %, включая роботизированную хирургию, медицинское оборудование и носимые устройства.

По видам технологий лидирует машинное обучение с долей 46 %, применяемое в диагностике, анализе данных и персонализированной медицине.

Крупнейшая область применения — роботизированная хирургия с долей 25 % рынка.

Основными потребителями являются фармацевтические, биотехнологические компании и производители медтехники, на которых приходится около 50,5 % использования ИИ.

Северная Америка удерживает 43,5 % мирового рынка, а самым быстрорастущим регионом остаётся Азиатско-Тихоокеанский, где рост поддерживается государственными инициативами и инвестициями.

Смежные направления также показывают высокую динамику: рынок AI в управлении финансовыми циклами в здравоохранении составляет $20,7 млрд в 2024 году с прогнозом $180,3 млрд к 2034 (CAGR 24,2 %), сектор смешанной реальности — $1,27 млрд с прогнозом $67,5 млрд (CAGR 48,7 %), кибербезопасность — $20,6 млрд с прогнозом $112,6 млрд (CAGR 18,5 %).

По оценкам, ИИ способен экономить системе здравоохранения до $150 млрд ежегодно к 2026 году за счёт повышения точности диагностики и оптимизации процессов. Технологии удалённого мониторинга позволяют сократить повторные госпитализации пациентов с сердечной недостаточностью на 45 %, что делает этот сегмент одним из наиболее перспективных для внедрения.

@it_medicine

Недавно в журнале Annals of Internal Medicine описан случай, когда мужчина, консультируясь с ChatGPT, заменил обычную поваренную соль (NaCl) на бромид натрия (NaBr), что привело к развитию бромизма — редкого сейчас психического состояния, когда человек испытывает слуховые и зрительные галлюцинации. По его словам, ChatGPT убедил его, что хлорид можно заменить бромидом, не уточнив, что речь идет о бытовых, а не пищевых целях.

Мужчина 60 лет придерживался сверхстрогой диеты, полностью исключив соль — и на протяжении трёх месяцев употреблял бромид в пищу, купленный через интернет (он же используется как антиконвульсант для животных или средство для бассейнов). В итоге его госпитализировали: у него развилась паранойя, он пытался сбежать, предъявлял обвинения соседу в отравлении, и провёл три недели в больнице, пока симптомы постепенно не сошли на нет.

Авторы исследования отмечают, что версия ChatGPT 3.5 или 4.0 не уточнила, что NaBr неприемлем для употребления человеком, и не задала уточняющих вопросов, как это сделал бы врач. OpenAI в ответ заявила об обновлении моделей: теперь в “опасных” ситуациях будут применяться механизмы «safe completions», чтобы защитить людей от непреднамеренно опасных советов.

Насколько всё это тревожно и поучительно — вот хороший пример, почему важно не заменять профессиональную медконсультацию разговорами с ИИ.
https://www.404media.co/guy-gives-himself-19th-century-psychiatric-illness-after-consulting-with-chatgpt/

@it_medicine