Можно ли доверять AI?

Мы живём в интересное время: одни люди делегируют AI почти все бытовые задачи, полностью полагаясь на советы LLM — от кулинарии до постановки медицинских диагнозов и подбора лечения; другие же чуть ли не бойкотируют использование любых AI-инструментов, аргументируя это так: «Как можно доверять таким системам? Это же просто генерация символов по контексту!»

Действительно, можем ли мы вообще доверять AI — и насколько? Подлодка любит разбираться фундаментально, поэтому в гости мы позвали Полину Кириченко — исследовательницу в Meta* и приглашенного исследователя в Принстоне. Вместе с Полиной разбираемся, что мы вкладываем в понятие «доверие к AI», откуда берутся галлюцинации, bias и другие баги моделей, и какие есть способы сделать их надёжнее.

Содержание:

• 00:00 О чем выпуск
• 14:47 Зачем компаниям нужны исследовательские отделы
• 20:02 Что такое доверие к ИИ?
• 37:01 Проблемы доверия к моделям
• 51:30 Проблема галлюцинаций в моделях
• 59:02 Методы защиты от галлюцинаций
• 01:04:45 Проблема байесовских ошибок
• 01:12:24 Проблема over helpfulness
• 01:17:35 Способы решения проблем моделей
• 01:29:00 Как измерить доверия к моделям
• 01:42:57 Устойчивость моделей и разнообразие данных
• 01:47:06 Основные проблемы и будущее области
• 01:51:32 Советы разработчикам
• 01:53:00 Заключение