В этом выпуске обсуждаем безопасность AI-агентов: как происходят атаки через tool-calling и промпт-инъекции, и какие угрозы несут недобросовестные тулы и галлюцинации моделей. Разбираемся, что такое MCP-сервера, «USB-C для LLM» и почему одна невинная команда может привести к взлому или утечке.
В гостях Ильдар Исхаков – основатель компании по безопасности AI-агентов и фанат опенсорса. Ильдар рассказал о концепции «летальной триады» и о том, как сохранить баланс между функциональностью и безопасностью с помощью readonly-режимов, guardrails и паттернов вроде CAMEL.
Содержание:
- 00:00 О чем выпуск
- 07:45 Примеры уязвимостей
- 18:00 Уязвимости AI-агентов
- 20:36 Примеры атак на AI-агентов
- 25:01 Способы решения проблем уязвимостей
- 30:50 Летальная триада и защита
- 36:46 Ограничения категоризации
- 41:44 Паттерны для защиты агента
- 01:00:42 Внешние модели и контроль
- 01:05:24 Заключение
