AI-агенты и безопасность — безопасность, уязвимости, LLM, MCP

В этом выпуске обсуждаем безопасность AI-агентов: как происходят атаки через tool-calling и промпт-инъекции, и какие угрозы несут недобросовестные тулы и галлюцинации моделей. Разбираемся, что такое MCP-сервера, «USB-C для LLM» и почему одна невинная команда может привести к взлому или утечке.

В гостях Ильдар Исхаков – основатель компании по безопасности AI-агентов и фанат опенсорса. Ильдар рассказал о концепции «летальной триады» и о том, как сохранить баланс между функциональностью и безопасностью с помощью readonly-режимов, guardrails и паттернов вроде CAMEL.

Содержание:

• 00:00 О чем выпуск
• 07:45 Примеры уязвимостей
• 18:00 Уязвимости AI-агентов
• 20:36 Примеры атак на AI-агентов
• 25:01 Способы решения проблем уязвимостей
• 30:50 Летальная триада и защита
• 36:46 Ограничения категоризации
• 41:44 Паттерны для защиты агента
• 01:00:42 Внешние модели и контроль
• 01:05:24 Заключение