Безопасность, агенты и будущее разработки

В этом выпуске говорим о том, какие риски несёт использование агентов. Разбираем уязвимости open source, контроль качества агентных систем, экономику токенов и новые угрозы в SDLC.

Гости — основатель HiveTrace Евгений Кокуйкин (@kokuykinи) технический директор Т-банка Александр Поломодов (@book_cube)

Содержание:

• 01:55 — Про гостей: Евгений Кокуйкин (HiveTrace) и Александр Поломодов (Т-банк)
• 02:54 — Почему безопасность GNA-приложений — это критично
• 04:16 — Агентная разработка: как это работает и где подводные камни
• 07:38 — Контроль качества: человеческий фактор и evaluation sets
• 11:09 — Оценка в реальном мире: замкнутый цикл обратной связи
• 13:52 — Как агенты взаимодействуют с людьми в процессе разработки
• 16:10 — Перспективы агентов: пока только помощники
• 17:40 — Экономика агентской разработки: железо, команды, токены
• 20:26 — Метрики: как измерить эффект от агентов
• 23:09 — Новые угрозы: агенты как внутренние сотрудники
• 23:41 — Эксперименты с метриками в больших корпорациях
• 24:38 — Метрики в небольших компаниях и облачные решения
• 25:37 — Уязвимости: между маркетингом и реальностью
• 26:38 — Новые модели и цепочки атак
• 28:27 — Снижение стоимости уязвимостей и автоматизация
• 30:20 — Автоматизация исправления уязвимостей
• 31:25 — Агентные проекты на GitHub: статистика и тренды
• 34:10 — Доверие к технологиям и периметр безопасности
• 35:10 — Топ-10 уязвимостей LLM и агентных систем
• 36:08 — Инициативы по EISDLC и ревью сообщества
• 37:09 — Citizen development: когда сотрудники сами создают софт
• 38:06 — Вайп-кодинг и управление учётными данными
• 40:04 — Non-human identity: учётные записи для агентов
• 40:59 — Интеграция агентов в IAM
• 43:48 — Протоколы ATP и GTP для агентов
• 45:41 — Риски потери сервисных аккаунтов
• 47:30 — Безопасность агентов: где грань?
• 49:11 — Будущее агентов: надёжность и автономность
• 50:11 — Давление на внедрение и инциденты с AWS
• 51:07 — Проблемы GitHub из-за нагрузки от агентов
• 52:54 — Влияние на SDLC: когда разработка встаёт
• 53:18 — Реальные уязвимости: Amazon Q, Postmark, Light LLM
• 56:58 — Базовые практики безопасности становятся важнее
• 58:51 — Риски Light LLM и разделение сред
• 59:49 — Доверие к кодовым моделям и регуляторные ограничения
• 01:02:42 — Управление моделями через агента
• 01:04:29 — Облачные решения: экономия и оптимизация
• 01:07:24 — Права на код, сгенерированный моделями
• 01:09:25 — Плагиат в программировании и меморизация
• 01:10:25 — Юридические аспекты генерации кода
• 01:11:24 — Метрика перплексии
• 01:12:14 — Сервис Ohmy Code и подход clean room
• 01:14:09 — Риски и лицензии: OpenAI, Anthropic, китайские модели
• 01:14:56 — Страховка рисков ИИ
• 01:16:04 — Модели-доносчики и безопасность
• 01:18:15 — Проблема агент-принципал
• 01:19:59 — Будущее ИИ: как жить с новыми технологиями
• 01:20:27 — Взаимодействие с агентами и недетерминированные модели
• 01:21:26 — Dark Factory: новый термин и стартапы
• 01:22:17 — Перспективы в России: неравномерный переход
• 01:24:07 — Ограничения и реальность