GitHub Copilot оживляет макеты, генерируя код из изображений

GitHub объявил о множестве улучшений для Copilot, а также дал представление о более агентном будущем своего парного программиста, работающего на основе ИИ.

Среди заметных обновлений — функция Vision for Copilot, которая позволяет пользователям прикреплять к чату скриншоты, фотографии или диаграммы, а Copilot генерирует интерфейс, код и альт-тексты для их воплощения в жизнь.

Например, кто-то из команды маркетологов может сделать скриншот веб-страницы и проиллюстрировать некоторые изменения, которые они хотят внести на эту страницу. Вместо того чтобы запрашивать такие изменения с помощью текстовых подсказок, теперь можно загрузить изображение и просто попросить Copilot выполнить изменения, указанные в файле.

Стоит отметить, что эта функция была доступна в качестве расширения в VS Code с октября, при этом в описании приложения Microsoft подтвердила, что со временем она будет упразднена в пользу нативной функции в GitHub Copilot Chat. Ранее она также требовала от пользователя наличия собственного API-ключа.

GitHub также вводит новую функцию, получившую название «предложения о следующей правке», как часть более широкой функциональности Copilot, связанной с дополнением кода.

До сих пор GitHub Copilot в редакторе VS Code работал от позиции курсора, но теперь он будет смотреть на другие недавние правки, чтобы предсказать, что вы можете сделать дальше. По сути, он использует более богатые контекстные подсказки, чтобы автоматически определить и предложить, какой должна быть следующая правка.

Если разработчик хочет принять предложение, он может нажать клавишу Tab или Esc, чтобы отказаться.

Агентское будущее GitHub

В ноябре прошлого года GitHub также представил функцию Copilot Edits, которая представляет собой новый способ редактирования нескольких файлов с помощью подсказок на естественном языке. Теперь эта функция становится общедоступной, а также включает новый «режим агента», который определяет все файлы, имеющие отношение к изменениям, которые пытается внести разработчик, вместо того чтобы полагаться на то, что он вручную выберет файлы, к которым следует применить изменения.

«Copilot теперь делает больше работы, чтобы выяснить намерения, которые вы имели в своем первоначальном запросе, а затем пытается их решить», — сказал генеральный директор GitHub Томас Домке.

В перспективе планируется, что такие «режимы агента» будут применяться и к другим аспектам Copilot, позволяя автоматизировать более широкий спектр взаимосвязанных задач. Именно поэтому GitHub также анонсировал новую инициативу под названием Project Padawan, которая, по сути, представляет собой SWE (SoftWare Engineering) агента, способного самостоятельно решать целые задачи под руководством разработчика, определяющего проблемы в Copilot.

Домке не сообщил, когда эта система будет готова к запуску, отметив лишь, что компания будет работать с партнерами и сообществом над ее улучшением.

«Мы ищем партнеров, которые также создают агентов, чтобы интегрировать их в этот поток, а также клиентов, чтобы они работали с нами и давали нам обратную связь — потому что мы знаем, что на данном этапе все будет не идеально», — сказал Домке.