GitHub Copilot научился взаимодействовать с десктопными приложениями

01 Что произошло

В GitHub Copilot CLI и десктопном приложении появилась возможность управления интерфейсом компьютера. Теперь инструмент может считывать визуальный контекст и взаимодействовать с элементами настольных приложений.

02 Ключевые детали

• Copilot получил доступ к чтению контента, кликам, вводу текста и навигации внутри настольных программ.
• Перед управлением приложением Copilot запрашивает разрешение пользователя; постоянно разрешённые приложения можно проверить или сбросить.
• Администраторы организаций могут отключить данную функциональность на уровне настроек управления доступом.

03 Почему это важно

Функция позволяет автоматизировать рабочие процессы в программах без API, командной строки или интеграции MCP, расширяя применение Copilot за пределы работы с кодом.

04 Кому полезно

Разработчики программного обеспечения, ИТ-специалисты и эксперты по автоматизации бизнес-процессов.