Этот туториал проведёт вас через полный процесс пилота: установление бюджета, включение функции для ограниченной группы, мониторинг результатов и использование доказательств для принятия и отчета о решении о приеме или no-go.
Прежде чем начать пилот
Прежде чем что-либо включать, убедитесь, что вы оценили функцию или модель и убедились, что она соответствует вашим требованиям соответствия. См . раздел AUTOTITLE.
Если вы не уверены, безопасна ли функция или модель, проконсультируйтесь с командами безопасности и комплаенса вашей компании перед началом пилотного проекта.
Определите, как выглядит успех
Определите, как выглядит «старт», заранее, чтобы судить пилота по плану, а не по факту. Запишите несколько конкретных критериев успеха, охватывающих внедрение (например, минимальную долю активных пользователей), стоимость (сохранение установленного потолка) и качественную обратную связь (например, большинство участников порекомендуют эту функцию). Вы проверите фактические результаты пилота по этим критериям в разделе «Приняй решение или no-go».
Также спланируй, как долго будет идти пилот. Бюджеты и общий пул AI credits сброса каждый биллинговый цикл, поэтому планируйте пилотный цикл как минимум на полный цикл выставления счетов, обычно от четырёх до шести недель; короткий срок может оставить вас с слишком малыми затратами и данными о внедрении, чтобы сделать надёжный вывод.
Выбирайте, кого включить в вашу пилотную группу
Поскольку функции и модели доступны на уровне организации, доступ получит каждый, кто получает Copilot лицензию через эту организацию, а не только отобранный подмножество и не обязательно все, кто в ней является. Поэтому вместо отбора отдельных лиц ищите организацию, лицензированное население которой уже соответствует следующим критериям:
- Разработчики делают настоящую, значимую работу. Участникам пилотного проекта следует использовать эту функцию на языках, фреймворках и репозиториях, важных для вашей организации, а не на временных проектах. Сигналы использования и стоимости надёжны только если они исходят из реальных работ.
- Сочетание уровней мастерства и старшинства. Включайте как опытных инженеров, так и тех, кто только начинает знакомиться с вашим кодом или .Copilot Разные уровни опыта используют эту функцию по-разному, открывают разную ценность и разные проблемы.
- Разнообразные команды и рабочие процессы. Функция, которая помогает одной команде в рабочем процессе, может не помочь другой. Объединение нескольких команд даёт более надёжное представление о том, где функция приносит ценность, а где нет.
- Люди, готовые дать обратную связь. Большая часть ценности пилота заключается в качественной обратной связи, а не только в метриках. Выбирайте участников, которые будут вовлекаться, сообщайте, что работает, а что нет, и отвечайте, когда вы попросите их мнение.
Если, например, ни одна из ваших организаций не подходит, если правильный набор людей разбросан по нескольким организациям или ваши организации слишком большие, чтобы служить ограниченным пилотным проектом, вы можете создать специализированную организацию и добавить в неё только выбранных пользователей. Это даёт вам точный контроль над тем, кто включен, но означает миграцию или дублирование доступа к репозиторию для этих пользователей, и может плохо работать для таких Copilot облачный агент функций, зависящих от глубокого контекста репозитория. Этот урок предполагает, что вы используете уже существующую организацию; Если вы выберете путь выделенной организации, воспринимайте её создание и добавление участников как дополнительный шаг перед тем, как включить функцию для вашей пилотной группы.
Оцените затраты и установите потолок бюджета
Многие функции и модели, которые вы хотите пилотировать, оплачиваются по использованию, поэтому расходы не зависят от количества присвоенных вами лицензий.
Несколько активных разработчиков, использующих модель фронтира или агентную функцию, могут потреблять больше, чем вы ожидаете. Составьте приблизительную оценку стоимости пилотного проекта и определите потолок, который готовы потратить, прежде чем включить функцию.
Начните с понимания, как выставлена функция или модель. Функции, основанные на использовании, потребляют GitHub AI Credits, и стоимость каждого взаимодействия зависит от модели и количества потребленных токенов. Чтобы понять, какие функции учитываются при использовании, как объединяются включенные кредиты по вашему предприятию и как взимаются перерасходы, смотрите АВТОЗАГОЛОВОК.
Для получения оценки объединим три числа:
- Количество людей в вашей пилотной группе, которое вы определили в предыдущем разделе.
- Насколько сильно вы ожидаете, что они будут использовать эту функцию? Вы не узнаете этого, пока люди не начнут пользоваться, поэтому выбирайте намеренно высококлассную оценку, а не пытайтесь точно её предсказывать. Если вы уже запустили аналогичную функцию или модель, используйте её реальное использование как точку отсчёта. Если нет, предположите, что на разработчика будет частое и интенсивное использование, ведь агентные функции и модели фронтира стоят дороже за взаимодействие, чем быстрый чат. Небольшая группа, выполняющая интенсивную работу, может стоить дороже, чем большая группа, иногда использующая эту функцию.
- Включённое пособие, на которое можно воспользоваться. Каждая присваиваемая лицензия сопровождается ежемесячной AI credits суммой, которая объединяется на корпоративном уровне, поэтому часть использования пилота может быть покрыта до того, как будет выставлена счёт за перерасход.
Используйте их, чтобы установить потолок: максимум, который вы готовы потратить на пилот, прежде чем захотите сделать паузу и пересмотреть ситуацию. Выберите цифру, которая даст пилоту возможность генерировать значимые данные об использовании, при этом ограничивая экспозицию, если потребление превысит ожидаемое. Если позже вы будете корректировать размер группы пилотов, пересмотрите эту оценку.
Например, предположим, что вы пилотируете агентную функцию с 20 разработчиками на Copilot бизнес. Каждая лицензия включает 1,900AI credits в себя ежемесячный расчет, поэтому ваша пилотная группа использует общий пул из 20 × 1,900 , включенных AI credits до начала любых счетных платежей. Если вы ожидаете массовое использование примерно 3 000 AI credits человек на одного разработчика в этом месяце, оценивайте общее использование как 20 × 3 000. Вычтите включённый пул, чтобы оценить засчитанное использование, затем умножьте на $0.01 USD стоимость перерасхода и установите потолок чуть выше. Вы создадите бюджет, который обеспечивает этот потолок после включения функции, в разделе «Установить бюджет, чтобы ограничить расходы пилота».
Включите эту функцию для вашей пилотной группы
Теперь, когда вы оценили стоимость и выбрали, кого включить, вы можете включить функцию ограниченным образом. Цель — дать вашей пилотной группе реальный и правильно управляемый опыт, при этом сохраняя остальную часть вашего предприятия в безопасности.
Вы сделаете это в четыре шага:
- Подтвердите членство в организации и присвоение лицензии.
- Настройте политики, регулирующие функцию.
- Включите эту функцию только для этой организации.
- Установите бюджет, чтобы ограничить расходы пилота.
Подтвердите членство в организации и присвоение лицензии
Одного членства недостаточно: большинство Copilot политик действуют в зависимости от того, какая организация присваивает пользователю Copilot лицензию, а не только в каких организациях он принадлежит. Если кто-то состоит в нескольких организациях, убедитесь, что его лицензия присвоена именно пилотной организацией. Если он назначен через другую организацию, политики пилотной организации не будут регулировать их доступ, и функция включения в этом туториале не будет применяться к ним.
Если кто-то из ваших пилотных пользователей ещё не является участником или является, но получает лицензию в другом месте, добавьте их в пилотную организацию и присвайте им Copilot лицензию через неё, прежде чем продолжить.
Настройте политики перед тем, как включить функцию
Copilot Политики контролируют, какими функциями и моделями пользователи могут получить доступ и как обрабатываются их данные. Настройте эти политики для пилотной организации до включения функции, чтобы пользователи получали правильно управляемый опыт с самого первого взаимодействия, а не короткое окно, когда функция доступна без задуманных вами ограждённых ограждений.
Определите, какие функции и модели должен быть разрешён в пилоте, и установите политики на уровне организации, чтобы изменения затронули только вашу пилотную организацию; Политики, установленные на уровне предприятия, применяются к каждой организации в вашем предприятии. Если ваша корпоративная политика не позволяет организациям устанавливать собственную стоимость, владелец компании должен изменить это, прежде чем вы сможете продолжить. Чтобы понять, как политики передаются от предприятия к организациям и кто может отменять настройки на каждом уровне, см. AUTOTITLE.
Включить функцию для одной организации
Как владелец организации, включите конкретную функцию или модель только для пилотной организации из Copilot её политических настроек. Полные шаги смотрите в разделе АВТОЗАГОЛОВОК. Убедитесь, что эта настройка применяется к пилотной организации, а не к всей компании в целом, прежде чем сохранять её.
Установите бюджет, чтобы ограничить расходы пилота
Ранее вы решили ограничить потолок расходов для пилота. Теперь вы создаёте бюджет, который это обеспечит.
Во-первых, поймите, что делает бюджет организации. Он ограничивает только количество измеренных зарядов и становится активным только после исчерпания общего пула .AI credits Он не ограничивает общие расходы, поэтому установите лимит на сумму свыше, которую вы готовы платить, сверх включенной надбавки, а не на общую стоимость пилота. Критически важно, что бюджет по умолчанию не является жёсткой остановкой: сборы продолжают накапливаться сверх лимита, если вы не включите Stop use, когда лимит бюджета достигнут при его создании.
Как владелец организации или менеджер по биллингу, создайте бюджет, ориентированный на пилотную организацию, установите его лимит на выбранном вами потолке перерасхода и включите «Остановить использование», когда лимит бюджета достигнут.
Если вы хотите предотвратить увеличение потребления одним пилотным пользователем, также установите универсальный бюджет на уровне пользователя. Это единственный контроль, который всегда является жёсткой остановкой, и он учитывает потребление пользователя как из общего пула, так и от измеренного использования к одному и тому же лимиту. Установите умеренную сумму, чтобы участники могли выполнять реальную работу, но при этом не позволяя одному пользователю тратить чрезмерную долю бюджета пилота.
Для того, как бюджеты учитывают и блокируют использование на уровне пользователей, организаций и предприятий, см. Бюджеты для выставления счетов на основе использования.
Следите за пилотом
В течение пилотного этапа отслеживайте внедрение, собирайте отзывы разработчиков и отслеживайте стоимость и активность агентов по критериям успеха, которые вы заранее определили. Вместе эти сигналы помогают вам решить, стоит ли расширять функцию.
Отслеживайте внедрение и использование с помощью Copilot метрик
Используйте Copilot метрики использования, чтобы увидеть, сколько ваших пилотных пользователей активны, как часто они пользуются этой функцией и как эти показатели меняются за пилотный период. Устойчивое или растущее усваивание — это сильный сигнал; Использование, которое резко увеличивается, а затем затухает, может означать, что функция не вписывается в реальные рабочие процессы разработчиков.
- Чтобы понять, что охватывают метрики и как их интерпретировать, смотрите GitHub Copilot метрики использования.
- Чтобы просмотреть дашборд вашей организации или предприятия, смотрите Просмотр панели мониторинга метрик использования Copilot.
Собирайте отзывы разработчиков от вашей пилотной группы
Метрики показывают, пользуются ли люди этой функцией, но не зачем и насколько хорошо она работает для них. Собирайте качественную обратную связь, чтобы восполнить этот пробел. Проводите короткие опросы, регулярно проводите проверки или создайте отдельный канал, где пилотные пользователи могут сообщать, что работает, а что нет.
Именно здесь участники, которые вы выбрали за готовность давать обратную связь, окупаются. Задавайте конкретные вопросы: где функция экономила время, где она дала плохие результаты и изменила ли она её работу. Эта обратная связь часто выявляет проблемы и возможности, которые сами по себе не раскрывают, и даёт конкретные примеры для последующей информации с руководством.
Следите за затратами и агентской активностью в бюджетах и журнале аудита
Следите за бюджетом, который вы сформировали на протяжении пилота, а не только в конце. Если использование достигнет вашего потолка раньше, чем ожидалось, это полезное раннее доказательство того, сколько будет стоить более широкое внедрение. Для шагов по отслеживанию расходов в рамках бюджета смотрите Мониторинг вашего GitHub AI Credits использования. Для отслеживания расходов во времени смотрите Управление расходами вашей компании на GitHub Copilot.
Помимо стоимости, следите за тем, безопасно ли используется функция. Это третий вопрос, который задаст руководство, и пилот — это ваш шанс ответить на него с помощью доказательств, а не заверений. Для агентных функций проверяйте сессии агента, чтобы понять, что функция на самом деле делает от имени ваших разработчиков и выявить неожиданное или нежелательное поведение; Журнал аудита фиксирует, когда функция включена или отключена, но не фиксирует такой уровень детализации. Убедитесь, что установленные вами политики и бюджеты работают как задумано, и обратите внимание на всё, что требует более жёстких ограничений в большем масштабе. См . раздел AUTOTITLE.
Принимайте решение или no-go
В конце пилота сверьте результаты с заранее установленными критериями успеха и решите, расширять ли функцию, хранить и собирать больше данных или откатить её назад. Принимайте решение осознанно и документируйте доказательства, лежащие в его основе.
Убедитесь, что у вас достаточно доказательств для решения
Прежде чем принимать решение, проверьте, что пилот работал в течение запланированного срока и собрал достаточно данных, чтобы подтвердить обоснованный вывод.
Использование пилотов сначала осуществляется из общего пула (без дополнительной платы), прежде чем начнётся счетование с учётом счетов, поэтому ожидается потрата $0 на ранних этапах, а короткий срок может сделать данные о стоимости вводящими в заблуждение.
Вы готовы принять решение, когда у вас есть:
- Метрики внедрения, показывающие стабильный паттерн, а не один ранний всплеск.
- Фактические данные о стоимости, охватывающие как минимум один биллинговый цикл, которые можно сравнить с вашей оценкой.
- Отзывы от представительного круга ваших пилотных пользователей.
Если какой-либо из этих вариантов слабый, например, если использование всё ещё набирает высоту или участвует всего несколько участников, рассмотрите возможность продления пилота, а не выбора на основе неполных доказательств. Решение, которое можно подкрепить данными, гораздо проще защитить руководству и гораздо реже потребует отмены.
Отчитываться перед руководством
Чтобы оправдать своё решение и собрать аргументы для более широкого внедрения, сообщите руководству результаты пилота.
Определите данные для обмена
Соберите сигналы, которые вы собрали во время пилота:
- Метрики внедрения, показывающие, сколько активных пилотных пользователей и как их использование менялось со временем.
- Фактическая стоимость по сравнению с бюджетом, сравнивая потраченные в пилоте с установленным вами потолком и с вашей первоначальной сметой.
- Темы обратной связи, подводя итог, где участники находили ценность и где возникали проблемы.
- Наблюдения по безопасности и управлению, включая всё, что вы узнали из журнала аудита или из того, как работали политики и бюджеты.
Внедрение каркасов, стоимость и безопасность от ROI
Представляйте данные в бизнес-терминах, а не в виде необработанных цифр. Свяжите внедрение и обратную связь с ценностью функции, например, сэкономленным временем, разблокированной работой или улучшением качества, и взвесьте это с реальной стоимостью и с управлением или рисками, которые вы заметили.
Закончите с чёткой рекомендацией: расширить, удержать или остановиться, и сколько будет стоить более широкое внедрение. Преподнося пилотный проект как вопрос отдачи инвестиций, предсказуемой стоимости и управляемого риска, руководству нужно для уверенного одобрения более широкого внедрения.
Действуйте по своему решению
Сделайте следующий шаг, основываясь на собранных вами доказательствах и принятом решении.
Расширьте развертывание по всему вашему предприятию
Если есть доказательства, расширьте внедрение поэтапно, а не сразу сразу. Расширите политику функций на больше организаций, а затем — на остальную часть вашего предприятия, когда каждый этап будет выглядеть здоровым. По мере добавления новых пользователей увеличивайте или добавляйте бюджеты, чтобы ваши расходы масштабировались вместе с большим населением, и продолжайте следить за внедрением и затратами на каждом этапе.
Для более широких рекомендаций по управлению внедрением в вашем предприятии смотрите Масштабное внедрение GitHub Copilot.
Откатите назад и чисто отключите функцию
Если доказательства указывают на no-go, отключите эту функцию аккуратно, чтобы избежать затяжных затрат или путаницы. Отключите функцию или политику модели пилотной организации и расскажите участникам, что пилот завершился и почему, чтобы они не задавались вопросом, почему функция исчезла.
Убедитесь, что нет оставшегося использования, которое могло бы продолжать начислять счета за ваш бюджет, и пересмотрите или удалите пилотный бюджет, чтобы он не повлиял на будущую отчетность. Сохраняйте собранные данные и обратную связь: даже no-go — полезный результат для руководства, и он может послужить для последующего пересмотра, когда функция станет зрелой.