Este tutorial orienta você na execução de um piloto de ponta a ponta: definir um orçamento, habilitar o recurso para um grupo restrito, monitorar os resultados e usar as evidências coletadas para tomar e comunicar uma decisão de prosseguir ou não.
Antes de iniciar seu piloto
Antes de habilitar qualquer coisa, verifique se você avaliou o recurso ou o modelo e confirmou que ele atende aos seus requisitos de conformidade. Consulte Preparando-se para novos recursos e modelos.
Se você não tiver certeza se um recurso ou modelo é seguro para habilitar, verifique com as equipes de segurança e conformidade em sua empresa antes de iniciar o piloto.
Definir a aparência do sucesso
Decida o que caracteriza um "go" antes de começar, para avaliar o piloto com base em um plano em vez de depois que tudo já aconteceu. Anote alguns critérios concretos de sucesso que abrangem a adoção (por exemplo, uma parcela mínima de usuários ativos), custo (permanecendo dentro do teto definido) e comentários qualitativos (por exemplo, a maioria dos participantes recomendaria o recurso). Você verificará os resultados reais do projeto piloto em relação a esses critérios em Tomar uma decisão de seguir ou não.
Planeje também quanto tempo o projeto piloto vai durar. Os orçamentos e o pool compartilhado de AI credits são redefinidos a cada ciclo de cobrança, portanto, planeje o piloto para durar pelo menos um ciclo de cobrança completo, normalmente de quatro a seis semanas; um período mais curto pode deixar você com poucos dados sobre custos e adoção para tirar uma conclusão confiável.
Escolha quem incluir em seu grupo piloto
Como os recursos e modelos estão habilitados no nível da organização, todos que recebem sua Copilot licença por meio dessa organização terão acesso, não apenas um subconjunto escolhido a dedo, e não necessariamente todos que são membros dela. Portanto, em vez de selecionar indivíduos, procure uma organização cuja população licenciada já reflita os critérios abaixo:
- Desenvolvedores fazendo um trabalho real e significativo. Os participantes piloto devem usar o recurso nos idiomas, estruturas e repositórios importantes para sua organização, não em projetos descartáveis. Sinais de uso e custo só serão confiáveis se vierem de um trabalho genuíno.
- Uma mistura de habilidades e níveis de antiguidade. Inclua tanto engenheiros experientes quanto pessoas menos familiarizadas com sua base de código ou com Copilot. Diferentes níveis de experiência usam o recurso de forma diferente e descobrem diferentes valores e problemas diferentes.
- Uma variedade de equipes e fluxos de trabalho. Um recurso que ajuda o fluxo de trabalho de uma equipe pode não ajudar a outra. A abrangência de algumas equipes oferece uma imagem mais confiável de onde o recurso adiciona valor e onde ele não o faz.
- Pessoas dispostas a fazer comentários. Grande parte do valor de um piloto vem de comentários qualitativos, não apenas métricas. Escolha participantes que se envolvam, relatem o que funciona e o que não, e respondam quando você pedir a opinião deles.
Se nenhuma das suas organizações for adequada — por exemplo, se a combinação certa de pessoas estiver espalhada por várias organizações, ou se suas organizações forem grandes demais para servir como um piloto isolado —, você poderá criar uma organização dedicada e adicionar a ela apenas os usuários selecionados. Isso dá a você controle preciso sobre quem será incluído, mas isso significa migrar ou duplicar o acesso ao repositório para esses usuários, e pode não funcionar bem para recursos como agente de nuvem Copilot, que dependem de um contexto profundo no nível do repositório. Este tutorial pressupõe que você esteja usando uma organização existente; se você percorrer a rota de organização dedicada, trate a configuração e a adição de membros como uma etapa extra antes de habilitar o recurso para o grupo piloto.
Estimar custos e definir um teto de orçamento
Muitos dos recursos e modelos que você deseja piloto são cobrados por meio do uso, portanto, os gastos não são corrigidos pelo número de licenças que você atribui.
Um punhado de desenvolvedores ativos usando um modelo de fronteira ou um recurso agente pode consumir mais do que você esperaria. Faça uma estimativa aproximada de quanto o piloto pode custar e defina um limite máximo que você está disposto a gastar antes de habilitar o recurso.
Comece entendendo como o recurso ou modelo é cobrado. Os recursos baseados em uso consomem GitHub AI Creditse o custo de cada interação depende do modelo e do número de tokens consumidos. Para entender quais recursos contam para uso, como os créditos incluídos são agrupados em sua empresa e como os excedentes são cobrados, consulte Cobrança baseada em uso para organizações e empresas.
Para produzir uma estimativa, combine três números:
- O número de pessoas em seu grupo piloto, que você definiu na seção anterior.
- O quanto você espera que eles usem o recurso. Você só saberá disso quando as pessoas estiverem realmente usando isso, então escolha deliberadamente uma estimativa mais alta em vez de tentar prevê-la com precisão. Se você já distribuiu um recurso ou modelo comparável, use seu uso real como ponto de referência. Caso contrário, suponha um uso frequente e intenso por desenvolvedor, já que recursos agênticos e modelos de ponta custam mais por interação do que uma pergunta rápida no chat. Um pequeno grupo que faz um trabalho intensivo pode custar mais do que um grande grupo usando o recurso ocasionalmente.
- A franquia incluída que você pode usar. Cada licença atribuída inclui uma quantidade mensal de AI credits que é compartilhada no nível da empresa, portanto parte do uso no piloto pode ser coberta antes da cobrança de qualquer excedente.
Use-os para definir um teto: o máximo que você está preparado para gastar com o piloto antes de querer pausar e reavaliar. Escolha um valor que dê ao piloto margem para gerar dados de uso relevantes, ao mesmo tempo em que limita sua exposição caso o consumo fique acima do esperado. Se você ajustar o tamanho do grupo piloto mais tarde, reveja essa estimativa.
Por exemplo, suponha que você implemente em fase piloto uma funcionalidade agêntica com 20 desenvolvedores em Copilot Business. Cada licença inclui 1,900AI credits por mês, portanto, seu grupo piloto se baseia em um pool compartilhado de 20 × 1,900 incluídos AI credits antes do início de quaisquer encargos medidos. Se você espera um uso intenso de cerca de 3.000 AI credits por desenvolvedor naquele mês, estime o uso total como 20 × 3.000. Subtraia a franquia incluída para estimar o consumo medido e, em seguida, multiplique por $0.01 USD para estimar o custo do excedente e defina o teto um pouco acima disso. Você criará o orçamento que impõe esse teto depois de habilitar o recurso, em Definir um orçamento para limitar os custos do piloto.
Habilitar o recurso para o grupo piloto
Agora que você estimou os custos e escolheu quem incluir, você pode ativar o recurso de maneira independente. O objetivo é dar ao seu grupo piloto uma experiência real e corretamente governada, mantendo o restante da sua empresa inalterado.
Você fará isso em quatro etapas:
- Confirme a associação da organização e a atribuição de licença.
- Configure as políticas que regem o recurso.
- Habilite o recurso somente para essa organização.
- Defina um orçamento para limitar os custos do piloto.
Confirmar a associação da organização e a atribuição de licença
Só pertencer a uma organização não basta: a maioria das políticas Copilot se aplica com base em qual organização atribui a licença Copilot de um usuário, não apenas nas organizações às quais ele pertence. Se alguém pertencer a várias organizações, confirme se a licença for atribuída especificamente por meio da organização piloto. Se ela for atribuída por meio de outra, as políticas da organização piloto não controlarão seu acesso e a habilitação de recursos neste tutorial não se aplicará a elas.
Se algum dos seus usuários do piloto ainda não for membro, ou já for membro, mas receber a licença em outro lugar, adicione-o à organização piloto e atribua a licença Copilot a ele por meio dela antes de continuar.
Configurar políticas antes de habilitar o recurso
Copilot as políticas controlam quais recursos e modelos seus usuários podem acessar e como seus dados são tratados. Configure essas políticas para a organização piloto antes de ativar o recurso, para que os usuários piloto obtenham uma experiência governada corretamente de sua primeira interação, em vez de uma breve janela em que o recurso está disponível sem os guardrails que você pretende.
Decida quais recursos e modelos o piloto deve permitir e defina as políticas no nível da organização para que a alteração afete apenas sua organização piloto; as políticas definidas no nível da empresa se aplicam a todas as organizações da sua empresa. Se sua política empresarial não permitir que as organizações definam seu próprio valor, um proprietário da empresa deverá alterar isso antes que você possa continuar. Para entender como as políticas se propagam da empresa para as organizações e quem pode sobrescrever as configurações em cada nível, consulte GitHub Copilot políticas para empresas e organizações.
Habilitar o recurso para uma única organização
Como proprietário da organização, habilite o recurso ou modelo específico apenas para a organização piloto, nas configurações de política da Copilot organização. Para obter as etapas completas, consulte Gerenciando políticas e recursos para GitHub Copilot em sua organização. Confirme se a configuração se aplica à organização piloto e não à empresa como um todo antes de salvá-la.
Definir um orçamento para limitar os custos do piloto
Mais cedo, você decidiu um teto de gastos para o piloto. Agora você criará o orçamento que o impõe.
Primeiro, entenda o que o orçamento de uma organização faz. Ele limita apenas as cobranças por uso e só entra em vigor depois que o pool compartilhado de AI credits se esgota. Ele não limita o gasto total, então defina o limite para a quantidade de excedente que você está disposto a pagar além do subsídio incluído, não para o custo total do piloto. É importante destacar que um orçamento não interrompe automaticamente por padrão: as cobranças continuam acumulando após o limite, a menos que você ative Parar o uso quando o limite do orçamento for atingido ao criá-lo.
Como proprietário ou gerente de cobrança da organização, crie um orçamento com escopo para a organização piloto, defina seu limite para o teto excedente escolhido e habilite Parar o uso quando o limite de orçamento for atingido.
Se você quiser impedir que qualquer usuário piloto individual aumente o consumo, defina também um orçamento geral por usuário. Este é o único controle que sempre impõe um bloqueio rígido e contabiliza o consumo de um usuário, tanto do pool compartilhado quanto do uso medido, para o mesmo limite. Defina-o como uma quantidade modesta que permite que os participantes façam um trabalho real, mas impede que qualquer usuário consuma uma parte maior do orçamento do piloto.
Para saber como os orçamentos medim e bloqueiam o uso nos níveis de usuário, organização e empresa, consulte Orçamentos para cobrança baseada em uso.
Monitorar o piloto
Em todo o piloto, acompanhe a adoção, colete comentários do desenvolvedor e observe o custo e a atividade agente em relação aos critérios de êxito definidos no início. Juntos, esses sinais ajudam você a decidir se deseja expandir o recurso.
Acompanhar a adoção e o uso com Copilot métricas
Use as métricas de uso Copilot para ver quantos dos seus usuários do piloto estão ativos, com que frequência eles usam o recurso e como esses números evoluem durante o período do piloto. A adoção que se mantém estável ou cresce é um forte sinal; o uso que dispara e depois diminui pode significar que o recurso não está se encaixando nos fluxos de trabalho reais dos desenvolvedores.
- Para entender o que as métricas abrangem e como interpretá-las, consulte Métricas de uso do GitHub Copilot.
- Para exibir o painel da sua organização ou empresa, consulte Exibindo o painel de métricas de uso do Copilot.
Coletar comentários do desenvolvedor de seu grupo piloto
As métricas dizem se as pessoas usam o recurso, mas não por que ou quão bem ele funciona para elas. Reúna comentários qualitativos para preencher essa lacuna. Execute pesquisas curtas, faça check-ins regulares ou configure um canal dedicado em que os usuários piloto possam relatar o que está funcionando e o que não está.
É nesse momento que os participantes que você escolheu pela disposição em fornecer feedback mostram seu valor. Faça perguntas específicas: onde o recurso economizou tempo, onde produziu resultados ruins e se ele mudou o funcionamento. Esses comentários geralmente mostram problemas e oportunidades que os números sozinhos não revelarão e fornece exemplos concretos para compartilhar com a liderança mais tarde.
Monitore o custo e a atividade agêntica nos orçamentos e no log de auditoria
Fique de olho nos gastos em relação ao orçamento que você criou ao longo de todo o piloto, não apenas no final. Se o uso se aproximar do seu limite mais cedo do que o esperado, isso é um indicativo útil, logo no início, de quanto custaria uma implementação em maior escala. Para ver as etapas de como monitorar o que foi gasto em relação ao orçamento, consulte Monitorar o uso de GitHub AI Credits. Para acompanhar os gastos ao longo do tempo, consulte Gerenciando os gastos da sua empresa em GitHub Copilot.
Além do custo, observe se o recurso está sendo usado com segurança. Esta é a terceira pergunta que a liderança fará, e o piloto é a sua chance de respondê-la com evidências em vez de garantias. Para funcionalidades agênticas, examine as sessões do agente para entender o que a funcionalidade está realmente fazendo em nome dos seus desenvolvedores e identificar qualquer comportamento inesperado ou indesejado; o log de auditoria registra quando a funcionalidade é habilitada ou desabilitada, mas não registra esse nível de detalhe. Confirme se as políticas e os orçamentos definidos estão se comportando conforme o esperado e observe qualquer coisa que precise de guardrails mais rígidos em uma escala maior. Consulte Monitorando a atividade agêntica na sua empresa.
Tomar uma decisão de prosseguir ou não
No final do piloto, verifique seus resultados em relação aos critérios de sucesso definidos antecipadamente e decida se deseja expandir o recurso, manter e coletar mais dados ou revertê-lo. Tome a decisão deliberadamente e documente as evidências por trás dela.
Confirme que você tem provas suficientes para decidir
Antes de decidir, verifique se o piloto executou a duração que você planejou e produziu dados suficientes para dar suporte a uma conclusão defensável.
O uso do piloto consome primeiro a cota compartilhada (sem custo adicional) antes do início da cobrança por consumo, portanto é esperado um gasto de US$ 0 no início do piloto, e uma duração menor pode tornar os dados de custo enganosos.
Você está pronto para decidir quando você tem:
- Métricas de adoção que mostram um padrão estável em vez de uma única intermitência inicial.
- Dados de custo reais, abrangendo pelo menos um ciclo de cobrança, que você pode comparar com sua estimativa.
- Comentários de uma amostra representativa dos usuários do projeto piloto.
Se algum desses elementos estiver fraco, por exemplo, se o uso ainda estiver aumentando ou poucos participantes tiverem participado, considere estender o piloto em vez de tomar uma decisão com base em evidências incompletas. Uma decisão que você pode embasar em dados é muito mais fácil de defender para a liderança e muito menos propensa a ter de ser revertida.
Relatar à liderança
Para justificar sua decisão e criar um caso para uma distribuição mais ampla, relate os resultados do piloto à liderança.
Identificar os dados a serem compartilhados
Reúna os sinais coletados durante o projeto piloto:
- Métricas de adoção, que mostram quantos usuários do piloto estavam ativos e como o uso evoluiu ao longo do tempo.
- Custo real em relação ao orçamento, comparando o que o piloto gastou com o teto definido e com sua estimativa original.
- Temas de comentários, resumindo onde os participantes encontraram valor e onde encontraram problemas.
- Observações de segurança e governança, incluindo tudo o que você aprendeu com o log de auditoria ou de como políticas e orçamentos se comportaram.
Adoção, custo e segurança do quadro em relação ao ROI
Apresentar os dados em termos de negócios e não como números brutos. Conecte a adoção e comentários ao valor que o recurso entregou, como tempo economizado, trabalho desbloqueado ou qualidade aprimorada, e avalie isso em relação ao custo real e a qualquer consideração de governança ou risco observadas.
Conclua com uma recomendação clara: expandir, manter ou parar, e quanto custaria para implementar em maior escala. Enquadrar o piloto como uma questão de retorno sobre o investimento, custo previsível e risco gerenciado dá à liderança o que eles precisam para aprovar uma distribuição mais ampla com confiança.
Aja de acordo com sua decisão
Dê o próximo passo com base nas evidências coletadas e na decisão que tomou.
Expandir a distribuição em toda a sua empresa
Se as evidências indicarem que se deve prosseguir, amplie a implantação em etapas, em vez de fazer tudo de uma só vez. Estenda a política de funcionalidades para mais organizações e só então para o restante da sua empresa, quando cada etapa estiver estável. À medida que você adiciona mais usuários, aumenta ou adiciona orçamentos para que seus controles de gastos aumentem com a população maior e continuem monitorando a adoção e o custo em cada etapa.
Para obter orientações mais amplas sobre como gerenciar uma distribuição em toda a sua empresa, consulte Implementando o GitHub Copilot em escala.
Reverter e desabilitar o recurso de forma limpa
Se as evidências apontarem que não se deve seguir adiante, desative o recurso de forma limpa para que não haja custos residuais nem confusão. Desative o recurso ou a política de modelo da organização piloto e informe aos participantes que o piloto terminou e por quê, para que eles não fiquem se perguntando por que o recurso desapareceu.
Confirme que não há uso remanescente que possa continuar gerando cobranças no seu orçamento e revise ou remova o orçamento piloto para que não afete relatórios futuros. Mantenha os dados e o feedback que você coletou: até mesmo uma decisão de não seguir adiante é um resultado útil para compartilhar com a liderança e pode orientar uma reavaliação futura quando o recurso estiver mais maduro.