Este tutorial le guía en la ejecución de un piloto de principio a fin: establecer un presupuesto, habilitar la función para un grupo limitado, supervisar los resultados y utilizar los datos obtenidos para tomar y comunicar una decisión de seguir adelante o no.
Antes de iniciar el piloto
Antes de habilitar cualquier cosa, asegúrese de que ha evaluado la característica o el modelo y ha confirmado que cumple los requisitos de cumplimiento. Consulte Preparación de nuevas características y modelos.
Si no está seguro de si una característica o un modelo es seguro para habilitarlo, consulte con los equipos de seguridad y cumplimiento de su empresa antes de iniciar el piloto.
Define qué significa el éxito
Decida qué se considerará un «go» antes de empezar, para evaluar la prueba piloto según un plan en lugar de hacerlo a posteriori. Anote algunos criterios de éxito concretos que cubran la adopción (por ejemplo, un recurso mínimo de usuarios activos), el costo (que permanece dentro del límite máximo establecido) y los comentarios cualitativos (por ejemplo, la mayoría de los participantes recomendarían la característica). Comparará los resultados reales de la prueba piloto con estos criterios en Tomar una decisión de seguir o no seguir.
Planifique también cuánto durará la prueba piloto. Los presupuestos y el conjunto compartido de AI credits se restablecen en cada ciclo de facturación, por lo que debe prever que el piloto abarque al menos un ciclo de facturación completo, normalmente de cuatro a seis semanas; un periodo más corto puede dejarle con muy pocos datos de costes y adopción para extraer una conclusión fiable.
Elección de quién incluir en el grupo piloto
Dado que las características y los modelos están habilitados en el nivel de organización, todos los usuarios que reciben su Copilot licencia a través de esa organización obtendrán acceso, no solo un subconjunto elegido manualmente y no necesariamente todos los que sean miembros de ella. Por lo tanto, en lugar de seleccionar individuos, busque una organización cuya población con licencia ya refleje los criterios siguientes:
- Los desarrolladores realizan un trabajo real y significativo. Los participantes del piloto deben usar la función en los lenguajes, frameworks y repositorios que importan a su organización, no en proyectos desechables. Las señales de uso y costo solo son de confianza si proceden de un trabajo genuino.
- Combinación de habilidades y niveles de antigüedad. Incluya tanto a ingenieros experimentados como a personas menos familiarizadas con su base de código o con Copilot. Diferentes niveles de experiencia usan la característica de forma diferente y descubren diferentes valores y diferentes problemas.
- Una variedad de equipos y flujos de trabajo. Es posible que una característica que ayude al flujo de trabajo de un equipo no ayude a otro. Abarcar a unos pocos equipos te ofrece una visión más fiable de dónde aporta valor la funcionalidad y de dónde no.
- Personas dispuestas a enviar comentarios. Gran parte del valor de un piloto proviene de comentarios cualitativos, no solo de métricas. Elija los participantes que participarán, notifique lo que funciona y lo que no, y responda cuando solicite su entrada.
Si ninguna de las organizaciones encaja, por ejemplo, si la combinación adecuada de personas está dispersa entre varias organizaciones, o las organizaciones son demasiado grandes para servir como piloto independiente, puede crear una organización dedicada y agregar solo los usuarios elegidos a ella. Esto le proporciona un control preciso sobre quién está incluido, pero significa migrar o duplicar el acceso al repositorio para esos usuarios, y puede que no funcione bien para características como agente en la nube de Copilot que dependen del contexto de nivel de repositorio profundo. Este tutorial parte de la base de que usa una organización existente; si opta por una organización dedicada, considere configurarla y añadir miembros como un paso adicional antes de Activar la función para el grupo piloto.
Estimación de los costos y establecimiento de un límite máximo de presupuesto
Muchas de las características y los modelos que deseará probar se facturan a través del uso, por lo que el gasto no se fija según el número de licencias que asigne.
Un puñado de desarrolladores activos que usan un modelo de frontera o una característica agente podría consumir más de lo esperado. Calcule una estimación aproximada de lo que podría costar la prueba piloto y fije un límite máximo que esté dispuesto a asumir antes de habilitar la función.
Empiece por comprender cómo se factura la característica o el modelo. Las características basadas en el uso consumen GitHub AI Creditsy el costo de cada interacción depende del modelo y del número de tokens consumidos. Para comprender qué características cuentan para el uso, cómo se agrupan los créditos incluidos en toda la empresa y cómo se cobra el uso por encima del límite, consulte Facturación basada en el uso para organizaciones y empresas.
Para generar una estimación, combine tres números:
- Número de personas del grupo piloto, que definió en la sección anterior.
- Cuánto se espera que usen la característica. No lo sabrá hasta que la gente lo use realmente, así que elija una estimación deliberadamente de alto nivel en lugar de intentar predecirla con precisión. Si ya ha implementado una característica o modelo comparables, use su uso real como punto de referencia. Si no es así, supongamos un uso intensivo frecuente por desarrollador, ya que las características agente y los modelos de frontera cuestan más por interacción que una pregunta rápida de chat. Un grupo pequeño que hace un uso intensivo de la función puede costar más que un grupo grande que la utiliza ocasionalmente.
- La cantidad incluida de la que puedes disponer. Cada licencia asignada incluye una cantidad mensual de AI credits que se pone en común a nivel de empresa, por lo que parte del consumo del piloto puede quedar cubierto antes de que se facture cualquier exceso.
Utilícelos para establecer un tope: la cantidad máxima que está dispuesto a gastar en la prueba piloto antes de querer hacer una pausa y reevaluar. Elija una cifra que dé suficiente margen a la prueba piloto para generar datos de uso significativos, al tiempo que limita su exposición si el consumo resulta superior a lo previsto. Si ajusta el tamaño del grupo piloto más adelante, vuelva a consultar esta estimación.
Por ejemplo, supongamos que pruebas una función basada en agentes con 20 desarrolladores en Copilot Business. Cada licencia incluye 1,900AI credits al mes, por lo que el grupo piloto dispone de una reserva compartida de 20 × 1,900 incluidos AI credits antes de que comiencen los cargos por consumo. Si espera un uso intensivo de aproximadamente 3000 AI credits por desarrollador ese mes, calcule el uso total como 20 × 3000. Resta la cantidad incluida para estimar el uso facturable y, a continuación, multiplícalo por $0.01 USD para estimar el coste por exceso y fija el límite ligeramente por encima de esa cifra. Creará el presupuesto que aplica este límite máximo después de habilitar la característica, en Establecer un presupuesto para limitar los costos del piloto.
Habilitación de la característica para el grupo piloto
Ahora que ha estimado los costos y ha elegido quién incluir, puede activar la característica de forma independiente. El objetivo es proporcionar a su grupo piloto una experiencia real y controlada correctamente mientras mantiene el resto de su empresa sin verse afectado.
Lo hará en cuatro pasos:
- Confirme la pertenencia a la organización y la asignación de licencias.
- Configure las directivas que rigen la característica.
- Habilite la característica solo para esa organización.
- Establezca un presupuesto para limitar los costos del piloto.
Confirmar la pertenencia a la organización y la asignación de licencias
La pertenencia por sí sola no es suficiente: la mayoría de las directivas Copilot se aplican en función de qué organización asigna la licencia de Copilot de un usuario, no simplemente de las organizaciones a las que pertenece. Si alguien pertenece a varias organizaciones, confirme que su licencia se asigna a través de la organización piloto específicamente. Si se asigna mediante otro método, las directivas de la organización piloto no regirán su acceso y la habilitación de las características de este tutorial no se les aplicará.
Si alguno de los usuarios del programa piloto aún no es miembro, o si lo es pero tiene asignada su licencia en otro lugar, agréguelo a la organización piloto y asígnele su licencia de Copilot antes de continuar.
Configuración de directivas antes de habilitar la característica
Copilot las políticas controlan a qué funciones y modelos pueden acceder sus usuarios y cómo se gestionan sus datos. Configure estas directivas para la organización piloto antes de activar la característica, de modo que los usuarios piloto obtengan una experiencia controlada correctamente desde su primera interacción en lugar de una breve ventana en la que la característica esté disponible sin los límites de protección que quiera.
Decida qué características y modelos debe permitir el piloto y establezca las directivas en el nivel de organización para que el cambio solo afecte a la organización piloto; Las directivas establecidas en el nivel empresarial se aplican a todas las organizaciones de su empresa. Si la directiva empresarial no permite que las organizaciones establezcan su propio valor, el propietario de la empresa debe cambiarla antes de que pueda continuar. Para comprender cómo las directivas se transmiten en cascada desde la empresa hasta las organizaciones y quién puede anular la configuración en cada nivel, consulte directivas de GitHub Copilot para empresas y organizaciones.
Habilitación de la característica para una sola organización
Como propietario de la organización, habilite la función o el modelo específicos solo para la organización piloto desde la configuración de directivas de la organización Copilot. Para obtener los pasos completos, consulte Administración de directivas y características para GitHub Copilot en su organización. Confirme que la configuración se aplica a la organización piloto y no a la empresa en su conjunto antes de guardarla.
Establecer un presupuesto para limitar los costos del piloto
Antes, decidió un límite de gasto para el programa piloto. Ahora vas a crear el presupuesto que lo haga cumplir.
Primero, entienda qué hace el presupuesto de una organización. Solo establece un límite para los cargos por consumo **, y se activa solo después de que se agote la reserva compartida de AI credits. No limita el gasto total, así que fija el límite en el importe del exceso que estás dispuesto a pagar por encima de la cuota incluida, no en el coste total del piloto. Es importante destacar que un presupuesto no es un límite estricto por defecto: los cargos se siguen acumulando aunque se supere el límite, a menos que active Detener el uso al alcanzar el límite del presupuesto al crearlo.
Como propietario de la organización o administrador de facturación, cree un presupuesto para la organización piloto, fije su límite en el tope de exceso que haya elegido y habilite Detener el uso cuando se alcance el límite del presupuesto.
Si desea evitar que un único usuario piloto dispare el consumo, establezca también un presupuesto universal por usuario. Este es el único control que siempre actúa como un límite estricto y contabiliza el consumo de un usuario tanto de la reserva compartida como del uso medido para el mismo límite. Fíjelo en una cantidad modesta que permita a los participantes realizar trabajo real, pero que impida que un solo usuario consuma una parte desproporcionada del presupuesto de la prueba piloto.
Para obtener información sobre cómo los presupuestos miden y bloquean el uso en los niveles de usuario, organización y empresa, consulte Presupuestos para la facturación basada en el uso.
Supervisión del piloto
A lo largo del piloto, haga un seguimiento de la adopción, recopile comentarios de los desarrolladores y supervise los costes y la actividad agéntica con respecto a los criterios de éxito que definió al principio. Juntas, estas señales le ayudan a decidir si expandir la característica.
Seguimiento de la adopción y el uso con Copilot métricas
Utiliza Copilot métricas de uso para ver cuántos de tus usuarios piloto están activos, con qué frecuencia usan la función y cómo evolucionan esas cifras a lo largo del periodo piloto. La adopción que mantiene constante o crece es una señal fuerte; el uso que aumenta y luego se atenua puede significar que la característica no se ajusta a los flujos de trabajo reales de los desarrolladores.
- Para comprender qué cubren las métricas y cómo interpretarlas, consulte métricas de uso de GitHub Copilot.
- Para ver el panel de su organización o empresa, consulte Visualización del panel de métricas de uso de Copilot.
Recopilación de comentarios del desarrollador del grupo piloto
Las métricas indican si las personas usan la característica, pero no por qué o cómo funciona para ellas. Recopile comentarios cualitativos para llenar esa brecha. Ejecute encuestas cortas, mantenga las comprobaciones periódicas o configure un canal dedicado donde los usuarios piloto puedan informar de lo que funciona y lo que no.
Aquí es donde dan sus frutos los participantes que elegiste por su disposición a dar comentarios. Haz preguntas específicas: dónde la función ahorró tiempo, dónde produjo malos resultados y si cambió su forma de trabajar. Estos comentarios a menudo muestran problemas y oportunidades que los números por sí solos no revelarán, y le ofrece ejemplos concretos para compartir con el liderazgo más adelante.
Supervise los costes y la actividad de los agentes en los presupuestos y en el registro de auditoría
Vigile los gastos con respecto al presupuesto que creó durante todo el piloto, no solo al final. Si el uso se acerca a tu límite antes de lo previsto, eso proporciona indicios tempranos útiles de lo que costaría un despliegue más amplio. Para conocer los pasos para supervisar lo que ha invertido en el presupuesto, consulte Supervisión del uso de GitHub AI Credits. Para realizar el seguimiento del gasto a lo largo del tiempo, consulte Administración del gasto de su empresa en GitHub Copilot.
Junto con el costo, observe si la característica se usa de forma segura. Esta es la tercera pregunta que hará la dirección, y el piloto es tu oportunidad de responderla con pruebas en lugar de con garantías. En el caso de las características agente, revise las sesiones del agente para comprender lo que la característica está haciendo realmente en nombre de los desarrolladores y detectar cualquier comportamiento inesperado o no deseado; el registro de auditoría registra cuando la característica está habilitada o deshabilitada, pero no captura ese nivel de detalle. Confirme que las directivas y los presupuestos establecidos se comportan según lo previsto y tenga en cuenta cualquier cosa que necesite límites de protección más estrictos a una escala mayor. Consulte Supervisar la actividad de agentes en la empresa.
Tomar una decisión de seguir adelante o no
Al final del piloto, compruebe los resultados con los criterios de éxito definidos por adelantado y decida si quiere expandir la característica, mantener y recopilar más datos o revertirlos. Tome la decisión deliberadamente y documente la evidencia detrás de ella.
Confirme que tiene suficiente evidencia para decidir
Antes de decidir, compruebe que la prueba piloto se llevó a cabo durante el tiempo previsto y produjo datos suficientes para respaldar una conclusión defendible.
El uso piloto se descuenta primero del fondo compartido (sin coste adicional) antes de que comience la facturación por consumo, por lo que es esperable un gasto de 0 USD al principio del piloto y un periodo de ejecución más corto puede hacer que los datos de costes resulten engañosos.
Ya puedes decidirlo cuando:
- Métricas de adopción que muestran un patrón estable en lugar de una sola ráfaga temprana.
- Datos de costos reales, que abarcan al menos un ciclo de facturación, que puede comparar con la estimación.
- Comentarios de una variedad representativa de usuarios piloto.
Si alguno de estos datos aún es insuficiente, por ejemplo, si el uso sigue creciendo o solo han participado unos pocos participantes, considere ampliar el piloto en lugar de tomar una decisión basándose en pruebas incompletas. Una decisión que puedes respaldar con datos es mucho más fácil de defender ante la dirección y mucho menos probable que haya que revertir.
Informe al liderazgo
Para justificar su decisión y respaldar un despliegue más amplio, informe sobre los resultados del piloto a la dirección.
Identificación de los datos que se van a compartir
Reúna los indicadores que recopiló durante la prueba piloto:
- Métricas de adopción, que muestran el número de usuarios piloto activos y la tendencia de uso a lo largo del tiempo.
- Costo real con respecto al presupuesto, comparando lo que gastó el piloto en el límite máximo que estableció y con la estimación original.
- Temas de comentarios, que resumen dónde los participantes encontraron valor y dónde se encontraron problemas.
- Observaciones de seguridad y gobernanza, incluido todo lo que ha aprendido del registro de auditoría o de cómo se comportan las directivas y los presupuestos.
Plantee la adopción, el coste y la seguridad en relación con el ROI
Presente los datos en términos empresariales en lugar de como cifras sin procesar. Relacione la adopción y los comentarios con el valor que aportó la funcionalidad, como el tiempo ahorrado, los bloqueos eliminados o la mejora de la calidad, y compárelo con su coste real y con cualquier consideración de gobernanza o riesgo que haya identificado.
Concluya con una recomendación clara: ampliar, mantener o detener, y cuál sería el coste de ampliar su implantación. Plantear el piloto como una cuestión de retorno de la inversión, costes previsibles y riesgo gestionado da a la dirección lo que necesita para aprobar con confianza un despliegue más amplio.
Actuar en función de su decisión
Tome el siguiente paso en función de las pruebas recopiladas y de la decisión que tomó.
Amplíe la implementación en toda su empresa
Si los datos respaldan seguir adelante, amplíe el despliegue por fases en lugar de hacerlo todo de una vez. Extienda la política de funcionalidades a más organizaciones y, solo entonces, extiéndala al resto de su organización cuando cada fase presente un estado satisfactorio. A medida que añada más usuarios, aumente o añada presupuestos para que sus controles de gasto se adapten al mayor número de usuarios, y siga supervisando la adopción y los costes en cada paso.
Para obtener instrucciones más amplias sobre cómo administrar un lanzamiento en toda la empresa, consulte Implementación de GitHub Copilot a gran escala.
Revierte y desactiva la función correctamente
Si las pruebas apuntan a que no conviene seguir adelante, desactive la función de forma limpia para que no haya costes residuales ni confusión. Desactive la directiva de características o modelos para la organización piloto y indique a los participantes que ha finalizado el piloto y por qué, por lo que no se quedan preguntándose por qué desapareció la característica.
Confirme que no queda ningún consumo que pueda seguir imputándose a su presupuesto y revise o elimine el presupuesto piloto para que no afecte a futuros informes. Conserve los datos y los comentarios recabados: incluso una decisión de no seguir adelante es un resultado útil para compartir con la dirección, y puede servir de base para una reevaluación posterior cuando la funcionalidad madure.