Drift com PSI
Mude a distribuição de produção e veja o PSI e o alerta que disparam o retreino.
Cenário de produção
Escolha um caso ou ajuste à mão.
Treino: 4.000 clientes, média 35, desvio 11.
Nada a fazer: o modelo vê clientes parecidos com os do treino.
Idade dos clientes: treino × produção
No treino, cada faixa tem 10% dos clientes (a linha tracejada). As barras são a produção: quanto mais quente a cor, mais a faixa pesa no PSI.
Semana a semana em produção
Se o público mudar aos poucos até o cenário escolhido, é assim que o monitoramento vê o PSI subir.
Ver a tabela com os números de cada faixa
O PSI é a soma da coluna da direita.
| Faixa de idadeIdade | Treino | ProduçãoProd. | ContribuiçãoContrib. |
|---|---|---|---|
| PSI | |||
Como o PSI funciona
- 1
Fatiar o treino
A idade dos clientes do treino é dividida em 10 faixas com 10% dos clientes cada (os decis).
- 2
Contar a produção
Os clientes que chegaram em produção são distribuídos nessas mesmas faixas.
- 3
Somar a diferença
Cada faixa soma (produção − treino) × ln(produção ÷ treino). Faixa igual soma zero.
PSI = Σ (pprod − ptreino) · ln(pprod / ptreino)
No mlops-platform essa conta roda para cada feature do modelo de crédito. Passou de 0,25, ele abre um retreino, e o modelo novo só substitui o campeão se ganhar nos critérios de qualidade e de justiça.