← DemosNo navegador

Drift com PSI

Mude a distribuição de produção e veja o PSI e o alerta que disparam o retreino.

mlops-platform

Cenário de produção

Escolha um caso ou ajuste à mão.

Treino: 4.000 clientes, média 35, desvio 11.

00,10,250,5
PSI0,000
Estável

Nada a fazer: o modelo vê clientes parecidos com os do treino.

Idade dos clientes: treino × produção

No treino, cada faixa tem 10% dos clientes (a linha tracejada). As barras são a produção: quanto mais quente a cor, mais a faixa pesa no PSI.

TreinoProdução

Semana a semana em produção

Se o público mudar aos poucos até o cenário escolhido, é assim que o monitoramento vê o PSI subir.

Primeiro aviso
Retreino aberto
PSI na semana 12
Ver a tabela com os números de cada faixa

O PSI é a soma da coluna da direita.

Faixa de idadeIdadeTreinoProduçãoProd.ContribuiçãoContrib.
PSI

Como o PSI funciona

  1. 1

    Fatiar o treino

    A idade dos clientes do treino é dividida em 10 faixas com 10% dos clientes cada (os decis).

  2. 2

    Contar a produção

    Os clientes que chegaram em produção são distribuídos nessas mesmas faixas.

  3. 3

    Somar a diferença

    Cada faixa soma (produção − treino) × ln(produção ÷ treino). Faixa igual soma zero.

PSI = Σ (pprod − ptreino) · ln(pprod / ptreino)

Regra usada no mercado e no mlops-platform< 0,1 estável0,1 a 0,25 investigar> 0,25 retreinar

No mlops-platform essa conta roda para cada feature do modelo de crédito. Passou de 0,25, ele abre um retreino, e o modelo novo só substitui o campeão se ganhar nos critérios de qualidade e de justiça.