rag-normas: perguntas sobre as normas do Pix
Um chatbot genérico responde sobre o Pix de memória: limites que mudaram, o MED, o que o banco pode cobrar. Este projeto responde só a partir do texto oficial em vigor do Banco Central, diz de onde veio cada frase e mede quantas vezes acerta.
O caminho de uma pergunta
O corpus
14 atos em vigor do BCB sobre o Pix: o Regulamento do Pix consolidado, tarifas, Manual de Penalidades, limites de valor, Pix Automático e Agendado, Pix Saque e Troco, adesão, DICT. São 649 trechos, um por artigo. Atos oficiais não têm proteção de direito autoral (Lei 9.610/98, art. 8º, IV), e cada trecho guarda o link da página oficial.
O BCB publica o texto consolidado com todas as redações antigas riscadas. O ingestor descarta o riscado, e o Regulamento do Pix cai de 56 mil para 29 mil palavras: sem isso, a busca devolveria regra revogada.
Avaliação
82 perguntas: 70 escritas à mão a partir de artigos sorteados (estratificado por ato, semente fixa), cada uma com o artigo que responde e uma resposta de referência, e 12 de fora do corpus (Selic, TED, imposto de renda, LGPD) para medir se o sistema sabe dizer que não sabe.
| Busca | Recall@1 | Recall@5 | MRR@10 | p50 |
|---|---|---|---|---|
| BM25 | 0,57 | 0,90 | 0,70 | 0,5 ms |
| Vetor (e5-small) | 0,54 | 0,76 | 0,66 | 4 ms |
| Híbrida (RRF) | 0,60 | 0,84 | 0,72 | 5 ms |
| Híbrida + re-ranker | 0,80 | 0,90 | 0,84 | 315 ms |
O CI falha se Recall@5 ou MRR@10 caírem mais de 0,03 em relação à linha de base guardada no repositório. O BM25 vai bem aqui em parte porque as perguntas foram escritas a partir do texto: os números servem para pegar regressão, não como benchmark.
Respostas
Com um modelo local (qwen3.5:9b no Ollama) gerando e outro (gemma4:12b) julgando: 66 de 70 perguntas respondidas, todas com citação e 95% citando o artigo esperado, nenhuma citação inventada e as 12 perguntas de fora do corpus respondidas com "NÃO ENCONTREI". As 4 que ficaram sem resposta são casos em que a busca não trouxe o artigo certo, e o modelo disse que não encontrou em vez de chutar.
Quanto custa rodar
- Tudo na CPU, sem torch: e5-small e um cross-encoder mMiniLM em ONNX int8
- Tokenizer SentencePiece de 5 MB no lugar do tokenizer.json, que ocupava 370 MB de RAM por instância (os ids são iguais, e há teste conferindo isso no corpus inteiro)
- Container com 512 MB e 0,5 CPU, só leitura e sem root: 404 MB de pico e cerca de 1 busca por segundo com re-ranker; sem o re-ranker, 261 MB e 74 buscas por segundo
- LLM só em plano grátis: Groq, depois OpenRouter :free, depois Ollama local
Com os outros projetos
- Servidor MCP com duas ferramentas: buscar_normas (só busca, sem LLM) e perguntar_normas_pix (resposta com citação)
- Cada resposta vira um trace no genai-lens, e o traceparent de quem chamou coloca os spans dentro do trace do agente
Rodar local
git clone https://github.com/vicgamelo/rag-normas cd rag-normas && uv sync uv run rag-normas models && uv run rag-normas build uv run rag-normas search "devolução de Pix por fraude"
Limites
As perguntas foram escritas pelo autor, e os ajustes do re-ranker e o corte de abstenção foram escolhidos neste mesmo conjunto. Os manuais em PDF que completam o regulamento (Manual de Tempos, Manual do DICT) ainda não estão no corpus. Não é orientação jurídica: a resposta aponta o artigo para você conferir.