rag-normas: perguntas sobre as normas do Pix

Um chatbot genérico responde sobre o Pix de memória: limites que mudaram, o MED, o que o banco pode cobrar. Este projeto responde só a partir do texto oficial em vigor do Banco Central, diz de onde veio cada frase e mede quantas vezes acerta.

  • RAG
  • Evaluation
  • MCP

O caminho de uma pergunta

Pergunta → BM25 + vetor → RRF → Re-ranker → LLM grátis → Resposta [n]PerguntaBM25 + vetorRRFRe-rankerLLM grátisResposta [n]
O índice é um arquivo SQLite feito offline (FTS5 para o BM25, sqlite-vec para os vetores) e aberto só para leitura. Se o re-ranker diz que nada do que veio é sobre a pergunta, a resposta é "NÃO ENCONTREI" e o LLM nem é chamado.

O corpus

14 atos em vigor do BCB sobre o Pix: o Regulamento do Pix consolidado, tarifas, Manual de Penalidades, limites de valor, Pix Automático e Agendado, Pix Saque e Troco, adesão, DICT. São 649 trechos, um por artigo. Atos oficiais não têm proteção de direito autoral (Lei 9.610/98, art. 8º, IV), e cada trecho guarda o link da página oficial.

O BCB publica o texto consolidado com todas as redações antigas riscadas. O ingestor descarta o riscado, e o Regulamento do Pix cai de 56 mil para 29 mil palavras: sem isso, a busca devolveria regra revogada.

Avaliação

82 perguntas: 70 escritas à mão a partir de artigos sorteados (estratificado por ato, semente fixa), cada uma com o artigo que responde e uma resposta de referência, e 12 de fora do corpus (Selic, TED, imposto de renda, LGPD) para medir se o sistema sabe dizer que não sabe.

BuscaRecall@1Recall@5MRR@10p50
BM250,570,900,700,5 ms
Vetor (e5-small)0,540,760,664 ms
Híbrida (RRF)0,600,840,725 ms
Híbrida + re-ranker0,800,900,84315 ms

O CI falha se Recall@5 ou MRR@10 caírem mais de 0,03 em relação à linha de base guardada no repositório. O BM25 vai bem aqui em parte porque as perguntas foram escritas a partir do texto: os números servem para pegar regressão, não como benchmark.

Respostas

Com um modelo local (qwen3.5:9b no Ollama) gerando e outro (gemma4:12b) julgando: 66 de 70 perguntas respondidas, todas com citação e 95% citando o artigo esperado, nenhuma citação inventada e as 12 perguntas de fora do corpus respondidas com "NÃO ENCONTREI". As 4 que ficaram sem resposta são casos em que a busca não trouxe o artigo certo, e o modelo disse que não encontrou em vez de chutar.

Quanto custa rodar

  • Tudo na CPU, sem torch: e5-small e um cross-encoder mMiniLM em ONNX int8
  • Tokenizer SentencePiece de 5 MB no lugar do tokenizer.json, que ocupava 370 MB de RAM por instância (os ids são iguais, e há teste conferindo isso no corpus inteiro)
  • Container com 512 MB e 0,5 CPU, só leitura e sem root: 404 MB de pico e cerca de 1 busca por segundo com re-ranker; sem o re-ranker, 261 MB e 74 buscas por segundo
  • LLM só em plano grátis: Groq, depois OpenRouter :free, depois Ollama local

Com os outros projetos

  • Servidor MCP com duas ferramentas: buscar_normas (só busca, sem LLM) e perguntar_normas_pix (resposta com citação)
  • Cada resposta vira um trace no genai-lens, e o traceparent de quem chamou coloca os spans dentro do trace do agente

Rodar local

git clone https://github.com/vicgamelo/rag-normas
cd rag-normas && uv sync
uv run rag-normas models && uv run rag-normas build
uv run rag-normas search "devolução de Pix por fraude"

Limites

As perguntas foram escritas pelo autor, e os ajustes do re-ranker e o corte de abstenção foram escolhidos neste mesmo conjunto. Os manuais em PDF que completam o regulamento (Manual de Tempos, Manual do DICT) ainda não estão no corpus. Não é orientação jurídica: a resposta aponta o artigo para você conferir.