Skip to content

Evals ganham seis casos que chamam os comandos do plugin - #139

Merged
RicardoAlbuquerquet merged 1 commit into
mainfrom
evals-dos-comandos
Sep 21, 2026
Merged

RicardoAlbuquerquet merged 1 commit into
mainfrom
evals-dos-comandos

Conversation

@RicardoAlbuquerquet

Copy link
Copy Markdown
Owner

O que resolve

Os evals mandam o pedido direto ao modelo e nunca chamam /concise:pr,
/concise:commit e os outros comandos. Por isso nenhuma reescrita de comando
foi medida — nem a das versões 1.73.0 a 1.77.0, nem a da #133.

O que foi feito

  • Seis casos novos em evals/commands/, um para cada comando que mais sai da
    conversa: commit, PR, card, comentário, status e decisão. O prompt de cada
    um é o próprio comando, e os fatos dizem para não rodar ferramenta.
  • CASES=commands aponta o harness para essa pasta. Sem PLUGIN=1 ele recusa
    rodar, porque sem o plugin o comando não existe e toda rubrica falharia.
  • Dois testes novos: a recusa sem plugin, e todo caso da pasta abrindo com
    /concise:.

Os casos ainda não rodaram contra o modelo: o login do claude venceu antes
da medição.

Como testar

bash scripts/test-hooks.sh

Imprime 146 ok, 0 falhas.

CLAUDE_CONFIG_DIR=~/.claude-eval PLUGIN=1 CASES=commands RUNS=3 bash evals/run.sh

Roda os seis casos, 36 chamadas.

@RicardoAlbuquerquet RicardoAlbuquerquet self-assigned this Sep 21, 2026
@RicardoAlbuquerquet
RicardoAlbuquerquet merged commit 141a33a into main Sep 21, 2026
7 of 8 checks passed
@RicardoAlbuquerquet
RicardoAlbuquerquet deleted the evals-dos-comandos branch September 21, 2026 18:26
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant