HERMES: harness em nível de componente com um LLM residente por módulo de código

O que aconteceu e o que fazer

O artigo do arXiv apresenta o HERMES, um harness de agentes de código em que cada componente do repositório é acompanhado por um LLM residente que conhece aquele código. Segundo os autores, a abordagem gera ganhos em tarefas de migração e em quatro benchmarks de engenharia de software, em comparação com harnesses de baseline equivalentes. A conclusão central é que o desenho do harness, e não apenas a escolha do modelo, pode produzir grandes melhoras em agentes de código de longo horizonte.

Para uma empresa com sistemas legados ou monorepos grandes, a ideia aplicável é organizar o agente por módulo, com contexto local e responsabilidades claras, em vez de um único agente com acesso ao repositório inteiro. Isso pode ser prototipado sobre repositórios privados, usando modelos hospedados na própria infraestrutura do cliente, com pipelines de avaliação que medem tarefas de migração e testes antes de qualquer adoção. Antes de escalar, é preciso medir custo, taxa de acerto e regressões por componente, com registro auditável de cada alteração proposta.

Como a consultoria pode ajudar

Diagnóstico de como agentes de código são usados hoje em repositórios e migrações, seguido de um protótipo de harness por componente sobre código do cliente, com benchmark interno e métricas de custo e qualidade. Operação com monitoramento, versionamento de contexto e revisão humana das alterações, em infraestrutura própria do cliente.

Próximo passo

Envie uma descrição curta do seu repositório, do tipo de migração ou manutenção que deseja automatizar e da infraestrutura disponível. Com isso preparamos uma proposta escopada, com diagnóstico inicial, prazos e formato de projeto ou retainer mensal.