ANÁLISE EDITORIAL / 2026-10-12 — 2026-10-16
Text-to-SQL que sabe se abster
Benchmarks de premissa, memória e uso de evidência para dados corporativos.
Dos 50 títulos visíveis de 16/out, nenhum era de finanças, mas vários tocam o uso de LLMs sobre dados empresariais. O destaque, PremiseSQL, avalia se sistemas text-to-SQL criticam premissas falsas e se abstêm em vez de inventar consultas — requisito básico para assistentes sobre bases de clientes e posições. Outros trabalhos mostram que LLMs com busca recuperam evidência mas não a usam, que notas atribuídas por LLMs mudam com a escala de rating, e que alucinação procedural em agentes conversacionais exige avaliação própria. O contrato de disponibilidade para earnings calls, cross-listado, é o único item diretamente financeiro. Seleção feita por título.
EVOLUÇÃO
A W40 trouxe um benchmark de dados corporativos em escala real; esta semana o foco vai para abstenção e uso de evidência.
O QUE FAZER COM ISSO
Assistentes de dados em bancos devem ser avaliados quanto a abstenção diante de perguntas com premissas erradas.
Cobertura parcial: a listagem q-fin veio truncada (12 de 36 papers de 14/out faltando; 12 e 13/out não exibidos); as páginas econ e cs.MA vieram desatualizadas (econ coberto só por cross-lists da listagem q-fin); cs.AI e cs.CL mostraram só 50 títulos de um único dia e cs.LG nenhum título da janela. Os papers de IA foram pré-selecionados pelo título. Só 6 abstracts foram lidos (3 adicionados no complemento de 20/out) (resumos via WebFetch, abstractVerified=false); o restante da análise se apoia em títulos. Ficaram pendentes as listagens e o abs 2610.18921 (HTTP 429).