#4 As camadas ocultas da IA: raciocínio invisível, custos invisíveis e as novas regras de construção

#newsletter #ia

LLMs estão raciocinando de formas que você não vê na resposta

Um novo artigo de pesquisadores da NYU, da University of Maryland e da Together AI desafia uma premissa básica do monitoramento de segurança de IA: a de que a cadeia de raciocínio (chain-of-thought) de um modelo realmente captura o que ele está pensando. Em 13 modelos de fronteira, incluindo Claude Opus 4.5, Opus 4.6, GPT-5.2 e Gemini 3, os pesquisadores descobriram que os modelos melhoram em tarefas simples de matemática e código mesmo quando impedidos de produzir qualquer raciocínio visível, desde que recebam antes "filler tokens": sequências fixas e sem sentido, como números em contagem ou nomes de animais, que não carregam nenhuma informação sobre o problema em si. Alguns modelos ganharam até 13 pontos percentuais de acurácia só com isso.

Ao investigar por que isso acontece, os pesquisadores descobriram que a computação útil não fica concentrada em nenhum filler token específico: ela se espalha pela sequência inteira, com mais peso nos tokens iniciais, e se forma nas primeiras camadas do modelo, o que foi confirmado com activation patching e probing no Qwen3-235B. O resultado mais impressionante envolve o Claude Opus 4.5: os pesquisadores criaram uma regra oculta em que o modelo deveria responder "N/A" em vez da resposta real sempre que o número correto satisfizesse secretamente uma condição de aritmética modular, e, com filler tokens, o Opus 4.5 cumpriu essa restrição oculta com frequência significativamente maior, sem nenhuma queda de acurácia no problema de matemática em si. Ele acompanhou silenciosamente um segundo objetivo, não declarado, e nada desse raciocínio extra apareceu na resposta. O curioso é que essa capacidade parece resistir a ser ensinada de propósito. Os pesquisadores tentaram induzi-la com aprendizado por reforço, e o modelo de fato desenvolveu preferências claras por certos filler tokens, mas, quando o testaram mais tarde, sem treinamento adicional, o benefício tinha sumido. Fine-tuning também não funcionou. Ou seja, não é um truque que alguém colocou no modelo. É simplesmente algo que esses sistemas já sabem fazer sozinhos, em segundo plano, quer a gente tenha colocado isso lá ou não.

Link: https://arxiv.org/pdf/2607.22925


Os modelos de IA são a commodity, o harness é o produto de verdade

Paul Iusztin escreveu um bom artigo sobre como, à medida que os modelos de IA se tornam commodities intercambiáveis, o valor real migra para o "harness", o software que envolve o modelo e permite que ele aja em vez de só conversar. Um harness dá ao modelo bruto o que lhe falta: ferramentas para interagir com o mundo, memória entre sessões, uma janela de contexto gerenciada, um sandbox onde ele pode falhar com segurança, guardrails sobre o que ele pode fazer sem aprovação e orquestração para repassar trabalho entre agentes. Ferramentas como Claude Code, Cursor e Codex muitas vezes rodam modelos parecidos por baixo; o que as faz parecer diferentes é o harness, algo que a LangChain provou ao trocar apenas o harness de um agente de programação e vê-lo saltar de mais ou menos o 30º lugar para o top 5 de um benchmark. Para as empresas, tudo se resume a construir ou comprar: harnesses genéricos de programação esbarram em um limite assim que precisam conhecer as suas regras de negócio ou alcançar os seus próprios usuários, e é por isso que harnesses específicos de domínio estão surgindo em direito, medicina e finanças, ao lado de frameworks open source como o Deep Agents, da LangChain, que ficam no meio-termo.

What's Harness Engineering?If AI models are a commodity, the harness is the thing you want to own.read.technically.dev

A IA está reescrevendo as regras do desenvolvimento de produto

Segundo o artigo de Larry English na Forbes, o papel clássico de product manager não está morrendo, e sim se dividindo em algo novo: o "product builder". Citando o 2026 Products That Count CPO Impact Report, ele observa que as vagas de PM caíram 30% no geral e 70% em SaaS, enquanto o número de pessoas que combinam visão de produto, habilidade técnica, senso de design e visão de negócio quase triplicou, de 600 mil para 1,7 milhão. O argumento é que, à medida que a IA torna a construção de software drasticamente mais barata, se repete o mesmo padrão visto no desenvolvimento mobile: barreiras menores para criar levam a mais criação, não menos, e o gargalo passa da execução para saber o que realmente vale a pena construir. English cita SC Moatti, da Products That Count, que argumenta que acoplar IA a um processo inalterado só produz resultados incrementais, enquanto as empresas que estão saindo na frente estão redesenhando todo o ciclo de vida do produto em torno do que a IA agora torna possível. O texto termina com um desafio estrutural para as lideranças: a maioria das empresas ainda está organizada em silos funcionais, com produto, design e engenharia respondendo a líderes diferentes, com métricas diferentes, e, à medida que a IA encurta a distância entre essas disciplinas, essa estrutura fica mais difícil de justificar. A afirmação maior é que os product builders são só o primeiro caso visível de uma mudança mais ampla, rumo a organizar o trabalho em torno de capacidades, e não de cargos fixos.

Link: https://www.forbes.com/sites/larryenglish/2026/07/30/ai-is-rewriting-the-rules-of-product-development/


Mesmo prompt, conta totalmente diferente: o que realmente encarece os agentes de programação

Já reparou como dois prompts pedindo exatamente a mesma correção podem acabar custando valores totalmente diferentes? Um novo estudo da PointFive mediu isso de fato, rodando quase 5.000 testes com seis modelos de IA e duas ferramentas de agentes de programação (PI.DEV e Claude Code), com verificações adicionais no Kimi-K3 e no Claude Sonnet 5.

O maior culpado acabou sendo pedir ao agente que "proponha várias abordagens e compare-as" antes de escolher uma. Essa única instrução fez a IA pensar de 2,4 a 7,4 vezes mais do que o normal, sem de fato construir soluções melhores. Em média, ela esboçou três ideias que nunca usou e construiu só uma. Frases como "pense profundamente" ou "tenha certeza absoluta" causaram outro problema: em vez de pensar demais, a IA passou a conferir o próprio trabalho duas, três vezes, às vezes fazendo uma tarefa custar 18 vezes mais sem resultado melhor. Curiosamente, só repetir as mesmas instruções de um jeito mais longo quase não custou nada a mais, então a questão não é o tamanho do prompt, e sim o tipo de trabalho que você está pedindo sem perceber.

A ferramenta que você usa também importa. O Claude Code veio com uma configuração embutida muito maior e levou bem mais passos do que o PI.DEV para concluir a mesma tarefa, ficando até 30 vezes mais caro para o mesmo resultado.

E qual é a solução? Uma instrução simples e objetiva funciona melhor: partir das evidências, fazer a menor mudança necessária, rodar os testes e parar assim que funcionar. Todos os modelos testados se saíram tão bem ou melhor com essa abordagem, custando o mesmo ou menos. No fim, você não precisa pedir para uma IA "pensar muito" para ter um bom resultado, só precisa dizer claramente quando ela deve parar.

Prompt-Induced Waste in Coding Agents: Reasoning, Effort, Harness Design, and End-to-End CostCoding-agent efficiency cannot be characterized by token count or model price alone. End-to-end cost and task success depend jointly on prompt semantics, inference effort, harness policy, model, task difficulty, tool use, context management, and provider accounting. Controlled experiments show that…arXiv.org