Accessibility tree ou screenshot para agentes de IA

Rodrigo Branas
21 nov 20268 min de leitura
#accessibility-tree#arvore-de-acessibilidade

Quando um agente de IA opera uma interface, a primeira decisão de projeto é o que ele recebe como observação: a árvore de acessibilidade (accessibility tree) da tela ou um screenshot. A escolha muda custo, velocidade e o tipo de erro que o agente comete, e um erro frequente é tratá-la como uma disputa em que uma das opções precisa vencer.

Este post compara as quatro famílias de observação (pixels, árvore de acessibilidade, híbrido e declarativo/código), mostra onde cada uma falha e propõe um roteador em TypeScript que escolhe o canal por chamada. Para o laço em que essa observação entra, veja O que é (e o que não é) um agente.

O que o agente recebe quando "olha" a tela?

Uma tela é a renderização de um estado: arquivos, DOM, memória do processo, backend da aplicação. O agente nunca vê esse estado diretamente. Ele recebe um canal, e existem dois tipos básicos.

Uma tela chega ao agente por dois canais: o de pixels, que entrega um screenshot, e o de estado, que entrega a accessibility tree.
A mesma tela vira imagem no canal de pixels e árvore estruturada no de estado.

O canal de pixels é a imagem renderizada. O canal de estado é uma consulta sobre a mesma máquina: percorrer a árvore de acessibilidade, serializar o DOM, ler uma célula de planilha, listar um diretório.

A diferença importa porque a renderização perde informação. Duas telas idênticas podem vir de estados diferentes: o total exibido numa planilha pode ser uma fórmula ou um valor digitado, e uma linha relevante pode estar fora da área visível. O artigo StateAct (2026) usa esse argumento: a entrega de uma tarefa em desktop é uma mudança de estado, não uma imagem dela.

A árvore de acessibilidade é o canal de estado mais direto quando o aplicativo não oferece API. Ela é o mapa estruturado que o sistema operacional ou o navegador expõe para leitores de tela: cada controle com papel (button, textbox), nome, valor, estado e as ações que aceita. No macOS é a API de Accessibility, no Windows é o UI Automation, no Linux é o AT-SPI2 e, na web, o navegador deriva a árvore do DOM e dos atributos ARIA.

Quais são as quatro famílias de observação?

FamíliaO que o modelo recebeAção típicaForçaFalha típica
PixelsScreenshot, às vezes com caixas numeradas ou OCRClicar em (x, y)Funciona em qualquer coisa visívelMuitos tokens, sensível a DPI, incerteza de coordenada
Árvore AXPapéis, nomes, valores, estadosInvocar ou preencher por idDeterminística e estável a tema e resoluçãoÁrvore incompleta, velha ou vazia
HíbridoCandidatos fundidos de árvore, OCR e visãoAção semântica, ou coordenada se não houverCobertura sem abandonar a estruturaCanais que discordam, ranking que descarta o nó certo
Declarativo / códigoEstado em esquema, arquivo, API, DOMset_value, chamada de API, scriptTrajetórias curtas e artefato verificávelExige um caminho de acesso

A divisão em quatro famílias resume o que propõem artigos como LUMOS, Tactile, ASIL e StateAct. Nenhuma família substitui as outras, e as próximas seções mostram por quê.

Quando o screenshot é a resposta certa?

O screenshot é o canal universal. Se há algo desenhado na tela, ele existe numa imagem, e é por isso que os agentes de computer use baseados em captura de tela cobrem aplicativos que ninguém preparou para automação: jogos, editores de imagem, uma área de desenho, um desktop remoto.

O preço vem em três itens. O primeiro é a ambiguidade: uma imagem mostra o botão "Enviar", mas não garante que ele esteja habilitado nem diz como confirmar que o clique funcionou. O segundo é a geometria: o mesmo botão muda de coordenada com o DPI e o zoom, e o agente precisa converter. O terceiro é o custo em tokens.

Sobre o custo, um relato de Anup Karanjkar, de julho de 2026, faz a conta com a documentação de visão da Anthropic: uma imagem custa ⌈largura/28⌉ × ⌈altura/28⌉ tokens visuais, com teto de 4.784 nos modelos de alta resolução. Em 31 passos no teto, são 148.304 tokens, ou US$ 0,74 ao preço do Opus 5 (US$ 5 por milhão de tokens de entrada), para extrair sessenta linhas de texto que o aplicativo já tinha em memória, estruturadas. É a conta de um autor, com os preços de julho de 2026, e serve para ilustrar a ordem de grandeza, não como medição geral.

O que a accessibility tree entrega, e onde ela quebra?

No navegador, o exemplo mais direto é o servidor MCP do Playwright. A documentação oficial descreve que ele deixa o modelo interagir com páginas por snapshots de acessibilidade estruturados, sem precisar de screenshots nem de modelos de visão. Cada nó recebe uma referência (ref), e a ação seguinte usa essa referência em vez de coordenadas:

text
- heading "Pedido #4821" [level=1] [ref=e10]
- textbox "CEP" [ref=e11]
- button "Calcular frete" [ref=e12]
- checkbox "Entrega expressa" [checked] [ref=e13]

Duas coisas fazem esse formato valer a pena. A ação é semântica: "clicar em e12" não depende de resolução. E a verificação é barata: no próximo snapshot, [checked] aparece ou não aparece.

Os mesmos mecanismos explicam as falhas.

A árvore pode não existir. Um canvas aparece como um único elemento. O estudo Screen2AX (2025) auditou aplicativos de macOS: nos 99 aplicativos gratuitos mais populares, 17,7% não tinham metadados de acessibilidade, 45,9% tinham metadados parciais e 36,4% tinham metadados completos. Numa amostra aleatória de 452 aplicativos da Mac App Store e do Brew Cask, 32,7% não tinham nada e só 29,4% eram completos. A árvore é o tipo certo de objeto, mas a cobertura é irregular.

A árvore também pode estar velha. A referência do QASkills sobre snapshots do Playwright MCP lista como primeira armadilha agir sobre refs velhas: elas valem para o snapshot em que nasceram, e depois de qualquer ação é preciso tirar um snapshot novo. Páginas reais animam, hidratam e buscam dados de novo, então um snapshot tirado no meio de uma animação pode nem conter o elemento.

E a árvore pode ganhar de uma tela que está certa. O artigo Do GUI Agents Believe Their Eyes? (2026) montou 735 sondagens em web, mobile e desktop, em que a estrutura e os pixels discordam. Os modelos acertam o que veem na imagem isolada, mas, diante do conflito, tendem a copiar o texto da estrutura. Com snapshots desatualizados de páginas reais, seguem a estrutura velha em até 88% das sondagens, e a recuperação em tarefas de vários passos fica em no máximo 3%. É o mesmo padrão de prompt injection indireto: um nó injetado ou obsoleto vira a verdade do agente.

E o híbrido e o declarativo?

O híbrido nasce da constatação de que a árvore às vezes falha em partes da tela. O projeto Tactile usa uma escada: primeiro a árvore de acessibilidade; depois o OCR, quando o texto visível é o melhor localizador; por fim o controle por screenshot, para canvas, editores de mídia e ícones sem nome. Os candidatos só são fundidos quando apontam o mesmo alvo.

O declarativo ou código vai além: quando existe um caminho de acesso, a observação sai da tela. O artigo ASIL propõe que o agente leia e escreva o estado do aplicativo por arquivo, script ou API, com ações como set_value e api_call. O StateAct segue a mesma linha: o agente principal trabalha em arquivos, backends de aplicação e DOM, e um subagente de interface gráfica só entra para o que é puramente visual. Segundo o artigo, isso ocorreu em 28 de 108 tarefas e em 1,1% dos passos do agente principal.

O limite é óbvio: se a tarefa é editar uma foto, o resultado está nos pixels e nenhuma consulta de estado o substitui.

Como combinar as quatro: um roteador por chamada?

Os estudos convergem em um ponto: produção não escolhe uma família na inicialização, escolhe por chamada. Um fornecedor de automação de desktop, o Terminator, relata que a árvore cobre cerca de 95% dos cliques em aplicativos de negócio e a visão fica com os 5% restantes. Esse número é de quem vende a ferramenta, não de uma medição independente, então use-o como relato e meça a proporção nos seus aplicativos.

Roteador de observação: a superfície passa por perguntas em ordem e cai em pixels, código, árvore AX ou OCR conforme o que está disponível.
Um roteador escolhe o canal de observação por chamada, não uma vez só.

Um roteador mínimo recebe o que se sabe sobre a superfície e devolve o canal:

ts
type Surface = {
  hasScriptPath: boolean; // arquivo, API ou consulta ao DOM
  hasAxProvider: boolean; // o app expõe uma árvore
  namedRatio: number; // fração de controles interativos com nome (0 a 1)
  hasVisibleText: boolean; // OCR tem o que ler
  renderOnly: boolean; // canvas, jogo, edição de imagem
};

type Channel = "code" | "ax" | "ocr" | "pixels";

function pickChannel(s: Surface): Channel {
  if (s.renderOnly) return "pixels";
  if (s.hasScriptPath) return "code";
  if (s.hasAxProvider && s.namedRatio >= 0.8) return "ax";
  if (s.hasVisibleText) return "ocr";
  return "pixels";
}

type AxNode = { ref: string; role: string; name: string };
type Snapshot = { id: number; nodes: AxNode[] };

function clickRef(snapshot: Snapshot, latestId: number, ref: string): string {
  if (snapshot.id !== latestId) {
    throw new Error("snapshot velho: observe de novo antes de agir");
  }
  const node = snapshot.nodes.find(n => n.ref === ref);
  if (!node) throw new Error(`ref ${ref} não existe neste snapshot`);
  return `click ${node.role} "${node.name}"`;
}

O limiar de 0,8 é um valor de exemplo: ajuste-o com uma amostra de telas do seu produto. A segunda função mostra a regra que evita um erro comum da árvore, a referência velha: a ação só passa se o snapshot ainda for o mais recente.

O roteador ainda precisa de uma cláusula para o conflito. Se a árvore diz que o botão está habilitado e a imagem mostra o oposto, o que o agente faz? O resultado de 88% acima mostra que confiar na estrutura por padrão é arriscado. Das quatro mitigações que o artigo Do GUI Agents Believe Their Eyes? compara, só uma reduziu ao mesmo tempo o sequestro da ação e o erro na tarefa: um portão de consistência, sem treino, que detecta o conflito e volta a ancorar a decisão antes de agir.

Quando usar cada um, e o que ainda precisa de screenshot?

  • Aplicativo web ou desktop com acessibilidade boa: comece pela árvore. É o caminho mais barato e, como o README do Playwright MCP lembra, evita a ambiguidade dos screenshots.
  • Existe API, arquivo ou script: use o canal de código e deixe a interface para o resto. A tarefa vira uma chamada verificável.
  • Texto visível, árvore fraca: OCR como degrau intermediário.
  • Canvas, jogo, editor de imagem, vídeo: pixels, e aceite o custo.
  • Conteúdo que muda entre as ações: a observação por snapshot não ajuda. O artigo AOI (2026) lembra que os agentes atuais tiram um screenshot a cada 3 a 5 segundos e ficam cegos entre eles; com uma camada de observação contínua, modelos de 7B a escala de fronteira ganharam de 17 a 48 pontos percentuais no DynaCU-Bench, sem retreino.

Duas observações valem para qualquer família. A primeira: re-observe depois de toda ação que muda estado, porque os identificadores podem ter mudado. A segunda: a árvore só é tão boa quanto a acessibilidade do software. Um botão sem nome falha para o leitor de tela e para o agente, e consertar o nome ajuda os dois.

Se você quer construir esse tipo de agente com critério de engenharia, a Formação em Inteligência Artificial trabalha esses temas.

Referências

Saiba mais

Formação em Inteligência Artificial

Aprenda tudo, desde a criação de um processo de desenvolvimento, passando pela construção de aplicações até a automação de processos, tudo com inteligência artificial, do início ao fim.

// Artigos relacionados

Continue lendo.

  1. Inteligência Artificial22 nov 2026 7 min

    Git worktree para agentes em paralelo, sem colisão

    Como usar git worktree para rodar agentes de código em paralelo sem colisão: comandos reais, best-of-N e as pegadinhas de porta, node_modules, .env e banco.

  2. Inteligência Artificial21 nov 2026 7 min

    Autocorreção de LLM: o verificador deve ser externo

    Autocorreção de LLM em raciocínio piora a resposta sem feedback externo. Veja o que os papers mediram e como montar um loop gerar-verificar em TypeScript.

  3. Inteligência Artificial20 nov 2026 7 min

    Clustering de texto: embedding e LLM na zona cinzenta

    Clustering de texto com embedding e cosseno, mandando só os pares ambíguos a um classificador LLM, e por que o centróide cria grupos gigantes.

Cookies e privacidade

Utilizamos cookies para melhorar sua experiência, analisar o tráfego do site e personalizar conteúdo. Você pode aceitar todos, rejeitar ou personalizar suas preferências.