Método PURE
Pragmatic Usability Rating by Experts
Quantificação da Fricção Cognitiva, Validação Científica, Dinâmica de
Avaliação e Confiabilidade por Krippendorff's Alpha.
O Dilema da Medição de Usabilidade em UX
- O Desafio Corporativo: Empresas exigem métricas numéricas objetivas para direcionar investimentos de produto, mas testes empíricos de laboratório exigem tempo, orçamento e logística complexa.
- A Barreira dos Softwares B2B / Complexos: Dificuldade de recrutar públicos altamente especializados (ex: engenheiros de simulação, médicos, operadores de redes).
- Analytics / Testes A/B: Medem o que o usuário fez (cliques, conversão), mas ignoram a carga cognitiva e o sofrimento do usuário.
- Avaliações Heurísticas Tradicionais: Entregam listas qualitativas de problemas sem notas numéricas padronizadas para comparações históricas ou benchmarks.
O que é o Método PURE?
- Definição: É uma metodologia analítica (não empírica) que quantifica o nível de atrito e a facilidade de uso de um produto digital.
- Natureza Híbrida: Integra princípios das Revisões por Especialistas (Heurísticas) com a decomposição do Keystroke Level Modeling (KLM).
- Sem Usuários Finais ao Vivo: Não há recrutamento de usuários reais realizando tarefas na sessão; quem julga a interface é um painel de especialistas sob a ótica de uma persona.
- Nota Numérica (Score): Permite acompanhar a evolução de versões (V1 vs. V2) ou comparar com a concorrência.
- Sinalização Cromática (Verde, Amarelo, Vermelho): Identifica instantaneamente onde estão os pontos de bloqueio para desenvolvedores e stakeholders.
Origem Histórica e Criadores
- Desenvolvido no departamento de design da Intel Security em parceria com a consultoria de métricas estatísticas MeasuringU.
- Lançamento Oficial: Publicado em 2016 na CHI Conference on Human Factors in Computing Systems (San Jose, Califórnia).
- Estudo de Caso: Veja também o artigo de consolidação do método no Nielsen Norman Group (NN/g).
- Christian P. Rohrer: Chief Design Officer - Intel Security / ex-NN/g.
- Jeff Sauro, PhD: Fundador da MeasuringU e autor referência em estatística de UX.
- James Wendt, Frederick Boyle e Sara Cole: Pesquisadores seniores de UX.
O PURE substitui os Testes de Usabilidade com Usuários?
O PURE é complementar; ele não elimina o valor de ouvir o usuário final para descobrir modelos mentais totalmente inesperados.
- Vantagem em Eficiência: Um painel de especialistas audita a jornada completa de uma aplicação em poucos dias, reduzindo falsos positivos.
- Quando não há tempo, orçamento ou logística para recrutar usuários reais.
- Em fases de prototipação (média/alta fidelidade) para eliminar barreiras graves antes que o código seja escrito.
- Para benchmarking competitivo e acompanhamento de dívida técnica de UX em produtos legados.
Validação Científica — O Paper Fundacional (CHI 2016)
Os autores rodaram o PURE e, simultaneamente, aplicaram testes empíricos reais de usabilidade (com 15 participantes moderados e 202 não moderados) nos mesmos sistemas para validar a precisão do método.
Poder Preditivo (\(R^2\)): A pontuação do PURE consegue prever e explicar entre 25% e 36% de toda a variação na percepção de facilidade dos usuários reais. Saiba mais na análise de validação da MeasuringU.
-
SEQ (Facilidade Pós-Tarefa):
Correlação Moderada
Mostra que a nota dada pelos especialistas no PURE acompanha de perto a facilidade real que o usuário sente ao concluir uma tarefa. -
SUS (Usabilidade Geral do Sistema):
Correlação Moderada
Valida que o acúmulo de atritos mapeados no PURE reflete fielmente a nota final de satisfação global do produto. -
SUPR-Q (Qualidade e Lealdade de UX):
Correlação Forte
Prova que um score ruim no PURE afeta diretamente a percepção de qualidade da marca e a disposição do cliente em recomendar o sistema.
Validação de Mercado (NN/g) e na Indústria (Siemens/arXiv)
- Apresentou o PURE no artigo do NN/g como o "Tomatometer da Usabilidade" (um índice pragmático de consenso para executivos).
- Demonstrou a aplicação do PURE em grandes empresas (como a Capital One) para orientar decisões estratégicas e priorizar os roteiros de engenharia.
- Estudo de caso publicado no preprint arXiv (2026) aplicou o PURE com 3 especialistas para comparar planilhas tabulares tradicionais contra protótipos em Diagramas de Sankey em simulações da Siemens.
- Achados Práticos com PURE: Provou quantitativamente uma redução de 51% na carga cognitiva e 56% menos interações no novo design.
A Dinâmica da Sessão — Como Funciona sem Usuários Reais?
- O Piloto / Driver: Uma pessoa que conhece o sistema e navega pela tela.
- O Painel de Especialistas: 2 a 3 avaliadores de UX/usabilidade e domínio.
- Formato com Piloto ao Vivo (Live Walkthrough): O piloto compartilha a tela e executa o fluxo passo a passo em tempo real enquanto os avaliadores assistem.
- Formato por Gravação de Vídeo: Utiliza-se um vídeo gravado da navegação sem erros para que os especialistas assistam e pontuem assincronamente (como aplicado no estudo da Siemens).
O Papel do Piloto (Driver) — Por que ele DEVE conhecer o sistema?
- Função Puramente Mecânica (Execução Perfeita): O piloto não simula a dúvida do usuário nem "tenta adivinhar" ações. Ele percorre o Happy Path sem erros.
- Garantia de Padronização: Se o piloto fosse um leigo, ele hesitaria por conta própria, transformando o PURE em um teste empírico despadronizado.
- Anúncio dos Limites do Passo: O piloto experiente conhece as fronteiras das etapas e sinaliza ao grupo: "Ação finalizada, podem pontuar o Passo 1".
São os 3 especialistas que estão assistindo! Enquanto o piloto navega sem falhas, o especialista olha para a interface e se pergunta: 'Se a nossa persona leiga estivesse diante dessa tela agora, o quão difícil seria para ela entender o que fazer?
O Papel dos Avaliadores — Roteiro e Controle na Planilha
- Eles precisam conhecer o sistema a fundo? Não! Devem dominar princípios de UX e vestir a pele da persona. Se conhecerem atalhos demais do software, perdem a empatia com o leigo.
- Eles precisam decorar passos? Não! Ninguém decora nada.
- O Roteiro Pré-Mapeado: Antes da sessão, o líder da pesquisa mapeia todas as tarefas e cadastra os passos em uma planilha compartilhada (ou software). Cada especialista acompanha com sua própria planilha contendo o roteiro sequencial:
| Tarefa | Nº Passo | Descrição do Roteiro | Nota (1-3) | Anotações do Avaliador |
|---|---|---|---|---|
| Login | 01 | Localizar botão "Entrar" | 1 | Botão bem destacado. |
| Login | 02 | Preencher e-mail e prosseguir | 2 | Campo com rótulo apagado. |
Definição e Escolha da Persona (Usuário-Alvo)
- Como e por quem é definida: Decidida antes da sessão pelo Product Manager, Designer Líder ou comitê. Baseia-se nas personas reais da empresa (pesquisas de campo/mercado).
- Alinhamento Obrigatoriamente Único: Todos os 3 avaliadores usam rigorosamente a MESMA persona na rodada.
- Por que não variar a persona na mesma sessão? Se o Avaliador 1 pensar em um "Engenheiro Sênior" e o Avaliador 2 em um "Estagiário Leigo", os dados perdem a validade estatística.
- Devem ser realizadas duas avaliações PURE totalmente separadas: Rodada 1 para a Persona A e Rodada 2 para a Persona B.
Fase de Preparação — Tasks, Happy Path e Step Boundaries
- 1. Seleção das Tarefas Fundamentais: Foco nas 5 a 15 tarefas mais críticas para o negócio e para o usuário.
- 2. Mapeamento do Happy Path: O PURE avalia apenas o fluxo principal sem erros.
- Onde Começa: Quando o sistema apresenta à interface um novo conjunto de opções (a tela ou seção renderiza).
- Onde Termina: Quando o usuário realiza uma ação e espera uma resposta significativa do sistema (ex: clicar em "Avançar", "Salvar", carregar dados).
- Regra das Micro-interações: Preencher múltiplos campos em um formulário (Nome, CPF, Endereço) é considerado UM ÚNICO PASSO. O passo só encerra ao clicar no botão de submissão.
A Rubrica de Pontuação de Fricção (Escala de 1 a 3)
Atrito Baixo / Fluido: Etapa realizada facilmente. Carga cognitiva baixa ou padrão de interface amplamente dominado pelo mercado (ex: aceitar termos de serviço).
Atrito Notável / Esforço Moderado: Exige esforço mental ou físico. O usuário hesita, precisa ler com atenção, procurar elementos ou fazer cliques adicionais, mas conclui a etapa.
Atrito Crítico / Ponto de Falha: Etapa difícil, confusa ou fora dos padrões esperados. Alta probabilidade de a persona errar, ficar bloqueada ou abandonar a tarefa.
Regras de Pontuação: Soma e a Regra do Pior Caso (Worst-Case)
Soma-se as notas dos passos.
Exemplo: Passos [1, 2, 1, 1] ➔ Score da Tarefa = 5
A cor da tarefa é ditada pelo seu passo mais difícil (pior nota).
A Regra de Ouro: Se uma tarefa tiver 10 passos 'Verdes' (nota 1) e 1 único passo 'Vermelho' (nota 3), a cor final da tarefa é VERMELHA.
Fundamentação: Um produto maduro não pode ter pontos cegos onde o usuário corra o risco de falhar em uma jornada essencial.
O que é a Confiabilidade Interavaliadores (IRR)?
Definição de IRR (Inter-rater Reliability): Métrica estatística que avalia o grau de concordância entre os especialistas antes da reunião de consenso.
- Confere solidez e rigor científico.
- Elimina o viés individual ("achismo" do designer).
- Prova aos executivos que a avaliação foi isenta e metodologicamente padronizada.
Origem e História do Alpha de Krippendorff (α)
- Criador: Klaus Krippendorff (Sociólogo e Professor da Annenberg School for Communication na Universidade da Pensilvânia).
- Origem (Décadas de 1960 a 1980): Desenvolvido para a Análise de Conteúdo em ciências sociais, mídia e imprensa.
Pesquisadores precisavam transformar textos e discursos em dados quantitativos confiáveis, mas os coeficientes antigos (como Cohen e Fleiss) falhavam com múltiplos codificadores ou dados faltantes.
Por que o Alpha de Krippendorff foi Escolhido para o PURE?
- Entende a Escala Ordinal (1, 2, 3): Aplica funções de distância. Entende que a divergência entre Nota 1 e Nota 3 é uma falha grave, penalizando-a mais do que a divergência entre 1 e 2.
- Suporta Qualquer Número de Avaliadores: Funciona para 2, 3, 5 ou mais especialistas (o Kappa de Cohen clássico só aceita 2).
- Lida com Dados Ausentes: Não invalida o teste se um avaliador esquecer de preencher um campo.
- Desconta o Acaso: Isola o acordo real da probabilidade de notas iguais "por sorte".
A Matemática do Alpha e a Distância Ordinal
- \(D_o\) (Discordância Observada): Erros e divergências reais cometidos na planilha.
- \(D_e\) (Discordância Esperada por Acaso): Divergências que ocorreriam por chutes aleatórios.
- \(\text{Nota 1 vs. Nota 1} \rightarrow \text{Distância} = 0\) (Acordo Perfeito)
- \(\text{Nota 1 vs. Nota 2} \rightarrow \text{Distância} = (2-1)^2 = 1\) (Erro Leve)
- \(\text{Nota 1 vs. Nota 3} \rightarrow \text{Distância} = (3-1)^2 = 4\) (Erro Pesado / Penalização Alta)
Interpretação dos Valores de Alpha (α)
| Valor de Alpha (α) | Nível de Confiabilidade | Interpretação / Ação |
|---|---|---|
| α = 1,0 | Concordância Perfeita | Todos os avaliadores deram a mesma nota. |
| α ≥ 0,800 | Alta Confiabilidade | Dados maduros, prontos para fundamentar decisões executivas. |
| α = 0,667 a 0,799 | Confiabilidade Mínima Aceitável | Limite padrão científico do PURE. |
| α < 0,667 | Baixa Confiabilidade | Alinhamento fraco; a rodada deve ser tratada como treinamento/calibração. |
Por que o IRR começa BAIXO na 1ª rodada e como ele MELHORA?
- Projeção Abstrata da Persona: Cada especialista interpreta o "nível de leiguismo" da persona de forma levemente diferente no primeiro contato com a tela.
- Sensibilidade da Escala: Avaliador "ranzinza" dá 3, enquanto o "otimista" dá 1 para o mesmo passo.
- Fronteiras da Interface: Divergências sobre a clareza de clicar em menus/abas.
- O Papel da Reunião de Consenso (Passo 7): Os avaliadores expõem os porquês de suas notas: "Dei 3 porque a persona não domina a sigla X" \(\rightarrow\) "Verdade! Eu tinha dado 1 porque eu já conheço a sigla, esqueci que a persona é leiga".
- Rodada 1 (Sem treino): \(\text{IRR} \approx 0{,}50 \text{ a } 0{,}57\) (Sintoma normal de falta de calibração).
- Rodadas 2 e 3 (Após Consenso): O cérebro da equipe se alinha. Nas avaliações seguintes, o \(\text{IRR}\) inicial salta para \(0{,}80 \text{ a } 1{,}0\).
Régua de Escala e o Índice de Fricção Relativa (%)
Define a amplitude teórica de esforço para aquele conjunto de passos.
- Score Mínimo = Total de Etapas x 1 (Cenário Ideal - Tudo Verde).
- Score Máximo = Total de Etapas x 3 (Cenário Crítico - Tudo Vermelho).
Validade Estatística: Técnica padrão de ciência de dados utilizada para reescalar notas brutas em um intervalo percentual padronizado de 0% a 100%.
Inspirações do Índice de Fricção (SUS, SEQ, NASA-TLX)
O SUS converte 10 perguntas Likert em uma nota padronizada de 0 a 100. O Índice de Fricção faz o oposto do SUS: mede o atrito (onde 0% é o ideal).
Reescalonamento de perguntas de facilidade em porcentagens da dificuldade máxima.
Traduz avaliações de esforço cognitivo em um índice de 0% a 100% de Carga de Trabalho (Workload).
Como Interpretar o Score PURE Global de Forma Operacional
- A Lógica do Golfe: A pontuação total é cumulativa. Quanto menor o número, melhor é a usabilidade. Não é uma nota de 0 a 100; depende da quantidade de tarefas e passos avaliados.
- O PURE é um Índice Operacional: Diferente do NPS ou SUS (que apenas dizem que o sistema está ruim sem explicar onde), o PURE aponta exatamente em qual botão, formulário ou tela o atrito foi gerado, criando um roteiro de melhorias acionável.
- Não compare produtos diferentes: Um software de engenharia pesado tem um número bruto maior que um app simples.
- Compare Versões (V1 vs V2): Ver a pontuação cair de 55 para 25 prova a simplificação da interface.
- Benchmark Competitivo: Comparar com concorrentes sob a mesma persona e as mesmas tarefas.
Cenário Crítico: Score Baixo com Cor VERMELHA
O fluxo é curto e eficiente na maior parte do tempo (baixo atrito acumulado), mas possui uma armadilha grave (nota 3) que pode fazer o usuário desistir.
- Não é necessário redesenhar o sistema inteiro!
- Se o time de desenvolvimento corrigir exclusivamente a única etapa vermelha, a tarefa inteira passa a ser VERDE.
- Vantagem: Evita que médias matemáticas iludam a equipe escondendo problemas críticos.
Composição do Painel e Regra de Neutralidade
- A Regra de Ouro da Isenção: O designer ou Product Manager responsável por criar as telas NUNCA deve ser um dos 3 avaliadores oficiais.
- O Motivo: Inviabilidade psicológica de manter a neutralidade ao julgar o próprio trabalho.
- O Papel do Criador da Tela: Ele atua como o Piloto (Driver), compartilhando a tela e executando os cliques sem votar.
- 1 Especialista em UX / Usabilidade.
- 1 Especialista no Domínio do Negócio / Engenharia.
- 1 Pesquisador Neutro de UX.
Conclusão e Próximos Passos
- Quantifica o atrito de forma rápida, barata e pragmática.
- Amparado pelo Alpha de Krippendorff e validado pela CHI e NN/g.
- Alinha a linguagem entre designers, desenvolvedores e executivos.
- 1. Formatar a planilha (.CSV) com as tarefas, passos e o roteiro.
- 2. Realizar a sessão piloto (alinhamento da persona com o piloto e avaliadores).
- 3. Rodar a avaliação silenciosa e calcular o IRR inicial.
- 4. Conduzir a reunião de consenso e gerar os relatórios executivos.
📚 REFERÊNCIAS BIBLIOGRÁFICAS
- Rohrer, C. P., Wendt, J., Sauro, J., Boyle, F., & Cole, S. M. (2016). Practical Usability Rating By Experts (PURE): A Pragmatic Approach for Scoring Product Usability. In Extended Abstracts of the 2016 CHI Conference on Human Factors in Computing Systems (pp. 786-795). ACM. [DOI: 10.1145/2851581.2851607]
- Rohrer, C. (2017). Quantifying and Comparing Ease of Use Without Breaking the Bank. Nielsen Norman Group (NN/g). Disponível em: https://www.nngroup.com/articles/pure-method/
- Ulan Uulu, C., Kulyabin, M., Zeiner, K. M., Joosten, J., Pacheco, N. M. M., Petridis, F., Johnson, R., Bosch, J., & Olsson, H. H. (2026). Tables or Sankey Diagrams? Investigating User Interaction with Different Representations of Simulation Parameters. arXiv preprint arXiv:2601.10232 [cs.HC].
- Sauro, J., & Lewis, J. R. (2016). Quantifying the User Experience: Practical Statistics for User Research. Morgan Kaufmann / Elsevier.
- Krippendorff, K. (2018). Content Analysis: An Introduction to Its Methodology (4th ed.). SAGE Publications.
- Freelon, D. (2010). ReCal: Intercoder reliability calculation as a web service. International Journal of Internet Science, 5(1), 20-33. (Módulo ReCal OIR para Alpha de Krippendorff Ordinal).
- Six, J. M., Hotard, B., & Wirtanen, A. (2021). Performing a UX Audit on an Existing Product. UXmatters.
- Lima, L. (2018). UX e Métricas — O método PURE: Aprenda a quantificar a facilidade de uso do seu produto. UX Collective BR / Medium.
- Borja, C. (2018). P.U.R.E — a user research analytical method. UX Collective / Medium.