A equipe vai avaliar o novo aplicativo de agendamento da prefeitura. Quem vai responder são pessoas que leem pouco. O plano é aplicar o questionário de satisfação de sempre, com vinte afirmações e uma escala de cinco pontos. Ninguém perguntou se essas pessoas conseguem ler as afirmações, nem se o questionário mede o que a equipe quer saber.
O Espelho dos Métodos ajuda a escolher instrumentos de avaliação da experiência a partir do catálogo de Darin, Coelho e Borges, “Which Instrument Should I Use?” (HCII 2019), com 115 instrumentos. Os instrumentos são dos seus autores; o levantamento e a classificação, dos autores do catálogo. As versões em português e o que cada instrumento exige de quem responde são curadoria do Ramplifica. Neste guia, mostro cada tela e o que muda com cada resposta.
Antes de começar
- Quanto tempo
- Uns dez minutos para responder. Ler os instrumentos que combinam leva mais, e vale a pena.
- O que ter em mãos
- O que a avaliação precisa decidir, quem vai responder e o instrumento que a equipe costuma usar.
- Com quem
- Com quem vai conduzir a avaliação e, se der, com alguém que conhece as pessoas que vão responder.
- Onde fica salvo
- No seu navegador, e ninguém mais tem acesso. Baixe o arquivo para mostrar a escolha à equipe.
Passo 1 de 6
Dizer o que vocês querem saber
A primeira tela pergunta o que a avaliação precisa responder. As opções são as qualidades da experiência do catálogo, em palavras simples.
- O que vocês vão avaliar. É opcional, mas aparece no resultado e no arquivo.
- O que a avaliação precisa responder. Como a pessoa se sente, a experiência como um todo, facilidade e satisfação, envolvimento, confiança, aparência, cansaço e estresse, ou o que a pessoa faz sem perguntar a ela. Pode marcar mais de uma.
Assim
“Saber se o novo formulário ficou fácil de usar e se as pessoas confiam em deixar os dados nele.”
Assim não
“Fazer um teste com usuários.”
Marque só o que vocês vão de fato usar. Cada objetivo a mais aumenta o que a pessoa vai ter de responder. Embaixo da tela, a contagem mostra quantos dos 115 instrumentos combinam até ali.
Passo 2 de 6
Dizer o tipo de produto
- O tipo de produto. Os instrumentos gerais entram sempre. Os feitos para outro tipo saem da lista. Se nenhum tipo serve, escolha “Qualquer tipo de produto”.
Passo 3 de 6
Dizer quem vai responder
- Os grupos que vão responder. Marque todos, e não só o principal. No exemplo, pessoas com deficiência intelectual ou pouca familiaridade com leitura.
Pessoas cegas, com pouca leitura ou crianças mudam muito a escolha: escalas longas e figuras viram barreira para uns e solução para outros. Se o grupo não aparece na lista, o Espelho da Participação ajuda a pensar em como incluí-lo.
Passo 4 de 6
Dizer o que a equipe tem à mão
- Equipamento. Sem sensores, câmera ou software de registro, os instrumentos que dependem deles saem da lista.
- O tipo de resposta. Números servem para comparar versões. Relatos servem para entender o porquê. Os dois é o mais comum.
- O momento. Logo depois do uso, a pessoa lembra melhor. Dias depois, ela conta o que ficou.
Passo 5 de 6
Contar o instrumento de sempre
Este é o espelho: a ferramenta pergunta o que a equipe costuma usar, para comparar com o que combina com esta avaliação.
- O instrumento de sempre, mesmo que não esteja no catálogo, como o SUS ou um questionário próprio. Se a equipe não tem hábito, deixe em branco.
- Por que esse. Costume, porque mede o que se quer saber, porque é rápido ou porque foi pedido.
Passo 6 de 6
Ler os instrumentos que combinam
No exemplo, 30 instrumentos combinam com as respostas, e 12 ficaram de fora por precisar de sensores, câmera ou software.
- Quantos combinam. O número muda conforme as respostas.
- O resumo das respostas. Cada linha tem um link Mudar, que volta ao passo para ajustar sem perder o resto.
- O espelho. Compara o instrumento de sempre com a lista. Se ele não está no catálogo, a ferramenta pergunta se já foi testado com o público e se mede o que vocês querem saber.
Depois vem a lista dos que mais combinam.
- A ordem não é uma nota. Só diz quais instrumentos atendem a mais respostas.
- O instrumento, com o ano e as etiquetas: a qualidade que mede, o tipo, números ou relatos, o momento e se há versão brasileira verificada.
- O que pode virar barreira. O que o instrumento exige de quem responde. O SAM funciona com pouca leitura, mas depende de enxergar.
- Como funciona e referência. A descrição do catálogo, em inglês, e a referência para conferir as perguntas.
No fim, os Cuidados antes de aplicar valem para quase qualquer escolha.
- Quase nenhum instrumento foi feito para pessoas com deficiência. Só 1 dos 115. Teste com algumas pessoas do grupo antes e ofereça mais de um jeito de responder.
- Tradução livre pode medir outra coisa. Prefira os que têm versão em português. Nos outros, diga no relatório que a tradução é livre.
E depois do resultado?
- Conferir a fonte. Abra a referência do instrumento escolhido e leia as perguntas antes de decidir.
- Montar o questionário. Os Formulários montam um questionário acessível por padrão.
- Planejar quem responde. Para decidir quantas pessoas chamar e com que cuidados, use o Espelho da Participação.
Erros comuns
- Marcar todos os objetivos. O questionário cresce e quem responde cansa. Fique com o que a avaliação vai decidir.
- Marcar só o grupo principal. Quem não está marcado não entra na conta, e o instrumento pode excluir essas pessoas.
- Escolher pelo primeiro da lista. A ordem não é nota. Leia o que cada um exige de quem responde.
- Traduzir por conta própria e não avisar. Uma escala traduzida sem estudo pode medir outra coisa. Diga no relatório.
Quando o trabalho é em equipe
Hoje o Espelho dos Métodos funciona só no site gratuito, no navegador de quem preenche. Ele não está na área logada.
Para decidir em equipe, responda numa reunião, com a tela compartilhada, ou baixe o arquivo e passe para quem vai revisar a escolha. Quem recebe abre o arquivo no próprio navegador e vê as mesmas respostas e o mesmo resultado. Cada arquivo é uma cópia: o que uma pessoa muda não aparece na cópia da outra.
Perguntas frequentes
O SUS não está na lista. Posso usar mesmo assim?
Pode. Escreva o instrumento no passo do hábito. O resultado compara com os que combinam e aponta o que conferir antes, como se ele já foi testado com o público.
Por que as descrições estão em inglês?
Porque são as do catálogo original. O Ramplifica acrescenta, em português, o que cada instrumento exige de quem responde e as versões em português que foram verificadas, com a fonte. Onde não há indicação, a versão não foi verificada.
O Espelho escolhe o instrumento por mim?
Não. Ele mostra os que combinam com as respostas, o porquê e o que pode virar barreira. A escolha é da equipe.
Um questionário que a pessoa não consegue ler não mede a experiência dela, mede a barreira. Escolher o instrumento com cuidado é parte de ouvir de verdade quem vai usar o serviço.
Escolha os instrumentos da sua avaliação
Carregue o exemplo do aplicativo de consultas para ver como fica, ou responda pelo seu projeto.