Pular para o conteúdo principal
Ramplifica

Do protocolo ao PRISMA: como fazer uma revisão sistemática com o Radar da Literatura

As sete etapas do Radar da Literatura, uma por uma. O exemplo é uma revisão sobre pessoas idosas e serviços públicos digitais, que você pode abrir na própria ferramenta e seguir junto.

Radar da Literatura

· 11 min de leitura

Por Erik Henrique da Costa Nunes

Uma revisão sistemática começa muito antes de ler o primeiro estudo. Antes de abrir qualquer base, você escreve o que quer descobrir, como vai buscar e o que faz um estudo entrar ou ficar de fora. É esse combinado, escrito antes, que permite a outra pessoa refazer o caminho e chegar aos mesmos estudos.

O Radar da Literatura guia esse caminho em sete etapas, do protocolo ao diagrama PRISMA. Neste guia, mostro cada tela com o exemplo da própria ferramenta: uma revisão sobre as barreiras que pessoas idosas encontram nos serviços públicos digitais. Os estudos do exemplo são inventados, para dar para ver um caso de cada tipo.

Antes de começar

Quanto tempo
Semanas, numa revisão de verdade. O protocolo cabe numa tarde; a triagem e a extração dependem de quantos estudos a busca trouxer. Dá para parar e voltar quando quiser.
O que ter em mãos
A sua pergunta, acesso às bases da sua área (pela biblioteca da instituição ou pelo Portal de Periódicos da CAPES) e os textos completos dos estudos, na hora da triagem.
Com quem
Dá para fazer sem companhia, mas uma revisão sistemática costuma ter ao menos duas pessoas, para que as decisões não dependam de um olhar só.
Onde fica salvo
No seu navegador, neste computador. Nada vai para um servidor. Baixe o arquivo do projeto com frequência: limpar os dados do navegador apaga o projeto, e o Safari apaga depois de 7 dias sem abrir o site.

Etapa 1 de 7

Escrever o protocolo

O protocolo é a etapa mais longa de escrever. Ele tem o título, quem faz a revisão e o objetivo, o PICOC (população, intervenção, comparação, resultado e contexto, só as partes que fizerem sentido), as perguntas de pesquisa, as palavras-chave, os critérios e as bases. Comece pelas perguntas: tudo o que vem depois sai delas.

Parte Perguntas de pesquisa do protocolo. Três perguntas com os códigos QP1, QP2 e QP3: que barreiras as pessoas idosas encontram nos serviços públicos digitais, que métodos os estudos usaram para avaliar esses serviços e que recomendações os estudos fazem para reduzir as barreiras. Cada pergunta tem botões para subir, descer e remover. No fim, o botão Acrescentar pergunta.

Ver a imagem em tamanho real

  1. A pergunta de pesquisa. O que você quer que os estudos respondam. Cada uma ganha um código (QP1, QP2…), que volta na extração e nos resultados.
  2. Acrescentar pergunta. Duas a quatro perguntas costumam bastar. Cada pergunta a mais é um campo a mais para extrair em todos os estudos.

Assim

“Que barreiras as pessoas idosas encontram nos serviços públicos digitais?”

Assim não

“Acessibilidade para idosos.”

Depois vêm as palavras-chave. Cada uma é uma ideia que o estudo precisa ter, com os sinônimos ao lado.

Palavra-chave 1 do protocolo. O termo principal older adults, a parte do PICOC População e a caixa Sinônimos, um por linha, com elderly, older people, seniors e aging.

Ver a imagem em tamanho real

  1. O termo principal, na língua em que os estudos costumam ser publicados. A maioria das bases busca em inglês.
  2. A parte do PICOC a que a ideia pertence: população, intervenção, contexto ou outra.
  3. Os sinônimos, um por linha. Inclua plurais, siglas e grafias diferentes. Para buscar as variações de uma palavra, termine-a com asterisco, como acessib*.
Parte String de busca do protocolo. A string genérica junta os sinônimos de cada ideia com OR e as ideias com AND, com o botão Copiar a string genérica. Abaixo, a versão da Scopus, que começa com TITLE-ABS-KEY, com o link Abrir Scopus e o botão Copiar a string da Scopus.

Ver a imagem em tamanho real

  1. A string genérica se monta sozinha com as palavras-chave: os sinônimos de uma ideia ficam ligados por OR (qualquer um serve) e as ideias por AND (todas precisam aparecer).
  2. A versão de cada base. Para as bases marcadas, o Radar adapta a string ao jeito de buscar daquela base e diz onde colar.

Por fim, os critérios. Os de inclusão dizem o que um estudo precisa ter. Os de exclusão viram os motivos da triagem, então escreva um por motivo.

Parte Critérios de inclusão e de exclusão. À esquerda, três critérios de inclusão, CI1 a CI3, como estudos que avaliam serviços públicos digitais com pessoas idosas ou para elas. À direita, quatro critérios de exclusão, CE1 a CE4, como não trata de serviços públicos e texto completo não disponível. Embaixo de cada coluna, um botão para acrescentar critério.

Ver a imagem em tamanho real

  1. Inclusão: o que o estudo precisa ter para entrar, como o tema, o tipo de publicação, o período e a língua.
  2. Exclusão: cada critério é um motivo para tirar um estudo. Na triagem, você marca qual deles pesou.

Assim

“Não trata de serviços públicos (ex.: comércio eletrônico, bancos).”

Assim não

“Estudos irrelevantes.”

No fim da etapa, a parte Conferir e baixar diz o que ainda falta e baixa o protocolo em Markdown ou PDF.

Etapa 2 de 7

Trazer os estudos encontrados

Com o protocolo pronto, você busca em cada base com a string, exporta os resultados e traz os arquivos para cá. O Radar junta tudo e marca os estudos repetidos.

Etapa Referências. Na parte Importar referências, a lista De que base vem o arquivo, os botões Escolher arquivo e Colar referências. Abaixo, Arquivos importados: 9 encontradas, 2 repetidas e 7 únicas, que seguem para a triagem, e os dois arquivos do exemplo, um da Scopus em BibTeX e um da Web of Science em RIS.

Ver a imagem em tamanho real

  1. De que base vem o arquivo. Escolha antes de importar. Cada arquivo fica ligado à sua base, porque o PRISMA conta quantos estudos vieram de cada uma.
  2. Escolher arquivo, em BibTeX (.bib) ou RIS (.ris). Se a base não exporta, use Colar referências. O arquivo é lido no seu navegador e não vai para lugar nenhum.
  3. Repetidas. O mesmo estudo costuma aparecer em mais de uma base. O Radar deixa só uma cópia para a triagem. Na lista de referências, confira: se juntou dois estudos diferentes, desfaça com “Não é repetida”.

Etapa 3 de 7

Fazer a triagem

A triagem tem duas fases. Na fase 1, você lê só o título e o resumo. Na fase 2, lê o texto completo dos estudos que passaram. O botão de cada fase, no topo, mostra quantos estudos ainda faltam decidir.

Triagem, fase 1, no estudo 4 de 7: Online banking accessibility for elderly users, com as palavras accessibility e elderly destacadas. Abaixo, o resumo, o link para procurar no Google Acadêmico, a lista Motivos para excluir com o CE1, não trata de serviços públicos, marcado, o campo Observação e os botões Incluir, Excluir, Em dúvida e Desfazer a decisão.

Ver a imagem em tamanho real

  1. O estudo, com as palavras-chave do protocolo destacadas no título e no resumo.
  2. Motivos para excluir. São os critérios de exclusão do protocolo. Na fase 1, marque quando ficar claro; na fase 2, o motivo é obrigatório.
  3. A decisão. Incluir, Excluir ou Em dúvida. “Em dúvida” guarda o estudo para depois, sem decidir.

Quem tria muitos estudos pode ligar Usar atalhos de teclado e decidir com Alt e uma letra, sem o mouse.

Assim

Na fase 1, na dúvida, incluir. A fase 2 decide de vez, com o texto completo.

Assim não

Excluir pelo título, sem ler o resumo, porque “parece fora do tema”.

Etapa 4 de 7

Avaliar a qualidade

Esta etapa é opcional. Mapeamentos sistemáticos, por exemplo, costumam pular. Se for pular, desmarque Avaliar a qualidade dos estudos nesta revisão e diga isso no relatório. Se for avaliar, o checklist vem com perguntas sugeridas para estudos empíricos, que você muda em Editar o checklist.

Avaliação de qualidade do estudo Trust and digital literacy among older citizens using government apps. Cinco perguntas, de Q1, o objetivo do estudo está claro, a Q5, a coleta de dados está bem explicada, cada uma com Sim, Em parte e Não. Abaixo, a nota 2 de 5, abaixo da nota mínima de 3, e a observação: não descreve como as pessoas foram escolhidas nem como o questionário foi aplicado.

Ver a imagem em tamanho real

  1. As perguntas do checklist, as mesmas para todos os estudos. Sim vale 1, Em parte vale meio e Não vale 0.
  2. A nota é a soma das respostas. Se o checklist tem nota mínima, o Radar avisa quando o estudo fica abaixo dela.
  3. Observação. Diga o que pesou. É o que explica a nota para quem ler o relatório.

Um estudo abaixo da nota mínima fica de fora da extração. Se quiser extrair mesmo assim, a etapa seguinte tem uma opção para isso.

Etapa 5 de 7

Extrair os dados

Na extração, você preenche o mesmo formulário para cada estudo. Monte o formulário antes, em Editar o formulário, e ligue cada campo às perguntas de pesquisa que ele ajuda a responder.

Extração do estudo Barriers faced by older adults in e-government services, com a nota da qualidade 4,5 de 5. Campos: País onde o estudo foi feito, Brasil; Tipo de estudo, Teste de usabilidade marcado; Número de participantes, 24; Barreiras encontradas, que ajuda a responder a QP1, com letra pequena, navegação confusa e medo de errar marcados; Métodos de avaliação, da QP2; e Recomendações, da QP3, em texto.

Ver a imagem em tamanho real

  1. Campo de texto, para o que não dá para classificar.
  2. Campo de uma opção. Prefira opções quando der para classificar, como o tipo de estudo: elas viram gráficos nos resultados.
  3. Campo de várias opções, com a pergunta que ajuda a responder logo abaixo do nome (aqui, a QP1).
  4. Texto ligado a uma pergunta. Os achados em texto livre aparecem nos resultados, estudo por estudo, para você escrever a resposta.

Ao terminar um estudo, marque Terminei a extração deste estudo. Só os estudos terminados entram nos resultados. Um campo vazio fica como “o estudo não informa”.

Etapa 6 de 7

Ver o que os estudos dizem

Os resultados se montam com a extração: um panorama de quando e onde os estudos saíram, um gráfico e uma tabela por campo de opções, e uma parte para cada pergunta de pesquisa.

Gráfico de barras Barreiras encontradas: letra pequena ou pouco contraste em 2 estudos; linguagem difícil, navegação confusa, medo de errar e falta de ajuda em 1 cada. Acima, as listas Tipo de gráfico e Cores e a opção Com textura. Abaixo, os botões PNG, SVG e LaTeX (TikZ) e o item Texto alternativo e descrição, fechado.

Ver a imagem em tamanho real

  1. Tipo de gráfico e cores. Dá para trocar o tipo, usar escala de cinza ou preto e branco e pôr textura, para revistas que imprimem sem cor.
  2. O gráfico, com a fonte no rodapé. A tabela com os mesmos números vem logo abaixo.
  3. Baixar em PNG ou SVG, ou copiar em LaTeX (TikZ).
  4. Texto alternativo e descrição, prontos para pôr junto da figura no seu trabalho.

Em cada pergunta, o Radar junta o que os estudos disseram. A resposta, você escreve.

Parte da pergunta QP3, que recomendações os estudos fazem para reduzir as barreiras. As recomendações de cada estudo, Silva e outros, 2021, e Costa e outros, 2019, e o campo Sua resposta à QP3, preenchido: as recomendações se completam, como seguir as WCAG, escrever em linguagem simples, reduzir os passos e manter atendimento por telefone.

Ver a imagem em tamanho real

  1. O que cada estudo disse, com o autor e o ano, tirado dos campos ligados à pergunta.
  2. Sua resposta, com as suas palavras, citando os estudos. Este texto vai para o relatório final.

Assim

“Os dois estudos encontraram letra pequena ou pouco contraste (Silva et al., 2021; Costa et al., 2019).”

Assim não

“Os estudos mostram que há muitas barreiras.”

Em Baixar os dados, a planilha (Excel ou CSV) traz uma linha por estudo, para conferir ou fazer outras análises.

Etapa 7 de 7

Gerar o PRISMA e o relatório

O diagrama PRISMA 2020 se monta sozinho, com as referências importadas e as decisões de cada etapa. Se você muda uma decisão, os números mudam junto.

Diagrama de fluxo PRISMA 2020 do exemplo. Identificação: 9 registros encontrados, 5 na Scopus e 4 na Web of Science, e 2 repetidos removidos. Triagem: 7 triados pelo título e resumo, 2 excluídos; 5 textos completos buscados, 1 não encontrado; 4 avaliados, 2 excluídos, um pelo CE1 e um pela nota da qualidade abaixo de 3. Incluídos: 2 estudos. Abaixo, os botões PNG e SVG.

Ver a imagem em tamanho real

  1. O diagrama, com uma caixa por momento da revisão. Logo abaixo, o mesmo diagrama em texto, para quem não enxerga a figura.
  2. Baixar em PNG ou SVG. No trabalho, cite o modelo: Page et al. (2021), The PRISMA 2020 statement.
Parte Relatório final. O texto diz que o relatório junta protocolo, busca em cada base, diagrama PRISMA, checklist da qualidade, formulário de extração, as respostas às 3 perguntas e a lista dos 2 estudos incluídos, e que está completo. Botões Imprimir ou salvar em PDF e Baixar em Markdown.

Ver a imagem em tamanho real

  1. O relatório final. Imprima ou salve em PDF, que leva o desenho do diagrama, ou baixe em Markdown, que leva os números em texto para colar no seu trabalho.

E depois do resultado?

  • Escrever o artigo ou o capítulo. O relatório já tem o método, os números e as respostas. A lista dos estudos incluídos sai num formato simples: ajuste para a norma do seu trabalho (ABNT, APA).
  • Planejar a sua pesquisa. Se a revisão mostrou que métodos os estudos usaram, o Espelho dos Métodos ajuda a escolher os instrumentos para a sua.
  • Guardar o arquivo do projeto. Ele abre de novo no Radar. Dá para atualizar a revisão depois, com uma busca nova.

Erros comuns

  • Mudar a string numa base e não nas outras. A revisão fica impossível de refazer. Se precisar mudar, mude em todas e conte no relatório.
  • Critérios que só dá para decidir lendo o texto completo, na fase 1. Escreva critérios que dê para decidir pelo título e pelo resumo.
  • Excluir sem motivo. Na fase 2, o PRISMA lista quantos estudos saíram por cada motivo. Sem motivo, o número não fecha.
  • Montar o formulário de extração no meio do caminho. Os primeiros estudos ficam com campos vazios. Teste o formulário em dois ou três estudos antes.
  • Deixar o projeto só no navegador. Baixe o arquivo do projeto com frequência.

Quando o trabalho é em equipe

No site gratuito, uma pessoa faz tudo, no próprio navegador. Para outra pessoa conferir uma parte, o jeito é baixar o arquivo do projeto e passar adiante. Cada arquivo é uma cópia: as decisões das duas não se juntam sozinhas, e a comparação fica por conta de vocês.

Na área logada, que está em teste e por convite, a revisão fica num projeto, na nuvem. A coordenação convida as pessoas pelo e-mail e escolhe, no protocolo, como cada etapa é feita:

  • Triagem por título e resumo, triagem pelo texto completo e qualidade: uma pessoa, independente em dupla ou independente com toda a equipe. Na qualidade, a comparação pode ser pergunta por pergunta ou só pela nota final do estudo.
  • Extração: uma pessoa, dividida entre a equipe (cada pessoa extrai os estudos que a coordenação passar para ela) ou independente em dupla (as duas extraem o mesmo estudo).

Quem foi convidado só preenche a parte que cabe a ela, sem ver as decisões das outras pessoas nem os resultados. Nas etapas independentes, a coordenação compara as decisões, vê a concordância e o kappa, resolve cada divergência e copia um parágrafo com o método da equipe para o artigo. As etapas e as telas são as mesmas deste guia.

Perguntas frequentes

Preciso fazer tudo de uma vez?

Não. O projeto fica guardado no navegador e você continua de onde parou. Para continuar em outro computador, baixe o arquivo do projeto e abra lá, em Meus projetos.

A minha base não exporta BibTeX nem RIS. E agora?

Copie as referências e use Colar referências, na etapa Referências. Escolha antes de que base elas vêm.

Serve para um mapeamento sistemático?

Serve. Num mapeamento, costuma-se pular a avaliação de qualidade: desmarque a etapa e diga no relatório. As outras etapas são as mesmas.

Preciso citar o Ramplifica?

Não precisa pedir licença: a revisão é sua. A etapa PRISMA traz uma sugestão de texto para os agradecimentos, se quiser contar que usou o Radar.

Uma revisão bem feita não é a que achou mais estudos. É a que outra pessoa consegue refazer, passo a passo, e chegar ao mesmo lugar. O Radar guarda esse caminho enquanto você trabalha, para que no fim ele esteja escrito.

No glossário

Comece a sua revisão

Abra o exemplo completo para ver como fica cada etapa, ou comece um projeto do zero.

Ver meus projetos