shadow

Reivindicações de “sem diferença” ou “sem efeito” na Cochrane e outras revisões sistemáticas

História esquecida de Primodos e os papéis dos médicos de clínica geral
cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br


Introdução

As evidências geradas a partir de comparações controladas de tratamentos são usadas para fazer escolhas e recomendações de tratamento. Embora os dados obtidos pelas comparações de tratamento estejam sujeitos a incerteza, devido à qualidade dos dados e ao jogo do acaso, os autores às vezes usam métodos como o teste de significância estatística para fazer afirmações definitivas de que ‘não há efeito’ ou ‘não há diferença entre ‘tratamentos.

“Ausência de evidência não é evidência de ausência”. Em 2003, uma pesquisa de resumos de 1212 análises da Cochrane publicada em 2001/2002 constatou que 259 (21,3%) haviam feito alegações de ‘sem diferença’ ou ‘sem efeito’ dos tratamentos, sem qualquer qualificação quanto à significância clínica ou estatística.1

As alegações de que “não há diferença entre os efeitos de dois ou mais tratamentos (ou entre tratamento e nenhum tratamento)” continuam sendo feitas, tanto em revisões sistemáticas quanto em relatórios de comparações de tratamentos individuais. Uma pesquisa recente mostrou que tais alegações foram feitas em 9 (7,5%) dos 120 relatórios de ensaios clínicos randomizados publicados durante 2016/207 no BMJ, JAMA, Lanceta e a Jornal de Medicina da Nova Inglaterra
.
2

Pesquisamos a prevalência de reivindicações de nenhuma diferença ou efeito de tratamentos nos resumos das revisões da Cochrane e de outras revisões sistemáticas publicadas em 2017.

materiais e métodos

Os resumos das 643 análises publicadas pela Cochrane em 2017 foram extraídos da Biblioteca Cochrane. Desenhamos uma amostra aleatória de outras revisões sistemáticas publicadas em 2017 no PubMed usando o seguinte termo de pesquisa:

(((((((“Revisão sistemática” (tipo de publicação))) AND (“2017”[Date – Publication])) AND “English” (Language))) NOT Cochrane) AND Review (ptyp) AND (“2017_01_01” (PDat) / “2017_12_31” (PDat))) e avaliou os primeiros 643 relatórios recuperados.

Leia Também  Acha que correr não é para você? Tente isso - Harvard Health Blog

Distinguimos entre os termos “meta-análise” e “revisão sistemática” e avaliamos apenas resumos de revisões que alegavam ter sido “sistemáticas”. Um resumo foi excluído se se referisse apenas a um protocolo, não tivesse conclusão ou não contivesse nenhuma informação relevante.

Antes do início da extração de dados, nos esforçamos para reduzir vieses e aumentar a consistência

  1. Estabelecer um acordo sobre quais formas de palavras seriam consideradas incorretas e produzir um documento com exemplos de reivindicações sem diferença e sem efeitos.

  2. Fornecer a cada um dos dois avaliadores (PRMS e LW) um documento organizando os resumos em uma ordem atribuída usando um gerador de números aleatórios. Um extrator de dados avaliado do primeiro resumo listado ao último resumo listado; o outro avaliou os resumos na ordem inversa. O objetivo era reduzir a probabilidade de qualquer tendência ao longo do tempo na avaliação dos artigos de maneira mais ou menos branda, devido aos efeitos de aprendizado.

  3. Preparando resumos sem informações do autor como texto sem formatação e atribuindo um número aleatório na tentativa de reduzir vieses, cegando a procedência da revisão.

Resultados

Cento e oitenta e três (28%) dos 643 resumos das revisões da Cochrane e 425 (66%) dos 643 dos resumos de outras revisões sistemáticas foram excluídos por não mencionarem resultados ou conclusão (tabela 1).

tabela 1

Resultados da pesquisa de reclamações em resumos da Cochrane e outras revisões sistemáticas publicadas em 2017

cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br

Discussão

A Tabela 2 apresenta quatro estimativas de reivindicações inapropriadas, sem diferença ou sem efeito: duas da nossa pesquisa e duas de pesquisas publicadas anteriormente.1 2 Reivindicações inadequadas foram substancialmente menos comuns nas revisões da Cochrane publicadas em 2017 do que entre as publicadas em 2001/2002 (7,8 % vs 21,3%, respectivamente). Essa diferença dramática é consistente com maior cuidado na redação dos relatórios da Cochrane e de outras revisões sistemáticas. Mas também pode refletir nossas tentativas de reduzir as fontes de vieses em comparação com a pesquisa anterior das revisões da Cochrane, 1 embora nossa tentativa de cegar os juízes quanto à procedência dos resumos não parecesse ter sido bem-sucedida.

Embora possa ser razoável ter alguma satisfação com nossas descobertas, elas não justificam complacência. Durante nossa pesquisa, tomamos conhecimento de várias maneiras, além das duas (sem diferença e sem efeito), nas quais tínhamos focado nossa atenção. Nossa pesquisa apresentou 71 exemplos de expressões consideradas inaceitáveis ​​pela maioria dos seis colegas experientes que convidamos para avaliá-los. Essas frases incluíam ‘evidência sem efeito’, ‘não afeta’, ‘não são mais comuns’ e ‘não encontraram efeitos benéficos ou prejudiciais’. Gates e Ealing também criticaram reivindicações de exemplos adicionais de palavras inaceitáveis ​​- como “nenhum benefício de tratamento” – encontrados em sua pesquisa.2

Esses achados sugerem que os esforços pedagógicos e editoriais para lidar com esse problema permanecem. Temos o prazer de observar que as reivindicações inválidas de ‘sem diferença / efeito’ agora são abordadas no manual da Cochrane.3 Outro exemplo de uma iniciativa relevante é o software RevManHAL.4 Isso usa as análises nas tabelas de dados de uma revisão concluída; os rótulos dos resultados, descobertas numéricas e ICs; e o número de estudos e participantes que contribuem para o resultado; e, em seguida, formata-os e cola-os na seção Resultados da revisão. O software também possui dois bancos de frases relevantes para descobertas que são claramente diferentes ou não. Dependendo do resultado, o software seleciona aleatoriamente uma única frase do banco de frases apropriado e a adiciona à seção Resultados sob o cabeçalho apropriado e antes dos dados numéricos formatados relevantes, produzindo texto menos repetitivo e mais legível.5 6 Agradecemos a um revisor anônimo deste artigo por sugerir as frases ‘não encontramos nenhuma elegível evidência de diferença “e” não encontramos nenhuma elegível evidência de uma clara diferença “, e essas foram agora incluídas no software RevManHAL.

Leia Também  Apesar do alerta de coronavírus, o risco da gripe para os EUA é muito mais imediato: tiros

Continua sendo importante reconhecer as incertezas inerentes às estimativas estatísticas das diferenças de tratamento e a necessidade de distinguir entre ‘nenhuma evidência de diferença / efeito’ e ‘evidência de nenhuma diferença / efeito’. Em termos práticos, isso implica o uso de ICs para avaliar o quão confiavelmente importantes diferenças de tratamento podem ser excluídas e o uso de palavras que refletem a abordagem probabilística implicada.

As revisões sistemáticas das intervenções em saúde precisam ser tão claras quanto as evidências apoiarão. Muitas pessoas vão ler apenas os resumos das revisões sistemáticas. Deixar os leitores com a impressão de que não há diferença entre tratamentos alternativos pode resultar em decisões clínicas perigosamente mal informadas e na falha em abordar incertezas importantes em pesquisas adicionais.

Agradecimentos

Agradecemos a Phil Alderson, Martin Burton, Claire Glenton e Toby Lasserson por suas contribuições à pesquisa. Também agradecemos a Paul Glasziou, Martin Burton, Nancy Santesso, Robert Matthews e dois árbitros anônimos pelos comentários úteis sobre os rascunhos anteriores deste artigo.

cupom com desconto - o melhor site de cupom de desconto cupomcomdesconto.com.br

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *