Fuentes de sesgo en los estudios observacionales sobre la eficacia de la vacuna covid-19

Fuentes de sesgo en los estudios observacionales sobre la eficacia de la vacuna covid-19
Kaiser Fung MPhil, MBA1 |Mark Jones PhD2 |Peter Doshi PhD 31Numbersense, Inc., Nueva York, Nueva York, EE.UU.
2Institute of Evidence Based Healthcare, Bond University, Gold Coast, Queensland, Australia
3Facultad de Farmacia de la Universidad de Maryland, Baltimore, Maryland, EE.UU.
Correspondencia: Peter Doshi, PhD, Facultad de Farmacia de la Universidad de Maryland, 220 Arch St, Floor 12, Room 01-228, Baltimore, MD, 21201,
EE.UU. Correo electrónico: pdoshi@rx.umaryland.edu
PALABRAS CLAVE
causalidad, covid-19, medicina basada en la evidencia, investigación en servicios sanitarios, estudios observacionales, salud pública, eficacia de las vacunas
1 | INTRODUCCIÓN
A finales de 2020, las vacunas de ARN mensajero (ARNm) covid-19
obtuvieron la autorización de emergencia tras los ensayos clínicos
que informaron de una eficacia de la vacuna de alrededor del
95%,1,2 y se iniciaron campañas de vacunación masiva en todo el
mundo. En un plazo de 6 meses, los estudios observacionales
informaron de una eficacia de la vacuna en el «mundo real» superior
al 90%, similar a los resultados de los ensayos,3–6 se convirtieron en
la fuente fiable de pruebas que respaldaban estas campañas.
Aunque el debate actual sobre la eficacia de las vacunas ha girado
en torno a la disminución de la protección, las variantes del virus y
los refuerzos, se ha debatido sorprendentemente poco (salvo raras
excepciones) sobre la eficacia de las vacunas.7) se ha debatido
sorprendentemente poco sobre las limitaciones de las metodologías
de estos primeros estudios observacionales.
La falta de debate crítico es notable, ya que incluso las
vacunaciones altamente eficaces sólo podrían explicar parcialmente
la caída de las tasas de casos, hospitalizaciones y muertes por covid-
19 a mediados de 2021. Por ejemplo, en marzo de 2021, los casos en
el Reino Unido y Estados Unidos se habían reducido
aproximadamente cuatro veces desde el pico de enero, cuando la
población «totalmente vacunada» sólo alcanzaba el 20% y el 5%,
respectivamente. Al mismo tiempo, en Israel, los casos tardaron más en
descender a pesar de que el despliegue de la vacuna fue sustancialmente
más rápido (Figura 1). Así pues, las campañas de vacunación en
estos países sólo pueden ser una parte de la historia.
Sólo conocemos un artículo que aborda las preocupaciones
metodológicas en los estudios no aleatorios de las vacunas covid-19.7
El autor llama la atención sobre los posibles sesgos y problemas de
medición, como la clasificación errónea del estado de vacunación, las
diferencias de exposición, las diferencias en las pruebas, los problemas
de atribución y los factores de riesgo de enfermedad. Muchas de
estas preocupaciones son difíciles de confirmar en estudios
específicos debido a la falta de datos.
no disponibles (por ejemplo, diferencias en las pruebas) o que no
pueden fijarse analíticamente (por ejemplo, exposición y otras
cantidades no medidas).
En este artículo, nos centramos en tres fuentes principales de
sesgo para las que hay datos suficientes para verificar su
existencia, y mostramos cómo podrían afectar sustancialmente a
las estimaciones de la eficacia de las vacunas utilizando diseños de
estudios observacionales, en particular estudios retrospectivos de
grandes muestras de población que utilizan datos administrativos
en los que los investigadores relacionan las vacunaciones y los
casos con los datos demográficos y el historial médico.
Utilizando la información sobre cómo se contaron los casos en
los estudios observacionales y los conjuntos de datos publicados
sobre la dinámica y el desglose demográfico de la administración
de la vacuna y las infecciones de fondo, ilustramos cómo tres
factores generan sesgos residuales en los estudios
observacionales lo suficientemente grandes como para hacer que una
vacuna hipotéticamente ineficaz (es decir, de eficacia 0%) sea efectiva en
un 50%-70%. Para que quede claro, nuestros resultados no deben
interpretarse en el sentido de que las vacunas de ARNm covid-19
tienen una eficacia nula. Más bien, utilizamos el caso del 0% para evitar
la necesidad de hacer juicios arbitrarios sobre la verdadera eficacia de
la vacuna a través de varios niveles de granularidad (diferentes
subgrupos, diferentes periodos de tiempo, etc.), lo cual es inevitable
cuando se analiza cualquier nivel de eficacia distinto de cero. También es
importante señalar que en condiciones hipotéticas diferentes de los
acontecimientos reales de principios de 2021, dos de estas fuentes de
sesgo podrían sesgar los resultados en la dirección opuesta, es decir,
subestimar la eficacia real de la vacuna. Por último, para extraer
conclusiones más precisas sobre el impacto de estos sesgos en
estudios específicos publicados, instamos a que se hagan públicos
todos los códigos y datos de que disponen dichos estudios.
En cada una de nuestras tres ilustraciones, comparamos los
resultados basados en métodos de estudios observacionales con
los de ensayos controlados aleatorios.
Este es un artículo de acceso abierto bajo los términos de la Licencia de Atribución Creative Commons, que permite su uso, distribución y reproducción en cualquier
medio, siempre que se cite adecuadamente el trabajo original.
2023 Los autores. Journal of Evaluation in Clinical Practice publicado por John Wiley & Sons Ltd.
J Eval Clin Pract. 2023;1-7. wileyonlinelibrary.com/journal/jep | 1
FI GU RE 1 Casos diarios de covid-19 y tasas de vacunación-Estados Unidos, Reino Unido e Israel, 2021. Israel: Con un 20% de
«vacunación completa», la tasa diaria de casos se mantuvo alta (punto temporal A). Con un 50%, la tasa diaria de casos descendió a un
mínimo estacional (punto temporal B). Reino Unido y Estados Unidos: Las tasas diarias de casos cayeron drásticamente con pocos
«totalmente vacunados» (punto temporal A). Con un 20% y un 5% de «totalmente vacunados», las tasas diarias de casos se acercaron a los
mínimos estacionales (punto temporal B). Fuente de los datos: OurWorldInData.
(ECA). Para cada comparación, un lado representa un estudio
publicado mientras que el otro es un contrafactual. En cada caso,
mostramos cómo la diferencia entre los resultados de los estudios
observacionales y los de los ECA se debe a una fuente de sesgo.
2 | SESGO DE LA VENTANA DE RECUENTO
DE CASOS
Los ensayos fundamentales de la vacuna contra el covid-19
utilizaron un criterio de valoración primario de covid-19 sintomático
confirmado por laboratorio.8–11 Sin embargo, no todos los casos de
covirus se tuvieron en cuenta en la estimación de la eficacia de la
vacuna. Los investigadores no
2 | FUNG ET AL.
13652753, 0, Descargado de https://onlinelibrary.wiley.com/doi/10.1111/jep.13839 por Readcube (Labtiva Inc.), Wiley Online Library el [29/02/2024]. Consulte los Términos y Condiciones (https://onlinelibrary.wiley.com/terms-and-conditions) en Wiley Online Library para conocer las normas de uso; los artículos OA se rigen por la Licencia Creative
Commons aplicable.
empezar a contar los casos hasta que los participantes hubieran
pasado al menos 14 días (7 días para Pfizer) desde la finalización
del régimen de dosificación, un punto de tiempo que los
funcionarios de salud pública denominaron posteriormente
«totalmente vacunados».12 En los protocolos de los ensayos no se
explicaba por qué se excluían los casos ocurridos antes del inicio
de esta «ventana de recuento de casos», y la legitimidad de excluir
los eventos posteriores a la aleatorización se ha debatido durante
mucho tiempo.13-sin embargo, un documento post-comercialización
de Pfizer afirma que en el primer periodo post-vacunación, «la
vacuna no ha tenido tiempo suficiente para estimular el sistema
inmunológico».14
En los ensayos aleatorizados, aplicar la ventana de recuento de
casos «totalmente vacunados» tanto al brazo de la vacuna como al
del placebo es fácil. Pero en cohortes
estudios, la ventana de recuento de casos sólo se aplica al grupo
vacunado. Dado que las personas no vacunadas no reciben
vacunas placebo, el recuento 14 días después de la segunda
vacuna es sencillamente inoperante. Esta asimetría, en la que la
ventana de recuento de casos anula los casos en el grupo vacunado
pero no en el no vacunado, sesga las estimaciones. Como resultado,
una vacuna completamente ineficaz puede parecer sustancialmente
eficaz: un 48% de eficacia en el ejemplo de la tabla 1. (Los datos del
placebo de la tabla 1 muestran que la vacuna placebo no es eficaz).
(Los datos de placebo de la tabla 1 proceden del ensayo
aleatorizado de fase III de Pfizer, y son los recuentos de casos
supuestos para el grupo no vacunado en un estudio observacional
contrafactual que ocurre simultáneamente; esta configuración ilustra
el tamaño potencial de un sesgo de ventana de recuento de casos
en un entorno del mundo real, así como por qué este sesgo no
existe en un ensayo aleatorizado).
Sólo conocemos un estudio observacional3 que abordó el sesgo
de la ventana de recuento de casos, utilizando el emparejamiento y
designando una fecha de inscripción pseudo-estudio para la parte no
vacunada en cada par emparejado de personas vacunadas y no
vacunadas. Aunque el emparejamiento mitiga el sesgo de la
ventana de recuento de casos, este método inyecta un sesgo de
edad artificial y grave entre los grupos no vacunados y vacunados:
el subconjunto emparejado subrepresentó a los pacientes ≥ 70 años
en un 50%, mientras que sobrerrepresentó a los pacientes ≤ 40
años en un 50%. (Esto ocurrió porque la propensión a recibir la
vacuna está muy influida por la edad. Por lo tanto, el número de
pares emparejados uno a uno de pacientes ancianos está limitado por
el número de ancianos no vacunados, mientras que el número de
pares emparejados uno a uno de pacientes jóvenes está limitado
por el número de jóvenes vacunados).
En los estudios retrospectivos que utilizan grandes muestras de
población, proponemos un ajuste sencillo que puede corregir el
sesgo de la ventana de recuento de casos. La tasa de casos desde
la vacunación hasta el inicio de la ventana de recuento de casos
puede observarse del grupo vacunado y aplicarse al grupo no
vacunado para estimar el número de casos que deben excluirse
antes de calcular la proporción relativa de casos. Este ajuste preserva
la ventana de recuento de casos, al tiempo que asume que la
vacuna es completamente ineficaz antes de su inicio. Dado que
utilizamos la hipótesis de una eficacia del 0%, este simple ajuste
devuelve la estimación de la eficacia de la vacuna a cero. Una
estrategia similar ha demostrado su utilidad en los análisis del
tratamiento de la gripe.16
3 | SESGO DE EDAD
La edad es quizá el factor de riesgo más influyente en medicina, ya
que afecta a casi todos los resultados sanitarios. Por lo tanto, en los
estudios que comparan vacunados y no vacunados se debe tener
mucho cuidado para garantizar que los grupos estén equilibrados
por edad. No hacerlo puede conducir a estimaciones inexactas de la
eficacia de la vacuna cuando la diferencia en los resultados puede
explicarse, al menos parcialmente, por el sesgo de edad.
En los ensayos, la aleatorización ayuda a garantizar
distribuciones de edad estadísticamente idénticas en los grupos
vacunados y no vacunados, de modo que la estimación de la
eficacia media de la vacuna no está sesgada, incluso si la eficacia de
la vacuna y/o las tasas de infección difieren entre los grupos de
edad (véase la Figura 2A).
Sin embargo, a diferencia de los ensayos, en la vida real el
estado de vacunación no se asigna aleatoriamente (véase la Figura
2B). Aunque las tasas de vacunación son elevadas en muchos
países, los vacunados siguen siendo, por término medio, más viejos
y menos sanos que los no vacunados, ya que las vacunas se
destinaron prioritariamente a las personas mayores y de mayor
riesgo. Además, los individuos se autoseleccionan para la vacunación
independientemente de la política.
Dado que los riesgos relacionados con el covid-19 (de infección,
enfermedad y complicaciones) también varían en función de la
edad, esto puede confundir la estimación del
TABLA 1 Cómo la aplicación asimétrica de ventanas de recuento de casos puede sesgar los estudios observacionales.
Casos sintomáticos (Días 0-84)b 257 257
Cálculos de estudios observacionales
Tasa de casos aplicando la ventana de
recuento de casos sólo a vacunados
0.63% = 134/21314 1.21% = 257/21258
Eficacia de la vacuna 48% = 1 – (0.63%/1.21%)
aSe supone que la vacuna hipotética tiene una eficacia nula.
FUNG ET AL. | 3
Casos sintomáticos durante el recuento
de casos
ventana (Días 36-84)b
134 134
Vacunaa/vacunados Placebo/no vacunados
13652753, 0, Descargado de https://onlinelibrary.wiley.com/doi/10.1111/jep.13839 por Readcube (Labtiva Inc.), Wiley Online Library el [29/02/2024]. Consulte los Términos y Condiciones (https://onlinelibrary.wiley.com/terms-and-conditions) en Wiley Online Library para conocer las normas de uso; los artículos OA se rigen por la Licencia Creative
Commons aplicable.
Participantes de riesgob 21,314 21,258
Cálculos de ensayos aleatorios
Tasa de casos con ventana de recuento de
casos en ambos brazos
0.63% = 134/21314 0.63% = 134/21258
Eficacia de la vacuna 0% = 1 – (0.63%/0.63%)
bEl recuento de casos de placebo incluye los casos notificados hasta el día 84 en el ensayo pivotal de la vacuna de Pfizer. Este número, y el número
(desigual) de participantes en riesgo, se han tomado de los resultados reales comunicados del ensayo (véase el gráfico de incidencia acumulada de
Pfizer, p. 30).15 La tasa de casos de la vacuna es ficticia y coincide con la del placebo para real i zar los cálculos sobre una vacuna hipotética de
eficacia nula. Seguimos la convención estándar de la ventana de recuento de casos de 14 días, que se traduce en el día 36 (14 días después de la dosis
2, que se administra 21 días después de la dosis 1).
FI GU RE 2 Sesgo de edad. La mayor propensión de las personas mayores a vacunarse hace que la eficacia de la vacuna en el «mundo real»
se desvíe de la eficacia de la vacuna en un ensayo clínico aleatorizado. Notas: La distribución por edades en el hipotético ensayo clínico
aleatorizado se toma de la pirámide de población de Inglaterra, como si la población del estudio fuera representativa.17 La distribución por
edades para el estudio observacional es la comunicada en la ronda 13 del estudio REACT-1 (de mediados de junio a mediados de julio de 2021).
Las tasas de infección por grupo de edad se han tomado del Estudio REACT-1, que fue del 0,68% durante la Ronda 13 cuando se promedió en
todos los grupos de edad. ECA, ensayo clínico aleatorizado; EV, eficacia/efectividad de la vacuna.
eficacia de la vacuna. Para ilustrarlo, consideremos el estudio
REACT-1.18 Este estudio realiza pruebas de PCR para el coronavirus
2 del síndrome respiratorio agudo severo (SARS-CoV-2) en una
muestra aleatoria de la población de Inglaterra una vez al mes. En
junio-julio de 2021 (los datos más recientes disponibles), las tasas
de positividad del SRAG-CoV-2 variaron considerablemente según
la edad (de 1,7 a 15,6 positivos por 1000 individuos), con tasas más
altas entre los menores de 25 años (véase la figura 2C).
REACT-1 también informa del estado de vacunación. Como se
observa en la Figura 2B, casi la mitad del grupo no vacunado tiene
entre 5 y 12 años, mientras que el grupo de edad más común entre
los vacunados era el de 45-54 años. Aunque los detalles difieren, el
sesgo de edad está presente en todos los conjuntos de datos
observacionales.
Para comprender el impacto del sesgo de edad, consideremos
una vacuna hipotética con eficacia cero. Las tasas de c a s o s de
los grupos vacunados y no vacunados deberían ser
estadísticamente idénticas si la vacuna fuera completamente
ineficaz (Figura 2D). Pero el sesgo de edad en los datos
observacionales altera las tasas de casos ponderadas por edad tanto
en el grupo vacunado como en el no vacunado, dando lugar a
diferentes tasas de infección según el estado de vacunación. Dado
que las personas de más edad registraron tasas de infección más
bajas, la tasa de casos ponderada por edad del grupo vacunado (de
más edad) se registró en 5,5 por 1000, mientras que el valor
correspondiente para el grupo no vacunado (más joven) fue de 11,2
por 1000 (Figura 2C). La eficacia vacunal resultante, que es el
cociente relativo de estas tasas de casos,
4 | FUNG ET AL.
13652753, 0, Descargado de https://onlinelibrary.wiley.com/doi/10.1111/jep.13839 por Readcube (Labtiva Inc.), Wiley Online Library el [29/02/2024]. Consulte los Términos y Condiciones (https://onlinelibrary.wiley.com/terms-and-conditions) en Wiley Online Library para conocer las normas de uso; los artículos OA se rigen por la Licencia Creative
Commons aplicable.
refleja la interacción entre las distribuciones de edad diferenciales
y la correlación de la incidencia del covid-19 con la edad. La
eficacia de la vacuna aparece como del 51% aunque la vacuna
sea completamente ineficaz por hipótesis. (Obsérvese que la
dirección del sesgo de edad se invertiría si los grupos de mayor
edad hubieran sufrido mayores tasas de casos durante el periodo
de estudio).
Un método de ajuste viable para este caso de paradoja de
Simpson19 inducido por el sesgo de edad debería desplazar el 51%
de vuelta a cero. La paradoja de Simpson describe la situación en la
que los análisis agregados y desagregados de los mismos datos
conducen a conclusiones contradictorias, un fenómeno común en los
datos del mundo real. Muchos estudios observacionales incorporan
un término de edad en los modelos de regresión en un intento de
corregir este sesgo de edad.4,20,21 Pero en un metaanálisis de
estudios sobre la vacuna de la gripe se ha descubierto que los ajustes
de regresión estándar no corrigen suficientemente la variedad y
magnitud de los sesgos.22
4 | SESGO DE LA TASA DE INFECCIÓN DE
FONDO
A partir de diciembre de 2020, la rápida difusión de las vacunas,
sobre todo en los países más ricos (Figura 1), coincidió con un
periodo de descenso de las tasas de infección. Sin embargo,
determinar con precisión la
La contribución de las vacunas a este descenso dista mucho de ser
sencilla. De hecho, la considerable variación en la disminución de
casos por país, como el retraso observado en Israel -que es con
diferencia el país que más rápido ha alcanzado el 50% de
vacunados en comparación con el Reino Unido y Estados Unidos-,
no tiene una explicación sencilla (Figura 1, punto temporal «B»). El
brusco descenso de las infecciones complica la estimación de la
eficacia de la vacuna a partir de datos observacionales de forma
similar al sesgo de edad. El riesgo de exposición al virus era
considerablemente mayor en enero que en abril. Así, el tiempo de
exposición no estuvo equilibrado entre los individuos no vacunados
y los vacunados. El tiempo de exposición del grupo no vacunado se
inclinó en gran medida hacia los primeros meses de 2021, mientras
que en el grupo vacunado se observó el patrón inverso. Este
desequilibrio es inevitable en el mundo real debido al calendario de
implantación de la vacunación.
Además, a diferencia de los ensayos, los individuos de los
estudios del «mundo real» no permanecen en un único subgrupo de
análisis durante todo el periodo de estudio: cada persona está sin
vacunar el primer día del estudio hasta el día de la vacunación (o el
final del estudio en caso de que la persona permanezca sin
vacunar). En lugar de clasificar crudamente a los individuos como
«vacunados» o «no vacunados», muchos estudios observacionales
dividen el tiempo de exposición de cada persona en un periodo no
vacunado seguido de un periodo vacunado si el individuo se
vacunó.4–6 Esta técnica es esencial en contextos en los que la gran
mayoría de la población se v a c u n a , para evitar perder una
población de comparación. Sin embargo, este procedimiento inyecta
un fuerte sesgo en los subgrupos de análisis, ya que el tiempo de
exposición de los no vacunados está muy sesgado hacia el periodo
inicial de un estudio, mientras que el tiempo de exposición de los
vacunados está sesgado hacia el final del periodo de estudio.
Para una vacuna hipotética con eficacia cero, las tasas de
casos para vacunados y no vacunados deberían ser iguales durante
cada semana del periodo de estudio. De hecho, en los ECA, los
cambios en la tasa de infección de fondo no sesgan las
estimaciones de la eficacia de la vacuna porque, por diseño, los
brazos de vacuna y placebo siguen un programa de dosificación
sincronizado que garantiza que el tiempo de exposición (en riesgo)
sea equilibrado, incluso en el contexto de tasas de infección
cambiantes.
Pero el sesgo de la tasa de infección de fondo puede hacer que
las estimaciones de la eficacia de la vacuna en estudios del «mundo
real» varíen mucho del 0%. Por ejemplo, utilizando datos de tasas
de infección de un estudio observacional real de residentes de
residencias de ancianos danesas,20 donde las tasas de infección
disminuyeron rápidamente de forma simultánea a la implantación de
la vacuna (de 12 por 1000 residentes en diciembre d e 2 0 2 0 , a
casi 0 durante las 2 últimas semanas del estudio),20 la eficacia de
una vacuna hipotéticamente ineficaz aparece como del 67%, una
ilusión creada principalmente porque las personas no vacunadas
estuvieron expuestas preferentemente a las primeras semanas de
mayores tasas de infección de fondo (Figura 3). Cabe señalar que
la dirección de este sesgo se invertiría si la tasa de infección de
fondo hubiera aumentado de forma constante durante el periodo de
estudio (es decir, vacunando dentro de una oleada en lugar de fuera
de ella).
El estudio danés fue uno de los primeros estudios del «mundo
real» que
reconocer este sesgo de la tasa de infección de fondo. Los
investigadores añadieron un término de ajuste de «tiempo de
calendario» a su modelo de regresión de Cox para abordar este
sesgo, lo que redujo su estimación de la eficacia de la vacuna del
96% al 64%.20 Sin embargo, al igual que con el sesgo de edad,
creemos que es poco probable que el ajuste de regresión corrija
suficientemente este tipo de desequilibrio. Dado que la ecuación de
regresión no se publicó, no pudimos hacer una evaluación más
definitiva.
FUNG ET AL. | 5
13652753, 0, Descargado de https://onlinelibrary.wiley.com/doi/10.1111/jep.13839 por Readcube (Labtiva Inc.), Wiley Online Library el [29/02/2024]. Consulte los Términos y Condiciones (https://onlinelibrary.wiley.com/terms-and-conditions) en Wiley Online Library para conocer las normas de uso; los artículos OA se rigen por la Licencia Creative
Commons aplicable.
FI GU RE 3 Vacunar mientras caen las tasas de casos: ECA frente a estudios observacionales. Panel izquierdo: Tamaño relativo de los
brazos de vacuna y placebo en un ensayo clínico aleatorizado. Panel derecho: Tamaño relativo de los grupos vacunados y no vacunados en un
estudio real. Notas: Las tasas de infección semanales se derivan del número semanal de pruebas y la proporción de positivos y la población
residente total extraídos de la figura 1A y la tabla 1 de Moustsen-Helms et al.20 La proporción de vacunados al inicio y al final del estudio también
procede de Moustsen-Helms; se supone que las vacunaciones y la inscripción en el ensayo crecen linealmente durante el periodo de estudio.
TABLA 2 Tres sesgos y los datos necesarios para evaluarlos en estudios del mundo real.
Fuente de sesgo Grupo no vacunado Grupo vacunado Datos necesarios para ajustar el sesgo
Ventana de
recuento
de casos
No se aplica (inoperable) Aplicada Curva de epinefrina que muestra los casos desde la
primera dosis por estado de vacunación
Edad Más jóvenes (y por
correlación, más sanos)
Mayores (y por correlación,
menos sanos)
Distribución por edad según el estado de vacunación;
casos según el estado de vacunación por grupo de
edad; resultados de los métodos de emparejamiento
(si están disponibles).
Fondo Tiempo de exposición más
temprano en
Tiempo de exposición más
tarde en
Tasa de infección por semana de estudio; tasa de casos por
semana de estudio
tasa de
infección
año natural 2021 año natural 2021 por estado de vacunación
5 | LECCIONES APRENDIDAS
En un comentario reciente se analizaron múltiples factores que pueden
sesgar las estimaciones de la eficacia de la vacuna covid-19, como la
clasificación errónea del estado de vacunación, las diferencias en las
pruebas y los factores de riesgo de la enfermedad.7 Nuestro artículo
complementa estas observaciones proporcionando ejemplos basados en
conjuntos de datos reales que cuantifican cómo el sesgo de la
ventana de recuento de casos, el sesgo de la edad y el sesgo de la
tasa de infección de fondo pueden complicar profundamente el
análisis de los estudios observacionales, modificando las estimaciones
de la eficacia de la vacuna contra el covid-19 en una magnitud absoluta de
entre el 50% y el 70%. Los ensayos aleatorios pretenden mitigar estos
sesgos en virtud de las características del diseño, como la
aleatorización, los controles con placebo y el cegamiento. Pero aunque los
ensayos aleatorios deberían ofrecer una protección muy superior
contra estos sesgos, los ensayos previos a la comercialización
dejaron sin estudiar muchas cuestiones importantes, como la
durabilidad de la protección, la interacción con otras contramedidas y la
eficacia en subpoblaciones de alto riesgo y otras subpoblaciones
importantes. Los ensayos aleatorios pragmáticos controlados con
placebo podrían haber abordado algunas de estas limitaciones, pero
después de que los fabricantes comenzaran a desenmascarar sus
ensayos tras la autorización de uso de emergencia en diciembre de
2020, los estudios observacionales son todo lo que tenemos.
Nuestro análisis muestra que las condiciones del mundo real,
como la vacunación no aleatoria, los cruces y las tendencias en las
tasas de infección de fondo, introducen sesgos fuertes y complejos en
estos conjuntos de datos observacionales. Nuestra contribución
consiste en dimensionar tres sesgos importantes, cuya magnitud
nos sorprendió y puede que le sorprenda a usted. Llegamos a la
conclusión de que los estudios del «mundo real» que utilizan
metodologías populares a principios de 2021 exageran la eficacia
de las vacunas. Nuestro hallazgo pone de relieve lo difícil que es
realizar estudios observacionales de alta calidad durante una
pandemia.
Aunque la situación actual deja mucho que desear, se pueden
tomar varias medidas en el futuro para mejorar la calidad de los
estudios observacionales. Una mayor conciencia de estos sesgos
podría promover ajustes más apropiados en futuros estudios,
incluido el uso de métodos cuasi experimentales. Además, los
editores de las revistas podrían mejorar la transparencia y la
reproducibilidad de los estudios observacionales exigiendo la
divulgación de los datos y el código subyacentes, así como la
publicación de las ecuaciones de modelización, las tablas de
coeficientes y los errores estándar.23 La disponibilidad de datos
restringió seriamente nuestra elección de estudios para examinar, y
también nos impidió analizar los tres sesgos simultáneamente, entre
los que seleccionamos.
Como se muestra en la Tabla 2, habríamos necesitado información
adicional, como (a) casos desde la primera dosis por estado de
vacunación; (b) distribución por edad por estado de vacunación; (c) tasas
de casos por estado de vacunación por grupo de edad; (d)
6 | FUNG ET AL.
13652753, 0, Descargado de https://onlinelibrary.wiley.com/doi/10.1111/jep.13839 por Readcube (Labtiva Inc.), Wiley Online Library el [29/02/2024]. Consulte los Términos y Condiciones (https://onlinelibrary.wiley.com/terms-and-conditions) en Wiley Online Library para conocer las normas de uso; los artículos OA se rigen por la Licencia Creative
Commons aplicable.
tasas de concordancia entre los grupos vacunados y no vacunados
en variables clave de concordancia; (e) tasa de infección de fondo por
semana de estudio; y
(f) tasa de casos por semana de estudio según el estado de
vacunación.
En futuros trabajos, esperamos analizar ejemplos que utilicen
hospitalizaciones o fallecimientos como criterios de valoración, lo
que sólo es posible con una divulgación de datos más amplia.
La pandemia ofrece una magnífica oportunidad para recalibrar
nuestras expectativas sobre los estudios tanto observacionales
como aleatorios. Hoy en día, los estudios del «mundo real» siguen
publicándose como análisis puntuales. Pero sería mucho más
valioso publicar los resultados en un sitio web con actualizaciones
en directo, a medida que se acumulan datos epidemiológicos y de
vacunación. Los informes continuos permitirían a los
investigadores demostrar que sus métodos analíticos no sólo
explican lo sucedido durante el periodo de estudio, sino que
también permiten generalizar más allá del mismo.
Por último, los estudios aleatorizados no deben considerarse
irrelevantes en la fase posterior a la autorización. Se puede
incorporar un elemento de aleatorización a la distribución de
vacunas en el mundo real. En los casos en que las poblaciones
siguen estando en gran medida sin vacunar y los recursos no
permiten vacunar a todo el mundo a la vez, los diseños como la
distribución aleatoria por grupos de cobertura escalonada deben
considerarse seriamente por su capacidad de obtener información
científica importante desde el punto de vista ético.24,25 deberían
considerarse seriamente por su capacidad para obtener
información científica importante desde el punto de vista ético.
Cualquier herramienta que elimine en cierta medida el sesgo del
mundo real reduciría la complejidad del análisis de los datos
observacionales.
CONTRIBUCIONES DE LOS AUTORES
Kaiser Fung y Peter Doshi concibieron la idea del artículo, Kaiser
Fung realizó los análisis estadísticos y redactó el primer borrador.
Todos los autores participaron en la discusión del contenido, la
presentación y la edición del manuscrito.
DECLARACIÓN DE CONFLICTO DE INTERESES
Tenemos los siguientes intereses que declarar: Peter Doshi ha
recibido fondos para viajes de la European Respiratory Society
(2012) y del Uppsala Monitoring Center (2018); subvenciones de la
FDA (a través de la University of Maryland M-CERSI; 2020), Laura
and John Arnold Foundation (2017-22), American Association of
Colleges of Phar- macy (2015), Patient-Centered Outcomes
Research Institute (2014- 16), Cochrane Methods Innovations Fund
(2016-18), y UK National Institute for Health Research (2011-14);
fue miembro no remunerado del comité directivo de IMEDS en la
Reagan-Udall Foundation for the FDA (2016-2020), y es editor en
The BMJ. KF, MJ: Ninguno.
Cómo citar este artículo: Fung K, Jones M, Doshi P. Fuentes
de sesgo en los estudios observacionales sobre la eficacia
de la vacuna contra el covid-19. J Eval Clin Pract. 2023;1‐7.
doi:10.1111/jep.13839
DECLARACIÓN DE DISPONIBILIDAD DE DATOS
La puesta en común de datos no es aplicable a este artículo, ya que
en este estudio no se crearon ni analizaron nuevos datos.
ORCID
Peter Doshi http://orcid.org/0000-0002-7804-4113


REFERENCIAS

  1. Polack FP, Thomas SJ, Kitchin N, et al. Seguridad y eficacia de la
    vacuna Covid-19 de ARNm BNT162b2. N Engl J Med.
    2020;383(27): 2603‐2615. doi:10.1056/NEJMoa2034577
  2. Baden LR, El Sahly HM, Essink B, et al. Eficacia y seguridad de la
    vacuna mRNA-1273 contra el SARS-CoV-2. N Engl J Med.
    2021;384(5): 403‐416. doi:10.1056/NEJMoa2035389
  3. Dagan N, Barda N, Kepten E, et al. BNT162b2 mRNA Covid-19
    vaccine in a nationwide mass vaccination setting. N Engl J Med.
    2021;384(15):1412‐1423. doi:10.1056/NEJMoa2101765
  4. Haas EJ, Angulo FJ, McLaughlin JM, et al. Impact and
    effectiveness of mRNA BNT162b2 vaccine against SARS-CoV-2
    infections and COVID-19 cases, hospitalisations, and deaths following
    a nationwide vaccination campaign in Israel: an observational study
    using national surveillance data. Lancet.
    2021;397(10287):1819‐1829. doi:10. 1016/S0140-6736(21)00947-8
  5. Thompson MG, Burgess JL, Naleway AL, et al. Estimaciones
    provisionales de la eficacia de las vacunas BNT162b2 y mRNA-1273
    COVID-19 en la prevención de la infección por SARS-CoV-2 entre el
    personal sanitario, primeros intervinientes y otros trabajadores
    esenciales y de primera línea – ocho lugares de EE.UU., diciembre de
    2020-marzo de 2021. MMWR Morb Mortal Wkly Rep. 2021;70(13):495-
  6. doi:10.15585/mmwr.mm7013e3
  7. Vasileiou E, Simpson CR, Shi T, et al. Interim findings from firstdose
    mass COVID-19 vaccination roll-out and COVID-19 hospital
    admissions in Scotland: a national prospective cohort study. Lancet.
    2021;397(10285):1646‐1657. doi:10.1016/S0140-6736(21)00677-2
  8. Ioannidis JPA. Factores que influyen en la eficacia estimada de las
    vacunas COVID-19 en estudios no aleatorizados. BMJ Evid Based
    Med. 2022;27(6):324‐329. doi:10.1136/bmjebm-2021-111901
  9. ModernaTX, Inc. Protocolo mRNA-1273-P301, Enmienda 3 [Internet].
    Consultado el 5 de octubre de 2020.
    https://www.modernatx.com/ sites/default/files/mRNA-1273-
    P301-Protocol.pdf
  10. Pfizer. PF-07302048 (BNT162 RNA-Based COVID-19 Vaccines)
    Protocolo C4591001 [Internet]. Consultado el 5 de octubre de
  11. https:// pfe-pfizercom-d8-prod.s3.amazonaws.com/2020-
    09/C4591001_ Clinical_Protocol.pdf
  12. AstraZeneca. Protocolo de estudio clínico – Enmienda 2
    AZD1222- D8110C00001 [Internet]. Consultado el 5 de octubre
    de 2020. https://s3. amazonaws.com/ctr-med-
    7111/D8110C00001/52bec400-80f6- 4c1b-8791-
    0483923d0867/c8070a4e-6a9d-46f9-8c32-
    cece903592b9/D8110C00001_CSP-v2.pdf
  13. Janssen Vaccines & Prevention B.V. VAC31518 (JNJ-
    78436735) Clinical Protocol VAC31518COV3001 Amendment 1
    [Internet]. Consultado el 5 de octubre de 2020.
    https://www.jnj.com/coronavirus/ covid-19-phase-3-study-clinicalprotocol
  14. Fung K. The worst kept secret will be revealed today [Internet]
    Big Data, Plainly Spoken (aka Numbers Rule Your World).
  15. Consultado el 13 de enero de 2022.
    https://junkcharts.typepad.com/
    numbersruleyourworld/2020/12/the-worst-kept-secret-will-berevealed-
    today.html
  16. Sackett DL, Gent M. Controversia en el recuento y atribución de
    eventos en ensayos clínicos. N Engl J Med. 1979;301(26):1410-
  17. doi:10. 1056/NEJM197912273012602
  18. Pfizer. 5.3.6 Análisis acumulativo de informes de efectos adversos
    posautorización de PF-07302048 (BNT162b2) recibidos hasta el 28-
    Feb- [Internet]. 2021. Consultado el 13 de enero de 2022.
    https://phmpt.org/wp- content/uploads/2021/11/5.3.6-postmarketingexperience.
    pdf
  19. Pfizer y BioNTech. FDA Briefing Document Pfizer-BioNTech COVID-19
    Vaccine [Internet]. Diciembre, 2020. Consultado el 13 de enero de
  20. https://www.fda.gov/media/144245/download#page=30
  21. Yorifuji T, Suzuki E, Tsuda T. Oseltamivir and abnormal behaviors:
    true or not? Epidemiology. 2009;20(4):619‐621. doi:10.1097/EDE.
    0b013e3181a3d3f6
  22. Park N. Population estimates for the UK, England and wales,
    Scotland and northern Ireland – office for national statistics [Internet].
    Oficina Nacional de Estadística. 2020. Consultado el 13 de enero de
  23. https://www.ons.
    gov.uk/peoplepopulationandcommunity/populationandmigration/
    populationestimates/bulletins/annualmidyearpopulationestimates/
    mid2019estimates
  24. Elliott P, Haw D, Wang H, et al. REACT-1 round 13 final report:
    exponential growth, high prevalence of SARS-CoV-2 and vaccine
    effectiveness associated with DeltaDelta variant in EnglandEngland
    during May to July 2021 [Internet]. bioRxiv. 10 de septiembre
    de 2021. http://medrxiv.org/lookup/doi/10.1101/2021.09.02.
    21262979
  25. Bickel PJ, Hammel EA, O’Connell JW. Sex bias in graduate
    admissions: data from Berkeley. Science. 1975;187(4175):398‐404.
    doi:10.1126/science.187.4175.398
  26. Moustsen-Helms IR, Emborg HD, Nielsen J, et al. Vaccine
    effective- ness after 1st and 2nd dose of the BNT162b2 mRNA
    Covid-19 vaccine in long-term care facility residents and healthcare
    workers – a Danish cohort study [Internet]. medRxiv. 09 de marzo
    de 2021. http://
    medrxiv.org/lookup/doi/10.1101/2021.03.08.21252200
  27. Menni C, Klaser K, May A, et al. Vaccine side-effects and SARS-CoV- 2
    infection after vaccination in users of the COVID symptom study
    app in the UK: a prospective observational study. Lancet Infect Dis.
    2021;21(7):939‐949. doi:10.1016/S1473-3099(21)00224-3
  28. Remschmidt C, Wichmann O, Harder T. Frequency and impact of
    confounding by indication and healthy vaccinee bias in
    observational studies assessing influenza vaccine effectiveness: a
    systematic review. BMC Infect Dis. 2015;15:429.
    doi:10.1186/s12879-015-1154-y
  29. Peng RD, Hicks SC. Investigación reproducible: una retrospectiva.
    Annu Rev Public Health. 2021;42:79-93. doi:10.1146/annurevpublhealth-
    012420-105110
  30. Bell KJL, Glasziou P, Stanaway F, Bossuyt P, Irwig L. Equity and evidence
    during vaccine rollout: stepped wedge cluster randomised trials could
    help. BMJ [Internet]. 2021;372:n435. doi:10.1136/bmj.n435
  31. Alqahtani M, Mallah SI, Stevenson N, Doherty S. Ensayos de
    vacunas durante una pandemia: posibles enfoques de los dilemas
    éticos. Trials. 2021;22(1):628. doi:10.1186/s13063-021-05597-8
    FUNG ET AL. | 7
    13652753, 0, Descargado de https://onlinelibrary.wiley.com/doi/10.1111/jep.13839 por Readcube (Labtiva Inc.), Wiley Online Library el [29/02/2024]. Consulte los Términos y Condiciones (https://onlinelibrary.wiley.com/terms-and-conditions) en Wiley Online Library para conocer las normas de uso; los artículos OA se rigen por la Licencia Creative
    Commons aplicable.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *