Lectura crítica de la literatura científica

B

Este post tendrá un fluir anárquico y será mucho que yo lo entienda al finalizarlo. Es lo que hay y mi expresión (hablada o escrita) es muy deficiente. Lo llevo intentando mejorar desde vete a saber cuándo y no hay forma. No me rindo pero tampoco soy überoptimista.

Mi crítica al método científico creo que queda muy bien enmarcada (long-post) aquí:
http://quevidaesta2010.blogspot.com.es/2016/08/sobre-el-fracaso-del-lhc-run-2-y-los.html

Creo que todos los machacones debatiles acabarían con algo de filosofía (me gustó que una persona respondiera a un post de naukas http://jmmulet.naukas.com/2016/06/02/concienciados-o-desinformados-encuesta-sobre-ogm-a-los-participantes-en-la-marcha-contra-monsanto/ diciendo que si haría falta una encuesta similar sobre filosofía en debates epistemológicos. El autor es @DrSirera en twitter y tiene entradas en su blog así de guapas http://simicar.blogs.uv.es/2013/10/25/discutiendo-epistemologia-a-140-caracteres/
http://simicar.blogs.uv.es/2013/11/13/modos-modales-y-modelos-cientificos/ ). Yo hablaré un poquillo (y mal. Muy mal) sobre lo que he visto que "cojea" de la metodología científica y el método hipotético-deductivo que he andado leyendo por libre (y con nula formación práctica en laboratorio y sin ser científico ni hacer "evidencia" en revistas científicas). Mis postulados son opiniones en el sentido estricto de la palabra y tengo tendencia a opinar de modo escéptico y quitándole importancia a todo lo establecido por mi rama profesional (estudiante del grado de Nutrición Humana y Dietética ergo pura pseudociencia más próximo a la astrología que a nada, un bullicio de epidemiología y conflictos de interés junto a investigadores que suelen externalizar el análisis estadístico de sus datos y no tienen ni puta idea de nada). Mis posts siempre con pinzas esterilizadas.

Lios con los p-value e intervalos de confianza => En "Statisticians issue warning on P values" http://www.nature.com/news/statisticians-issue-warning-over-misuse-of-p-values-1.19503 (leer los enlaces recomendados por la revista vía dibujitos a la derecha, son esenciales. En "P values are just the tip of the iceberg" sale una imagen muy esclarecedora) hablan del asunto, pero la gente no ha entendido (creo) que ni los p-values son "inútiles" ni las cosas no-p-values son la panacea (crítica a los intervalos de confianza https://learnbayes.org/papers/confidenceIntervalsFallacy/fundamentalError_PBR.pdf + http://bayesfactor.blogspot.com.es/2016/07/stop-saying-confidence-intervals-are.html ). Muchos filósofos (estadistas o no) entienden sin tanto paper que lo que la gente teme es la incertidumbre. No sabemos si algo "es cierto o no" ni si algo "es falso o no". Tenemos descripciones en "x" modelos por "y" métodos y un sistema prefijado y vamos intentando ver si el asunto aguanta críticas. NO PORQUE ALGO tenga muchas críticas es basura. Es más, lo que sale muy bien reforzado es una hipótesis / teoría que "aguante" muchas (pero bien parada). Por ejemplo el asunto del colesterol y epidemia de muertes ha tenido muchas críticas y ya nadie cree en esa basura menos los que viven de ello (100tífikos) o los muy adoctrinados. Tampoco nos dice nada que algo sea "muy criticado" porque pueden ser malas críticas ("el sistema sanitario actual y la profesión médica está comprada por la industria farmacéutica ergo hay que usar reiki y chakras y homeopatía"). El asunto es que nadie quiere relativismos ni nadie es escéptico en el sentido estricto del término (acuñado por pooper con sus principios, donde el más importante para mí es ser primero escéptico de uno mismo. Para más información de lo que pienso leer la extensa entrada que hice en nogracias recogida por el blog de mi compañero Jorge Hernández "chaoticpharmacology" https://chaoticpharmacology.com/2016/05/24/analisis-esceptico-del-escepticismo/). El primer enlace que os he facilitado dice que "la ciencia tiene un límite". Yo estoy de acuerdo y en temas tan polémicos como las mamografías hay un pedazo de artículo que recomiendo día sí día también:
https://fivethirtyeight.com/features/science-wont-settle-the-mammogram-debate/

Título: "Science won't settle the mammogram debate". ¿Por qué lo dice? Fácil: primero porque la literatura científica no está clara (como "dato objetivo") y después porque ni los científicos que tratan el asunto (ni los ultra-especialistas) se aclaran:
http://www.wsj.com/articles/SB10001424127887323539804578260241902140764

Con las típicas entradas "Yes v.s. No" del British Medical Journal también. O sea, que alguien se tira 45 años dándole al asunto y hay personas del "Sí" y del "No". O sea, que ni yendo a las fuentes y encerrándome como un monje de clausura conseguiré entender mediante información de laboratorio si yo (si soy mujer) o alguien del sexo femenino a los [40-49] años le sale "a cuenta" hacerse una mamografía / apuntarse a un cribado de cáncer de mama:
http://www.trialsjournal.com/content/pdf/s13063-015-0917-5.pdf (traducción libre ) “[…] He trabajado en el campo de la investigación del cáncer de mama durante más de 27 años, he leído todas las opiniones de los epidemiólogos y otros profesionales, y he escudriñado las últimas publicaciones científicas, pero hasta yo me mantengo indeciso acerca del valor del cribado mamográfico. Me siento simultáneamente enfermo al asistir pero asustado por no hacerlo“.

Salen varias preguntas:
-Si no está claro, ¿por qué el maldito Gobierno nos manda cartas para participar?
-Si no está claro, ¿por qué se inunda a dinero esa actividad? Si no está claro, ¿por qué se dice siempre que prevenir mejor que curar si hay algunos casos donde la solución es peor que el problema?
-Si la ciencia no resolverá el caso, ¿por qué no se habla desde un punto de vista filosófico / psicológico desde manejo de las decisiones / comprensión de los datos estadísticos?

Como siempre, pueden haber millones de páginas hablando de un tema pero al pasarse a la clínica se van todos los ideales platónicos y uno / a se da cuenta de que "el paper lo aguanta todo" (en un sistema cerrado es muy fácil moverse). El asunto está muy bien tratado en revistas de tinte más filosófico (que por culpa del factor de impacto están siempre muy abajo pero a mí me la pela dado que yo paso de esa aritmética oscurantista y "populista") donde describen las limitaciones de los randomized control trials (RCT, estudios de control aleatorios) y los meta-análisis y demás:
http://www.mayoclinicproceedings.org/article/S0025-6196%2815%2900380-8/pdf

(Gráfico página 2 os hará aprender más que 30000000 libros sobre "hebidensia").
El tema lo trato de forma muy extensa, liosa, tediosa y casi no-entendible aquí:
https://chaoticpharmacology.com/2016/01/05/rcts-sois-vosotros-y-vuestras-circunstancias/

Cuanto menos falsable sea la temática (psicología / psiquiatría en su máximo exponente de "ciencias sociales" aunque la economía va dura también) peor:
"How to prove that your therapy is effective, even when it is not: a guideline": https://www.researchgate.net/publication/282332360_How_to_prove_that_your_therapy_is_effective_even_when_it_is_not_a_guideline

Es un ejemplo, hay ríos de tinta (justificados) sobre cómo se saltan los métodos de filtraje de futuras publicaciones en revistas científicas y demás. En psiquiatría en particular hay más aceptación de su contra casi (movimiento antipsiquiatría) que de la práctica en sí. Los casos de muerte de pacientes (mayoritariamente niños / as / adolescentes) son infinitos y las vidas "quitadas" por los psicofármacos no paran de aumentar aún a día de hoy:
http://www.thepillthatsteals.com/ (tenéis review en inglés en blogs como el de David Healy o 1boringoldman, antidepaware...)

En "Ciencia" aquí en MV tengo un post donde suelto bilis a destajo if you want.

Como prefiero hacer un debate y que # 1 no sea muy largo, intentaré ir respondiendo bajo mi punto de vista (y dejando entrar opiniones más interesantes como Duronman, mTH que es el jefe, Seuron, DarkRaptor, urrako aunque está desaparecido el mamón, hda...). Es un tema muy largo y donde se han cometido demasiados "patinazos" (estudio 329 para más info) para tener fe ciega en estas tonterías (sí, lo llamo tonterías para perderle el respeto y poder aproximarme con más rigor). Os dejo unos cuantos enlaces más:

http://retractionwatch.com/2016/03/07/were-using-a-common-statistical-test-all-wrong-statisticians-want-to-fix-that/

https://plazamoyua.com/2016/03/14/especialistas-estadistica-sentido-comun-y-paracaidas/

https://www.insidehighered.com/news/2016/03/15/american-statistical-association-seeks-usher-new-era-statistical-significance

Con este ejemplo:
http://www.laverdad.es/murcia/culturas/201603/19/leche-para-runners-20160319004658-v.html
Aclarar que hay gente que creo que confunde "resultados nulos" con "resultados negativos":
"[...] ¿Ha emitido la Autoridad Europea de Seguridad Alimentaria algún informe positivo sobre la ingesta oral de alimentos o suplementos ricos en sulfato de condroitina? No. Incluso hay informes negativos que muestran cómo no hay evidencias que relacionen el consumo de productos ricos en este compuesto y la mejora de las articulaciones.".

Que no hay evidencias no quiere decir que haya evidencias negativas. "Absence of evidence is not evidence of absence".

Y una confesión de un investigador que soy muy fan (John P. A. Ioannidis):
http://retractionwatch.com/2016/03/16/evidence-based-medicine-has-been-hijacked-a-confession-from-john-ioannidis/
"[...] As for “basic” research, as I explain in the paper, the current system favors PIs who make a primary focus of their career how to absorb more money. Success in obtaining (more) funding in a fiercely competitive world is what counts the most. Given that much “basic” research is justifiably unpredictable in terms of its yield, we are encouraging aggressive gamblers. Unfortunately, it is not gambling for getting major, high-risk discoveries (which would have been nice), it is gambling for simply getting more money."

https://twitter.com/_muscleblog/status/750422446663143424
https://pbs.twimg.com/media/CmoIHHcXYAAsMxv.jpg

Hablamos.
P.D: extra
https://plazamoyua.com/2016/05/10/empanadas-mentales-izquierda-progresista-y-pro-ciencia/
Comentario del autor del blog:
"[...] Lo que yo creo que no lleva a ninguna parte es ponerse a discutir qué es ciencia (y qué no). Lo puedes definir de muchas formas. La cuestión es que las definiciones tienen consecuencias. Si defines “ciencia” (y “pseudociencia) al estilo de Feynman …
… entonces esa definición te sirve para establecer una diferencia en la confianza y la seguridad que te da un conocimiento, sólo por encajar en esa definición de “ciencia”. Pero si defines “ciencia” de otra forma, por ejemplo el mejor conocimiento disponible que resulte generalmente admitido por los especialistas, entonces tienes que darte cuenta y admitir que por mucho que sea “ciencia” (según esa definición), no tienes ningún motivo para darle ninguna confianza especial a ese conocimiento. No es mas que una opinión. Todo lo “experta” que quieras, pero opinión. No es “saber”.
Aquí hay una “trampa posmoderna”. Llamarle “ciencia” a algo que entre Newton y Feynman no se llamaba ciencia, pero tratar de heredar el prestigio de lo que se llamaba ciencia entre Newton y Feynman, ¡porque estás usando la misma palabra! — aunque sea para cosas diferentes.
No nos liemos. ¡Llámale como quieras! ¡Llámale X! Pero según cómo funcione, según cómo consiga sus garantías, será relevante … o irrelevante. Ciencia puede ser, según como lo definas, desde un conocimiento con una garantía acojonante, hasta una perfecta payasada. Sin definición no quiere decir nada. ¿Es una definición estilo Feynman? OK, un respeto para la ciencia. ¿Es una definición estilo posmo? Te metes la “ciencia” por do te quepa.
Ese es todo el problema. No hay problema.".

Video = https://www.youtube.com/watch?v=tWr39Q9vBgo

Solución a todo el tema "científico":
https://www.youtube.com/watch?v=QkhBcLk_8f0
"[...] For me it's a very fundamental part of my soul is to doubt and to ask". "[...] I CAN LIVE WITH DOUBT AND UNCERTANTY AND NOT KNOWING".
La gente se siente incómoda con gente escéptica (en el sentido clásico) y con gente que no para de preguntar. Esa gente hace el mundo menos frágil y es a la que hay que "abrazar". Mejoraremos dudando, no afirmando.
https://hateandanger.files.wordpress.com/2013/09/richard-feynman-i-would-rather-have-questions-that-cant-be-answered-than-answers-which-cant-be-questioned.jpg

B

Este thread va muy enfocado al asunto biomédico (que es donde he mirado estos últimos 4 años) y quizás puede ser que le proporcione mucha "voz" a lo mejorable y en sí todo esté estupendamente, pero lo dudo (y no solo yo). En otras ramas (astrofísica, matemáticas) veo más difícil manipular datos, estadísticas... y ya se hizo un ranking donde estas 2 ramas capitaneaban de menos a más los resultados negativos que salían en las revistas científicas en cuestión. En psiquiatría había revistas que tenían durante años 0 resultados negativos (todo salía mejor que placebo). Psicología 90 y pico %. En nutrición hay una imagen muy mítica de Ioannidis donde salen alimentos y en un eje "y" si reducen el riesgo de cáncer (protectores) o lo aumentan (cancerígenos). Los juntó todos y salía que "todo protege y a la vez causa cáncer". Ben Goldacre hizo lo mismo en una charla TED pillando noticias de prensa (el café en menos de 1 año ya había salido 6 veces en muchas portadas que causaba y protegía contra tal o cual cáncer).

Así que mis posts no serán generales. Son de localizaciones específicas.

Siguiendo con Ioannidis:
"[...] I also lament the lack of some pivotal long-term pragmatic randomized trials to answer questions in the contested borderland between believers and non-believers. I hate being a believer or a non-believer, I went into science because I did not want just to have to believe.":
http://ije.oxfordjournals.org/content/early/2016/02/17/ije.dyw015.full => Commentary: salt and the assault of opinion on evidence

http://osdm.org/blog/2016/03/03/j-p-ioannidis-how-ebm-was-haijacked/
Los metaanálisis son una fábrica de propaganda. En español:
http://www.nogracias.eu/2016/03/20/la-mbe-secuestrada-por-john-ioannidis/

Pirámide de la evidencia "renovada":
https://rafabravo.wordpress.com/2015/12/08/la-nueva-piramide-de-la-evidencia/

-Tabris, no sé qué quiere decir RCT, meta-análisis...
Hay una serie de artículos en http://ebn.bmj.com/ o group.bmj.com que se llaman "what is" (what is a systematic review, hypothesis testing and p values, what is a CI, what is a network meta-analysis, what is a p value and what does it mean, what is a qualitative synthesis, what is a randomised controlled trial) que lo explican de forma muy escueta (o puedes tirar de wikipedia). Para saber "lo que son" para ti hay que leer millones de cosas y no se hace en una tarde así que tenéis bastante trabajo los "nuevos".
http://www.cochrane.org/news/what-are-systematic-reviews

Usuarios habituales