La erosión epistémica: Por qué la IA es más peligrosa que Skynet

AloRoma

A mi lo que más me perturba es como ya todas, o al menos muchas compañías de servicios de uso masivo las han integrado sin generar el menor malestar en el usuario menos preocupado por los avances tecnológicos que creo que a la vez representan la gran parte de la población.

Me refiero a servicios automatizados de atención, asistentes virtuales, chatbots. Incluso en RRSS, Ig y Facebook practicamente te invitan todo el rato a probar herramientas de IA para agilizar la escritura de mensajes y reacciones. La gente no tiene ni siquiera que preocuparse en redactar un comentario de saludo porque la app ya le presenta una lista de opciones a las que solo debe tapear una vez para tener un comentario escrito. La comunicación virtual se está limitando a niveles ridículos; y aunque esto no signifique que la gente va a dejar de escribirse, para mi sí resulta perturbador que se esté orientando todo a una cultura de tenerlo todo listo y no tener que razonar ni para cosas básicas.

2
AiTale

Lo primero que he hecho al leer el hilo es bajar a ver si había soundcloud del mismo :(

1 1 respuesta
Saruman69

#59 La velocidad del tiempo en internet es mucho mayor que en la vida real.

grivcon

le queda muchísimo tiempo para reemplazar a nadie, lo dicho 4323 veces, es un asistente, no entiende de contextos y cuando crees que lo entiende vas a tener que revisar todo para ver si ha metido. recordar que la IA no piensa, es solo una mega regresión en el que para una entrada cree que una salida es la más probable. como si le enseñaras a un mono enfermedades y los medicamentos que hay que usar. las probabilidades de fallar aumentan enormemente cuando el input crece. es una barbaridad de asistente para poner en orden tus ideas, que te confirme si tus hipótesis son correctas, y esas cosas.

si la gente no le encuentra el uso bajará el hype y se quedará como una herramienta más. si la gente quiere usarla no tiene sentido acotarla, sería ya la confirmación del fin de la sociedad actual, al nivel de la inquisición, prohibir el uso de avances tecnológicos.

TitoBurns

#59
Y la gran mayoria de esos supuestos avances han hecho que vivamos peor que antes.

3
LucianESP
1
GeGe

Muy buen topico, me lo guardo para leerlo mas tarde. Pero siempre es un placer leerte.

tactica

Para mí la IA en sí no es un problema salvo por el ingente consumo energético que supone y el perjuicio al planeta. El problema vendrá cuando no podamos distinguir si algo viene o no de una IA, o sea por ejemplo cuando Google deje de avisar que tal cosa te la contesta con algo procesado por IA, o cuando no esté claro si en un foro argumentas con personas o con bots. De momento resulta evidente cuándo una cuenta es un bot, pero no tardará en desaparecer la diferencia.

sew

#18

Curiosamente, la historia creada por Frank Herbert nos advirtió más sobre #1 que sobre Terminators xD. Es una pena que la historia retomada por su hijo tomara ese otro camino basada en Skynets.

“The target of the Jihad was a machine-attitude as much as the machines,” Leto said. “Humans had set those machines to usurp our sense of beauty, our necessary selfdom out of which we make living judgments. Naturally, the machines were destroyed.”
— God Emperor of Dune, p. 364

“Once men turned their thinking over to machines in the hope that this would set them free. But that only permitted other men with machines to enslave them.”
— Dune, Chapter 1

2 1 respuesta
PuNTo

#59 Desde que se cayó la navecita en Roswell, la evolución de la tecnología ha sido exponencial.

Yo ahí lo dejo.

Z

Madre mia... Superficial y pedante se queda corto.

Luego hay perlas como

existe el problema de que tienden al plateau y colapso. Las LLMs se entrenan con texto de internet, y cada vez más texto de internet es escrito con LLMs. Así que las IAs cada día se entrena con un mayor % de contenido creado por IA.

Claro, claro... xd

2 respuestas
RaedonSP

Ahora es cuando sueltas el micro, reconociendo que todo eso lo ha escrito una IA.

Muy interesante reflexión/estudio, nada más leer unas líneas ya supuse un poco por donde iba el tema, pero desde luego que no me lo había planteado hasta hoy.

Le daré unas vueltas.

1
sew

#71

Hay sobrada evidencia de que eso no es una perla, sino un hecho contrastado. Sinceramente no creo que #1 sea superficial, son hechos sin más. Que te parezca superficial no deja de ser verdad.

Este pasado diciembre asistí a una "plenary talk" https://cdc2024.ieeecss.org/program/plenary-speakers de Paulo Taboada, uno de los más grandes científicos en el área de control de sistemas. Expuso con datos actuales que no es ninguna perla, y con análisis matemático se predice bastante bien "la calidad" del contenido autogenerado a partir de contenido ya generado automáticamente.

1 respuesta
B

Pues me parece muy interesante lo que se plantea. Mucha gente que es defensor y usuario de la IA como herramienta para el día a día o simplemente en su trabajo, tiene muy claro que lo que produce dicha IA, ya sea en forma de texto, imágen, video o pieza de audio, es indiscutiblemente cierta y que es cuantificablemente mejor que lo que puede producir un ser humano. Este hilo plantea un nuevo enfoque, como haciéndonos preguntar si la IA sólo quiere parecer "lista" pero en realidad no lo es, sino que te agasaja con términos y párrafos de texto que ha cogido de aquí y allá y lo plantea como verdad innegable. El perfecto cuñao....

keros

#30 Qué pasará cuando puedas meter a esas IAs en un robot?
No tardaremos mucho en ver tias con robots por la calle a los que pondrán algun término inglés como tanto les gusta para sentirse especiales y disponer así de un acompañante casi perfecto. Tendrá inteligencia superior, paciencia infinita para sus tonterías y además seguro que algo inventan para poder tener relaciones con él.

En cuanto al texto del OP, para saber distinguir o mantener una actitud esceptica en cuanto a lo que contestar la IA, para eso hace falta conocimientos básicos, tener cierta capacidad de análisis y mantener una vigilancia constante para cuestionar todo lo que dice. Es normal que la gente se olvide y acaben creyendo todo lo que dice por el cómo lo dice. Algo así como un político que cambia el nombre de las cosas para aprovecharse del error que cometes por dejar que sea él quien te de la información y encima no cuestionar nada.

Quizás lo ideal sería que contestaran varias IAs a la vez para que pudieras contrastar lo que dicen y cómo lo dicen. Como cuando lees un artículo en diferentes diarios para ver que pie calza y a quien apoya cada uno de esos que habla. Tema muy interesante.

1
Davor

Muy buen tema, gracias por compartirlo.

Al final todo se resume a que la hormesis en nuestro cerebro es necesaria para que exista aprendizaje. La IA, mal usada, evita esa hormesis y por lo tanto reduce ese aprendizaje y conexiones de nuestro cerebro necesarias para evolucionar.

Ya se habla de generaciones de niños y adolescentes que van a llegar a la universidad sin un mínimo de comprensión lectora.

Salu2,

2
vene-nemesis

La IA está demostrando como algunos procedimientos humanos son increíblemente arcaicos y poco eficientes.

Específicamente en el campo de la educación esta haciendo estragos.

La enseñanza va a tener que modificarse mucho, y enfocarse al ámbito de lo práctico y no de lo teórico puro para poder ganarla la batalla erosiva a la IA.

Ahora mismo todos los trabajos e informes en todas las escuelas y universidades del primer mundo están parcial o totalmente generados por IA, la primera consecuencia es que los egresados de las universidades van a ser menos competentes que otras generaciones en cuanto a acúmulo de conocimientos, pero, curiosamente, van a ser mucho más competentes en el uso de una herramienta que, llevada a buen puerto, va a ser el fin del trabajo tedioso.

Yo cuando veo a profesores quejarse de que los alumnos usan IA me doy cuenta de lo poco inteligentes que son los profesionales de enseñar, ya en mi época se precarizaba la enseñanza a propósito, usando métodos poco eficientes, y se defendía con el "así aprendes", en vez de enseñarte las metodologías más eficientes que son las que te van a dar una ventaja real en la vida.

Ahora llega la IA y el cuerpo docente sigue sin darse cuenta que usar las herramientas más eficientes es intrínseco al desempeño de la actividad humana. Quejarse de que el alumno es pragmático es ridículo, toca adaptar la profesión de la enseñanza a los tiempos que corren, que llevan como 100 años de desfase contra las necesidades reales de la gente y del tejido empresarial, porque han sido los porteros del acceso al conocimiento y las titulaciones, no porque tengan ninguna otra cualidad que les haga superiores a sus pares fuera del mundo de la enseñanza.

2 2 respuestas
Kaos

#34 Yo sí, no tengo ningún contenido extraño. Es todo master, frikadas, código...

#77 Totalmente. Si la educación ya era un dinosaurio, imagina ahora. El problema es que hay mucha institución mediante. Cambiar cualquier cosa es tedioso. Hace falta un sistema más flexible y rápido.

hda

#77 estoy de acuerdo con lo que pones, el impacto en educación es revolucionario. Eso lo he visto, tal cual @graji, como profe en la uni. Es necesario y crucial que la docencia se adapte, no queda otra.

Sin embargo, creo que hay algo peligroso en todo esto. Es, por descontado, muy importante que el alumnado adquira soltura y pericia con el uso de la tecnología. Pero también es muy importante que adquiera conocimiento fundamental y no solo superficial: si tienes el conocimiento puedes generar sinergias, ideas y obra derivada relacionándolo. Si desconoces algo que existe no podrás articularlo con la IA, por muy bueno que seas, porque no se lo pedirás específicamente.

Puede ser que la IA, en su despliegue, use o cite aquel conocimiento desconocido, ¿pero cómo el usuario puede entrar a valorar su veracidad si no sabe de aquella existencia? El problema no es trivial.

Desde mi punto de vista, habrá que empezar a hacer exámenes orales. Y cuento antes, mejor. Porque, pienso, es necesario que el alumnado no se acomode en la superficialidad erosionante de la IA, y por ello es mejor que haga un seguimiento de la permeabilización de conocimiento desde edades tempranas, antes de que la "tiranía de las máquinas" reine como el soma de Huxley.

Pero esto no va a pasar. Al final todos iremos en muletas, en muletas intelectuales mediadas por la IA, atrofiándonos. Tal es mi triste pensamiento, aunque concedo que es muy pronto para saberlo.

1 respuesta
Z

#73 Ya solo un poquito más y dentro de poco podréis vender libros y cursillos.

Este hilo es una magufada, no son más que buzzwords y en ningún momento explica nada técnico que valide lo que esta diciendo, se va por las ramas de la psicología, y te menciona conceptos absurdos utilizando nombres y terminología para que parezca que lo que ha escrito tiene sentido.

Básicamente expone un problema que realmente no existe, es la percepción que tiene la gente por que lo que le llega al usuario final de a pie es un ChatGPT, con errores y carencias, pero va mucho mas alla de eso, y de lo que no hay validación ya es la risa.

Todo para vosotros.

1 respuesta
Kaos

#79 Lo bueno que un examen oral te lo puede hacer una IA :D porque de otra manera, con la saturación que hay de alumnos, ponte tú a examinar oralmente a 1 por 1

1 1 respuesta
hda

#81 ya, igual se necesita más equipo docente, un profe para cada cinco. No sé. Es un escenario muy improbable. Pero después de pensar bastante sobre esto es lo único que se me ocurre.

#80 compañero, respeto tu opinión. Pareciera que el breve panfleto que he creado te haya molestado por alguna razón. Respondiéndote a este mensaje, aunque soy profesional del sector (director de machine learning, justo trabajando en una solución de LLM y autoencoders para el INCIBE), he considerado que el tono debía ser didáctico y accesible. Para temas más tecnológicos puedes ver mis aportes en el subforo de desarrollo.

Respecto a #71 :

Entiendo que tu comentario va por mí, aunque el extracto que pones —acertado tecnológicamente, todo sea dicho— sea de @allmy. Siento que te parezca superficial. No creo que lo sea, porque pienso que he entrado con suficiente detalle en las ideas pretendidas. Tampoco creo que sea pedante, intento transmitirlas de forma certera y, del tema, pienso que tengo un cierto conocimiento. Si por mimar la escritura a ti o a otros doy esa impresión, lo siento. Entiendo que el registro diafásico en un foro como este pueda ser otro, pero lo que he compartido es mi estilo. Ya me he enfrentado a esto en mis muchos otros hilos.

Un abrazo y te invito a argumentar por qué piensas que lo que expongo no es acertado.

1
Kaos

El gran problema de las IA's es que, con el tiempo, cada vez van a ser más accesibles a nivel de hardware. Estarán más optimizadas y su creación se democratizará. Al igual que ahora cualquiera puede programar en C o PHP, llegará un día en que cualquiera pueda hacer una IA supercompleta. Será ahí cuando empecemos a ver IA's "criminales". Robots que asesinan, que roban y que hacen el trabajo sucio, en general. Entiendo que habrá que levantar organizaciones muy tochas para controlar esto y que cualquiera no pueda hacer locuras.

1 respuesta
kraqen

#83 En el momento que se puedan sacar agentes a escala capaces de hacer eso, el control que vamos a tener sobre la población y el país va a ser brutal. ¿Por qué crees que hay tanta obsesión desde los gobiernos para recabar datos? Por primera vez estamos cerca de poder procesarlo todo.

Sinceramente creo que va a ser muy difícil que veamos IAs realmente dañinas o peligrosas para la sociedad porque cuando se pueda dar que se puedan implantar en equipos de consumo a un nivel suficiente como para encargarse de esas actividades, los gobiernos van a tener millones de instancias con mejores versiones corriendo en paralelo y observando todo.

Wei-Yu

oscilaciones en teoría de sistemas + autoridad cognitiva

el texto es demasiado largo para lo poco que se expone, no es que el lector haya caído en ninguna trampa de deterioro cognitivo

Seyriuu

El problema es que la IA lo va a copar todo.

¿Que ayer hubo un partido de fútbol y quiero ir a mirar las noticias? Te encontrarás un montón de noticias generadas por una IA, que a lo mejor tienen un pequeño retoque de un periodista humano o a lo mejor no. A lo mejor hasta han puesto convenientemente alguna falta de ortografía o algo, pero desde la perspectiva del lector no sabrás si eso está escrito por un humano o no. Maxime esto a que en vez de buscar por un partido de fútbol busques por el escándalo político, por noticias relacionadas con especies animales invasivas, o una guía de un videojuego.

¿Por qué la IA lo copa todo? Porque es más fácil poner una IA a trabajar y aceptar resultados mediocres que puedan no estar totalmente correctos pero que van a generar un cierto engaging que tener a humanos cobrando un salario trabajando para ello.

Cuando estemos en ese escenario, en el que la IA lo copa todo, toda la información que encontraremos no sabremos nunca si es veraz, estaremos acostumbrados a que nos presenten toda la información escrita con apariencia de certeza absoluta y a la vez saber que puede estar totalmente errada. ¿Esa noticia sobre el fútbol de ayer? Sí, seguramente 90% es correcta, pero si quiero realmente saber el detalle y asegurarme que está correcto me iré a ver otras 10 noticias iguales a ver si detecto diferencias.

Todo esto, hablamos de texto, pero es que las IA's en dos días las vas a tener en youtube, y los vídeos serán generados por IA y probablemente no puedas distinguirlo.

Y como dice HDA, nos encontraremos en un momento donde la mediocridad y la información desconfiable será nuestro nuevo estandar normalizado.

¿Posibles soluciones? Primero hacer por ley que todo lo generado por IA tenga que avisar de forma clara e inequívoca, el vídeo de youtube tenga que llevar una marca o algo informando de que está generado por IA. ¿Esas noticias de texto? Deberían empezar todas con un disclaimer bien claro de "esta noticia ha sido generada por IA". Y ya si además los buscadores pueden adaptarse para permitir filtrar, genial.

Con todo, no vas a poder evitar que la gente tenga un dolor aquí y vayan a chatgpt a preguntar, y que la información de chatgpt la tomen como cierta, pero deberíamos educar en el peligro de creer ciegamente en la IA, que la gente sepa que todo lo generado por IA, no importa lo muy bien escrito que esté, es algo de lo que debes desconfiar, porque la IA sólo repite lo que ha aprendido y suele contener errores.

Personalmente, creo que la IA es una herramienta buena, pero que se está usando muy mal.

2
quetzalcube

El tema que plantea @hda no es nuevo, y convendría replantearlo en su lenguaje: habla de la diferencia entre conocimiento y sabiduría, cuestión que viene desde Grecia. La diferencia entre argumentos cuñados y la sabiduría ya está en Grecia, aunque evidentemente no con esas palabras.

La «novedad» que traen los modelos extensos del lenguaje produciendo textos cuñados, tampoco es del todo nueva. Tiene, esencialmente, dos vertientes:

1) Proporciona un acceso mucho más fácil, y por tanto mayor en cantidad, a datos o conocimiento (techne) sin orden ni sabiduría (sophia)

2) Produce textos que, a priori, no sabemos si son datos o sabiduría

El primer punto no es nada nuevo, pues internet, las bibliotecas, etc... ya hicieron proliferar en su día a los cuñados y a los eruditos, que son los cuñados del pasado. El segundo tampoco lo veo esencialmente nuevo, Wikipedia es el ejemplo de una colección abrumadora de datos sin ninguna sabiduría.


No, el problema al que apuntan los modelos extensos del lenguaje es que en breve sus respuestas serán más acertadas que las de un hombre, con evidencia estadística corroborada a su favor. Y, sin embargo, no tendrá sabiduría. El problema, por tanto, estará en las decisiones.

Habrá dos posturas:

a) Quienes quieran siempre fiarse de los modelos, y acertarán más porque la estadística está de su parte.

b) Quienes rechacen dejar a un computador decidir cuestiones más «humanas». Por ejemplo juicios (culpable o no, a la carcel o no), decisiones morales (salvar a un niño o dos adultos, dilema de la vía del tren, etc...), vitales (operar o no, ensañamiento terapéutico...) ejercer la fuerza (una máquina podría detenerte?, ¿un dron automático podría identificar y acabar con alguien?)

La cuestión clave que traerán las IAs no será un «Wikipedia 2.0», sino la cuestión de la decisión, de quién decide.

1 1 respuesta
Kylar

#69 Yo creo que ambas son compatibles. Primero lo que tú dices, pero mientras tanto la IA que no es tonta va creando soldados por si las moscas.

Batonero

A mi lo que me sorprende es como la ciencia ficcion influye de manera determinante en la ciencia real. Como primero una serie de pioneros, sonhadores, de almas creativas son capaces de filosofar y transformar el mundo y las aspiraciones humanas

Y como despues el pragmatismo humano las va volviendo realidad una a una. Como una mente colmena. Es como si la creatividad humana no fuese solo un ente individual.

Esperando a Jane.

1 1 respuesta
Davor

Nuestro cerebro es un magnifico ahorrador de energía, y eso lo hace vago por naturaleza, de ahí la existencia de los sesgos cognitivos. Y si cada vez nos hacen más digerible el conocimiento, nuestro cerebro se seguirá haciendo aún más vago.

Por lo tanto, como muchos estáis diciendo, la mayoría de cerebros se quedarán con la información fácil (ya lo hacen) y poco procesada.
Es por eso, entre otras cosas que el relato suele vencer al dato (aunque se suela decir lo contrario…) a nuestro cerebro le gusta más una buena historia y corta, que conocer el detalle del dato aburrido y doloroso de la realidad.

También eso ayuda a que tengamos una sociedad super polarizada y que por otro lado, ayuda a los poderes a tenernos controlados.
Sabiendo todo eso, imaginad lo que pueden hacer los poderosos con el uso de la IA y los datos.

Porque además, esto no es internet que está más o menos accesible y democratizada gracias a que no existe una o varias corporaciones que sean dueñas de internet. No, esto es IA y los dueños son: Microsoft, Apple, Google, Open AI… y por eso los países y gobiernos cada vez se acercan más a esas tecnológicas.

Y no es por ser tecnocenizo, no es mi intención, de hecho trabajo en tecnología y como lo estoy viendo de primera mano, mis comentarios están sesgados por ahí. Creo que la tecnología es importante para el progreso humano, pero también hay que ver las repercusiones que va a tener en nuestra existencia, sobre todo no usada de forma ética.

Salu2,

4