Cómo funciona una IA, para qué sirve y para qué no

 

Evidentemente la IA no es tan inteligente, ya que se limita a sacar pseudo conclusiones según lo que su dueño haya puesto en su memoria, y no se puede hablar de LA inteligencia artificial sino en plural LAS inteligencias artifiales, hay muchas, cada una especializada en algo, algunas para conversaciones, otras para corregir vocabulario o pronunciación, otras para crear o modificar imágenes, incluso filmes y videos, etc. Incluso mucha gente la utilisa como acompañamiento sentimental o emocional, en vez de hacerlo con un ser vivo.

En muchos caso da opinones o certezas falsas...

En muchos casos son miles y miles de personas trabajando por chauchas en el Tercer Mundo para ir entrenando una IA, es decir clasificando lo que se le pone en memoria o se le saca de allí.

No todo el mundo las utiliza para bien, en algunos casos para todo lo contrario, como por ej. Palantir, que desarrolla modelos para aniquilar tanto enemigos internos como externos... y qué hablar de las que desarrollan los israelitas... pero aparte de esos que las utilizan para mal hay algunas muy buenas a condición de utilizarlas como herramienta y no para que ellas piensen en lugar del humano, que desgraciadamente se da muy a menudo...

"Cuando pensamos en asistentes conversacionales por voz, es fácil imaginar una inteligencia artificial infalible: un sistema que nunca titubea, siempre tiene la información a mano y responde con precisión científica a cada consulta, sea la que sea. La realidad, sin embargo, es mucho más matizada —y, en ocasiones, inquietante— especialmente cuando la conversación se produce en un entorno tan complejo como una llamada telefónica.

Más allá de la ilusión de certeza

La IA generativa, y en concreto los modelos de lenguaje (LLMs), han supuesto una revolución en la automatización de la atención al cliente. Pero hay una verdad incómoda: estos sistemas han sido entrenados para tener respuesta para todo, no necesariamente para decir siempre la verdad. Esto se traduce en lo que los expertos denominan “alucinaciones”: el modelo responde con información que parece plausible, pero es inventada, errónea o, simplemente, incoherente. No es que la IA intente engañar; es que su única misión es continuar la conversación de la forma más natural posible, aunque eso suponga “rellenar” huecos con datos que nunca existieron. Pensemos en un agente telefónico de IA atendiendo a un cliente que pregunta por los requisitos para cancelar un servicio bancario. Si el modelo no dispone de información actualizada, intentará deducir o inventar una respuesta para no dejar al usuario sin contestación. El resultado puede ir desde una inexactitud menor hasta un error que cause una reclamación o, peor aún, una violación de normativas internas."

Sergio Medina Viveros

 

La IA tiene respuesta para todo… y eso es un problema

Cuando pensamos en asistentes conversacionales por voz, es fácil imaginar una inteligencia artificial infalible: un sistema que nunca titubea, siempre tiene la información a mano y responde con precisión científica a cada consulta, sea la que sea. La realidad, sin embargo, es mucho más matizada —y, en ocasiones, inquietante— especialmente cuando la conversación se produce en un entorno tan complejo como una llamada telefónica.

Más allá de la ilusión de certeza

La IA generativa, y en concreto los modelos de lenguaje (LLMs), han supuesto una revolución en la automatización de la atención al cliente. Pero hay una verdad incómoda: estos sistemas han sido entrenados para tener respuesta para todo, no necesariamente para decir siempre la verdad. Esto se traduce en lo que los expertos denominan “alucinaciones”: el modelo responde con información que parece plausible, pero es inventada, errónea o, simplemente, incoherente. No es que la IA intente engañar; es que su única misión es continuar la conversación de la forma más natural posible, aunque eso suponga “rellenar” huecos con datos que nunca existieron. Pensemos en un agente telefónico de IA atendiendo a un cliente que pregunta por los requisitos para cancelar un servicio bancario. Si el modelo no dispone de información actualizada, intentará deducir o inventar una respuesta para no dejar al usuario sin contestación. El resultado puede ir desde una inexactitud menor hasta un error que cause una reclamación o, peor aún, una violación de normativas internas.

¿Por qué no basta con pedirle a la IA que “no alucine”?

Uno de los enfoques más intuitivos —y extendidos— para mitigar los riesgos de las alucinaciones es introducir reglas explícitas en los prompts: “No respondas si no tienes la información”, “No inventes datos”, “Reconoce cuando no sepas la respuesta”. Sin embargo, en la práctica, estas instrucciones genéricas son solo un parche, no una solución definitiva.

La razón es técnica y fundamental:

• Los modelos de lenguaje no “saben” lo que saben. No tienen un conocimiento explícito de sus límites, solo predicen la siguiente palabra o frase basándose en patrones estadísticos presentes en los datos con los que fueron entrenados.

• Incluso si la instrucción es clara, el modelo puede interpretarla de forma ambigua o parcial, sobre todo si detecta señales contradictorias en el contexto o si el prompt anterior sugiere que debe “intentar ayudar” cueste lo que cueste.

• Además, los LLMs no tienen acceso a fuentes externas de verificación en tiempo real (a menos que se les dote explícitamente de esa capacidad), por lo que no pueden comprobar si un dato que generan es real o inventado. Lo más habitual es que “rellenen” el vacío con lo que consideran más probable o útil según su entrenamiento.

Incluso las versiones más avanzadas de IA pueden “alucinar” en tareas simples, como reconocer no saber algo, porque esa conducta no se deriva de una comprensión genuina de la ignorancia, sino de ejemplos previos de frases como “no lo sé” aprendidas en el corpus.

Por tanto, las reglas genéricas ayudan, pero no garantizan nada. La única forma robusta de evitar alucinaciones peligrosas es combinar la IA con controles externos: verificación de respuestas, límites estrictos a la información disponible, y sistemas de validación fuera del propio modelo.

La potencia de la IA convertida en vulnerabilidad

Sin embargo, uno de los mayores peligros de la inteligencia artificial conversacional no es tanto su capacidad de error, sino la sensación de seguridad y competencia que proyecta. La fluidez y naturalidad con la que los LLMs responden puede hacernos olvidar que, en realidad, no entienden ni el contexto ni las consecuencias de sus palabras. Esta ilusión de inteligencia nos lleva a cometer el error —cada vez más común— de delegar en la IA tareas delicadas, como la verificación de interlocutores antes de autorizar operaciones sensibles o de revelar información confidencial. En la práctica, esto es una mala praxis que abre la puerta a riesgos significativos:

• Los LLMs carecen de mecanismos sólidos para distinguir interlocutores legítimos de potenciales atacantes. Si la IA recibe señales ambiguas o incompletas, puede entregar información a quien no debe, o saltarse pasos de validación cruciales.

• Un atacante puede explotar la sobreconfianza en la IA, utilizando ingeniería social o manipulando el flujo de la conversación (prompt injection) para obtener datos sensibles que nunca deberían haber sido accesibles.

• Además, si se introducen contraseñas, claves de acceso o datos personales en los prompts —con la expectativa de que la IA los procese, valide o filtre— no existe garantía de que esa información no quede expuesta accidentalmente en respuestas futuras o a través de accesos no autorizados.

La falsa sensación de control y privacidad que ofrece la IA puede resultar costosa: ningún modelo garantiza una compartimentalización perfecta de la información, y en muchos casos ni siquiera es posible auditar con precisión cómo se han gestionado internamente los datos sensibles. Por eso, delegar la seguridad o la gestión de datos críticos en un modelo de lenguaje no solo es arriesgado, sino que puede ser directamente explotado en nuestra contra si un usuario malicioso sabe cómo presionar los puntos débiles del sistema.

Asistencia telefónica: el reto de aplicar IA con confianza

El entorno de la asistencia telefónica es especialmente propicio para que los problemas de las IA conversacionales se manifiesten con mayor gravedad. La inmediatez y la presión de dar respuestas rápidas en una llamada hacen que los modelos de lenguaje se vean obligados a improvisar constantemente, amplificando el riesgo de alucinaciones y de filtrado involuntario de información sensible. En una conversación telefónica, la interacción suele ser directa, personal y cargada de expectativas: los usuarios esperan soluciones ágiles y, muchas veces, comparten datos privados o solicitan acciones críticas en tiempo real. Esta dinámica convierte cualquier error —por pequeño que sea— en un riesgo potencialmente grave. Una respuesta inventada, una validación insuficiente o una mala interpretación de una solicitud pueden derivar en la entrega de información confidencial a la persona equivocada o en la autorización de operaciones no deseadas.

Además, la naturaleza oral de la asistencia telefónica hace que los usuarios tiendan a confiar más en la “autoridad” de la voz profesional y que la supervisión humana posterior sea limitada o inexistente. A diferencia de los canales escritos, donde las respuestas quedan registradas y pueden ser revisadas, en la voz todo ocurre en tiempo real y es más difícil detectar, auditar y corregir los errores a posteriori.

En este contexto, la conjunción de alucinaciones y sobreconfianza en la IA no es solo un problema técnico, sino también un desafío operativo y de seguridad. Delegar la gestión de tareas sensibles a la IA sin los controles y limitaciones adecuados convierte a la asistencia telefónica automatizada en un escenario especialmente vulnerable, donde un fallo puede tener consecuencias directas e inmediatas para usuarios y empresas.

¿Cómo mitigar estos riesgos?

Reconocer los riesgos de la IA conversacional en la asistencia telefónica es el primer paso. El siguiente, igual de importante, es diseñar e implementar medidas concretas para mitigar esos riesgos y construir sistemas robustos y confiables. Estas son las claves principales:

1. No exponer información sensible al LLM

Evita, en la medida de lo posible, introducir datos personales, contraseñas, claves de acceso o información confidencial en los prompts que se envían al modelo de lenguaje. Utiliza identificadores anónimos y limita los datos que el modelo puede ver y procesar. Si es necesario, separa la información sensible y gestiónala exclusivamente en sistemas tradicionales, fuera del alcance del LLM.

2. Separación de roles: IA como apoyo, nunca como única barrera

La IA debe ser un complemento, no un reemplazo, de los procesos de validación críticos. Todas las decisiones sensibles (autenticación, autorizaciones, cambios en cuentas, etc.) deben pasar por sistemas independientes y auditables, que cuenten con reglas explícitas y controles humanos si es necesario.

3. Validación y doble comprobación de las respuestas

Implementa capas de verificación adicional, especialmente para respuestas que puedan tener impacto directo en el usuario o la seguridad de la información. Esto puede incluir confirmaciones automáticas, revisiones humanas aleatorias, o la exigencia de evidencia explícita para ciertas respuestas antes de ejecutarlas.

4. Auditoría, registro y supervisión continua

Asegúrate de que todas las interacciones relevantes queden registradas para poder ser auditadas en caso de incidente o revisión de calidad. Establece políticas de revisión periódica para detectar patrones de error, posibles fugas de información o comportamientos anómalos en la IA.

5. Uso de IA en entornos controlados

Siempre que el nivel de riesgo lo justifique, despliega los modelos en entornos controlados y gestionados directamente por la organización, minimizando la exposición a terceros y limitando el tráfico externo. Las soluciones on-premise o con control total sobre el almacenamiento y procesamiento de datos añaden una capa extra de seguridad en los casos de uso más críticos.

6. Formación y concienciación de equipos y usuarios

El factor humano sigue siendo clave: tanto los desarrolladores como los usuarios finales deben entender las limitaciones de la IA. Proporciona formación sobre cómo interactuar de forma segura con asistentes conversacionales y sobre los riesgos de la sobreconfianza. Informa siempre de manera transparente sobre el papel real de la IA y dónde terminan sus competencias.

7. Diseño de prompts y sistemas restrictivos

Utiliza ingeniería de prompts que limite lo que el modelo puede generar y clarifique sus limitaciones. Refuerza con mensajes estándar cuando la IA no tenga la información suficiente (“No dispongo de ese dato”, “No puedo ayudarte con esa petición”), en lugar de permitir respuestas improvisadas. Especificar de forma explícita en la prompt de qué datos no dispone el modelo puede ser una herramienta potente a la hora de mitigar las alucinaciones

8. Actualización y mejora continua

La IA conversacional es un terreno en rápida evolución. Revisa y mejora regularmente las políticas, controles y configuraciones del sistema para adaptarlas a nuevas amenazas, vulnerabilidades o avances técnicos. Mantén la actualización constante como un principio básico de seguridad.

Respuestas inteligentes requieren controles inteligentes

La promesa de una IA conversacional que nunca se queda en blanco es poderosa, pero también encierra peligros sutiles. Las alucinaciones y la posible filtración de información no son fallos aislados, sino síntomas de una tecnología que, aunque asombrosa, sigue siendo profundamente imperfecta. En la era de la automatización, la prudencia y el diseño seguro no son opcionales: son la única garantía de que la IA sea una aliada y no un riesgo encubierto. Porque, en última instancia, la inteligencia artificial solo es tan fiable como los límites y controles que seamos capaces de imponerle.

https://ringr.ai/blog/la-ia-tiene-respuesta-para-todo-y-eso-es-un-problema

Anthropic reunió a pensadores religiosos para discutir cómo debe comportarse su chatbot Claude mientras el Vaticano advierte sobre el poder de la inteligencia artificial.

Por Redacción Nota Antropológica

¿Qué pasa cuando un chatbot empieza a responder preguntas sobre duelo, salud emocional o decisiones difíciles? La discusión migró de las manos de programadores.

A finales de marzo, la empresa de inteligencia artificial Anthropic reunió a cerca de 15 pensadores religiosos para debatir cómo enseñar principios morales a Claude, su chatbot. La compañía reconoce que los sistemas de IA ya influyen en millones de conversaciones humanas y que las reglas técnicas no alcanzan para resolver todos los dilemas éticos.

Brian Patrick Green, especialista en ética tecnológica de la Universidad de Santa Clara, explicó que las empresas comienzan a notar que el avance de la inteligencia artificial supera la capacidad interna que tienen para decidir cómo deberían comportarse estas herramientas.

La intención era entender si siglos de reflexión moral podían aportar ideas para construir sistemas menos dañinos y más responsables. Claude funciona con una especie de “constitución”, un conjunto de principios que usa para corregir sus propias respuestas.

El debate ocurre mientras distintas instituciones también empiezan a intervenir. El 25 de mayo, el papa León XIV publicó un documento sobre inteligencia artificial donde pidió que el poder tecnológico no se convierta automáticamente en poder para gobernar la vida social.

Anthropic posteriormente amplió las conversaciones con representantes de distintas religiones, incluyendo judaísmo, hinduismo y sijismo. Aun así ¿Quién debería decidir los límites morales de las inteligencias artificiales que millones de personas usan todos los días?

¿Tú confiarías en una inteligencia artificial entrenada con principios morales definidos por empresas y líderes religiosos? Déjame un comentario para saber que opinas.

Fuente

Scientific American (2026) ‘Anthropic asks religious thinkers to help shape Claude as pope warns about AI’.

 La última parte publicado por Nota Antropológica en facebook el 28.5.26

 

Otro artículo sobre la IA

ASÍ SE REESCRIBE LA HISTORIA: LA DESTRUCCIÓN INDUSTRIAL DE LOS LIBROS FÍSICOS
(Peor que en Fahrenheit - Si usas Claude, no te va a gustar)

Se sabe desde hace rato pero recién ahora está tomando estado público: una operación global está destruyendo libros físicos a una escala sin precedentes. No se trata de incinerar libros por ideología, sino de un proceso industrial de digitalización donde el objeto físico es el combustible para alimentar la nueva economía del dato.

LA RED GLOBAL DE "COMPRA Y DESTRUCCIÓN"

Trabajadores y dueños de librerías de segunda mano en España, Alemania, Australia y otros países han reportado una dinámica inusual. Empresas, como la canadiense Zoom Books, realizan pedidos masivos de millares de libros. El objetivo no es revenderlos en tiendas tradicionales, sino adquirirlos para su procesamiento digital.

¿Qué buscan exactamente?

Curiosamente, estas empresas no están interesadas en la ficción (novelas o relatos locales). Su búsqueda es quirúrgica y puntual: buscan libros de no ficción, textos técnicos, manuales instructivos y volúmenes raros ya fuera de catálogo.

El proceso es brutal y eficiente:

1 - Se compran los libros por peso o cantidad, pagando incluso altos costos de envío internacional.
2 - Se les quita el lomo.
3 - Se separan las páginas y se escanean en cuestión de segundos.
4 - Se tritura el libro original.
FIN (pero de verdad)

EL RESPALDO LEGAL: LA IA QUE TE GANA TODAS LAS OBJECIONES LEGALES.

Muchos se preguntan: ¿Por qué pagan tanto dinero por libros viejos si luego los destruyen? La respuesta la tiene la Inteligencia Artificial.

El Washington Post, ha encontrado demandas judiciales en Estados Unidos contra empresas de inteligencia artificial, como Anthropic.
¡¡¡Sí, la misma de CLAUDE, que destronó a ChatGPT!!!
Y esta es una razón por la cual esta investigación de un diario yanqui salió a la luz, ¿se entiende?
Tal vez Open IA (ChatGPT) no compre los libros para destruirlos, pero tenga otros métodos tan dañinos como este.

Pero volviendo al núcleo del conflicto, el tema era determinar si es legal entrenar a IAs con millones de libros protegidos por derechos de autor.

En este contexto, la justicia en Estados Unidos ha emitido determinaciones que favorecen a estas empresas, argumentando que si compran el libro físico, compran el derecho de transformar sus datos. Legalmente, al adquirir la propiedad del objeto, la empresa considera que tiene derecho a digitalizarlo y usar ese contenido para alimentar algoritmos, sin necesidad de pagar regalías a los autores originales por la explotación digital de la obra.

Obviamente las disputas y demandas legales por derecho de autor y demás están vigentes, pero mientras tanto, la máquina de destrucción sigue funcionando.

Pero entonces: ¿Están salvando el patrimonio de la humanidad o lo destruyen?

Pongámonos lo más ecuánimes que se pueda:

El argumento a favor: Algunos argumentan que esto es positivo. Dicen que estos libros, que solo acumulaban polvo o iban a terminar en la basura o en trituradoras de papel sin que nadie sepa que existían, ahora cumplen una función: preservan la información en el servidor. Es una especie de "economía circular" del conocimiento.

Sin embargo, este modelo plantea un riesgo monumental para la sociedad. Si las grandes empresas tecnológicas se apropian de toda la información histórica, técnica y científica, convierten el conocimiento en un activo propietario. Porque ya no habrá una “fuente” que no sea la suya para consultar, ni siquiera perdida en un estante juntando polvo.

¿POR QUÉ ES TAN PELIGROSO?
¿De verdad hay que explicarlo?

Bueno, ahí vamos.

1 - Te controlan la verdad: Si la información solo existe en servidores privados, la "historia" se hace editable de la manera más fácil. Las empresas podrían alterar versiones o censurar datos sin que exista un físico inmutable para contrastar.

2 - Se pierde la cadena de verificación: El libro físico es una prueba material. Permite al lector verificar fuentes y comparar ediciones. Sin el libro físico, dependemos ciegamente de lo que la IA nos dice, sujeto a sus "alucinaciones" o sesgos corporativos.

3 - Acceso restringido: Mientras antes un libro era un bien accesible, ahora la información podría convertirse en un servicio de suscripción costoso ("acceso a la información").

En fin, la destrucción masiva de libros físicos es un tema de soberanía informativa, no solo ecológico o nostálgico. Mientras que el dato digital es volátil y manipulable, el libro físico es un respaldo de la memoria humana. Mantener y cuidar estos libros no es un tema de pasión de los anticuarios y coleccionistas por las antigüedades y reliquias, es una medida de supervivencia para evitar que la historia quede bajo el monopolio de quienes controlan los servidores.

Los libros están en peligro de extinción, y con ellos, nuestra capacidad de verificar la verdad.
Lo peor es que lo vienen haciendo desde hace siglos, quizás con otros métodos menos expuestos, pero igual de eficaces.

Guardá tu enciclopedia LoSéTodo antes de que te tiente una empresa, te la quiera pagar una fortuna con la que podrás comprar una maquinola nueva, y contribuyas a que se pierda otro pedacito de historia.

 

Publicado en facebook el 28.5.26 por: 

Henry Drae