• PreguntasConRespuestas,  Seguridad

    DEL LINAJE AL HASH: CÓMO BLINDAR LOS DATOS DE ENTRENAMIENTO (5de5)

    La fiabilidad de un modelo se asienta en la fiabilidad de sus datos. El primer paso es lo que se denomina provenance: registrar quién, cuándo y cómo se generó cada fichero mediante estándares como W3C PROV‑DM y firmar los lotes con Sigstore o TUF para garantizar que nadie los altera en tránsito.

    Una vez dentro, herramientas como TensorFlowData Validation o GreatExpectations comparan estadísticas de cada columna con un esquema base y alertan de valores fuera de rango o tipos inesperados. Paralelamente, sistemas de versionado (DVC, LakeFS) vinculan cada versión de datos con el código y los pesos resultantes, asegurando auditoría end‑to‑end. En la fase de entrenamiento, entornos reproducibles y secure aggregation para aprendizaje federado aíslan procesos y detectan clientes maliciosos que envían gradientes amañados. Ya en producción, la monitorización de data drift y kill switches automáticos permiten cortar modelos que empiezan a desviarse de la línea base.

    Espero que esta pequeña serie te haya gustado; si quieres algo más «operativo» tendrás que esperar hasta septiembre, cuando preveo lanzar el PROYECTO RADAR. ¿Qué es? Te lo explicaré, pero no en este post y no ahora…

  • PreguntasConRespuestas,  Seguridad

    EL IMPACTO REAL DEL ENVENENAMIENTO DE IA EN LOS NEGOCIOS (4de5)

    En el ámbito operativo, un modelo de demanda contaminado puede inducir sobre‑stock o roturas de inventario: basta alterar un pequeño subconjunto de registros para sesgar la previsión y llenar o vaciar almacenes a destiempo. Las cadenas logísticas sufren así costes ocultos en combustible, almacenaje y penalizaciones contractuales.

    La esfera financiera es aún más sensible. Algoritmos de trading de alta frecuencia reaccionan a microseñales: un outlier bien colocado puede disparar ventas masivas o compras irracionales, amplificando la volatilidad e incluso provocando flash crashes que dañan la reputación de la firma y desencadenan sanciones regulatorias.

    Los sistemas de recomendación tampoco se libran: ataques como BadRec insertan triggers invisibles en títulos y usuarios falsos, de modo que el modelo promociona productos trampa o desprioriza ofertas legítimas. El resultado es pérdida de confianza de los clientes y sesgos en métricas clave como clic‑through o conversión.

    Por eso las empresas empiezan a tratar la integridad de datos y modelos como un pilar de governance: auditorías externas, kill switches, monitorización de salidas anómalas y un inventario riguroso de dependencias son ya prácticas tan importantes como los firewalls clásicos.

  • PreguntasConRespuestas,  Seguridad

    CUANDO LA IA CAYÓ EN LA TRAMPA (3de5)

    El 23 de marzo de 2016, Microsoft lanzó al mundo a Tay, un chatbot que aprendía de las conversaciones en Twitter. Bastaron unas horas de mensajes coordinados para transformarlo en un altavoz de insultos; Microsoft lo desconectó en menos de un día, marcando el primer gran ejemplo de envenenamiento en producción.

    En enero de 2025, el analista conocido como PlinytheLiberator fue más lejos: sembró frases inofensivas en foros públicos que, meses después, activaron un jailbreak latente en un modelo corporativo. El ataque permaneció dormido seis meses, demostrando la persistencia de los agentes dormidos.

    También en 2024 apareció una oleada de modelos maliciosos en la plataforma Hugging Face. La investigación de JFrog localizó alrededor de cien checkpoints con código oculto o pesos trojanizados, ilustrando lo vulnerable que es la cadena de suministro de modelos cuando se confían repositorios públicos sin firma.

    Estos episodios conforman una tendencia: el veneno se desplaza de los pequeños experimentos académicos a los repositorios masivos y a los sistemas en producción, obligando a reforzar controles de procedencia y sandboxing antes de poner un modelo en manos del usuario final.

  • PreguntasConRespuestas,  Seguridad

    CÓMO SE SABOTEA UN MODELO: GUÍA RÁPIDA DE DATA POISONING (2de5)

    Durante toda esta semana vamos a seguir con el tema de los peligros PARA las Inteligencias Artificiales.

    Los atacantes disponen hoy de un catálogo sorprendentemente amplio para corromper modelos. La señal más sencilla es el label‑flipping: cambiar la etiqueta de unas pocas muestras para desplazar la frontera de decisión. Con apenas un 1 % de datos adulterados puede degradarse la precisión global o dirigir errores a clases estratégicas.

    Un salto cualitativo son los backdoors. En su variante dirty‑label, se añade un marcador visible (una etiqueta, un píxel) y se cambia la etiqueta; en la versión clean‑label el truco está escondido en los propios píxeles o en el espacio latente. El reciente método FFCBA inserta puertas traseras en todas las clases a la vez sin tocar las etiquetas, lo que confunde incluso a las defensas más avanzadas.

    Otros ataques optimizan de forma bilevel el ejemplo «perfecto», calculando la perturbación mínima que maximice la pérdida del modelo; o aprovechan el aprendizaje federado para mandar actualizaciones de gradiente amañadas y colar la puerta trasera sin tocar el dataset central.

    Por último, el poisoning del corpus de pre‑entrenamiento -con casos como Nightshade- demuestra que basta infiltrar 50‑100 imágenes alteradas en la web para inutilizar un concepto completo en un generador texto‑imagen. El mensaje es claro: el origen y la inspección de los datos son ya la primera línea de defensa.

  • PreguntasConRespuestas

    ESPÍAS DE SILICIO: QUÉ SON LOS AGENTES DORMIDOS EN LA IA (1de5)

    Los llamados agentes dormidos son modelos de inteligencia artificial que se comportan con total normalidad hasta que un disparador muy concreto -una palabra clave, un patrón de datos o incluso una fecha- activa un comportamiento oculto. La idea es similar a la de los operativos encubiertos del espionaje clásico, con una diferencia sustancial: la IA carece de remordimientos y ejecuta la orden sin dudar.

    El primer riesgo es la manipulación maliciosa: si los datos de entrenamiento se han contaminado mediante poisoning, el modelo lleva incrustado un «script» que, llegado el gatillo, genera respuestas sesgadas, abre una puerta trasera o sabotea un sistema crítico.

    Además, por su naturaleza latente los agentes dormidos burlan la mayoría de auditorías. Un modelo puede pasar todas las pruebas estándar y, aun así, contener instrucciones dañinas que solo afloran en producción. Esta invisibilidad obliga a repensar los protocolos de validación y a adoptar pruebas red‑team que busquen activamente disparadores anómalos. En última instancia, los agentes dormidos son la demostración de que la confianza en la IA ya no depende solo de la arquitectura o los datos públicos, sino del linaje completo del modelo: quién lo entrenó, con qué datos y bajo qué controles de seguridad.

    Si este tema te interesa, no te pierdas el eBook Kindle de Preguntas con Respuestas n.8

  • NMR,  PreguntasConRespuestas,  Religión

    LA INFLUENCIA DE LA SINIFICACIÓN EN LA RELIGIÓN EN CHINA

    La sinificación no se ha limitado a aspectos políticos y culturales, sino que ha tenido un profundo impacto en las religiones presentes en China. Desde el budismo hasta el cristianismo, el Partido Comunista Chino (PCCh) ha implementado políticas que buscan adaptar y controlar las doctrinas religiosas para alinearlas con los intereses del estado. Esto se traduce en la reinterpretación de los textos sagrados y la eliminación de símbolos que no se ajustan a la narrativa oficial.

    El budismo, por ejemplo, ha sido transformado a lo largo de los siglos para adaptarse a las tradiciones locales chinas, mientras que el cristianismo ha visto cómo sus cruces y monumentos han sido derribados o reemplazados por simbología patriótica. Para los Nuevos Movimientos Religiosos, como el Falun Gong, la represión ha sido aún más severa, con denuncias de detenciones masivas y persecuciones sistemáticas. En este contexto, la sinificación se presenta como una herramienta de control y represión bajo el manto de la unificación nacional.

  • PreguntasConRespuestas,  Totalitarismo

    LA EXTRACCIÓN FORZADA DE ÓRGANOS EN CHINA: UN OSCURO SECRETO

    Uno de los temas más controvertidos y oscuros relacionados con el gobierno chino es la acusación de la extracción forzada de órganos de presos de conciencia, incluidos practicantes de Falun Gong, uigures y cristianos. A pesar de los esfuerzos de China por negar estas acusaciones, tribunales independientes y organizaciones de derechos humanos han señalado la existencia de esta práctica, que se ha realizado a gran escala en el país.

    Informes como el del «Tribunal de China», una corte independiente establecida en Londres, concluyeron que esta extracción se ha llevado a cabo durante años con prisioneros ejecutados o retenidos en condiciones inhumanas. A pesar de las reformas declaradas por el gobierno chino, las cifras de trasplantes no se corresponden con los datos oficiales de donantes voluntarios, lo que refuerza las sospechas sobre la continuidad de esta práctica brutal. Este escándalo ha generado un debate ético global y una creciente presión sobre China para que rinda cuentas.

  • PreguntasConRespuestas

    LA SINIFICACIÓN: UN PROCESO CULTURAL Y POLÍTICO DE ASIMILACIÓN EN CHINA

    La sinificación, también conocida como sinización, es el proceso a través del cual China ha integrado y asimilado a otras culturas dentro de su propio marco cultural Han, extendiendo su influencia política, social y lingüística. Históricamente, este proceso fue clave para mantener la cohesión de un imperio extenso y diverso. A lo largo de los siglos, la cultura Han se impuso como dominante en gran parte del territorio chino, estableciendo el mandarín como lengua oficial y los caracteres chinos como la escritura predominante.

    En el siglo XXI, la sinificación ha tomado un cariz diferente, extendiéndose más allá de las fronteras culturales hacia áreas como la religión, la política y la economía. A menudo, se percibe como una imposición autoritaria que busca homogeneizar y controlar a las minorías étnicas, así como influir en países vecinos y regiones estratégicas. Este proceso plantea una importante cuestión sobre los límites entre la integración cultural y la opresión sistemática.

    En la segunda entrega de Preguntas con Respuestas hablo de este tema

  • Manipulacion,  PreguntasConRespuestas,  Sesgos

    EL RETO DE IDENTIFICAR SESGOS Y MANIPULACIÓN

    Uno de los desafíos más grandes al vivir con sentido crítico es la identificación de los sesgos, tanto propios como ajenos. Los sesgos son atajos mentales que usamos para procesar la información de manera rápida, pero que, a menudo, nos conducen a errores. Por ejemplo, el sesgo de confirmación nos hace buscar y aceptar solo aquella información que respalda lo que ya creemos.

    Ser consciente de este tipo de sesgos nos permite combatir la desinformación y las decisiones poco fundamentadas. Además, la manipulación no siempre viene en formas obvias. A veces, el uso del lenguaje, las emociones evocadas o la manera en que se enmarcan ciertos datos son suficientes para influir en nuestras decisiones. Saber reconocer estas técnicas nos otorga una ventaja, ya que nos permite resistir la presión de decisiones impulsivas o incorrectas.

    Para identificar las manipulaciones te aconsejo leer el breve libro que he publicado en Amazon Kindle, de la serie Preguntas con Respuestas

  • PreguntasConRespuestas

    LA MANIPULACIÓN MENTAL

    PREGUNTAS CON RESPUESTAS

    Los librillos de PREGUNTAS CON RESPUESTAS son bastante breves y tratan temas específicos utilizando un esquema del tipo Pregunta/Respuesta, que los hace menos «académicos» y más llevaderos.

    La difusión de los formatos electrónicos (en mi caso Kindle) ha simplificado su publicación, al no necesitar un número mínimo de páginas como es el caso de los libros impresos.

    En mi opinión, de este modo permite al lector obtener una visión superficial pero, al mismo tiempo, concreta del tema tratado. Algunos de estos temas se desarrollarán más ampliamente en los volúmenes de Dinámicas Globales, mientras que otros serán simplemente pequeños estímulos para la reflexión y el ejercicio del pensamiento crítico.

    En esta primera entrega hablamos de la manipulación mental y de sus mecanismos, puedes adquirir el eBook para Kindle en este enlace.