El problema de la Caja Negra de la Inteligencia Artificial.
Uno de los elementos más importantes que definen nuestra inteligencia es que aprendemos con el ejemplo. Nuestros cerebros son expertos en encontrar patrones en todos lados e identificar cualidades específicas de cada cosa. Recuerdo perfectamente la primera vez que vi una imagen de una viuda negra y su rasgo más distintivo, el reloj de arena escarlata en su abdomen. Tenía diez u once años cuando nos llevaron al Cerro del Jorobado en Tepotzotlán, en una excursión escolar de nuestra clase de biología para recolectar insectos. Logramos capturar una viuda negra y participé en el proceso para disecarla. Ahora, cada que pienso en una viuda negra, puedo ver una imagen clara en mi mente, conozco su tamaño, color, movimiento, número de patas, el color escarlata de su reloj de arena en el abdomen, la textura de su piel, su agresividad y la letalidad de su veneno.
Este proceso es fácil de hacer, de hecho lo hacemos todo el tiempo. No obstante, explicarlo es casi imposible. Es decir, sabemos que sucede pero no sabemos cómo ni cuándo lo aprendimos en nuestra vida.
En la actualidad, las formas más populares de Inteligencia Artificial funcionan de manera similar a este proceso de aprendizaje. Esto se le conoce como aprendizaje profundo y se basa en redes neuronales, que son algoritmos vagamente modelados de la forma en que funciona nuestro cerebro. Básicamente, una IA se alimenta con ejemplos correctos de algo que necesita ser capaz de reconocer, y en poco tiempo, su habilidad para detectar patrones desarrolla una 'red neuronal' para categorizar cosas que nunca ha experimentado antes.
De la misma manera en que no podemos explicar cómo funciona nuestra inteligencia, tampoco sabemos cómo estos sistemas de aprendizaje profundo toman las decisiones que toman. Este desconocimiento se conoce como “El problema de la Caja Negra”. Una Caja Negra es un sistema de IA cuyo funcionamiento interno no es visible ni comprensible para los usuarios o incluso para los propios desarrolladores. En estos casos, solo se observan las entradas (datos) y las salidas (resultados) pero no se sabe con certeza cómo el sistema llegó a esas conclusiones. Los modelos más avanzados, como las redes neuronales de aprendizaje profundo, ajustan millones de parámetros durante el proceso de aprendizaje, lo que los hace eficaces pero también difíciles de auditar o explicar.
¿Por qué esto es un problema?
1. Falta de explicabilidad:
Cuando un modelo de IA toma una decisión equivocada, como por ejemplo, realizar un diagnóstico médico erróneo o aprobar un crédito de forma injusta, es difícil identificar qué salió mal y cómo corregirlo. Esto complica el uso de estos sistemas en áreas sensibles donde la transparencia es fundamental.
2. Discriminación y sesgo:
Estos modelos de IA pueden reproducir y amplificar sesgos ocultos en los datos; lo cual, puede afectar negativamente a ciertos grupos. Por ejemplo, algoritmos utilizados en evaluaciones laborales o financieras han demostrado sesgos raciales y de género que perjudican a candidatos sin una justificación clara.
3. Gobernanza y responsabilidad:
La falta de transparencia plantea serios desafíos legales, especialmente en términos de atribución de responsabilidad. ¿Quién es responsable si un vehículo autónomo causa un accidente o un sistema de IA niega un tratamiento médico? Esta opacidad complica la creación de marcos regulatorios adecuados y la implementación de auditorías efectivas.
4. Riesgo de Autonomía Incontrolada:
A medida que los sistemas de IA se vuelven más sofisticados y autónomos, existe el riesgo de que tomen decisiones complejas sin supervisión humana adecuada. Esto puede llevar a situaciones donde los algoritmos actúen de manera inesperada o dañina. Esto, para mi, es el riesgo más importante que enfrenta la humanidad.
¿Cómo se está atacando el Problema de la Caja Negra?
1. IA explicable (XAI):
La IA explicable (XAI), son métodos y técnicas que nos permiten entender las decisiones y predicciones realizadas por la inteligencia artificial. Técnicas como SHAP (Shapley Additive Explanations), LIME (Local Interpretable Model-agnostic Explanations) y los vectores de activación por conceptos (TCAV) ofrecen explicaciones sobre qué características influyen más en las predicciones de un sistema de IA. Esto permite a los usuarios comprender mejor los resultados y detectar posibles errores o defectos.
2. Regulación adaptada al riesgo:
La implementación de marcos regulatorios que clasifiquen los sistemas de IA según su nivel de riesgo. Esto limitaría el uso de modelos opacos en sectores críticos como la justicia y la salud y permitiría un mayor uso de IA en sectores menos sensibles.
Situación actual: Desarrollo de IA más capaz vs. Solución del problema de la Caja Negra:
Los esfuerzos actuales de investigación y desarrollo están fuertemente orientados a crear IA más potentes y versátiles, como los modelos de lenguaje avanzado (ej. GPT-4) o las arquitecturas multimodales. El objetivo principal es maximizar la precisión y la capacidad para resolver tareas complejas, incluso si esto compromete la transparencia.
Limitaciones de las técnicas explicativas actuales:
Las técnicas como SHAP y LIME no revelan completamente la lógica interna de los modelos de IA de aprendizaje profundo; solo ofrecen interpretaciones respecto de cómo se tomó una decisión en un caso específico. Aún no existe una solución definitiva que permita entender completamente cómo operan los modelos más complejos.
Prioridad en la eficiencia y resultados:
En sectores como la salud o las finanzas, la prioridad sigue siendo mejorar los resultados mediante sistemas más precisos, aunque eso implique aceptar cierta opacidad. Por ejemplo, los sistemas de diagnóstico basados en IA pueden ser útiles incluso si no entendemos completamente cómo llegaron a su predicción, siempre que demuestren eficacia superior a los métodos tradicionales.
Iniciativas regulatorias y éticas:
Las normativas buscan limitar el uso de modelos de caja negra en áreas críticas pero no eliminan del todo la opacidad de los sistemas avanzados.
Conclusión
Los esfuerzos actuales no se enfocan en resolver completamente el problema de la Caja Negra, sino en mitigar sus efectos mediante técnicas de interpretabilidad parcial y marcos regulatorios. Al mismo tiempo, la mayor parte de la inversión en investigación se dirige a desarrollar IA más poderosa y eficiente. El mayor riesgo de los sistemas de IA tipo caja negra es la falta de control efectivo sobre sus decisiones, lo que podría generar consecuencias éticas, legales y sociales irreversibles. Si la IA sigue avanzando sin mecanismos efectivos de explicabilidad y gobernanza, la humanidad podría enfrentar un escenario donde las decisiones críticas se tomarán por sistemas que nadie podrá entender ni controlar completamente. La combinación de avances tecnológicos con marcos regulatorios sólidos será clave para mitigar los riesgos. ¿Qué opinas sobre el futuro de la IA? ¿Crees que las herramientas actuales son suficientes para garantizar la transparencia en las decisiones críticas?
Te recomiendo las siguientes fuentes de información si te interesa el tema:
https://link.springer.com/article/10.1007/s12559-023-10179-8
https://umdearborn.edu/news/ais-mysterious-black-box-problem-explained