Lo que ves es lo que clasificas: atribuciones de caja negra
En este trabajo, los investigadores del Swiss Data Science Center Steven Stalder, Nathanaël Perraudin, Radhakrishna Achanta, Fernando Perez-Cruz y Michele Volpi abordan un problema fundamental en la inteligencia artificial (IA) y el aprendizaje automático (ML) modernos: la falta de transparencia de los modelos de caja negra. Específicamente, se enfocan en cómo desempaquetar modelos de aprendizaje profundo (Deep Learning) para problemas de clasificación de imágenes.
Atribución en sistemas de reconocimiento de imágenes
Uno puede entrenar modelos de IA para predecir qué clase de objeto (un perro, un gato, una bicicleta, una persona, etc.) está presente en una imagen determinada. Aunque estos modelos son muy precisos en esta tarea, no proporcionan ninguna información adicional sobre en qué partes de la imagen se basaron para llegar a su predicción. Si bien los humanos pueden explicar fácilmente qué parte de una imagen contiene una clase de interés, es un desafío comprender el comportamiento de los modelos de aprendizaje profundo debido a su naturaleza de caja negra. En visión artificial, la identificación de las regiones de una imagen que son responsables de una predicción determinada se denomina atribución.
Falta de transparencia de los modelos de caja negra
Se presenta un método de atribución haciendo uso de un modelo, al que se denomina Explainer. El Explainer es un modelo de aprendizaje profundo entrenado para explicar el resultado de un modelo de destino, que es un clasificador de imágenes preentrenado de forma independiente. La innovación radica en la capacidad del Explainer para proporcionar explicaciones directamente para todas las clases, sin necesidad de acceder a las funciones internas del clasificador entrenado, ni tener que volver a entrenar ningún parámetro para nuevas imágenes. Esto hace que el método propuesto sea una herramienta flexible para usar con una amplia gama de clasificadores y conjuntos de datos.
La contribución muestra mejoras significativas sobre otros métodos de atribución en dos puntos de referencia comunes de visión por ordenador. Lo que es más importante, se demuestra que el Explainer es más preciso en la localización de partes destacadas de la imagen. Además, el Explainer es significativamente más eficiente desde el punto de vista computacional que la mayoría de los métodos de la competencia. Un solo paso hacia adelante a través del Explainer proporciona explicaciones precisas para todas las clases de objetos posibles del conjunto de datos, como se muestra en las Fig. 1 y 2, en menos de un segundo.
La relevancia de la atribución y la explicabilidad de la IA
Las técnicas de atribución son un paso esencial hacia la adopción generalizada de la IA en campos donde proporcionar una predicción correcta por sí sola es insuficiente. En muchos dominios de aplicaciones, los usuarios deben confiar en los modelos y las inferencias proporcionadas por la IA. Un enfoque obvio para aumentar la confianza en los sistemas de IA es comprender por qué tales modelos toman una decisión. ¿Por qué el modelo predice la presencia de un tumor en esta exploración? ¿Por qué el modelo reconoce con confianza esta clase de objeto sobre estos otros? Además de estas preguntas críticas, nuestro modelo propuesto también proporciona información fácil sobre los errores que comete un modelo. De esta manera, el Explicador destaca los sesgos y los errores en los conjuntos de datos utilizados para entrenar los sistemas de reconocimiento de imágenes y ayuda a los fabricantes de IA a desarrollar sistemas de IA justos (imparciales).
Comprender los conjuntos de datos y las complicaciones que conllevan, así como las herramientas para ver por qué los modelos complejos brindan tales decisiones, es solo un primer paso hacia modelos inherentemente interpretables. En el futuro, los desarrolladores de modelos ML deberían hacer un esfuerzo no solo para lograr la mejor precisión de predicción posible, sino también para proporcionar formas de hacer que las decisiones de su modelo sean analizables directamente para usuarios humanos no expertos. Una vez más, este enfoque será especialmente crítico en dominios como la medicina, el sistema legal u otras áreas donde la confianza en las decisiones de un modelo es indispensable.
Para llegar más lejos
El artículo fue aceptado en la Trigésima Sexta Conferencia sobre Sistemas de Procesamiento de Información Neural (NeurIPS 2022). Ya puedes echarle un vistazo en arXiv: https://arxiv.org/abs/2205.11266
Stalder, S., Perraudin, N., Achanta, R., Pérez-Cruz, F. y Volpi, M. (2022). What You See is What You Classify: Black Box Attributions. Preimpresión de arXiv arXiv:2205.11266.
El código del proyecto está disponible en https://github.com/stevenstalder/NN-Explainer
Autores
Referencias
[1] M. Everingham, S. M. A. Eslami, L. Van Gool, C. K. I. Williams, J. Winn, and A. Zisserman. The Pascal visual object classes challenge: A retrospective. International Journal of Computer Vision, 111(1):98–136, Jan. 2015.
[2] R. R. Selvaraju, M. Cogswell, A. Das, R. Vedantam, D. Parikh, and D. Batra. Grad-CAM: Visual explanations from deep networks via gradient-based localization. In IEEE/CVF International Conference on Computer Vision, pages 618–626, 2017.
[3] R. C. Fong, M. Patrick, and A. Vedaldi. Understanding deep networks via extremal perturbations and smooth masks. In IEEE/CVF International Conference on Computer Vision, pages 2950–2958, 2019.
[4] V. Petsiuk, A. Das, and K. Saenko. Rise: Randomized input sampling for explanation of black-box models. In British Machine Vision Conference, 2018.
[5] S. Khorram, T. Lawson, and L. Fuxin. iGOS++: Integrated gradient optimized saliency by bilateral perturbations. In Proceedings of the Conference on Health, Inference, and Learning, CHIL ’21, page 174–182, New York, NY, USA, 2021. Association for Computing Machinery. ISBN 9781450383592. doi: 10.1145/3450439.3451865. URL https://doi.org/10.1145/3450439.3451865
[6] P. Dabkowski and Y. Gal. Real time image saliency for black box classifiers. In Advances in Neural Information Processing Systems, pages 6967–6976, 2017.
Leído en:
Falta de transparencia de los modelos de caja negra