Introducción

Un factor crítico para las instituciones financieras es determinar, de una base de solicitudes, a quién otorgar una tarjeta de crédito. Para ello, se apoyan cada vez más en algoritmos de aprendizaje automático, con los cuales se obtienen modelos que permiten en un momento dado tomar decisiones lo más precisas posibles en este sentido.

Sin embargo, en el sector financiero es importante que los resultados obtenidos con estos modelos se presenten con un enfoque de negocio, ya que si bien, la metodología y sustento estadístico dan soporte a los resultados, el enfoque de negocios permite aplicarlos de manera práctica. Esto es aún más importante cuando los mismos se presentan a tomadores de decisiones en el sector financiero.

En el presente estudio se determinó, de una base de solicitudes de tarjetas de crédito donada por un banco australiano para fines de investigación (^{Universidad de California, 2019}), la probabilidad de otorgarles una tarjeta. Para ello, se aplicó un análisis exploratorio que permitió conocer las características de la base, se prepararon los datos de acuerdo con los resultados del análisis y se dividió la base en dos grupos (entrenamiento y validación) donde el primero se utilizó para entrenar los modelos y el segundo para compararlos entre sí a fin de elegir el más conveniente.

Finalmente, se muestran los resultados del modelo elegido con un enfoque de negocio mediante dos graficas: curva de ganancia acumulada y curva de respuesta acumulada.

Con esta base de solicitudes se han publicado ya múltiples estudios que utilizan algoritmos de aprendizaje automático, solo por citar algunos ejemplos: ^{Huo et al. (2006)} utilizaron esta base para su propuesta de algoritmo de poda de árboles, ^{Tumer y Ghosh (2002)} la emplearon para su propuesta de integración de múltiples salidas de clasificadores y ^{Quinlan (1987)}, (quien de hecho fue quien donó esta base) analizó diversas técnicas para simplificar árboles de decisión sobre la misma. Sin embargo, estos estudios no analizan la base con un enfoque de negocios.

El estudio se divide en las siguientes secciones: Marco teórico, donde se comentan las características generales de los modelos Random Forest y XG Boost; Análisis exploratorio, en esta sección se estudian las características de los datos que conforman la base de solicitudes de crédito en la que se aplicarán los modelos Random Forest y XG Boost; Preparación de datos, donde se seleccionan las variables para obtener una “base limpia” para la etapa de modelado; Modelado, en esta etapa se aplican los modelos Random Forest y XG Boost sobre la “base limpia”; Análisis de resultados, aquí se obtienen las gráficas que permitirán responder las cuatro preguntas mencionadas anteriormente y finalmente las Conclusiones, que marcan los resultados obtenidos y proponen siguientes pasos a fin de dar continuidad al estudio.

Se utiliza lenguaje de programación R (lenguaje gratuito muy popular para Estadística y Ciencia de Datos) (^{CRAN, 2019}).

Marco teórico

El aprendizaje automático es una rama de las ciencias computacionales que ha adquirido gran auge en los últimos años. Aunque existen muchas definiciones una de las más comunes es: “campo de estudio que da a las computadoras la habilidad de aprender sin ser programadas explícitamente”. Abarca una amplia gama de técnicas que se clasifican en dos grandes tipos: aprendizaje supervisado (en el que se tiene una variable objetivo y se “entrena” a un programa informático con un conjunto de datos para aplicar el resultado en un nuevo conjunto de datos) y aprendizaje no supervisado (en el que no se tiene variable objetivo y el programa informático debe encontrar patrones y relaciones en un conjunto de datos) (^{Sandoval, 2017}).

El algoritmo Random Forest (^{Breiman, 2001}) es una técnica de aprendizaje supervisado que genera múltiples árboles de decisión sobre un conjunto de datos de entrenamiento: los resultados obtenidos se combinan a fin de obtener un modelo único más robusto en comparación con los resultados de cada árbol por separado (^{Lizares, 2017}). Cada árbol se obtiene mediante un proceso de dos etapas:

Cada árbol generado por el algoritmo Random Forest contiene un grupo de observaciones aleatorias (elegidas mediante bootstrap, que es una técnica estadística para obtener muestras de una población donde una observación se puede considerar en más de una muestra). Las observaciones no estimadas en los árboles (también conocidas como “out of the bag”) se utilizan para validar el modelo. Las salidas de todos los árboles se combinan en una salida final Y (conocida como ensamblado) que se obtiene mediante alguna regla (generalmente el promedio, cuando las salidas de los árboles del ensamblado son numéricas y, conteo de votos, cuando las salidas de los árboles del ensamblado son categóricas). Lo anterior se muestra gráficamente en la Figura 1.

Figura 1: Algoritmo Random Forest 

Las principales ventajas del algoritmo Random Forest (^{Cánovas et al., 2017}) son:

Por otra parte, sus principales desventajas son las siguientes:

Las ventajas de Random Forest hacen que se convierta en una técnica ampliamente utilizada en muchos campos, por ejemplo, teledetección (para clasificación de imágenes), bancos (para detección de fraudes y clasificación de clientes para otorgamiento de crédito), medicina (para analizar historiales clínicos a fin de identificar enfermedades potenciales en los pacientes), finanzas (para pronosticar comportamientos futuros de los mercados financieros) y comercio electrónico (para pronosticar si un cliente comprará, o no, cierto producto), entre otros.

El algoritmo XG Boost (Extreme Gradient Boosting) es una técnica de aprendizaje supervisado (^{Chen y Guestrin, 2016}) también basada en árboles de decisión y que es considerada el estado del arte en la evolución de estos algoritmos (Figura 2).

Figura 2: Evolución de los algoritmos basados en árboles de decisión 

El algoritmo XG Boost tiene las siguientes características (^{Chen y Guestrin, 2016}):

Figura 3: Algoritmo XGBoost 

El algoritmo XGBoost funciona así:

Las principales ventajas del algoritmo XGBoost son:

Por otra parte, sus principales desventajas son:

Las ventajas de este algoritmo hace que se aplique en campos como: identificación de huellas digitales (^{Luckner et al., 2017}), seguridad vial (^{Bahador et al., 2020}) y análisis de mercados financieros (^{Nobre y Ferreira, 2019}), entre otros.

Análisis exploratorio

Una vez obtenida la base de solicitudes de crédito para el estudio (^{UCI, 2020}), se realiza un análisis exploratorio de la misma. Las características principales de la base son:

A fin de facilitar el manejo de las variables se cambiaron sus nombres como se indica en la Tabla 2.

Al obtener el análisis exploratorio sobre la base se tiene que:

La Tabla 4 muestra los estadísticos básicos para las variables numéricas en la base.

Finalmente, la Figura 19 muestra la matriz de correlación entre las variables numéricas, en la misma se observa que existe cierta correlación entre la edad y los años laborales del solicitante, así como entre el saldo y los años laborales del solicitante. Asimismo, se observa que no hay correlación entre el ingreso del solicitante y el resto de variables numéricas.

Figura 19: Matriz de correlación de variables numéricas 

Preparación de datos

De acuerdo con los resultados del análisis exploratorio y a las pruebas realizadas para generar las bases de entrenamiento y validación se realizarán las acciones indicadas en la Tabla 5 como paso previo a la etapa de modelado.

Una vez aplicadas dichas acciones la base queda en 677 registros y se llamará en lo sucesivo “base limpia”.

Posteriormente, se normalizan las variables numéricas: edad, saldo, años laborando, calificación e ingreso. La Figura 20 muestra la distribución de las variables sin normalizar (se observa que ninguna se parece a una distribución normal) y en la Figura 21 se muestra un fragmento de las variables normalizadas.

Figura 20: Distribución de variables numéricas sin normalizar 

Figura 21: Variables normalizadas (fragmento) 

Finalmente, se divide la base limpia en dos partes para la etapa de modelado:

Modelado

Se aplicaron los algoritmos Random Forest y XGBoost sobre la base de entrenamiento a fin de “entrenar” a los correspondientes modelos, con los parámetros default de cada algoritmo en R.

Posteriormente, se aplicaron los modelos “entrenados” sobre la base de validación. La Figura 22 muestra las curvas ROC obtenidas, que permiten comparar ambos algoritmos en términos de error tipo I (falsos positivos, eje X) y clasificaciones correctas (verdaderos positivos, eje Y) (^{Fawcett, 2005}). Se observa que la curva del modelo XGBoost tiene una tasa de verdaderos positivos ligeramente mejor al modelo Random Forest.

Figura 22: Curvas ROC (base de validación) 

La Figura 23 muestra el AUC (área bajo la curva, métrica que mide la precisión de un modelo donde entre más cercano se encuentre a uno se considera que el modelo es más preciso) de los modelos Random Forest y XGBoost (en ambos casos sobre la base de validación) donde se observa que el modelo XGBoost tiene un AUC mayor al modelo Random Forest.

Figura 23: AUC de modelo Random Forest 

La Figura 24 muestra la importancia de predictores (es decir, cuáles son los predictores que más pesan para decidir si a una solicitud se le dará tarjeta de crédito en este caso) de acuerdo con el modelo Random Forest, donde se observa que “bandera1” (indica si el solicitante ya aplicó previamente para una tarjeta de crédito) es el predictor que pesa más.

Figura 24: Importancia de predictores (modelo Random Forest) 

La Figura 25 muestra la importancia de predictores de acuerdo con el modelo XGBoost, donde se observa que “bandera1” es también el predictor que más pesa para determinar si se da una tarjeta de crédito a una solicitud.

Figura 25: Importancia de predictores (modelo XGBoost) 

Análisis de resultados

Las curvas ROC y la métrica AUC obtenidas en la sección anterior dan el sustento técnico para comparar los modelos obtenidos (en este caso se elige el modelo XGBoost dado que su AUC es mayor), sin embargo, presentar solo estos resultados a una audiencia de negocios puede no ser suficiente. Uno de los mayores retos en minería de datos es presentar los resultados de un modelo a audiencias no técnicas en términos de negocio.

En el caso particular de la base analizada surgen dos preguntas de interés desde el enfoque de negocios: ¿Cuáles son las solicitudes a las que hay que otorgar una tarjeta? y ¿Qué resultados esperamos en caso de aplicar el modelo?

La Figura 26 responde la primera pregunta mediante la curva de ganancia acumulada de la base limpia ya considerando las probabilidades calculadas por el modelo XGBoost. Algunas características de esta gráfica son:

Figura 26: Curva de ganancia acumulada (modelo XGBoost) 

La Figura 27 responde la segunda pregunta mediante una curva de respuesta acumulada, donde se indica que el porcentaje de respuesta (solicitudes a las que se otorga una tarjeta de crédito en este caso) en la base de validación al considerar los 5 deciles con mayor probabilidad, de acuerdo con el modelo XGBoost, el porcentaje de respuesta esperada es de 85.3 %. De acuerdo con la gráfica en caso de no aplicar el modelo (líneas punteadas) el porcentaje de respuesta esperado es poco menor a 50 %.

Figura 27: Curva de respuesta acumulada (modelo XGBoost) 

Conclusiones

De acuerdo con el estudio realizado se tiene que:

Se proponen los siguientes pasos a fin de dar continuad al presente estudio: