Definición de indicadores

La definición debe ser clara e incluir mínimamente el objetivo en el cual se agrupa el indicador dentro de la política pública a la que corresponde, el método de cálculo, las unidades claramente especificadas y la fuente de información. Los indicadores objeto de evaluación en este estudio se muestran en la Figura 2.

Figura 2 Objetivos e indicadores del Programa Nacional Forestal de México, establecidos en el Plan Nacional de Desarrollo 2012-2018. Fuente: CONEVAL (2017). 

Modelo de evaluación

El desarrollo considera el modelo de representación lingüístico difuso 2-tupla y el enfoque JLE, diseñado para resolver problemas con información lingüística multigranular.

El modelo de representación lingüístico difuso 2-tupla propuesto por ^{Herrera y Martínez (2000}) es simbólico y está definido bajo un enfoque de computación con palabras donde se obtienen resultados lingüísticos partiendo de premisas también lingüísticas. Mientras otros enfoques lingüísticos llevan a cabo procesos de aproximación para obtener los resultados, lo que implica una pérdida de información y precisión en los mismos, el modelo lingüístico difuso 2-tupla proporciona una representación difusa continua para los valores lingüísticos, superando las limitaciones de precisión de modelos anteriores (^{Pei, Ruan, Liu, & Xu, 2009}). El modelo representa la información lingüística usando un par de valores conocidos como 2-tupla (s, α), donde s es un término lingüístico y α es un valor numérico que representa la traslación simbólica (^{Herrera & Martínez, 2001a}).

Definición 1 (^{Herrera & Martínez, 2000}): Sea β el resultado de una agregación de los índices de un conjunto de etiquetas evaluadas en un conjunto de términos lingüísticos S; es decir, el resultado de una operación de agregación simbólica. β∈0, g, siendo g + 1 la cardinalidad de S. Sea i = round(β) y α = β ─ i dos valores tales que i∈0, g y α∈-0.5, 0.5 luego α es llamada traslación simbólica.

El modelo también define un conjunto de funciones para hacer transformaciones entre valores 2-tupla y numéricos.

Definición 2 (^{Herrera & Martínez, 2000}): Sea S=s0, …, sg un conjunto de términos lingüísticos y β∈0, g un valor que soporta el resultado de una operación de agregación simbólica. Luego, la 2-tupla que expresa la información equivalente a β se obtiene mediante la siguiente función ∆ =0,g→S×-0.5, 0.5; ∆β={si round β; α=β-i     α∈-0.5, 0.5,donde “round” es la operación usual de redondeo, s _i tiene el índice de la etiqueta más cercana a β, y α es el valor de la traslación simbólica.

La literatura indica varias ventajas en el marco del cómputo con palabras, en favor del método de representación lingüístico difuso 2-tupla (^{Martínez et al., 2015}; ^{Rodríguez & Martínez, 2013}). Entre las más importantes se mencionan que el dominio lingüístico puede ser tratado como continuo, mientras que en los modelos clásicos es tratado como discreto; el modelo lingüístico computacional basado en la 2-tupla realiza fácilmente procesos de cómputo con palabras y sin pérdida de información; los resultados de procesos de cómputo con palabras siempre son expuestos en la expresión de dominio inicial; y que es posible la agregación de información lingüística multigranular de manera fácil.

Por otra parte, el enfoque JLE surge en el contexto de procesos de evaluación en los cuales los expertos participantes tienen niveles diferentes de conocimiento de la variable de interés, lo cual justifica el uso de distintos conjuntos de términos lingüísticos; es decir, un enfoque multigranular. Además del enfoque JLE, entre los métodos de enfoque multigranular basados en el modelo lingüístico difuso 2-tupla destacan el enfoque de fusión para el manejo de información lingüística multigranular (^{Herrera, Herrera-Viedma, & Martínez, 2000}) y jerarquías lingüísticas (JL) (^{Herrera & Martínez, 2001b}).

El enfoque JLE resuelve la limitación presente en la granularidad del conjunto básico de términos lingüísticos propuesto por el enfoque de fusión en la fase de unificación, el cual sería más grande que los otros conjuntos de términos; asimismo, soluciona las desventajas relacionadas con la precisión y la expresión de dominio para los resultados computados.

Siguiendo la metodología propuesta por ^{Espinilla et al. (2011}), el enfoque JLE está basado en JL, las cuales se entienden como la unión de todos los niveles; es decir, t: JL = U _t l(t,n(t)), donde cada nivel t de la JL se corresponde con el conjunto de términos lingüísticos con una granularidad de incertidumbre de n(t) denotado como: Snt=s0nt, …, snt-1nt. No obstante, el enfoque JLE incluye varios aspectos que lo hacen diferente y más eficiente:

Dado que la transformación es unificada por medio de valores lingüísticos 2-tupla, la fase computacional es ejecutada usando el modelo de representación lingüística 2-tupla. Los resultados obtenidos son expresados mediante valores lingüísticos 2-tupla en un Snt´ unificado; sin embargo, también pueden ser expresados (trasladados) en una de las escalas de la JLE sin pérdida de información.

Marco de trabajo

En este paso se establece la estructura del problema, preferencias e incertidumbre. Los componentes son: los criterios C=c1, …, cn que califican a los indicadores I={i1, ..., in}; el conjunto de expertos participantes que expresarán sus valoraciones en cada criterio del indicador, E=e1,…,  en; la estructura de granularidad; y la semántica de los componentes de la granularidad establecida.

Los criterios evaluados son los utilizados por CONEVAL (2014):

Claridad (c₁). Se refiere a si existen dudas sobre lo que se pretende medir; es decir, si el indicador tiene algún término o aspecto técnico ambiguo que pueda ser interpretado de manera distinta.

Relevancia (c₂). Se debe verificar que los elementos más importantes del indicador estén directamente relacionados con algún aspecto fundamental del objetivo (factores relevantes).

Monitoreo (c₃). Se analiza la claridad de los medios de verificación y del método de cálculo del indicador, para determinar si este puede ser sujeto a una comprobación independiente.

Adecuación (c₄). Se refiere a si el indicador da una base suficiente para emitir un juicio respecto al desempeño del programa y si la información que el indicador proporciona es relevante y apropiada para describir los logros del programa en un periodo.

Expertos: Teniendo en cuenta el carácter multigranular de la evaluación, se considera la participación de seis expertos agrupados en dos conjuntos: sector administrativo forestal, E1={e1,e2,e3}, y sector académico forestal, E1={e4,e5,e6}. Aun cuando la muestra de expertos es pequeña, se puede considerar como aceptable dado que los participantes seleccionados son de amplia y reconocida experiencia en sus sectores respectivos.

Estructura de granularidad. Dada la participación de dos grupos de expertos con nivel distinto de conocimiento, se utiliza una jerarquía lingüística compuesta por dos conjuntos con granularidad de cinco y siete términos. El grupo de expertos del sector administrativo forestal expresa su valoración de la variable lingüística cumplimiento en S ⁵ , y el grupo de expertos del sector académico en S ⁷ ; es decir, E1=S5={S05,  S15, S25,  S35, S45} que corresponde al conjunto de términos lingüísticos {muy bajo, bajo, medio, alto, muy alto} y E2=S7={S07,  S17, S27,  S37,  S47,  S57,  S67} que corresponden al conjunto de términos lingüísticos {nulo, muy bajo, bajo, medio, alto, muy alto, excelente}.

Semántica. Los términos lingüísticos se definieron a partir de una función de pertenencia triangular µ _A (u), la cual es representada mediante una 3-tupla (a, b, c) donde b indica el punto en el cual el valor de pertenencia es igual a 1, y a y c indican los límites izquierdo y derecho, respectivamente, del dominio de la función de pertenencia, donde, μA~u0 si u≤a;  u-ab-a si u∈a. b, c-uc-b si u∈b, c;0 si u≥c. 

De este modo, para cada conjunto se tienen conjuntos de términos lingüísticos finitos y ordenados con una cardinalidad impar (g + 1), donde cada término es igualmente informativo. El término lingüístico medio es el término intermedio y representa una valoración aproximada de 0.5 (Figura 3).

Figura 3 Semántica de los conjuntos de términos lingüísticos de las jerarquías lingüísticas con granularidad de cinco (S ⁵ ) y siete términos (S ⁷ ). 

Una vez obtenidas todas las valoraciones, y haciendo uso de las dos reglas extendidas del enfoque JLE, se agrega el nuevo conjunto (nivel) l(t*, n(t*)) con t* = m + 1 a la jerarquía lingüística, esto es: n(t*,n(t*)) = n(t ³ ,n(t ³ )), donde la granularidad de (n(t ³ )) se define aplicando el teorema 1 nt3=∏t=1t=2δt+1,y su optimización mediante nt3=MCMδ1, δ2+1; n(t ³) = MCM (2, 6) + 1 = 12 + 1 = 13; es decir, el conjunto de términos agregado a la JLE es S ¹³ (Figura 4).

Figura 4 Conjunto de términos lingüísticos agregado a la jerarquía lingüística extendida l(t ^* , n(t ^* )) = S ¹³. 

Asumiendo que, dentro de cada grupo, los expertos tienen la misma importancia en el proceso de decisión, el operador de agregación que se utiliza es la media aritmética 2-tupla definida como x-=∆∑i=1n∆-1si,αin.

Las evaluaciones se colectaron utilizando formatos diseñados (cuestionarios de cinco [Apéndice 1 https://cloud.chapingo-cori.mx/index.php/s/5ItNUZhvgpTWbGh/download] y siete términos [Apéndice 2 https://cloud.chapingo-cori.mx/index.php/s/nzAOeE943Zm5mt1/download]) y cada entrevistado e _i contó con toda la información relevante: 1) objetivo, 2) nombre del indicador, 3) descripción del indicador, 4) método de cálculo, 4) fuentes de información y 5) definición de los criterios.

Todos los cálculos se hicieron mediante las ecuaciones de transformación definidas en el método de resolución, utilizando para ello el software FLINTSTONES (^{Estrella, Espinilla, Herrera, & Martínez, 2014}), un sistema de soporte de decisiones desarrollado en el seno del grupo de investigación de Sistemas Inteligentes Basados en Análisis de Decisión Difuso (SINBAD) de la Universidad de Jaén, España. El acrónimo FLINTSTONES proviene de sus siglas en inglés (Fuzzy LINguisTic deciSion TOols eNhacemEnt Suite). El programa fue diseñado para resolver problemas de toma de decisiones bajo incertidumbre, siguiendo un enfoque de computación con palabras, lo que permite obtener, partiendo de premisas lingüísticas, resultados también representados lingüísticamente, lo cual facilita su interpretación. Por lo tanto, a través de FLINTSTONES se pueden modelar problemas de toma de decisión de cualquier índole, especificando expertos involucrados, alternativas o posibles soluciones del problema, y los criterios usados para evaluar dichas alternativas; además, la herramienta permite definir dominios de expresión de naturaleza distinta que los expertos pueden usar para exponer sus opiniones, de manera que puedan ser modeladas por valores numéricos o lingüísticos. Una vez definido el problema, FLINTSTONES incluye modelos de decisión ampliamente usados en la literatura de toma decisión que permiten obtener la solución. En este trabajo, se seleccionó el modelo lingüístico 2-tupla bajo un marco complejo de incertidumbre de multigranularidad. FLINTSTONES se encuentra disponible para su descarga en https://sinbad2.ujaen.es/flintstones/eshttp://sinbad2.ujaen.es/es

Análisis

La información colectada se analiza y agrega de acuerdo con los objetivos y restricciones, y se reportan los resultados a ser considerados en la fase de selección.

Selección o priorización

De acuerdo con los resultados de la fase del análisis, se desarrolla un proceso de selección en el cual los tomadores de decisiones pueden elegir las alternativas de solución al problema.