Fitociencia

Análisis de sensibilidad global de un modelo de lechugas (Lactuca sativa L.) cultivadas en invernadero

 

Global sensitivity analysis of a greenhouse lettuce (Lactuca sativa L.) crop model

 

Irineo L. López-Cruz^*, Raquel Salazar-Moreno, Abraham Rojano-Aguilar, Agustín Ruiz-García

 

Postgrado en Ingeniería Agrícola y Uso Integral del Agua. Universidad Autónoma Chapingo. 56230. Km. 38.5, carretera México-Texcoco. Chapingo, México. (ilopez@correo.chapingo.mx). ^* Autor responsable.

 

Recibido: noviembre, 2011.
Aprobado: abril, 2012.

 

Resumen

El análisis de sensibilidad de un modelo matemático es relevante ya que permite determinar como la incertidumbre de las salidas del modelo puede ser asignada a sus variables de entrada. Hasta ahora se aplican métodos locales basados en el cálculo de derivadas parciales para modelos de cultivos en invernadero. Sin embargo, la limitante principal del análisis de sensibilidad local es que proporciona información únicamente en el punto base donde las derivadas son calculadas, sin tomar en cuenta el resto del intervalo de variación de los factores de entrada. Para superar estas limitaciones se desarrollan enfoques de análisis de sensibilidad global como gráficas de dispersión, coeficientes de regresión estandarizados, métodos basados en el cálculo de varianzas, la prueba de efectos elementales y el filtrado de Monte Carlo. En el presente estudio se desarrolló un análisis de sensibilidad global basado en varianzas a un modelo de crecimiento para lechugas (Lactuca sativa L.) cultivadas en invernadero. Primero se definieron las funciones de densidad de probabilidad para todos los parámetros del modelo. Después se desarrollaron 5000 simulaciones Monte Carlo con el método ampliado de Fourier (FAST) para calcular los índices de sensibilidad de primer orden, y los de orden total. Con el método de Sobol se usaron 3000 simulaciones Monte Carlo para calcular ambos índices de sensibilidad. El programa Simlab (versión 3.2) se usó para el análisis de sensibilidad y Matlab para realizar todas las simulaciones. Tanto el método FAST como el de Sobol permitieron determinar que los parámetros más importantes para la biomasa seca total del modelo son el coeficiente de conductancia foliar de CO₂ (σ), el coeficiente de eficiencia fotosintética (ε), la temperatura de tefetencia (T*), la presión osmótica de las vacuolas (π_v) y el coeficiente de respiración de mantenimiento (k).

Palabras clave: función de densidad de probabilidades, método de muestreo, modelo dinámico, simulación, Lactuca sativa L.

 

Abstract

Sensitivity analysis of a mathematical model is relevant, since it determines how the uncertainty of the model outputs can be assigned to its variables of input. So far local methods are applied based on the calculation of partial derivatives for models of greenhouse crops. However, the main drawback of the local sensitivity analysis is that it provides information only at the base point where the derivatives are calculated, without taking into account the rest of the interval of variation of input factors. To overcome these limitations, approaches of global sensitivity analysis are being developed such as scatter plots, standardized regression coefficients, methods based on the calculation of variances, the test of elementary effects and Monte Carlo filtering. In the present study, a global sensitivity analysis was performed based on variances to a greenhouse lettuce crop (Lactuca sativa L.) growth model. First, probability density functions were defined for all model parameters. Then, 5000 Monte Carlo simulations were developed by the Fourier amplitude sensitivity test (FAST) method to calculate the first-order sensitivity indices and those of total order. With Sobol's method 3000 Monte Carlo simulations were used to calculate both sensitivity indices. The Simlab program (version 3.2) was used for sensitivity analysis and Matlab to perform all simulations. Both the FAST and Sobol method allowed to determine that the most important parameters for total dry biomass of the model are the leaf conductance coefficient of CO₂ (σ), photosynthetic efficiency coefficient (ε), the reference temperature (T*), the osmotic pressure of the vacuoles (π_v) and the maintenance respiration coefficient (k).

Key words: probability density function, sampling method, dynamic model, simulation, Lactuca sativa L.

 

INTRODUCCIÓN

Los modelos para crecimiento y desarrollo de cultivos bajo ambiente controlado son necesarios para optimizar y controlar estos biosistemas. Una vez que se desarrolla un modelo dinámico, el análisis de sensibilidad estudia la determinación de la incertidumbre de las variables de salida a diferentes fuentes de incertidumbre de sus entradas (Saltelli et al., 2000; Saltelli et al., 2004; Saltelli et al., 2008). En modelos dinámicos, los factores de entrada son las condiciones iniciales de las ecuaciones diferenciales, las variables de entrada y los parámetros. En general, en un modelo se puede realizar un análisis de sensibilidad local o global. Hasta ahora se ha aplicado el análisis de sensibilidad local para analizar el comportamiento de modelos del clima de los invernaderos, así como modelos para crecimiento y desarrollo de los cultivos (van Henten y van Straten, 1994; López-Cruz et al., 2004; Mathieu et al., 2006).

El análisis de sensibilidad local calcula las derivadas parciales de las funciones de salida con respecto a las variables de entrada. Los parámetros de entrada son alterados dentro de un intervalo pequeño de variación fraccional alrededor de un valor nominal y se aplica el principio de análisis de un factor a la vez. Sin embargo, la principal limitante del enfoque local es que las derivadas parciales proporcionan información solamente del punto base donde son calculadas y no exploran todo el espacio de los parámetros de entrada. Además, cuando el modelo contiene funciones discontinuas, las derivadas no pueden ser calculadas. Ahora hay análisis de sensibilidad global que superan las limitaciones del análisis local, tales como coeficientes de regresión estandarizados, gráficas de dispersión, la prueba de efectos elementales (método de Morris), métodos basados en el cálculo de la varianza, y filtrado de Monte Carlo (Monod et al., 2006; Saltelli et al., 2006; Saltelli et al., 2010).

A diferencia de los métodos de análisis de sensibilidad local, los enfoques de sensibilidad global asignan la incertidumbre de la variable de salida a la incertidumbre de los factores de entrada, mediante el enfoque de muestreo de funciones de densidad de probabilidad (PDFs) asociadas a las variables de entrada. En este caso, todos los parámetros se varían simultáneamente y las sensibilidades se calculan sobre el rango de variación completo de los factores de entrada. Aunque hay varios métodos para llevar a cabo el análisis de sensibilidad global (Saltelli et al., 2000; Makowski et al., 2006), dos enfoques muy usados son la prueba de sensibilidad de amplitud de Fourier (FAST) y el método de Sobol (Cariboni et al., 2007; Saltelli et al., 2008). Sus ventajas son: tomar en cuenta el efecto de la PDF de cada factor, considerar el efecto de la variación simultanea de todos los factores, no requerir que el modelo sea aditivo o lineal y pueden tratar factores agrupados (Saltelli et al., 2004). Tanto el método ampliado FAST (Saltelli et al., 1999) como el de Sobol permiten descomponer la varianza de la salida usando simulación Monte Carlo. Los índices de sensibilidad global representan la contribución de cada factor de entrada (parámetro del modelo) a la varianza de la salida y pueden ser de primer orden y de sensibilidad total. Los índices de primer orden miden la influencia promedio de un factor sobre la salida del modelo, pero no toman en cuenta los efectos de interacción para el factor analizado. Los índices totales calculan la suma de los índices factoriales que involucran al factor considerado. Hay reportes de análisis de sensibilidad global para modelos de crecimiento de cultivos en campo abierto pero no para cultivos bajo ambiente controlado (invernadero). Lamboni et al. (2009) realizaron un análisis de sensibilidad basado en componentes principales a dos modelos de cultivos. Confalonieri (2010) usó el método de Morris y simulación Monte Carlo para estudiar el comportamiento de los modelos de cultivos WOFOST y CropSyst. Varela et al. (2010) usaron el método FAST ampliado para estudiar el comportamiento del modelo de cultivos STICS.

La hipótesis del presente estudio fue que un análisis de sensibilidad global, aplicado para conocer el efecto de los parámetros de un modelo matemático sobre las variables de estado y salida, puede proporcionar mayor información del comportamiento del modelo que un análisis de sensibilidad local. Los objetivos del presente estudio fueron: 1) realizar el análisis de sensibilidad global basado en el cálculo de las varianzas para los parámetros de un modelo de crecimiento de lechugas (Lactuca sativa L.) cultivadas en invernadero, usando datos recolectados en Chapingo, México; 2) comparar los resultados obtenidos contra otros reportados para un análisis de sensibilidad local del mismo modelo (López-Cruz et al., 2004).

 

MATERIALES Y MÉTODOS

 

El modelo NICOLET B3

El modelo para crecimiento de lechugas NICOLET B3 (Seginer et al., 1998; Seginer et al., 1999) es descrito por López-Cruz et al. (2004) y se realizó el análisis de sensibilidad local para sus parámetros. El modelo NICOLET B3 predice el comportamiento de carbono estructural (biomasa celular estructural) y carbono no estructural (biomasa celular no estructural) a nivel celular mediante dos ecuaciones dinámicas y estima también el contenido de nitratos en estado estacionario, a partir de la concentración de carbono y nitrógeno en las vacuolas. Los parámetros analizados en el presente estudio se muestran en el Cuadro 1; los últimos seis coeficientes no fueron considerados en el estudio de López-Cruz et al. (2004). El mismo modelo NICOLET B3 utilizado para el análisis de sensibilidad local fue usado en el presente estudio.

 

Metodología del análisis de sensibilidad global

Un análisis de sensibilidad global considera los pasos siguientes (Saltelli et al., 2000; Saltelli et al., 2004; Saltelli et al., 2008).

Paso 1. Especificación de objetivos

En el presente estudio se desea determinar que parámetros del modelo NICOLET B3 tienen mayor o menor influencia sobre las variables de estado carbono en las vacuolas y carbono estructural, y para la variable de salida peso seco total, que son predichas por el modelo.

Paso 2. Selección de los factores a analizar

Los factores de entrada fueron los parámetros del modelo NICOLET B3 (Cuadro 1) y los factores de salida fueron las variables de estado del modelo: carbono en las vacuolas y carbono en la estructura celular, además de la variable biomasa total.

Paso 3. Selección de las funciones de densidad de probabilidad (PDFs) para cada factor

Como no se dispone de información adicional, en una primera aproximación se seleccionó una función de densidad de probabilidades uniforme para cada uno de los parámetros del modelo NICOLET. Los intervalos inferior y superior para cada PDF (Cuadro 1) se seleccionaron considerando 10 % de variación del parámetro alrededor de su valor nominal (Seginer et al., 1998; Seginer et al., 1999). Un porcentaje de variación mayor generó errores numéricos en la simulación del modelo.

Paso 4. Selección del método de análisis de sensibilidad

Se usaron dos métodos basados en el cálculo de las varianzas: el método ampliado de Fourier (FAST) y el método de Sobol (Monod et al., 2006; Saltelli et al., 2008) para obtener los índices de sensibilidad de primer orden y los índices de sensibilidad total. El índice de sensibilidad de primer orden (S_i), representa la contribución de cada factor de entrada (X_i) a la varianza total de la salida (V(Y)), y se denota por la ecuación siguiente:

donde V [E(Y | X_i)] es la cantidad de varianza esperada debida al efecto principal que se removería de la varianza total V(Y) si se pudiera determinar el verdadero valor del factor X_i.

La varianza incondicional total de la variable de salida Y se define como:

donde E [V(Y | X_i)] es la cantidad esperada de varianza de la salida que permanecería sin explicación (residual) si el factor X_i fuera dejado en libertad sobre su rango de incertidumbre. El índice de sensibilidad de efecto total ()que da cuenta de la contribución total de la salida Y debida al factor X_i esto es, su efecto de primer orden más todos los efectos de orden superior producto de las interacciones, se obtiene reescribiendo la ecuación (2) condicionando con respecto a todos los factores a excepción de X _∼i.

El cálculo de ambos índices se realizó de acuerdo al método computacional propuesto por Saltelli et al. (2004) y Saltelli et al. (2008), el cual se encuentra programado en el software Simlab versión 3.2 (Simlab, 2011) para Matlab (The Mathworks INC, 1984-2009). Por definición > S_i o = S_i cuando X_i no participa en interacciones con otro factor. Las diferencias son una medida de la participación de X_i en las interacciones con otro factor. Si = 0 significa que el modelo no es sensible a este factor. La suma de todos los S_i es igual a 1 cuando el modelo es aditivo y menor de 1 si es no aditivo. La suma de los es mayor que 1 para modelos no aditivos e igual a 1 solo en el caso de modelos aditivos (Saltelli et al, 2008).

Paso 5. Generación de la muestra de entrada

Se generó una muestra de tamaño N = 5000 para el método de muestreo ampliado FAST y una muestra de tamaño N = 3000 para el método de muestreo de Sobol, para garantizar una buena estimación de los índices de sensibilidad (Saltelli et al, 2004; Saltelli et al, 2008), usando el programa para análisis de sensibilidad Simlab versión 3.2 (Simlab, 2011).

Paso 6. Evaluación del modelo

El modelo NICOLET B3 se programó en el ambiente Matlab-Simulink (The Mathworks INC, 1984-2009). Usando las muestras de tamaño 5000 y 3000 respectivamente, para los factores de entrada (parámetros), se ejecutaron las simulaciones correspondientes y se almacenaron los valores de las variables carbono en las vacuolas, carbono en la estructura y peso seco total. Se usó el método de Runge-Kutta de cuarto orden con tamaño de paso de integración variable, tolerancia relativa de 10^-8 y tolerancia absoluta de 10^-12 para llevar a cabo la integración numérica. Las variables de entrada medidas: radiación fotosintéticamente activa (W m^-2 ), concentración de dióxido de carbono (ppm) y temperatura del aire (°C), usadas en el análisis de sensibilidad local (López-Cruz et al, 2004), se usaron en el presente estudio.

Paso 7. Análisis de las salidas del modelo y conclusiones

Los valores de los índices de sensibilidad (S_i y ) estimados fueron usados para evaluar la importancia de cada uno de los parámetros del modelo NICOLET B3. Para presentar los valores de los índices de sensibilidad se generaron gráficas de barras.

 

RESULTADOS Y DISCUSIÓN

 

Índices de sensibilidad global calculados al final del ciclo de crecimiento del cultivo

La Figura 1 incluye los índices de sensibilidad calculados por el método FAST, para la variable de estado carbono en las vacuolas al final del ciclo de crecimiento (63 d). En orden decreciente los parámetros temperatura de referencia (T*), coeficiente de respiración de mantenimiento (k), coeficiente de la tasa de crecimiento sin inhibición (v) y conductancia foliar de CO₂ (σ), son los más importantes. La suma de los efectos de primer orden (1.08) y la suma de los índices totales (1.73) son diferentes de 1.0, por lo que deben existir interacciones entre los parámetros del modelo. Los índices totales de los cuatro parámetros más influyentes presentan las mayores diferencias — S_ilo que significa que estos parámetros afectan el comportamiento de la variable de estado junto con otros parámetros participando en las interacciones. La variable que interactúa más es la temperatura de referencia ya que mostró la mayor diferencia entre sus índices de sensibilidad (0.19). Los parámetros para los que el carbono en las vacuolas es más sensible, son los mismos que los identificados mediante el análisis local (López-Cruz et al., 2004), excepto por la temperatura de referencia que no fue considerada en el análisis de sensibilidad local. Como se observa en la Figura 2 el método de Sobol confirma los resultados obtenidos con el método FAST.

Para el carbono estructural, de acuerdo con el método FAST, en orden decreciente los parámetros σ, v sin inhibición, T*, k y el coeficiente de eficiencia fotosintética (ε), son los más importantes de acuerdo a ambos índices de sensibilidad (Figura 3). La suma de los efectos de primer orden es 0.75 y la suma de los índices totales 1.65. Por tanto, deben existir interacciones y los cinco parámetros participan en éstas ya que presentan las diferencias más grandes entre sus índices totales y los de primer orden. La mayor diferencia la presentó la temperatura de referencia (0.23). Los parámetros más significativos que predice el análisis global son diferentes a los que predice el método local (López-Cruz et al., 2004), aunque v y k resultaron relevantes para ambos enfoques.

Los resultados obtenidos mediante el método de Sobol son ligeramente diferentes en cuanto la relevancia de los parámetros; sin embargo, los parámetros más significativos son los mismos que predice el método FAST ampliado (Figura 4) y el método local.

Para biomasa seca total, los parámetros más importantes de acuerdo con ambos índices de sensibilidad (Figura 5) predichos por el método FAST, en orden decreciente, son σ, ε, T*, presión osmótica de las vacuolas (π_v) y k. La suma de los efectos de primer orden es 1.16 y la suma de los índices totales 1.54. Por tanto, deben existir interacciones entre los cinco parámetros tomando en cuenta sus correspondientes diferencias entre índices totales y de primer orden. Pero la temperatura de referencia es la que más interactúa porque presenta la diferencia más grande (0.19). En el caso del método de Sobol (Figura 6) los resultados fueron similares excepto por el último parámetro. Estos resultados difieren de lo obtenido por el análisis de sensibilidad local (López-Cruz et al., 2004; Mathieu et al., 2006) para el cual los parámetros coeficiente de extinción de la radiación (a) y v son relevantes.

Para las tres variables analizadas se observó que ; esto significa que el modelo es altamente i no aditivo.

 

Índices de sensibilidad global calculados durante el ciclo de crecimiento

El análisis del efecto de los parámetros sobre el carbono en las vacuolas al inicio del periodo de crecimiento, mediante el método FAST únicamente (Figura 7), muestra que los más importantes son a, v, T* y k. Sin embargo, nueve parámetros son relevantes al inicio del crecimiento. Un comportamiento similar fue observado mediante el análisis local (López-Cruz et al., 2004). Es significativo que el coeficiente de extinción de la radiación resulte el parámetro más importante ya que el cultivo se encontraría en su fase de crecimiento exponencial.

En contraste, en la Figura 8 se observa que después de 40 d de crecimiento, hay pocos parámetros relevantes y son los mismos de la Figura 1. Es de destacar que el análisis de sensibilidad local (López-Cruz et al., 2004) también detectó que k fue uno de los parámetros más importantes para el carbono en las vacuolas. La comparación de la Figura 1 con las Figuras 7 y 8 mostró que la función de los parámetros cambia en el tiempo y su efecto cambia con el desarrollo del cultivo. Este comportamiento también se muestra en las funciones de sensibilidad del análisis local, pero el análisis global muestra que pocos parámetros afectan el comportamiento del modelo con el desarrollo del cultivo.

Para el carbono estructural, mediante el método FAST (Figura 9), se encontró que al inicio del crecimiento los parámetros más relevantes fueron T*, a, k y v. A diferencia del carbono en las vacuolas, la biomasa estructural está influenciada por pocos parámetros aún al inicio del periodo de crecimiento. Este comportamiento es similar después de 40 d de crecimiento (Figura 10), ya que excepto por a, los parámetros importantes son los mismos que al inicio. Sin embargo, al final del periodo del cultivo los parámetros significativos son diferentes (Figura 3), lo cual muestra que el efecto de los parámetros sobre esta variable es cambiante en el tiempo. En general, el análisis de sensibilidad global para los parámetros respecto a la variable carbono estructural, muestra las mismas características encontradas anteriormente mediante un análisis de sensibilidad local (López-Cruz et al., 2004) si se comparan los índices de sensibilidad global a lo largo del ciclo de cultivo contra las funciones de sensibilidad obtenidas mediante el análisis local.

Para la biomasa, usando el método FAST (Figura 11), los parámetros más influyentes son a, T*, k y v, después de 10 días de crecimiento. En contraste, después de 40 días de crecimiento (Figura 12) los parámetros significativos son v, T*, σ, k y a. Estos resultados son similares a los obtenidos mediante el análisis local por las funciones de sensibilidad (López-Cruz et al., 2004). Comparando la Figura 11 y 12 con la Figura 5, se aprecia el cambio en el efecto de parámetros relacionados con la fotosíntesis para la biomasa total del cultivo, al final del periodo de crecimiento.

 

CONCLUSIONES

Tanto el método FAST ampliado como el método de Sobol permitieron determinar los parámetros que afectan en mayor medida el comportamiento de las variables que predice el modelo NICOLET B3. Se encontraron muchas similitudes entre ambos métodos globales con el análisis de sensibilidad local, pero también se observaron diferencias importantes posiblemente porque los métodos globales exploran un rango de variación mayor de los parámetros que el enfoque local. Aunque aparentemente los enfoques local y global de análisis de sensibilidad son complementarios, se requiere más investigación antes de poder concluir que método es más confiable cuando se aplica a modelos de cultivos en invernadero.

 

LITERATURA CITADA

Cariboni, J., D. Gatelli, R. Liska, and A. Saltelli. 2007. The role of sensitivity analysis in ecological modelling. Ecological Modell. 203: 167-182.         [ Links ]

Confalonieri, R. 2010. Monte Carlo based sensitivity analysis of two crop simulators and considerations on model balance. Eur. J. Agron. 33: 89-93.         [ Links ]

Lamboni, M., D. Makowski, S. Lehuger, B. Gabrielle, and H. Monod. 2009. Multivariate global sensitivity analysis for dynamic crop models. Field Crops Res. 113: 312-320.         [ Links ]

López-Cruz, I. L., A. Ramírez-Arias, y A. Rojano-Aguilar. 2004. Análisis de sensibilidad de un modelo dinámico de crecimiento para lechugas (Lactuca sativa L.) cultivadas en invernadero. Agrociencia 38: 613-624.         [ Links ]

Makowski, D., C. Naud, M.H. Jeuffroy, A. Barbottin, and H. Monod. 2006. Global sensitivity analysis for calculating the contribution of genetic parameters to the variance of crop model prediction. Reliability Eng. & Systems Safety 91: 1142-1147.         [ Links ]

Mathieu, J., R. Linker, L. Levine, L. Albright, A.J. Both, R. Spanswick, R. Wheeler, E. Wheeler, D. de Villiers, and R. Langhans. 2006. Evaluation of the NICOLET model for simulation of short-term hydroponic lettuce growth and nitrate uptake. Biosystems Eng. 95(3): 323-337.         [ Links ]

Monod, H., C. Naud, and D. Makowski. 2006. Uncertainty and sensitivity analysis for crop models. In: Wallach, D., D. Makowski, and J.W. Jones (eds). Working with Dynamic Crop Models. Evaluation, Analysis, Parameterization, and Applications. Elsevier. Amsterdam. The Netherlands. 447 p.         [ Links ]

Saltelli, A., S. Tarantola, and K. Chan. 1999. A quantitative model-independent method for global sensitivity analysis of model output. Thechnometrics 41: 39-56.         [ Links ]

Saltelli, A., K. Chan, and E. M. Scott (eds). 2000. Sensitivity Analysis. John Wiley & Sons Ltd. Chichester. UK. 475 p.         [ Links ]

Saltelli, A., S. Tarantola, F. Campolongo, and M. Ratto. 2004. Sensitivity Analysis in Practice. A Guide to Assessing Scientific Models. John Wiley & Sons Ltd. Chichester. England. 219 p.         [ Links ]

Saltelli, A., M. Ratto, S. Tarantola, and F. Campolongo. 2006. Sensitivity analysis practices: strategies for model-based inference. Reliability Eng. & Systems Safety 91: 1109-1125.         [ Links ]

Saltelli, A., M. Ratto, F. Campolongo, J. Cariboni, D. Gatelli D., M. Saisana, and S. Tarantola. 2008. Global Sensitivity Analysis. The Primer. John Wiley & Sons Ltd. Chichester. England. 292 p.         [ Links ]

Saltelli, A., P. Annoni, I. Azzini, F. Campolongo, M. Ratto, and S. Tarantola. 2010. Variance based sensitivity analysis of model output. Design and estimator for the total sensitivity index. Computer Physics Comm. 181: 259-270.         [ Links ]

Seginer, I., F. Buwalda, and G. van Straten. 1998. Nitrate concentration in greenhouse lettuce: a modeling study. Acta Horticulturae 456: 189-198.         [ Links ]

Seginer, I., G. van Straten, and F. Buwalda. 1999. Lettuce growth limited by nitrate supply. Acta Horticulturae 507: 141-148.         [ Links ]

Simlab. 2011. Software package for uncertainty and sensitivity analysis. Joint Research Centre of the European Commission. http://simlab.jrc.ec.europa.eu. (Consultado: mayo, 2011). The Mathworks INC. 1984-2009. Matlab 7. The Getting started guide. 272 p.         [ Links ]

van Henten, E. J., and G. van Straten. 1994. Sensitivity analysis of a dynamic growth model of lettuce. J. Agric. Eng. Res. 59: 19-31.         [ Links ]

Varela, H., M. Guerif., and S. Buis. 2010. Global sensitivity analysis measures the quality of parameter estimation: the case of soil parameters and a crop model. Environ. Modell. & Software 25: 310-319.         [ Links ]