I. Procesos markovianos de decisión

Existen muchos sistemas económicos y financieros en los que los hechos futuros tienen asociada una distribución de probabilidad que depende sólo del presente, en cuyo caso podría ser idóneo modelarlos con cadenas de Markov. Varias preguntas surgen en el comportamiento de una cadena de Markov: ¿cómo evoluciona un proceso de este tipo? ¿Converge, en algún sentido, en un estado estacionario? ¿Qué tan rápido converge? Estas preguntas han sido ampliamente contestadas en la bibliografía cuando la cadena de Markov tiene un número finito de estados. Pero ¿qué sucede cuando hay un número infinito de estados, numerable o continuo? Al respecto, ^{Hernández Lerma y Lasserre (2003)} se ocupan de las cadenas de Markov homogéneas en tiempo discreto con espacios arbitrarios de estados y con un comportamiento ergódico descrito con medidas de probabilidad invariantes. En particular, esta sección se concentra en procesos markovianos controlados de decisión en tiempo discreto y con horizonte de planeación finito o infinito. Muchos fenómenos y situaciones de interés en economía y finanzas son susceptibles de ser modelados con este esquema;² por ejemplo, la toma de decisiones de consumo, producción, inversión y la evaluación de proyectos de inversión, ya sea en el corto o largo plazos.

Una clase relevante de procesos de control la constituyen los procesos de control markovianos. La evolución de estos procesos en tiempo discreto se puede describir como sigue. El sistema se encuentra, inicialmente, en el estado i ₀ = x, entonces el controlador elige una acción (o control) a0 = a, lo que genera un costo, r(x, α), que depende del estado y el control. Posteriormente, el sistema se mueve a un nuevo estado i ₁ = y de acuerdo con una ley de transición en la que el futuro sólo está determinado por el presente. Este procedimiento se repite y los costos se acumulan. Se dice que {i_n : n = 1, 2, ...} es un proceso de control markoviano, en tiempo discreto, si para cualquier estrategia π (una función de las sucesiones de estados acciones) y cualquier n = 0, 1, ..., la distribución en n + 1, dada toda la trayectoria del proceso hasta n, depende sólo del estado y la acción en n. Los estados y las acciones son colecciones de variables aleatorias, definidas en un espacio de probabilidad adecuado, y el objetivo es encontrar una política de control que optimice un criterio de desempeño (en términos de valores esperados).

A continuación se presenta, de manera sucinta, los elementos que integran un proceso markoviano de decisión, abreviado mediante {S, A, K, q, r}. Considérese una cadena de Markov controlada en tiempo discreto con: i) un espacio de estados, finito o numerable, S; ii) un espacio medible de acciones, A, equipado con una σ-álgebra A que contiene todos los subconjuntos congruentes de un elemento de A; en este caso, el conjunto de restricciones se representa mediante K = S x A; iii) para cada estado i ∈ S existe un conjunto de acciones A(i) disponibles; estos conjuntos se suponen elementos de A; iv) una matriz de probabilidades de transición [q(j|i, α)]; para cada i, j∈S y α ∈ A(i) la función q(j|i, α) es no negativa y medible, y Σ _j∈Sp(j|i, α) para cada i∈S y α ∈A, y v) una función r: K →ℝ, llamada la utilidad, ganancia o costo dependiendo del contexto.

Sea H_n = Sx(SxA) ⁿ el espacio de trayectorias hasta el tiempo n=0, 1,...,∞.

Sea

el espacio de todas las trayectorias finitas. Los espacios H_n y H están equipados con las σ-álgebras generadas por 2^s y A. Una estrategia π es una función que asigna a cada trayectoria de estados y acciones h_n = (i ₀, i _α, i ₁, α ₁, ... i_n-1, α_n-1, i_n )∈ H_nn = 0, 1, ..., una medida de probabilidad π(∙, h_n ) definida en (A, A) que satisface las siguientes condiciones: i) π(A(i_n │h_n )=1, y ii) para cualquier B ∈ A la función π(B│∙) es medible en H.

Una estrategia de Markov φ es una sucesión de funciones φ_n : S →A, n = 0,1,..., tal que φ_n ∈A(i) para cualquier i∈ S. Se dice que una estrategia de Markov φ es (N, ∞)-estacionaria, en la que N = 0, 1, ..., si φ_n (i) = φ_N (i) para cualquier n = N + 1 + N + 2, ... y para cualquier i∈S. A una estrategia (0, ∞)-estacionaria se le llama, simplemente, estacionaria. De esta manera, una estrategia estacionaria se determina por una función φ:S →A tal que φ∈A(i), i ∈S.

Una estrategia estacionaria aleatorizada φ es definida por sus distribuciones condicionales φ (∙│i), i ∈S de (A, A) de manera que φ(A(i)│i) = 1para cualquier i ∈S. Obsérvese que en esta construcción "canónica", los procesos de estados y de acciones son colecciones de variables aleatorias. El conjunto EC de todas las sucesiones de estados-acciones (i ₀, α ₀, i ₁, α _i,..., i_n-1, α_n-1, i_n, α_n ,...) y su correspondiente σ-álgebra producto, F, forman un espacio medible (H _∞ F). Así, cada estrategia π y estado inicial i ₀ = x inducen una única medida de probabilidad ℙXπ en H _∞, en cuyo caso se denota al operador de esperanza por 𝔼Xπ. Así, la utilidad total descontada³ cuando el estado inicial es i y la estrategia utilizada es π está dada por

en la que β∈(0,1) es el factor de descuento. La función de valor del problema planteado se define mediante

Sea ∈ una constante no negativa. Una estrategia π* se llama ɛ-óptima si, para toda i.

Una estrategia 0-óptima se llama, simplemente, óptima.

Respecto del esquema anterior, ^{Hernández Lerma (1989)} considera sistemas de control estocástico parcialmente observables, en tiempo discreto. El autor estudia el problema de control adaptativo no paramétrico, en un horizonte infinito, con el criterio de ganancia total descontada y proporciona las condiciones para que una política adaptativa sea asintóticamente óptima, así mismo establece condiciones para aproximar uniformemente, casi seguramente, la función de ganancia óptima. Su trabajo combina resultados de convergencia con problemas de control estocástico adaptativo y paramétrico.

Asimismo, ^{Hernández Lerma (1986)} proporciona procedimientos de discretización de procesos markovianos de control adaptativo, en tiempo discreto, con un número finito de estados y en un horizonte infinito, los cuales dependen de parámetros desconocidos. En su investigación las discretizaciones se combinan con un esquema coherente de estimación de parámetros para obtener aproximaciones uniformes a la función de valor óptimo, así como para determinar políticas de control adaptativas asintóticamente óptimas.

Por otra parte, ^{Hernández Lerma (1985)}, con el criterio de ganancia descontada y con un espacio de estados numerable, estudia los procesos semimarkovianos de decisión que dependen de parámetros desconocidos. Dado que los valores verdaderos de los parámetros son inciertos, el autor proporciona un esquema iterativo para determinar asintóticamente la máxima ganancia total descontada. Las soluciones toman el esquema iterativo de valor no estacionario de ^{Federgruen y Schweitzer (1981)} y se combinan con el principio de estimación y control para el control adaptativo de procesos semimarkovianos de ^{Schäl, (1987)}.⁴

Por último es importante destacar que ^{Hernández Lerma (1986)} extiende el esquema iterativo introducido por ^{White (1980)} para un número finito de estados con el propósito de aproximar la función de valor de un proceso markoviano con un conjunto numerable de estados a un espacio multidimensional numerable de estados. Con los mismos supuestos de ^{White (1980)}, el autor proporciona un esquema iterativo para determinar asintóticamente una política óptima descontada, la cual, a su vez, se puede utilizar para obtener una política óptima estacionaria.⁵

II. Juegos markovianos en tiempo continuo

En esta sección se formaliza un juego estocástico de suma 0 con dos jugadores en tiempo continuo y homogéneo.⁶ Los elementos que conforman dicho juego se expresan de manera abreviada como {S, A, B, K_A, K_B, q, r}. Aquí, S es el espacio de estados, el cual se supone numerable, y A y B son los espacios de acciones para los jugadores 1 y 2, respectivamente. Estos espacios se suponen espacios polacos (es decir, espacios métricos, separables y completos). Los conjuntos K_A ⊂S x A y K_B ⊂S x B son espacios de Borel que representan conjuntos de restricciones. Es decir, para cada estado i ∈S, la i-sección en K_A , a saber, A(i):= { α∈ A (i, α) ∈ K_A }, representa el conjunto de acciones admisibles para el jugador 1 en el estado i; similarmente, la i-sección en K_B, B(i) := {b ∈B|(i, b)∈K_B }, representa la familia de acciones admisibles para el jugador 2 en el estado i. Considérese ahora el subconjunto de Borel dado S x A x B y sea

La componente q denota la matriz de tasas de transición del juego [q(j│i, α, b)] la cual satisface q(j│i, α, b) ≥ 0 para toda (i, α, b) ∈ K, i ≠ j y se supone conservativa, es decir,

y estable, esto es,

en la que q_i (α, b) = -q(i |i, α, b) para toda α∈ A(i) y b ∈B(i). Además, q(i |i, α, b) es una función medible en A x B para i, j ∈ S fijas. Por último, r: K→ℝ es la tasa de ganancia (o utilidad) del jugador 1 (o la tasa de pérdida para el jugador 2).

Los jugadores 1 y 2 observan con frecuencia el estado presente del sistema. Siempre que el sistema esté en el estado i∈ S en el momento t ≥0, los jugadores eligen de manera independiente las acciones α∈ A(i) y b ∈B(i) conforme a algunas "estrategias admisibles" introducidas más adelante. Como una consecuencia de esto, ocurre lo siguiente: i) el jugador 1 recibe una ganancia r(i, α_t, b_t ); ii) el jugador 2 incurre en una pérdida r(i, α_t, b_t ) (se dice que el juego es de suma 0 porque lo que un jugador gana, el otro irremediablemente lo pierde), y iii) el sistema se mueve a un nuevo estado EC con una función de transición de probabilidad posiblemente no homogénea determinada por las tasas de transición [q(i |i, α, b)]. El objetivo del jugador 1 es maximizar su ganancia, mientras que para el jugador 2 es minimizar su pérdida respecto a algún criterio de desempeño, V_α, el cual se definirá posteriormente.

Sea X es un espacio polaco y denótese por B(X) su σ-álgebra de Borel, y por P(X) el espacio de Borel de medidas de probabilidad definidas de X, equipado con la topología de convergencia débil. Una estrategia markoviana para el jugador 1, denotada por π ¹, es una familia {πt1, t ≥ 0} de núcleos estocásticos que satisfacen: i) para cada t ≥ 0 e i∈ S, πt1(∙|i) es una medida de probabilidad de A tal que πt1Aii=1, y ii) para cada E∈B(A) e i∈ S, πt1(E|i) es una función Borel medible para t ≥ 0.

Sin pérdida de generalidad, en virtud de i), también se puede ver a πt1(∙|i) como una medida de probabilidad de A(i). Asimismo, se denotará por Π1m a la familia de todas las estrategias markovianas del jugador 1. Una estrategia markoviana π ¹ = {πt1∙it ≥ 0∈ Π1m} es llamada estacionaria si para cada i∈ S existe una medida de probabilidad πt1∙i∈ P(Ai) tal que πt1∙i∈ π1∙i para toda t ≥ 0. Esta política se denota mediante {πt1∙i, i∈ E}. El conjunto de todas las estrategias estacionarias del jugador 1 es denotada por EC. La misma notación es utilizada para el jugador 2, con P(B(i)) en lugar de P(A(i)). Para cada par de estrategias, π1,π2:={ πt1, πt2, t ≥ 0∈ Π1mxΠ2m, las tasas de ganancia y transición se definen, respectivamente, para cada i, j ∈ S y t ≥0, como:

y

En particular, cuando π1 y π2 son ambas estacionarias, las expresiones anteriores se escriben, por lo común, como q(j|i,π1,π2) y r(i, π1,π2), respectivamente. Considérese ahora la matriz Qt, π1,π2=[qj|i, t, π1,π2], una función de transición (tal vez subestocástica) p-s,i, t,j, π1,π2 para la cual Qt, π1,π2 es su matriz de tasas de transición, es decir,

para todo i, j ∈ S y s ≥0 es llamada un proceso del tipo Q. Un proceso de tipo Q,p-s,i, t,j, π1,π2] es llamado honesto si

para toda i, j ∈ S y s ≥0.

A continuación se define Π1 y Π2 como subconjuntos de estrategias markovianas que contienen a Π1s y Π2s y que satisfacen la condición de continuidad de las correspondientes tasas de transición para t ≥0 y para cada estrategia en Π1 y Π2. De esta manera, qj|i, t, π1,π2 es continua en t ≥0 para todo i, j ∈ S y π1,π2∈Π1xΠ2.

Para cada pareja de estrategias π1,π2∈Π1xΠ2, los datos iniciales (s, i) ∈ S -≔[0,∞ x S y un factor de descuento α > 0 el criterio de pago descontado Vαs, i, π1,π2] se define como

Las siguientes dos funciones:

y

definidas de S- son llamadas el valor inferior y el valor superior, respectivamente, del juego con pago descontado. Es claro que

Si L(s, i) = U(s, i) para toda (s, i)∈S- entonces a la función común se le llama el valor del juego y es denotada por V. Supóngase que el juego tiene un valor V, entonces una estrategia π*1 en Π1 se dice que es óptima para el jugador 1 si

Similarmente, π*2 en Π2 es óptima para el jugador 2 si

Si π*k∈Πk es óptima para el jugador k (k = 1, 2), entonces el par (π ^*1, π ^*2) es llamado una estrategia óptima.

Respecto al planteamiento anterior es importante destacar que ^{Guo y Hernández Lerma (2005a)} estudian juegos de suma 0 de dos personas para cadenas de Markov en tiempo continuo, con la posibilidad de que las utilidades y las tasas de transición sean no acotadas, esto según el criterio de utilidad total descontada.⁷ Estos autores proporcionan las condiciones en las cuales se garantiza la existencia del valor del juego y obtiene estrategias estacionarias óptimas mediante la ecuación de optimalidad de ^{Shapley (1953)}. Asimismo, ^{Guo y Hernández Lerma (2005a)} proponen un esquema de iteración de valores y demuestran su convergencia. El esquema converge hacia el valor del juego y también hacia estrategias estacionarias óptimas. Por otra parte, cuando las tasas de transición son acotadas, se demuestra que la convergencia de esquema de iteración de valores es exponencial. Otro trabajo relacionado es el de ^{Hernández Lerma y Lasserre (2001b)}, quienes analizan el caso de juegos estocásticos de suma 0 con dos jugadores en espacios de Borel con el criterio de pago promedio. Este criterio de ganancia (esperada) media se precisa a continuación. Para cada política de control medible f y x∈ℝn se define la ganancia promedio esperada de f dado el estado inicial x∈ℝn, con la tasa de ganancia r(t, x(t), f), como

La función

con x∈ℝn, es llamada la ganancia promedio óptima. Si existe una política f* para la cual

para toda x∈ℝn, entonces f* es llamada la política promedio óptima.

Respecto al esquema anterior, ^{Jasso Fuentes y Hernández Lerma (2008)} proporcionan las condiciones para la existencia de políticas rebasantes óptimas para una clase general de los procesos de difusión controlados. La caracterización es de tipo lexicográfico, es decir, en primer lugar se identifica la clase de las llamadas políticas canónicas y, posteriormente, dentro de esta clase se buscan políticas con alguna característica especial, por ejemplo, políticas canónicas que además maximizan el sesgo.⁸

Por otro lado, ^{Escobedo Trujillo y Hernández Lerma (2011)} estudian difusiones controladas moduladas con una cadena de Markov. Una difusión controlada modulada con una cadena de Markov es una ecuación diferencial estocástica de la forma

en la Ψ(t) es una cadena de Markov irreducible en tiempo continuo con un espacio de estados finito S ={1, 2,...,N} y probabilidades de transición

Para estados i ≠ j la cantidad q_ij es la tasa de transición de pasar de i a j, mientras que

Estos autores proporcionan las condiciones para la existencia y la caracterización de políticas rebasantes óptimas. Para ello, primero, utilizan el hecho de que la ganancia promedio de la ecuación de Hamilton, Jacobi Bellman asegura que la familia de las políticas de control canónicas es no vacío. Posteriormente, dentro de esta familia, se caracterizan las políticas canónicas que maximizan el sesgo y que son rebasantes óptimas.⁹

Asimismo, ^{Jasso Fuentes y Hernández Lerma (2007)} estudian una clase general de los procesos markovianos de difusión con ganancia media esperada (también conocido como ganancia ergódica) y proporcionan algunos criterios "sensibles" al descuento. Estos autores dan las condiciones con las cuales varios criterios de optimalidad son equivalentes. Otros trabajos relacionados se encuentran en: ^{Guo y Hernández Lerma (2003a)} al estudiar cadenas de Markov controladas en tiempo continuo; ^{Guo y Hernández Lerma (2003b)} al proporcionar condiciones de tendencia y monotonicidad para procesos markovianos de control en tiempo continuo con el criterio de pago promedio; ^{Guo y Hernández Lerma (2003c)} que analizan cadenas de Markov controladas en tiempo continuo con el criterio de pagos descontados, y ^{Hernández Lerma y Govindan (2001)} quienes investigan el caso de procesos markovianos de control no estacionarios con pagos descontados en un horizonte infinito.

Asimismo, ^{Guo y Hernández Lerma (2003d)} han estudiado juegos de suma 0 de dos personas para cadenas de Markov en tiempo continuo con un criterio de ganancia media (o promedio). Las tasas de transición pueden ser no acotadas, y las tasas de ganancia pueden no tener cotas superiores ni inferiores. Respecto a las condiciones de tendencia y monotonicidad de los procesos de Markov en tiempo continuo, estos autores proporcionan las condiciones en los datos primitivos de un sistema controlado, en las cuales se garantiza la existencia del valor del juego y un par de fuertes estrategias estacionarias óptimos mediante el uso de la ecuación de optimalidad de ^{Shapley (1953)}. Por último, presentan una caracterización de martingala de un par de estrategias óptimas estacionarias.

Por otra parte, ^{Guo y Hernández Lerma (2005b)} realizan un estudio de juegos de suma no 0 de dos personas para cadenas de Markov en tiempo continuo con el criterio de pago descontado en espacios de acción de Borel. Las tasas de transición son, posiblemente, no acotadas, y las funciones de pago podrían no tener cotas superiores ni inferiores. En este trabajo se proporciona las condiciones que garantizan la existencia de equilibrios de Nash en estrategias estacionarias. Para el caso de juegos de suma 0, demuestran la existencia del valor del juego, y también proporcionan una manera recursiva de calcularlo, o al menos aproximarlo. Estos autores también demuestran que si las tasas de transición están uniformemente acotadas, entonces un juego de tiempo continuo es equivalente, en cierto sentido, a un juego Markoviano en tiempo discreto.

Por último, ^{Guo y Hernández Lerma (2007)} extienden sus investigaciones de juegos de suma 0 de dos personas para procesos de Markov de saltos en tiempo continuo con un criterio de pago con descuento. Los espacios de estados y de acciones son espacios polacos (espacios métricos, separables y completos), las tasas de transición pueden ser no acotadas, y las tasas de ganancia pueden no tener cotas superiores ni inferiores. En este trabajo, los autores extienden los resultados en ^{Guo y Hernández Lerma (2003d)} a procesos markoviano de saltos en tiempo continuo.

Si se supone que J_T (f) denota la ganancia total esperada durante el intervalo de tiempo [0, T] cuando se utiliza la política de control f, y se define como

la ganancia promedio correspondiente, si f y f´son dos políticas tales que

para toda T > 0 y algún θ ∈(0,1) entonces se tienen dos políticas que producen la misma ganancia aunque sus ganancias en un horizonte finito son diferentes. Así, el criterio de ganancia promedio no distingue entre las políticas f y f´. Para evitar este comportamiento se impone condiciones con las cuales las ganancias en un horizonte finito de políticas estacionarias son forzosamente de la forma

en la que h_f (∙) es el sesgo de f y e(f, T) es el término residual que tiende a 0 cuando T →∞ En consecuencia, si f y f´ son dos políticas estacionarias con la misma ganancia promedio, entonces

Si además se supone que h_f (∙) ≥ h_f (∙), entonces la política f, la cual tiene un sesgo mayor, finalmente rebasará a f´ en el sentido de que para cualquier ɛ > 0 dado

para toda T suficientemente grande. En otras palabras, la maximización de la función de sesgo, dentro de la clase de políticas óptimas de ganancia, permite obtener la política con mayor crecimiento. Al respecto, ^{Escobedo Trujillo, López Barrientos y Hernández Lerma (2012)} tratan con juegos diferenciales estocásticos de suma 0 con ganancias promedio en el largo plazo. Su principal objetivo es proporcionar las condiciones para la existencia y caracterización de equilibrios óptimos en sesgo y rebasantes. Primero caracterizan la familia de estrategias óptimas de ganancias promedio. Posteriormente, en esta familia, se imponen condiciones adecuadas para determinar las subfamilias de los equilibrios en sesgo y rebasantes. Un aspecto esencial para conseguir esto es demostrar la existencia de soluciones de las ecuaciones de optimalidad de ganancia promedio. Esto se hace mediante el enfoque usual del "descuento desvaneciente". Asimismo, ^{Prieto Rumeau y Hernández Lerma (2005)} tratan con juegos markovianos de suma cero de dos personas en tiempo continuo con un espacio de estados numerable, espacios de Borel arbitrarios de acciones y tasas de transición y de ganancia (o costo) posiblemente no acotadas. Analizan la optimalidad en sesgo y los criterios de optimalidad rebasante.

Por su parte, ^{Álvarez Mena y Hernández Lerma (2006)} consideran juegos estocásticos no cooperativos de N personas con los criterios de ganancias descontadas. El espacio de estados se supone que es numerable y los conjuntos de acción son espacios métricos compactos. Estos autores obtienen varios resultados importantes. El primero se refiere a la sensibilidad o la aproximación de juegos restringidos. El segundo muestra la existencia de equilibrios de Nash para juegos restringidos con un espacio de estados finito (y un espacio acciones compacto). El tercero extiende las condiciones para la existencia de una clase de juegos restringidos, que se pueden aproximar por juegos restringidos con un número finito de estados y espacios de acción compactos.

Otras contribuciones que son relevantes en juegos estocásticos son ^{Rincón Zapatero (2004)} y ^{Rincón Zapatero et al (1998)} y ⁽²⁰⁰⁰⁾ que caracterizan en juegos diferenciales equilibrios de Nash de subjuegos perfectos; ^{Nowak (2003a)} y ^(2003b), y ^{Nowak y Szajowski (2003)} y ⁽²⁰⁰⁵⁾ analizan equilibrios de Nash de juegos estocásticos de suma 0 y no 0, y ^{Neck (1985)} y (¹⁹⁹¹) estudia juegos diferenciales entre la autoridad fiscal y el banco central.

III. Optimalidad de blackwell para procesos markovianos de difusión controlados

Los criterios de optimalidad más comunes para problemas de control óptimo con horizonte infinito son los de utilidad descontada esperada y utilidad promedio esperada. Estos dos criterios tienen objetivos opuestos: el primero distingue el desempeño en el corto plazo, ya que se desvanece para intervalos grandes, mientras que el segundo considera la conducta asintótica, ignorando simplemente lo que pasa en intervalos finitos. Como opción a estas dos situaciones extremas se considera los refinamientos del criterio de utilidad promedio tales como optimalidad rebasante, optimalidad en sesgo y los llamados criterios sensibles al descuento, los cuales incluyen optimalidad con m-descuentos para un entero m >-1 y optimalidad de Blackwell para m = +∞. Se les llama "refinamientos" porque se refieren a políticas de control que optiman la utilidad promedio. Al respecto, es importante resaltar que ^{Jasso Fuentes y Hernández Lerma (2009)} proporcionan algunos de estos refinamientos. Esto autores dan condiciones que garantizan la optimalidad con m-descuentos para cada entero m >-1 y también para la optimalidad de Blackwell cuando el sistema controlado es un proceso de difusión markoviano de la forma

aunque b ∙, ∙:ℝnx U→ℝn y σ∙:ℝn→ℝnxd son funciones dadas que satisfacen un conjunto de condiciones estándar y B(∙) es un movimiento browniano de dimensión d. El conjunto U⊂ℝm es llamado el conjunto de control (o acción) y u(∙) es un proceso estocástico U-evaluado que representa la acción del controlador a cada tiempo t ≥ 0.

IV. Control óptimo con procesos markovianos de difusión

En esta sección se establece el problema general de control óptimo estocástico, en el que las restricciones son procesos markovianos de difusión y se formula la técnica de programación dinámica con la cual se obtiene la ecuación diferencial parcial no lineal de Hamilton, Jacobi y Bellman (HJB), cuya solución caracteriza el control óptimo y con ello las trayectorias de las variables que optiman la función objetivo.¹⁰ El control óptimo estocástico es una técnica matemática utilizada para resolver problemas de optimación de sistemas dinámicos en ambientes de incertidumbre; como referencia básica véase ^{Hernández Lerma (1994)}. Es importante destacar que las aplicaciones del control óptimo estocástico, en tiempo continuo, en economía, se iniciaron con los trabajos ^{Merton (1969)} y (¹⁹⁷¹).¹¹

A continuación se establece el modelo matemático general del problema de control óptimo estocástico en tiempo continuo. Considérese un sistema dinámico en tiempo continuo con un horizonte temporal finito,[0, T]. Se definen, primero, las funciones μ(t, x, u) y σ(t, x, u) , dadas por,

Para un punto x∈ℝn considere la ecuación diferencial estocástica

en las que se considera al proceso n-dimensional X_t como el proceso de variables de estado, que se requiere controlar, el proceso k-dimensional u_t como el proceso de control, cuya correcta elección controlará a X_t , y W_t es un proceso de Wiener d-dimensional, definido en un espacio fijo de probabilidad con una filtración (Ω, F, (FtW) _{t∈ [0, T]} , ℙ).

Se define a continuación una regla de control admisible. Para tal efecto se considera la clase de procesos de control admisible como procesos cuyo valor u_t en el tiempo t es adaptado al proceso de estado X_t , el cual se obtiene mediante una función u,(x,t)

de manera que

u así definida es llamada regla de control de realimentación o estrategia markoviana. Ahora se impone a la restricción de que para cada t, ut∈U⊂ℝk en la que U es la clase de controles admisibles. Una regla de control u,(x,t) es admisible si: i) u t, x∈U, ∀t∈ℝ+, y ∀t∈ℝn y ii) para cualquier punto inicial (t, x) dado, la ecuación diferencial estocástica

y

tiene una única solución.

Dado que el problema de control óptimo por definir se encuentra en el marco estocástico, y toda vez que el proceso de estado es n-dimensional, será necesario definir las siguientes funciones y establecer el teorema fundamental del cálculo estocástico, llamado el lema de Itô (para el caso de n variables). Para cualquier regla de control u las funciones μ u y σu son definidas por

y se suponen con segundas derivadas continuas. El lema de Itô¹² para n variables de estado se establece a continuación.

Considérese la función y = f(t, x),x = (x ₁, x ₂, ..., x _n), la ecuación diferencial estocástica

y cualquier vector fijo ut∈ENTℝk, para cualquier regla de control u, se tiene

en la que ρ _ij es el coeficiente de correlación entre dW_jt y dW_it de manera que ρ_ij dt = Cov(dW_jt , dW_it ). Ahora bien, dada una regla de control ut=u(t,Xtu) con su correspondiente proceso controlado X ^u se utilizará la notación

Para definir la función objetivo del problema de control se considera las funciones:

y

en las que F evalúa el desempeño del sistema a lo largo del tiempo y Φ evalúa el final. Se supone que tanto F como Φ son de clase C². Se define la funcional objetivo del problema de control como J0:U →ℝ,

en la que X ^u es la solución de (3), con condición inicial X0=x0 y en en la que F 0 representa la información disponible al tiempo t = 0. El problema de control puede ser escrito como uno de maximización de la funcional J0(u), en u ∈U. Se define la funcional óptima por

Si existe la regla de control admisible u^ tal que

se define entonces a u^ como una regla de control óptimo para el problema dado.

Si se supone una pareja (t, x) fija en la que t ∈ [0, T] y x∈ℝn, el problema de control se puede definir como:

sujeto a

y a la restricción

La función de valor J:ℝ+x ℝnx U→ℝ está definida mediante

junto con las ecuaciones (5) y (6). La función de valor óptimo es

y está definida por

El objetivo, ahora, es caracterizar la función de valor en el control óptimo mediante una ecuación diferencial parcial, mejor conocida como la ecuación diferencial parcial (EDP) de HJB.¹³ Es importante destacar que la derivación que, a continuación, se hace de la ecuación de HJB es informal, pero ilustrativa. Supóngase que: i) existe una regla de control óptimo u y ii) la función de valor óptimo J ^ es de clase C ².

Considérese el par t,x∈0, Txℝn fijo pero arbitrario, y supóngase un incremento muy pequeño, de hecho diferencial, dt∈ℝ tal que t < t +dt < T. También se considera una regla de control fija pero arbitraria. Por tanto, dada la definición de la función de valor óptimo y el incremento d _t , se tiene la relación recursiva temporal,

A esta expresión se aplica en el primer sumando el teorema del valor medio de cálculo integral y en el segundo una expansión en serie de Taylor, de lo cual resulta

Después de simplificar, se tiene

En la expresión anterior se aplica el lema de Itô para obtener la diferencial estocástica de J^, así

en la que, como antes, ρ_ij satisface ρ_ij dt = Cov(dW_jt , dW_it ). Después de tomar valores esperados a los términos aleatorios de la ecuación anterior y dado que dW_it -n(0, dt), se obtiene

Ahora bien, si se divide entre dt y se toma el límite cuando dt→0

con lo cual se obtiene, finalmente, la EDP de HJB:

Toda vez que el análisis ha sido realizado en un punto fijo pero arbitrario, entonces la ecuación se sostiene para todo punto t,x∈0, Txℝn de manera que: i) J^ satisface la ecuación Hamilton, Jacobi y Bellman

ii) para cada (t,x)∈(0, T) x ℝnel máximo en la ecuación HJB es alcanzado por u = u^(t, x) A partir de la ecuación HJB se sigue que u es la única variable ya que y son fijos y las funciones F, J^, μiu, σju y σiu son consideradas como dadas. Si se supone que u ∈ U es óptimo, entonces se obtiene la siguiente ecuación diferencial parcial de segundo orden en J^

Al derivar dicha ecuación respecto a la variable de control, u se tiene la siguiente condición de primer orden:

La ecuación anterior caracteriza al control óptimo u en función de x y t y J^; es decir u^=u^(t, x, J^).

Para resolver la ecuación de HJB, en (9), y encontrar la trayectoria óptima del control, se procede a utilizar el método de funciones en variables separables, aunque es necesario recordar que, en general, es difícil obtener una solución explícita de la ecuación HJB. Sin embargo, en diversas aplicaciones en economía y finanzas la ecuación de HJB tiene una solución analítica; véase, al respecto, ^{Merton (1990)} y ^{Hakansson (1970)}.

Por último se establece el teorema de verificación. Supóngase que se tienen las funciones H (t, Xtu) y g(t, x), tales que i) H satisface la integral de Itô y es solución a la EDP HJB, es decir,

ii) La función g es una regla de control admisible; iii) para cada t,x∈0, Txℝn fijo pero arbitrario, el máximo en la ecuación HJB es alcanzado por la elección u = g(t, x).

Por tanto se tiene lo siguiente: i) la función de valor óptimo J^ del problema de control, está dada por J^t, Xtu=H (t, Xtu), y ii) existe una regla de control óptima u^ tal que u^t, x=g(t, x).

Estos conceptos se aplican, frecuentemente, en economía y finanzas en problemas de crecimiento económico, acumulación de capital y decisiones de consumo y de cartera. A continuación se realiza una revisión de diversas aplicaciones del control óptimo estocástico en economía y finanzas con restricciones definidas por procesos markovianos de difusión controlados. Por ejemplo, en ^{Venegas Martínez y González Aréchiga (2002)} se desarrolla un modelo estocástico para inmunizar el valor presente de un conjunto de flujos financieros esperados contra el riesgo de tasa de interés mediante el uso de contratos futuros. En su propuesta, la dinámica de la tasa de interés y sus futuros es conducida por procesos markovianos de difusión con reversión a la media, la cual toma un valor constante. El modelo destaca los conceptos de duración y convexidad monetaria en la administración del riesgo de tasa de interés. Estos autores, a manera de ilustración, generan estrategias de inmunización con futuros del MexDer cuando la estructura de plazos de la tasa de interés es generada con los modelos de Vasicek y Cox, Ingersoll y Ross (CIR).

Asimismo, ^{Venegas Martínez (2005)} desarrolla un modelo bayesiano para evaluar productos derivados con información previa de la volatilidad. La información anterior es dada en términos de valores esperados en los niveles y las tasas de precisión (el inverso de la varianza). En este caso, el activo subyacente es conducido por un proceso markoviano. El autor proporciona varias fórmulas aproximadas para la valoración de opciones europeas de compra, estos sobre la base de aproximaciones asintóticas y polinomiales de las funciones de Bessel.

En ^{Venegas Martínez y Fundia Aizenstat (2006)} la metodología de opciones reales se presenta como un instrumento para que los consejos de administración de las empresas tomen decisiones respecto a proyectos de inversión o estrategias de negocios cuando existe la flexibilidad (opcionalidad) de tomar en el futuro nuevas decisiones relacionadas con extender, contraer, posponer, enmendar o abandonar un proyecto o estrategia. Al respecto, el trabajo realiza una revisión de las diferentes fórmulas analíticas que aparecen en la bibliografía financiera especializada para evaluar la opcionalidad de estrategias en el supuesto de que el valor presente de los flujos de efectivo esperados sigue un proceso markoviano. En particular, se trata el caso de la toma de decisiones de venta o cierre de una empresa cuando el valor de mercado de sus títulos (de capital y deuda) excede el valor presente de los flujos de efectivo esperados o el valor presente de estos flujos es menor que cierto valor de recuperación. En este contexto se analiza el caso de una empresa mexicana de servicios satelitales de comunicación y de proyectos carreteros de inversión con el supuesto de volatilidad estocástica.

En ^{Venegas Martínez (2007)} se analiza las notas estructuradas más comunes en el mercado. Se presenta una descripción detallada de dichos instrumentos financieros destacando sus características particulares y dificultades técnicas en el proceso de evaluación. Debido a que la mayoría de las notas estructuradas que se negocian en el mercado financiero mexicano son certificados de depósito con garantía del capital inicial, el trabajo proporciona los elementos básicos que se requieren para su evaluación, como son los bonos cuponados flotantes y los productos de las tasas de interés. Asimismo, para la mayoría de las notas estructuradas planteadas se desarrolla modelos teóricos de evaluación.

Otros trabajos relacionados se encuentran en ^{Cruz Aké y Venegas Martínez (2010)} del valor de una empresa en riesgo de expropiación en un entorno de crisis financiera; ^{Venegas Martínez y Rodríguez Nava (2010)} estudian decisiones de cartera y consumo cuando el tipo de cambio y la tasa de interés siguen procesos markovianos; ^{Venegas Martínez (2009b)} desarrolla un modelo estocástico de equilibrio macroeconómico con hincapié en acumulación de capital, inflación y política fiscal; ^{Rodríguez Nava y Venegas Martínez (2008)} tratan con decisiones de producción de las empresas en condiciones de incertidumbre de precios; ^{Ortiz Arango, Venegas Martínez y Castillo Ramírez (2009)} examinan el efecto de la política fiscal en un ambiente con inflación estocástica; ^{Rivas Aceves y Venegas Martínez (2010)} estudian al gobierno como promotor del cambio tecnológico por medio de un modelo de crecimiento endógeno con trabajo, dinero y deuda; ^{Ortiz Ramírez, Venegas Martínez y López Herrera (2011)} evalúan una nota estructurada que vincula el rendimiento de un índice bursátil con los pagos de un bono y un derivado; ^{Bernal Ponce y Venegas Martínez (2011)} analizan el efecto de los productos derivados en los objetivos de política monetaria con un modelo macroeconómico de equilibrio general; ^{Gavira Durón y Venegas Martínez (2011)} tratan con decisiones óptimas de consumo y de cartera con un enfoque de precios de estado de Arrow y Debreu; por último, ^{Martínez Palacios, y Venegas Martínez (2011)} presentan una revisión del control óptimo estocástico en economía matemática.

V. Control óptimo estocástico en tiempo continuo con procesos markovianos combinados con saltos de poisson

De acuerdo con ^{Venegas Martínez (2008a)} y ^(2009b), Venegas Martínez supuesto de que los precios siguen una distribución log normal o que las tasas de crecimiento siguen una distribución normal es muy frecuente. En particular, es usual suponer que las variables financieras y económicas siguen un movimiento geométrico browniano, es decir, que las variables tienen tendencia exponencial y fluctuaciones normales. No obstante, existe en la bibliografía especializada evidencia empírica de que la mayoría de estas variables no se comportan de acuerdo con una distribución log normal. Una de las características que distingue a las variables financieras es que ocasionalmente se presentan movimientos inesperados (auges o caídas). Todos los inversionistas que mantienen activos desearían estar en un auge y no estar en una caída. Estos movimientos extremos ocurren con más frecuencia de lo que se esperaría con una distribución log normal, incluso si se supone una volatilidad razonablemente moderada.

En el análisis de observaciones, cuando se compara la distribución estandarizada empírica de una variable financiera con una distribución normal estándar, es común observar que la cresta de la distribución empírica es más alta que la de la normal estándar. Ahora bien, dado que ambas distribuciones tienen la misma desviación estándar, es decir, los mismos puntos de inflexión, entonces las colas de la distribución empírica tienen que ser forzosamente más anchas para compensar el área de la cresta, que en ambos casos debe ser igual a 1. La mezcla de procesos de difusión con procesos de saltos ofrece una opción idónea para el modelado de colas gordas y el sesgo de una distribución, además de que proporciona un ambiente más rico para generar dinámicas de diversas variables que no pueden concebirse con modelos que únicamente consideran movimientos brownianos.

Existe una tendencia creciente en la bibliografía económica que emplea el postulado de maximización de utilidad esperada con restricciones presupuestarias que incluyen procesos de difusión con saltos de Poisson para estudiar condiciones de equilibrio parcial o general. Considérese una economía que produce y consume un solo bien y está poblada por consumidores idénticos con vida infinita que maximizan su satisfacción por el bien de que se trate. De acuerdo con ^{Venegas Martínez (2009b)} se supone que los individuos perciben que el precio del bien, P _t, es conducido por un proceso estocástico de difusión con saltos, de tal forma que:

en el que π es el parámetro de tendencia, el cual representa la tasa de inflación promedio esperada condicional a que ningún salto ocurra, σ _p es la volatilidad esperada de la tasa de inflación y 1+ v_p es el tamaño promedio esperado de posibles saltos en el nivel general de precios. El proceso W_p,t es un proceso de Wiener estandarizado, es decir, W_p,t presenta incrementos normales independientes con E[dW_p,t ]=0 y Var[dW_p,t ]=dt. Se supone que los saltos en el nivel general de precios siguen un proceso de Poisson, Q _p,t , con parámetro de intensidad λ _p , de manera que

mientras que¹⁴

Por tanto, E[dQ _p,t ]=0 y Var[dQ _p,t ]= λ _p dt. En todo lo que sigue se supondrá también que W_p,t y Q _p,t no están correlacionados entre sí. La tendencia π, así como las componentes de difusión y salto σ _p dW_p,t y v_p dQ _p,t , respectivamente,se determinarán endógenamente.

El consumidor representativo cuenta con tres diferentes activos: dinero, M _t , títulos de deuda pública, B _t , y títulos de capital (acciones), K_t . En consecuencia, la riqueza real, α_t , del individuo está dada por:

en la que m_t =M_t /P_t son los saldos monetarios reales y b_t =B_t /P_t es la tenencia de bonos emitidos por el sector público en términos reales. El consumidor obtiene satisfacción por el consumo del bien genérico que produce la economía y por la tendencia de saldos reales debido a sus servicios de liquidez. Se supone que la función de utilidad esperada es del tipo von Neumann Morgenstern. Específicamente, la función de utilidad total descontada al tiempo t =0, V₀, , de un individuo representativo, competitivo y adverso al riesgo tiene la siguiente forma separable:

en la que E₀ es la esperanza condicional al conjunto de información relevante disponible al momento t = 0. En particular, se eligen u(c_t ) = θlog(c_t ) y v(m_t )= log(m_t ) con el propósito de generar soluciones analíticas. Por otra parte, la evolución de la acumulación de la riqueza real sigue la ecuación diferencial estocástica

en que

Nj,t≡jtat: proporción de la cartera en el activo j, j= m, b, k.

dRj,t: tasa de rendimiento real después de impuestos sobre el activo j, j= m, b, k.

dτt: impuestos a la riqueza.

τc: impuesto al consumo.

En el contexto anterior, ^{Venegas Martínez (2001)} desarrolla un modelo estocástico de un plan de estabilización de inflación basado en el tipo de cambio, en el que los agentes tienen expectativas de devaluación conducida por un proceso de difusión combinado con saltos de Poisson. El autor propone un ambiente estocástico más rico en el que un proceso markoviano conduce a la tasa de devaluación y un proceso de Poisson determina la probabilidad de devaluación, analiza la dinámica de equilibrio del consumo y la riqueza cuando un plan de estabilización se instrumenta. Asimismo, evalúa los efectos de choques exógenos en el consumo y el bienestar. Por último, utiliza el modelo propuesto para efectuar un experimento de simulación de la dinámica de equilibrio.

Por otra parte, ^{Venegas Martínez (2006a)} presenta un modelo estocástico de estabilización de precios que toma como un ancla nominal el tipo de cambio y que reconoce explícitamente el papel de la incertidumbre en la dinámica tanto del tipo de cambio como del ingreso laboral. En su propuesta supone que el tipo de cambio es conducido por un proceso combinado de difusión con saltos de Poisson, y el ingreso laboral del consumidor sigue un proceso markoviano. El autor supone que los mercados de productos derivados para cubrirse contra la inflación y los ingresos futuros no están disponibles, así que los mercados financieros son incompletos. ^{Venegas Martínez (2006a)} estudia la dinámica de las decisiones de consumo y de cartera cuando un plan de estabilización es implementado y cuando el ingreso laboral es incierto. Además evalúa los efectos en el bienestar de choques exógenos en las expectativas tanto de la devaluación y como de los ingresos. Por último, utiliza el modelo propuesto para realizar un experimento de simulación de Monte Carlo.

En ^{Venegas Martínez (2006b)} se presenta un modelo estocástico de un programa de estabilización de inflación con credibilidad imperfecta, que reconoce explícitamente la incertidumbre tanto en la dinámica esperada del tipo de cambio como en el comportamiento esperado de la política fiscal. El autor supone que el tipo de cambio es guiado por un proceso combinado de difusión con saltos, y que la tasa de impuestos sobre la riqueza sigue un proceso markoviano. En este escenario, se supone que los productos derivados para cobertura contra una devaluación futura no están disponibles, por lo que los mercados financieros son incompletos. Examina la dinámica de equilibrio de las decisiones de consumo y de cartera cuando un plan de estabilización se lleva a cabo y los impuestos sobre la riqueza se pagan a una tasa incierta. También evalúa los efectos de choques exógenos en el bienestar económico debido a una devaluación o a un incremento de los impuestos.

^{Venegas Martínez (2008b} y ^2009a) desarrolla un modelo estocástico de una economía pequeña, abierta y monetaria en el que los agentes son adversos al riesgo de mercado y tienen expectativas de la dinámica del tipo de cambio conducidas por un proceso markoviano combinado con un proceso de saltos de Poisson. La magnitud esperada de una posible depreciación del tipo de cambio se supone que sigue una distribución de valor extremo del tipo Fréchet. En este artículo se obtiene una solución analítica del precio de la opción real de espera cuando el consumo se puede posponer (una opción que no se negocia). Por último, se emplea simulación de Monte Carlo para calcular aproximaciones numéricas de la prima de la opción real.

Por su parte, ^{Venegas Martínez (2010a)} propone un modelo de crecimiento estocástico endógeno en el que el tipo de cambio es impulsado por un proceso mixto de difusión con saltos de Poisson, y la tasa de impuesto sobre la riqueza se rige por un proceso markoviano. El autor combina la tecnología "Ak" con el comportamiento de agentes adverso al riesgo a fin de obtener las tasas de crecimiento del consumo, de capital y el producto.

En ^{Venegas Martínez (2010b)} se desarrolla, en el supuesto de una economía monetaria, pequeña y abierta, un modelo estocástico de estabilización inflacionaria en el que el tipo de cambio actúa como un ancla nominal y la credibilidad es imperfecta. Las expectativas de los agentes son conducidas por dos procesos: una de difusión con saltos para la tasa de devaluación en en el que el tamaño de una posible devaluación tiene una distribución de valores extremos y otra de volatilidad estocástica con reversión a la media (la versión continua de un modelo GARCH(1,1)). Lo anterior con el fin de modelar de manera adecuada una tasa de inflación considerablemente más persistente que una tasa de devaluación; como lo muestran los hechos estilizados de devaluaciones extremas registradas en México en 1994 y en Argentina en 2001. Se supone que no existe un mercado de coberturas contra posibles devaluaciones, es decir, los mercados son incompletos. Con este esquema se examina las soluciones interiores y de esquina cuando un plan de estabilización con credibilidad imperfecta es aplicado. Se realiza también un experimento en el que la tasa media esperada de inflación toma un valor mayor a partir de cierto tiempo en el futuro y permanece allí para siempre, tomando en cuenta las probabilidades de que dicha política monetaria ocurra. Se estudia el caso de un horizonte estocástico de estabilización con distribución exponencial. Asimismo, se evalúa la opción real de posponer consumo cuando se espera que un plan de estabilización sea abandonado. Por último se estudia los efectos de choques exógenos en el consumo y el bienestar económico.

^{Venegas Martínez (2011)} desarrolla un modelo estocástico de crecimiento endógeno que explica cómo los factores de riesgo: cambiario, mercado, deuda y fiscal, afectan al crecimiento económico en el marco de libre mercado. Se supone que el tipo de cambio es conducido por un proceso de difusión combinada con saltos ascendentes de Poisson. Asimismo se utiliza el modelo propuesto para realizar un experimento de simulación que copia la media observada y la varianza de la tasa de crecimiento de la producción en México durante un cierto periodo.

VI. Modelos de series de tiempo y cadenas de Markov

Al estudiar la dinámica de variables económicas y financieras ocasionalmente se observan cambios drásticos o rupturas importantes en su comportamiento. Muchas veces estos cambios están asociados a hechos específicos que se pueden identificar. Como ejemplo de hechos que son identificables y cuya ocurrencia produce cambios notorios en el comportamiento de las series de tiempo se encuentra el caso de una crisis financiera; véase, al respecto, los trabajos de ^{Jeanne y Masson (2000)}, ^{Cerra y Saxena (2005)} y ^{Hamilton (2005)}. Los cambios abruptos que son inducidos por modificaciones en las políticas gubernamentales también se pueden citar entre los ejemplos de hechos cuya ocurrencia produce rupturas estructurales en el comportamiento de las series de tiempo, como puede verse en ^{Hamilton (1988)} y ^{Davig (2004)}.

Evidentemente, el comportamiento de largo plazo en las series de tiempo de variables económicas y financieras es un asunto de gran importancia para el análisis empírico. Cuando existen cambios estructurales en la dinámica de dichas series de tiempo es importante considerar, como lo sugieren ^{Domingo y Tonella (2000)}, que las características importantes en las series analizadas pueden cambiar, apareciendo incluso peculiaridades que antes de la ruptura estructural no estaban presentes o no se manifestaban plenamente. Por lo anterior, para efectos del modelado econométrico, es importante verificar la existencia de cambios en la estructura de las series de tiempo que se analizan pues de otra manera no se tendrá información confiable de la naturaleza de las series y los fenómenos económicos y financieros que motivaron el análisis. En conclusión, el análisis de los cambios que se observa en el comportamiento de las variables económicas ante hechos específicos es un asunto de importancia, tanto para la teoría como para la elaboración de políticas eficaces.

Una forma en que tradicionalmente se han incluido en el análisis econométrico las rupturas estructurales es la incorporación de variables tipo ficticio (dummy) en los modelos de series de tiempo. Este enfoque es particularmente aplicable cuando se conocen a priori tanto el periodo de ocurrencia como la duración del hecho que presuntamente induce la modificación en el comportamiento de la variable dependiente. A pesar de las ventajas de un procedimiento tan sencillo, es de destacarse que no forzosamente se conocen siempre los hechos que afectan el comportamiento de cierta variable, o al menos no se conocen con certeza el inicio y el fin de esos hechos. Además, a veces lo importante es cómo son afectadas las relaciones entre un grupo de variables por un hecho o hechos, es decir, el interés puede estar enfocado más bien en entender el comportamiento de los parámetros que relacionan a diversas variables en diferentes regímenes.

Existen diversas propuestas que se encuentran actualmente disponibles en la bibliografía para modelar los cambios en el comportamiento de los parámetros de un modelo econométrico. Entre estas propuestas se considera como una de las más relevantes la de ^{Hamilton (2008)}, quien plantea que si el valor de los parámetros de un proceso de series de tiempo presenta rupturas, entonces la descripción completa del proceso que genera los datos debe incluir una especificación de la ley de probabilidad que gobierna dichos cambios. Un ejemplo de ese enfoque lo constituye ^{Hamilton (1989)}, quien sigue las ideas establecida en ^{Cosslett y Lee (1985)} y extiende los alcances de ^{Goldfeld y Quandt (1973)} y ^{Neftci (1984)}, desarrollando un modelo markoviano de cambio de regímenes (Markov Switching Regimes) en el cual el comportamiento de los parámetros evoluciona de acuerdo con las realizaciones de una cadena de Markov que no es observable. ^{Hamilton (1989)} mostró cómo se pueden modelar los cambios ocasionales y discretos en la tasa media de crecimiento de una serie no estacionaria, poniendo como ejemplo la aplicación de su técnica en el análisis del producto real de los Estados Unidos después de la segunda Guerra Mundial.

De manera por demás resumida se puede decir que el modelo markoviano de cambio de regímenes comprende diversas estructuras (ecuaciones) mediante las cuales se puede caracterizar el comportamiento de una serie de tiempo en diferentes regímenes. Así, al permitir que haya cambios entre las diferentes estructuras, el modelo es capaz de captar pautas complejas en la dinámica de la serie. Como se ha señalado líneas arriba, se puede considerar como una característica distintiva de este modelo que los cambios de régimen se producen mediante un mecanismo que está controlado por una variable de estado que no es observable y que sigue en el transcurso del tiempo una cadena de Markov de primer orden.

Dado que la propiedad markoviana regula el proceso, el valor actual de la variable de estado depende únicamente de su valor inmediato pasado. Por lo anterior, una estructura puede prevalecer durante un periodo (aleatorio), siendo remplazada por otra estructura cuando ocurre un cambio de estado. Las características del modelo de Hamilton hacen que éste sea diferente del modelo considerado por Goldfeld y Quandt (1973) en el que los hechos de cambio no dependen del tiempo. Además, es conveniente destacar que el mecanismo implícito en el modelo markoviano de cambio de regímenes propuesto por Hamilton permite cambios aleatorios en el tiempo, lo que lo hace diferente también del modelado tradicional de cambios estructurales por medio de variables ficticias (dummy) en las que los cambios son de naturaleza exógena. Por lo anterior, el modelo de regímenes con cambio markoviano resulta sumamente conveniente para describir datos que exhiben en su dinámica pautas distintas en momentos o periodos diferentes. Actualmente, se puede considerar al modelo propuesto por Hamilton como uno de los más populares entre los modelos no lineales de series de tiempo con numerosas aplicaciones en el estudio de la economía y las finanzas.

Además de la variabilidad que se observa en la volatilidad de las series de rendimientos financieros a lo largo del tiempo, se ha observado que las distribuciones de probabilidades de esas series también exhiben excesos de curtosis y colas pesadas que las hacen apartarse del comportamiento de una distribución normal. Entre las explicaciones que se han ofrecido para esos hechos estilizados, se encuentra la que postula que la distribución de los rendimientos de un activo financiero es una mezcla de distribuciones normales con varianzas diferentes. Con base en este supuesto, ^{Hamilton (1988)} propone un proceso estocástico para modelar la volatilidad de los rendimientos de activos financieros considerando que la volatilidad varía en el tiempo según una cadena de Markov cuya distribución discreta de probabilidades tiene dos estados:

en los que σt>0, σbaja<σalta. De esta manera, la probabilidad de pasar al régimen de alta volatilidad viniendo del régimen de baja volatilidad sólo depende del último estado en que se encontraba el proceso. En otras palabras, la probabilidad de transición del estado de baja volatilidad al de alta está dada por:

y la probabilidad de transición del régimen de alta volatilidad alta al régimen de baja volatilidad está dada por:

Así, los rendimientos se distribuyen N(μ,σbaja2) en el régimen de baja volatilidad y N(μ,σalta2) cuando los rendimientos están en el régimen de alta volatilidad. El supuesto de que {σt} es un proceso estrictamente estacionario y estocásticamente independiente del proceso que modela el premio al riesgo {ut} permite derivar fórmulas para los momentos de rt-μ=σtut; como lo señala ^{Taylor (2005)}. De esta manera, se tiene que E(rt)=μ y Varrt=[σt2]. La varianza no condicional de los rendimientos satisface:

Un resultado de lo anterior es que la densidad no condicional de los rendimientos es una mezcla de densidades normales:

En la ecuación (14), Ψ(∙│∙)representa la función de densidad normal. También, con base en los supuestos sobre {σt} y {ut}, se tiene que:

^{Pagan (1996)} muestra que ξt es un ruido blanco según la descomposición de Wold de un proceso estacionario, incluso aunque ξt no sea iid. Así, de acuerdo con (15), se tiene que {σt2} sigue un proceso AR(1) con un parámetro autorregresivo:

el cual mide la persistencia de la volatilidad, por lo que en aplicaciones empíricas se puede esperar un valor estimado cercano a 1.

Dado que la información de los rendimientos no es suficiente para identificar el estado de la volatilidad en algún momento, se tiene que recurrir a las probabilidades condicionales del régimen o estado en que se encuentra la volatilidad, condicionando el estado actual al comportamiento del historial de rendimientos anteriores se definen:

en el que Ωt-1 es el conjunto de información formado por el historial de los rendimientos hasta el periodo t-1. Si se supone que se conocen p_t-1 y q _t-1 mediante Ωt-2, estas probabilidades a priori se pueden revisar con base en el teorema de Bayes una vez que r_t-1 está disponible para obtener las probabilidades a posteriori:

A partir de las probabilidades de transición de la cadena de Markov, se obtienen las probabilidades anteriores:

Combinando (18) y (19) se obtienen las probabilidades condicionales:

La densidad condicional de r_t , dado Ωt-1, es también una mezcla de distribuciones normales:

Finalmente, la varianza condicional está dada por:

En conclusión, las estimaciones de las probabilidades condicionadas, así como de las probabilidades de transición y las varianzas condicionadas se pueden obtener como subproductos de la estimación de los parámetros de interés μ ,σ_baja , σ_alta, p y φ. Dicha estimación puede realizarse al maximizar la función de verosimilitud, es decir, la suma de los logaritmos de las contribuciones individuales que para cada observación hace la ecuación (21). Vale la pena destacar que gracias a este algoritmo propuesto por Hamilton, por ello conocido como filtro de Hamilton, se pueden obtener como subproductos de la estimación las probabilidades de transición entre los regímenes y las probabilidades filtradas que permiten caracterizar dichos regímenes.

En ^{López Herrera et al (2011)} se aplica este modelo al estudio de la volatilidad del tipo de cambio del peso mexicano frente al dólar durante el periodo de flotación del peso, identificando dos regímenes en la volatilidad cambiaria. Se observó que la volatilidad del tipo de cambio analizado es menos persistente en comparación con lo observado en otros tipos de cambios. También se encontró que es alta la probabilidad de que prevalezca el régimen de baja volatilidad, en tanto que es baja la probabilidad de que el tipo de cambio pase de volatilidad alta a la baja. En resumen, se puede decir que los resultados son congruentes con una situación de relativa estabilidad en la paridad cambiaria. Con base en el mismo modelo, ^{López Herrera y Venegas Martínez (2011)} analizan el comportamiento de la volatilidad del mercado accionario mexicano y ^{López Herrera y Venegas Martínez (2012a)} el de la volatilidad del mercado mundial de capitales durante la crisis financiera mundial reciente. En ambos casos se pudieron identificar dos regímenes en la volatilidad, lo que permitió caracterizar el comportamiento de manera congruente con los hechos que tuvieron lugar en los mercados financieros como consecuencia de la crisis subprime y sus secuelas.

Otra aplicación de la metodología de regímenes con cambios markovianos es el estudio de la volatilidad de los rendimientos del mercado accionario mexicano realizado por ^{López Herrera et al (2012)} considerando que esos rendimientos siguen un proceso autorregresivo de orden 2, en el cual existen tres regímenes en la volatilidad y ésta sigue un proceso ARCH. Estos autores consideran datos diarios entre el 19 de abril de 1990 y el 13 de abril de 2011 identificando tres regímenes distintos en la volatilidad del índice de precios y cotizaciones (IPC) del mercado bursátil mexicano.

Por otra parte, ^{López Herrera y Venegas Martínez (2012b)} también han utilizado la metodología de regímenes con cambios markovianos para estudiar la interacción entre las economías de México y Estados Unidos a la luz de la dinámica cambiante de sus ciclos económicos que se ha observado en términos reales en el periodo 1930-2010. Dicho análisis lo realizan mediante la especificación de un modelo de vectores autorregresivos con cambios markovianos (MS-VAR), según el cual los valores de los parámetros del VAR cambian de acuerdo con el régimen en que se encuentren al momento t. Los resultados del análisis muestran que a partir del proceso de apertura y liberación de la economía mexicana se genera un proceso de sincronización entre el desempeño económico de ambos países, claramente diferente al comportamiento del producto mexicano en el periodo denominado de sustitución de importaciones, en el cual los vínculos entre ambas economías son casi nulos. Es conveniente destacar que en el estudio se encontró también que, a pesar de la mayor sincronización, la contribución de la economía estadunidense al desempeño de la mexicana no es tan significativa en términos reales como cabría esperar.

VII. Redes bayesianas y cadenas de Markov y simulación Monte Carlo (MCMC)

Una red bayesiana (RB) es una gráfica que representa el dominio de las variables de decisión, las relaciones cuantitativas y cualitativas de éstas y sus medidas de probabilidad. Una RB también puede incluir funciones de utilidad que representan las preferencias del tomador de decisiones. Una característica importante de las RB es su forma gráfica, lo cual permite representar de manera visual, más o menos sencilla, complicados razonamientos probabilísticos. Otro aspecto por destacar es la parte cuantitativa de las RB, ya que permiten incorporar elementos subjetivos, como lo son la opinión de expertos, así como probabilidades basadas en datos estadísticos. Tal vez, la característica más importante de una RB es que es una representación directa del mundo real y no un proceso de razonamiento.

Las redes bayesianas son gráficas dirigidas acíclicas (GDA). Una gráfica es definida como un conjunto de nodos unidos por arcos. Si entre cada par de nodos hay una relación de precedencia representada por arcos, entonces la gráfica es dirigida. Un ciclo es una trayectoria que inicia y termina en el mismo nodo. Una trayectoria es una serie de nodos contiguos conectados por arcos dirigidos. Cada nodo en una RB se asocia con un conjunto de tablas de probabilidades. Los nodos representan las variables de interés, las cuales pueden ser discretas o continuas. Una red causal de acuerdo con ^{Pearl (2000)} es una RB con la propiedad adicional de que los nodos "padres" son las causas dirigidas. La definición formal de una RB, de acuerdo con ^{Jensen (1996)}, está dada por:

Sea X={x1, x2,..., xn} una variable aleatoria con función de distribución conjunta definida por P(X)={x1, x2,..., xn}. Las redes bayesianas proporcionan una representación compacta de P(X)al factorizar la distribución conjunta en una distribución condicional local para cada variable dado sus "padres". Sea pα(x_i ) el conjunto de valores que toman los nodos "padres" de la variable x, entonces la distribución conjunta total está dada por P=x1, x2,..., xn=πxi│ pα(xi.

Por ejemplo, respecto a la Gráfica 1, su probabilidad conjunta total está dada por:

La estructura independiente de la red se verifica con la siguiente expresión:

De lo anterior se concluye que cuando se mantiene el supuesto de independencia en la construcción de la RB, el número de probabilidades condicionales que tienen que ser calculadas se reduce considerablemente.

Una red bayesiana es empleada básicamente para inferencia por medio del cálculo de las probabilidades condicionales, dada la información disponible hasta el momento, para cada nodo (creencias). Existen dos clases de algoritmos para el proceso de inferencia, el primero genera una solución exacta y el segundo produce una solución aproximada con alta probabilidad. Entre los algoritmos de inferencia exacta se tienen, por ejemplo: polytree, clique tree, junction tree, algorithms variable elimination y method of Pear. El uso de soluciones aproximadas es motivado por el crecimiento exponencial de tiempo de procesamiento requerido para soluciones exactas; de acuerdo con ^{Guo y Hsu (2002)} este tipo de algoritmos puede agruparse en stochastic simulation, model simplification methods, search based methods y loopy propagation methods, el más conocido es el de simulación estocástica, el cual se divide en importance sampling algorithms y Markov Chain Monte Carlo (MCMC) methods.

El método MCMC es una técnica de simulación que puede utilizarse con el fin de generar una muestra dependiente de la distribución de interés. Formalmente, el método MCMC inicia especificando una cadena de Markov irreducible y aperiódica con una distribución única invariante (𝑥) igual a la distribución deseada de interés (o distribución de destino). El siguiente paso es simular una o más realizaciones de esta cadena de Markov. Con cada trayectoria simulada se formará una muestra aleatoria dependiente de la distribución de interés; satisfaciendo ciertas condiciones de regularidad. Posteriormente, estas trayectorias muestrales pueden ser utilizadas para propósitos de inferencia. En (2),... , es una realización de la cadena, entonces de acuerdo con resultados asintóticos (por ejemplo, véase, ^{Tierney, 1994}) se tiene que:

y

La ecuación (23) indica que cuando t es moderadamente grande, X(t) es una muestra aleatoria de la distribución de interés. En la práctica, un valor de t = 10 a 15 es a menudo más que suficiente. La ecuación (24) indica que si h es una función real integrable arbitraria de X, entonces el promedio de esta función tomada de los valores de X(t) (la media ergódica de la función) converge (casi seguramente) cuando t → ∞ a su valor esperado con la densidad objetivo.