x
1

Cadenas de Markov



En la teoría de la probabilidad, se conoce como cadena de Márkov o modelo de Márkov a un tipo especial de proceso estocástico discreto en el que la probabilidad de que ocurra un evento depende solamente del evento inmediatamente anterior. Esta característica de falta de memoria recibe el nombre de propiedad de Markov.

Recibe su nombre del matemático ruso Andréi Márkov (1856-1922), que lo introdujo en 1906.[1]

Estos modelos estadísticos cuentan con un gran número de aplicaciones reales.

En matemáticas, una Cadena de Markov es un proceso estocástico a tiempo discreto con espacio de estados discreto que para cualquier entero y para cualesquiera satisface

a esta propiedad se le conoce como propiedad de Markov.

Se dice que una Cadena de Markov es homogénea si la probabilidad de ir del estado al estado en un paso no depende del tiempo en el que se encuentra la cadena, esto es:

para todo y para cualquier .

Si para alguna pareja de estados y para algún tiempo la propiedad antes mencionada no se cumple entonces diremos que la Cadena de Markov es no homogénea.

Sean y dos estados de una Cadena de Markov, a la probabilidad de ir del estado en el tiempo al estado en el tiempo se denota por

y cuando la cadena es homogénea, se denota por

que representa la probabilidad de pasar del estado al estado en una unidad de tiempo.

Teniendo las probabilidades de transición en un paso , si variamos los índices sobre el espacio de estados obtenemos la matriz llamada matriz de probabilidades de transición en un paso, es decir

donde la entrada representa la probabilidad de pasar del estado al estado en un paso.

La matriz esta es una matriz estocástica pues satisfcae

Similarmente se define la matriz de probabilidades de transición en pasos, esta se denota por y está dada por

donde la entrada representa la probabilidad de pasar del estado al estado en pasos.

Para cualesquiera tales que y para cualesquiera estados se cumple

Como consecuencia de este resultado, la probabilidad de transición en pasos, , está dada por la entrada de la -ésima potencia de la matriz de probabilidades de transición en un paso, es decir

Con lo anterior, el problema de calcular las probabilidades de transición en pasos se convierte en halla la -ésima potencia de la matriz de probabilidades de transición en un paso, esto es

Para dos estados y en el espacio de estados , diremos que el estado es accesible desde el estado y escribiremos si tal que

si y entonces diremos que el estado se comunica con el estado y escribiremos .

La propiedad "" es una relación de equivalencia. Esta relación induce una partición del espacio de estados. A estas clases de equivalencia las llamaremos clases de comunicación.

Dado un estado , denotaremos a su clase de comunicación como , por lo que si y sólo si .

Si entonces se dice que la cadena es irreducible.

El periodo de un estado se define como:

donde denota el máximo común divisor.

Una cadena de Márkov se dice aperiódica si todos sus estados son aperiódicos, es decir, si .

Si , definimos el tiempo de primera visita a como la variable aleatoria

esto es, denota la primera vez que la cadena entra al conjunto de estados .

Se define

como la probabilidad de que una cadena que inicia en el estado llegue al estado por primera vez en pasos, donde .

En particular, cuando , denota la probabilidad de regresar por primera vez al estado en pasos.

Y se definen

como la probabilidad de una eventual visita a partir del estado al estado y

como la probabilidad de regresar partir del estado y regresar a él mismo en un tiempo finito.

En una cadena de Markov con espacio de estados , diremos que:

o utilizando las probabilidades de transición en pasos:

La recurrencia es una propiedad de clase pues

Se define como el tiempo medio de recurrencia de un estado recurrente a partir del estado como la esperanza de

y se denota por

Esta esperanza representa el número de pasos promedio que a la cadena le toma regresar al estado recurrente .

En particular, cuando escribimos en lugar de .

Se dice que un estado recurrente es

La recurrencia positiva es una propiedad de clase pues

Se dice que el vector es una distribución de probabilidad si

Se dice que una distribución de probabilidad es estacionaria para una Cadena de Markov con matriz de probabilidades de transición si

En forma matrícula lo anterior es equivalente a y significa que si una variable aleatoria inicial tiene una distribución entonces la distribución de también es , es decir, esta distribución no cambia con el paso del tiempo.

Para encontrar una posible distribución estacionaria de una cadena con matriz , un método consiste en resolver el sistema de ecuaciones

La distribución estacionaria puede no ser única o incluso no existir.

Si una Cadena de Markov es irreducible y recurrente positiva entonces tiene una única distribución estacionaria y esta está dada por

donde es el tiempo medio de recurrencia del estado .

Si una cadena de Markov es

entonces para cualesquiera

Si una cadena de Markov es

entonces las probabilidades límite

existen, están dadas por

y constituyen la única solución al sistema de ecuaciones

Una cadena de Markov se dice irreducible si se cumple cualquiera de las siguientes condiciones (equivalentes entre sí):

La cadena de Ehrenfest o la caminata aleatoria sin barreras absorbentes son ejemplos de cadenas de Márkov irreducibles.

Una cadena de Markov se dice recurrente positiva si todos sus estados son recurrentes positivos. Si la cadena es además irreducible es posible demostrar que existe un único vector de probabilidad invariante y está dado por:

Una cadena de Márkov se dice regular (también primitiva o ergódica) si existe alguna potencia positiva de la matriz de transición cuyas entradas sean todas estrictamente mayores que cero.

Cuando el espacio de estados es finito, si denota la matriz de transición de la cadena se tiene que:

donde es una matriz con todos sus renglones iguales a un mismo vector de probabilidad w, que resulta ser el vector de probabilidad invariante de la cadena. En el caso de cadenas regulares, este vector invariante es único.

Una cadena de Márkov con espacio de estados finito se dice absorbente si se cumplen las dos condiciones siguientes:

Si denotamos como A al conjunto de todos los estados absorbentes y a su complemento como D, tenemos los siguientes resultados:

donde la submatriz Q corresponde a los estados del conjunto , es la matriz identidad, es la matriz nula y alguna submatriz.

Si en lugar de considerar una secuencia discreta con indexado en el conjunto de números naturales, se consideran las variables aleatorias con que varía en un intervalo continuo del conjunto de números reales, tendremos una cadena en tiempo continuo. Para este tipo de cadenas en tiempo continuo la propiedad de Márkov se expresa de la siguiente manera:

Para una cadena de Márkov continua con un número finito de estados puede definirse una matriz estocástica dada por:

La cadena se denomina homogénea si . Para una cadena de Márkov en tiempo continuo homogénea y con un número finito de estados puede definirse el llamado generador infinitesimal como:[2]

Y puede demostrarse que la matriz estocástica viene dada por:

Si consideramos el tiempo atmosférico de una región a través de distintos días, es posible asumir que el estado actual solo depende del último estado y no de toda la historia en sí, de modo que se pueden usar cadenas de Markov para formular modelos climatológicos básicos. Por ejemplo, se han desarrollado modelos de recurrencia de las lluvias basados en cadenas de Markov.[3]


Una importante aplicación de las cadenas de Markov se encuentra en el proceso Galton-Watson. Este es un proceso de ramificación que se puede usar, entre otras cosas, para modelar el desarrollo de una epidemia (véase modelaje matemático de epidemias).

El pagerank de una página web (usado por Google en sus motores de búsqueda) se define a través de una cadena de Markov, donde la posición que tendrá una página en el buscador será determinada por su peso en la distribución estacionaria de la cadena.

Las cadenas de Márkov son utilizadas para proveer una solución analítica a ciertos problemas de simulación, por ejemplo en teoría de colas el Modelo M/M/1[4]​ es de hecho un modelo de cadenas de Markov.

Son muchos los juegos de azar que se pueden modelar a través de una cadena de Márkov. El modelo de la ruina del jugador, (Gambler's ruin), que establece la probabilidad de que una persona que apuesta en un juego de azar finalmente termine sin dinero, es una de las aplicaciones de las cadenas de Márkov en este rubro.

Las cadenas de Márkov se pueden utilizar en modelos simples de valuación de opciones para determinar cuándo existe oportunidad de arbitraje, así como en el modelo de colapsos de una bolsa de valores o para determinar la volatilidad de los precios. En los negocios, las cadenas de Márkov se han utilizado para analizar los patrones de compra de los deudores morosos, para planear las necesidades de personal y para analizar el reemplazo de equipo.

Se emplean cadenas de Márkov en teoría de genética de poblaciones, para describir el cambio de frecuencias génicas en una población pequeña con generaciones discretas, sometida a deriva genética. Ha sido empleada en la construcción del modelo de difusión de Motō Kimura.

Diversos algoritmos de composición musical usan cadenas de Márkov, por ejemplo el software Csound o Max. Uno de los compositores que usó esta técnica en sus composiciones fue Iannis Xenakis con su obra Analoguique A et B (1958–59).

Se emplean cadenas de Márkov en inventarios, mantenimiento y flujo de proceso.

Se utilizan en las máquinas de Boltzmann.



Escribe un comentario o lo que quieras sobre Cadenas de Markov (directo, no tienes que registrarte)


Comentarios
(de más nuevos a más antiguos)


Aún no hay comentarios, ¡deja el primero!