TEORIA DE LAS DECISIONES

CÓDIGO: 212066

Phase 6 - Solve problems by applying the algorithms

Unit 3 - Márkov decision processes

Presentado a:
PAULA ANDREA CARVAJAL
Tutor

Presentado por:

Martha Yohana Alba Sánchez Cód: 1.056.930.379

Iván Darío Gómez Cod: 1070969636
Leidy Andrea Ramírez Zuluaga Cod: 1048293928
Juan Andrés Salazar López Cod: 1065373643

Grupo: 212066_15

UNIVERSIDAD NACIONAL ABIERTA Y A DISTANCIA - UNAD

ESCUELA DE CIENCIAS BÁSICAS TECNOLOGÍA E INGENIERÍA
Noviembre
Bogotá
2018
 INTRODUCCION

Por medio de este trabajo se espera apropiarse de los temas que abarcan la unidad 3,
los cuales nos van a contribuir para lograr comprender la temática que se desarrollara
durante el tiempo que dure la unidad en pro de desarrollar cada problema indicado en la
guía de actividades.

El estudiante puede trabajar en el curso de teoría de las decisiones, donde busca

comprender los métodos, operaciones y las definiciones de las diferentes técnicas de
optimización y aplicación en las decisiones que dependen del tipo y la calidad de la
información obtenida durante la aplicación de cada temática.

En esta actividad se emplean las diferentes herramientas ofrecidas por la universidad,

en este caso se realiza el desarrollo de actividades como Historical accident data,
Probabilities of change and permanece in the company of Telephony, Probabilities of
change and permanence in the Brand con el fin de reconocer las diferentes situaciones
y poder dar soluciona a las mismas en diferentes contextos que se pueden encontrar en
la vida cotidiana.

Nos introduciremos en los conceptos de cadenas de Márkov realizando diferentes

ejercicios expuestos en la guía de aprendizaje con el cual afianzaremos los
conocimientos y pondremos en práctica lo aprendido, para ello le daremos respuesta a
algunos ejercicios de la guía de aprendizaje.
 Develop the following Activities
Problem 1. Markov chains (steady state):
XYZ insurance company charges its customers according to their accident history. If
you have not had accidents the last two years will be charged for the new policy $
1,730,000 (state 0); if you have had an accident in each of the last two years you will be
charged $ 2,280,000 (State 1); If you had accidents the first of the last two years you will
be charged $ 1,650,000 (state 2) and if you had an accident the second of the last two
years will be charged $ 1,670,000 (State 3). The historical behavior of each state is given
by the following cases of accident, taken in four different events.

DATA

E0 = If you have not had accidents the last two years will be charged for the new policy
$ 1,730,000

E1 = if you have had an accident in each of the last two years you will be charged $
2,280,000

E2 = If you had accidents the first of the last two years you will be charged $ 1,650,000

E3 = if you had an accident the second of the last two years will be charged $ 1,670,000

According to Table 1 by applying the Markovian processes, ie finding the transition

matrix and solving the respective equations of p * q, where p is the transition matrix and
q the vector [W X Y Z]. Answer:

a. What is the transition matrix resulting from proportionality according to the accident
history?

b. What is the average premium paid by a customer in Payoff, according to historical

accident rate?
 ACCIDENTS IN THE YEAR
STATE E0 E1 E2 E3 TOTAL
E0 1585 1687 2156 1970 7398
E1 2100 2350 2670 1230 8350
E2 1750 1250 850 560 4410
E3 1270 1380 56 865 3571

STATE E0 E1 E2 E3 TOTAL
E0 0,2142471 0,228034604 0,291430116 0,266288186 1
E1 0,251497 0,281437126 0,319760479 0,147305389 1
E2 0,3968254 0,283446712 0,192743764 0,126984127 1
E3 0,3556427 0,386446374 0,015681882 0,242229067 1

p*q=
q = (W X Y Z) EC1 0,21W + 0,25X + 0,40 Y + 0,36 Z = W
EC2 0,23W + 0,28X + 0,28 Y + 0,39 Z = X
EC3 0,29W + 0,32X + 0,19 Y + 0,02 Z = Y
EC4 0,27W + 0,15X + 0,13 Y + 0,24 Z = Z
EC5 W+ X+ Y+ Z=1

aw + bx + cy + dz + e = 0

EC1 0,21W - W + 0,25X + 0,40 Y + 0,36 Z = 0

EC2 0,23W + 0,28X - X + 0,28 Y + 0,39 Z = 0
EC3 0,29W + 0,32X + 0,19 Y - Y + 0,02 Z = 0
EC4 0,27W + 0,15X + 0,13 Y + 0,24 Z - Z = 0
EC5 W+ X+ Y+ Z - 1=0

EC1 - 0,79 W + 0,25X + 0,40 Y + 0,36 Z = 0

EC2 0,23W - 0,72 X + 0,28 Y + 0,39 Z = 0
EC3 0,29W + 0,32X - 0,81 Y + 0,02 Z = 0
EC4 0,27W + 0,15X + 0,13 Y - 0,76 Z = 0
EC5 W+ X+ Y+ Z - 1=0
 E0 E1 E2 E3
W X Y Z
0,0 0,0 0,0 0,0

COEFFICIENTS EQUAL TO
W X Y Z INDEP
-0,79 0,25 0,40 0,36 0 0,0
0,23 -0,72 0,28 0,39 0 0,0
0,29 0,32 -0,81 0,02 0 0,0
0,27 0,15 0,13 -0,76 0 0,0
1 1 1 1 -1 -1,0

VALUE $ 0

DATA
STATE VALUE
E0 $ 1,730,000
E1 $ 2,280,000
E2 $ 1,650,000
E3 $ 1,670,000
 E1 E2 E3 E4
0,3094 0,2870 0,2237 0,1799
0 0 0 0 IGUAL A
W X Y Z INDEP 0,000000
-0,8 0,3 0,4 0,4 0 0,000000
0,2 -0,7 0,3 0,4 0 0,000000
0,3 0,3 -0,8 0 0 0,000000
0,3 0,1 0,1 -0,8 0 0,000000
1 1 1 1 -1

probabilidad estados *
wxyz probabilidad
$ $
E0 1.730.000 0,3094 535.284
$ $
E1 2.280.000 0,2870 654.464
$ $
E2 1.650.000 0,2237 369.059
$ $
E3 1.670.000 0,1799 300.382
la prima por pagar $
en la compañía seria 1.859.189
=

ANSWER: For this case, an optimal solution was not found with the solver tool, that is,
it is not compliant with the necessary restrictions to solve the function.

Problem 2. Markov chains (Initial state multiplication):

In Colombia there are 5 main mobile operators such as Tigo, Comcel, Movistar, ETB and
Uff, which we will call states. The following chart summarizes the odds that each client
has to stay in their current operator or make a change of company.
 STATE TIGO COMCEL MOVISTAR ETB UFF
TIGO 0,18 0,28 0,19 0,18 0,17
COMCEL 0,21 0,23 0,17 0,25 0,14
MOVISTAR 0,19 0,16 0,23 0,26 0,16
ETB 0,18 0,19 0,23 0,21 0,19
UFF 0,22 0,23 0,19 0,17 0,19

The current percentages of each operator in the current market are for Tigo 0.25 for
Comcel 0.2, for Movistar 0.3, for ETB 0.1 and 0.15 for Uff (initial state).

According to Tables 2 and 3 by applying the Markovian criteria, solve the multiplication
of the initial state vector (market share) by the probability matrix (transition matrix).
Answer:

c. Find the probability that each user stays with the mobile company for the next period.

STATE TIGO COMCEL MOVISTAR ETB UFF TOTAL

TIGO 0,18 0,28 0,19 0,18 0,17 1,0
COMCEL 0,21 0,23 0,17 0,25 0,14 1,0
MOVISTAR 0,19 0,16 0,23 0,26 0,16 1,0
ETB 0,18 0,19 0,23 0,21 0,19 1,0
UFF 0,22 0,23 0,19 0,17 0,19 1,0
TOTAL 0,98 1,09 1,01 1,07 0,85 5,0

0,18 0,28 0,19 0,18 0,17 0,18 0,28 0,19 0,18 0,17
1,0 1,0 1,0 1,0 1,0

0,21 0,23 0,17 0,25 0,14 0,21 0,23 0,17 0,25 0,14
1,0 1,0 1,0 1,0 1,0

0,19 0,16 0,23 0,26 0,16 0,19 0,16 0,23 0,26 0,16
P= P=
1,0 1,0 1,0 1,0 1,0

0,18 0,19 0,23 0,21 0,19 0,18 0,19 0,23 0,21 0,19
1,0 1,0 1,0 1,0 1,0

0,22 0,23 0,19 0,17 0,19 0,22 0,23 0,19 0,17 0,19
1,0 1,0 1,0 1,0 1,0
 0,18 0,28 0,19 0,18 0,17

0,21 0,23 0,17 0,25 0,14

P = (0,25 0,2 0,3 0,1 0,15) 0,19 0,16 0,23 0,26 0,16

0,18 0,19 0,23 0,21 0,19

0,22 0,23 0,19 0,17 0,19

TIGO COMCEL MOVISTAR ETB UFF

P0 0,25 0,2 0,3 0,1 0,15

TIGO 0,18 0,28 0,19 0,18 0,17

COMCEL 0,21 0,23 0,17 0,25 0,14
MOVISTAR 0,19 0,16 0,23 0,26 0,16
ETB 0,18 0,19 0,23 0,21 0,19
UFF 0,22 0,23 0,19 0,17 0,19

P1 0,195 0,2175 0,202 0,2195 0,166

 TESTING

Problem 3. Markov chains (Initial state multiplication):

In Colombia there are 6 main mobile operators such as Avantel, Tigo, Comcel,
Movistar,

ETB and Uff, which we will call states. The following chart summarizes the odds that
each

client must stay in their current operator or make a change of company.

 STATE AVANTEL TIGO COMCEL MOVISTAR ETB UFF
AVANTEL 0,22 0,15 0,17 0,15 0,19 0,12
TIGO 0,17 0,15 0,15 0,17 0,18 0,18
COMCEL 0,16 0,19 0,17 0,17 0,16 0,15
MOVISTAR 0,18 0,18 0,19 0,18 0,15 0,12
ETB 0,15 0,19 0,19 0,12 0,18 0,17
UFF 0,14 0,17 0,17 0,19 0,18 0,15

The current percentages of each operator in the current market are for Avantel 0.1,
Tigo 0.15 for Comcel 0.15, for Movistar 0.35, for ETB 0.1 and 0.15 for Uff (initial state).

According to Tables 2 and 3 by applying the Markovian criteria, solve the multiplication
of the initial state vector (market share) by the probability matrix (transition matrix).
Answer:

c. Find the probability that each user stays with the mobile company for the next period.

STATE AVANTEL TIGO COMCEL MOVISTAR ETB UFF TOTAL

AVANTEL 0,22 0,15 0,17 0,15 0,19 0,12 1,0
TIGO 0,17 0,15 0,15 0,17 0,18 0,18 1,0
COMCEL 0,16 0,19 0,17 0,17 0,16 0,15 1,0
MOVISTAR 0,18 0,18 0,19 0,18 0,15 0,12 1,0
ETB 0,15 0,19 0,19 0,12 0,18 0,17 1,0
UFF 0,14 0,17 0,17 0,19 0,18 0,15 1,0
TOTAL 1,02 1,03 1,04 0,98 1,04 0,89 6,0

0,22 0,15 0,17 0,15 0,19 0,12

0,17 0,15 0,15 0,17 0,18 0,18

P = (0,1 0,15 0,15 0,35 0,1 0,15) 0,16 0,19 0,17 0,17 0,16 0,15

0,18 0,18 0,19 0,18 0,15 0,12

0,15 0,19 0,19 0,12 0,18 0,17

0,14 0,17 0,17 0,19 0,18 0,15

 AVANTEL TIGO COMCEL MOVISTAR ETB UFF
P0 0,1 0,15 0,15 0,35 0,1 0,15

AVANTEL 0,22 0,15 0,17 0,15 0,19 0,12

TIGO 0,17 0,15 0,15 0,17 0,18 0,18
COMCEL 0,16 0,19 0,17 0,17 0,16 0,15
MOVISTAR 0,18 0,18 0,19 0,18 0,15 0,12
ETB 0,15 0,19 0,19 0,12 0,18 0,17
UFF 0,14 0,17 0,17 0,19 0,18 0,15

P1 0,1705 0,1735 0,176 0,1695 0,1675 0,143

TESTING
 Problem 4. Markov chains (Initial state multiplication):
Suppose that 4 types of soft drinks are obtained in the market: Colombian, Pepsi Cola,
Fanta and Coca Cola when a person has bought Colombian there is a probability that
they will continue to consume 40%, 20% of which will buy Pepsi Cola, 10% that Fanta
buys and 30% that Coca Cola consumes; when the buyer currently consumes Pepsi Cola
there is a probability that he will continue to buy 30%, 20% buy Columbiana, 20% that
Fanta consumes and 30% Coca Cola; if Fanta is currently consumed, the likelihood of it
continuing to be consumed is 20%, 40% buy Colombian, 20% consume Pepsi Cola and
20% go to Coca Cola. If you currently consume Coca Cola the probability that it will
continue to consume is 50%, 20% buy Colombian, 20% that consumes Pepsi Cola and
10% that is passed to Fanta.

At present, each Colombian brand, Pepsi Cola, Fanta and Coca Cola have the
following percentages in market share respectively (30%, 25%, 15% and 30%) during
week 3.

According to the data of problem 4 and 5 by applying the Markovian criteria, solve the
multiplication of the initial state vector (market share) by the probability matrix (transition
matrix). Answer:

d. Find the transition matrix.

e. Find the probability that each user stays with the mark or change to another for
period 4 (problem 4) and period 5 (problem 5).

TYPES COLOMBIAN PEPSI COLA FANTA COCA COLA

COLOMBIAN 0,40 0,20 0,10 0,30
PEPSI COLA 0,20 0,30 0,20 0,30
FANTA 0,40 0,20 0,20 0,20
COCA COLA 0,20 0,20 0,10 0,50
TYPES COLOMBIAN PEPSI COLA FANTA COCA COLA TOTAL
COLOMBIAN 0,40 0,20 0,10 0,30 1,00
PEPSI COLA 0,20 0,30 0,20 0,30 1,00
FANTA 0,40 0,20 0,20 0,20 1,00
COCA COLA 0,20 0,20 0,10 0,50 1,00
TOTAL 1,20 0,90 0,60 1,30 4,00

0,40 0,20 0,10 0,30 0,40 0,20 0,10 0,30

1,00 1,00 1,00 1,00

0,40 0,20 0,20 0,20 0,40 0,20 0,20 0,20

1,00 1,00 1,00 1,00

0,20 0,20 0,10 0,50 0,20 0,20 0,10 0,50

P= P=
1,00 1,00 1,00 1,00

0,20 0,20 0,10 0,50 0,20 0,20 0,10 0,50

1,00 1,00 1,00 1,00

0,40 0,20 0,10 0,30

0,20 0,30 0,20 0,30

P = (0,30 0,25 0,15 0,30) 0,40 0,20 0,20 0,20

0,20 0,20 0,10 0,50

 COLOMBIAN PEPSI COLA FANTA COCA COLA
P0 0,30 0,25 0,15 0,30

COLOMBIAN 0,40 0,20 0,10 0,30

PEPSI COLA 0,20 0,30 0,20 0,30
FANTA 0,40 0,20 0,20 0,20
COCA COLA 0,20 0,20 0,10 0,50

P1 0,29 0,225 0,14 0,345

 COLOMBIAN PEPSI COLA FANTA COCA COLA
P1 0,29 0,225 0,14 0,345

COLOMBIAN 0,40 0,20 0,10 0,30

PEPSI COLA 0,20 0,30 0,20 0,30
FANTA 0,40 0,20 0,20 0,20
COCA COLA 0,20 0,20 0,10 0,50

P2 0,286 0,2225 0,1365 0,355

COLOMBIAN PEPSI COLA FANTA COCA COLA

P2 0,286 0,2225 0,1365 0,355

COLOMBIAN 0,40 0,20 0,10 0,30

PEPSI COLA 0,20 0,30 0,20 0,30
FANTA 0,40 0,20 0,20 0,20
COCA COLA 0,20 0,20 0,10 0,50

P3 0,2845 0,22225 0,1359 0,35735

COLOMBIAN PEPSI COLA FANTA COCA COLA

P3 0,2845 0,22225 0,1359 0,35735

COLOMBIAN 0,40 0,20 0,10 0,30

PEPSI COLA 0,20 0,30 0,20 0,30
FANTA 0,40 0,20 0,20 0,20
COCA COLA 0,20 0,20 0,10 0,50

P4 0,28408 0,222225 0,13582 0,35788

TESTING
 Problem 5. Markov chains (Initial state multiplication):
Suppose you get 6 types of Jeans brands in the Colombian market: Brand 1, Brand 2,
Brand 3, Brand 4, Brand 5 and Brand 6. The following table shows the odds that you
continue to use the same brand or change it.

STATE BRAND 1 BRAND 2 BRAND 3 BRAND 4 BRAND 5 BRAND 6

BRAND 1 0,21 0,19 0,22 0,13 0,14 0,11
BRAND 2 0,17 0,18 0,15 0,13 0,19 0,18
BRAND 3 0,18 0,14 0,22 0,13 0,22 0,11
BRAND 4 0,21 0,16 0,15 0,22 0,17 0,09
BRAND 5 0,14 0,16 0,22 0,15 0,15 0,18
BRAND 6 0,2 0,13 0,21 0,15 0,17 0,14

At present, brand, have the following percentages in market share respectively (19%,
18%, 17%, 15%, 19% y 12%) during week 4.

According to the data of problem 4 and 5 by applying the Markovian criteria, solve the
multiplication of the initial state vector (market share) by the probability matrix (transition
matrix). Answer:

d. Find the transition matrix.

e. Find the probability that each user stays with the mark or change to another for
period 4 (problem 4) and period 5 (problem 5).
 STATE BRAND 1 BRAND 2 BRAND 3 BRAND 4 BRAND 5 BRAND 6 TOTAL
BRAND 1 0,21 0,19 0,22 0,13 0,14 0,11 1,0
BRAND 2 0,17 0,18 0,15 0,13 0,19 0,18 1,0
BRAND 3 0,18 0,14 0,22 0,13 0,22 0,11 1,0
BRAND 4 0,21 0,16 0,15 0,22 0,17 0,09 1,0
BRAND 5 0,14 0,16 0,22 0,15 0,15 0,18 1,0
BRAND 6 0,2 0,13 0,21 0,15 0,17 0,14 1,0
TOTAL 1,11 0,96 1,17 0,91 1,04 0,81 6,0
 0,21 0,19 0,22 0,13 0,14 0,11

0,17 0,18 0,15 0,13 0,19 0,18

P = (0,19 0,18 0,17 0,15 0,19 0,12) 0,18 0,14 0,22 0,13 0,22 0,11

0,21 0,16 0,15 0,22 0,17 0,09

0,14 0,16 0,22 0,15 0,15 0,18

0,2 0,13 0,21 0,15 0,17 0,14

 BRAND 1 BRAND 2 BRAND 3 BRAND 4 BRAND 5 BRAND 6
P0 0,19 0,18 0,17 0,15 0,19 0,12

BRAND 1 0,21 0,19 0,22 0,13 0,14 0,11

BRAND 2 0,17 0,18 0,15 0,13 0,19 0,18
BRAND 3 0,18 0,14 0,22 0,13 0,22 0,11
BRAND 4 0,21 0,16 0,15 0,22 0,17 0,09
BRAND 5 0,14 0,16 0,22 0,15 0,15 0,18
BRAND 6 0,2 0,13 0,21 0,15 0,17 0,14

P1 0,1832 0,1623 0,1957 0,1497 0,1726 0,1365

BRAND 1 BRAND 2 BRAND 3 BRAND 4 BRAND 5 BRAND 6

P1 0,1832 0,1623 0,1957 0,1497 0,1726 0,1365

BRAND 1 0,21 0,19 0,22 0,13 0,14 0,11

BRAND 2 0,17 0,18 0,15 0,13 0,19 0,18
BRAND 3 0,18 0,14 0,22 0,13 0,22 0,11
BRAND 4 0,21 0,16 0,15 0,22 0,17 0,09
BRAND 5 0,14 0,16 0,22 0,15 0,15 0,18
BRAND 6 0,2 0,13 0,21 0,15 0,17 0,14

P2 0,18419 0,160733 0,196795 0,149655 0,174083 0,134544

BRAND 1 BRAND 2 BRAND 3 BRAND 4 BRAND 5 BRAND 6

P2 0,18419 0,160733 0,196795 0,149655 0,174083 0,134544

BRAND 1 0,21 0,19 0,22 0,13 0,14 0,11

BRAND 2 0,17 0,18 0,15 0,13 0,19 0,18
BRAND 3 0,18 0,14 0,22 0,13 0,22 0,11
BRAND 4 0,21 0,16 0,15 0,22 0,17 0,09
BRAND 5 0,14 0,16 0,22 0,15 0,15 0,18
BRAND 6 0,2 0,13 0,21 0,15 0,17 0,14

P3 0,18413558 0,1607681 0,1969274 0,1496415 0,1740471 0,13448034

 BRAND 1 BRAND 2 BRAND 3 BRAND 4 BRAND 5 BRAND 6
P3 0,18413558 0,1607681 0,1969274 0,1496415 0,1740471 0,13448034

BRAND 1 0,21 0,19 0,22 0,13 0,14 0,11

BRAND 2 0,17 0,18 0,15 0,13 0,19 0,18
BRAND 3 0,18 0,14 0,22 0,13 0,22 0,11
BRAND 4 0,21 0,16 0,15 0,22 0,17 0,09
BRAND 5 0,14 0,16 0,22 0,15 0,15 0,18
BRAND 6 0,2 0,13 0,21 0,15 0,17 0,14

P4 0,18413336 0,1607665 0,19692652 0,1496383 0,1740567 0,13447864

BRAND 1 BRAND 2 BRAND 3 BRAND 4 BRAND 5 BRAND 6

P4 0,18413336 0,1607665 0,19692652 0,1496383 0,1740567 0,13447864

BRAND 1 0,21 0,19 0,22 0,13 0,14 0,11

BRAND 2 0,17 0,18 0,15 0,13 0,19 0,18
BRAND 3 0,18 0,14 0,22 0,13 0,22 0,11
BRAND 4 0,21 0,16 0,15 0,22 0,17 0,09
BRAND 5 0,14 0,16 0,22 0,15 0,15 0,18
BRAND 6 0,2 0,13 0,21 0,15 0,17 0,14

P5 0,18413279 0,1607664 0,19692688 0,1496382 0,1740565 0,13447922

TESTING
 CONCLUSIONS

Una vez realizados los ejercicios propuestos en la guía de aprendizaje podemos decir
que, la creación del matemático ruso Andrey Márkov en el año de 1907, donde se
mezclan principios estadísticos y algebraicos con los cuales podemos analizar procesos
estocásticos que han evolucionado con el pasar del tiempo y a la fecha se incluye este
proceso en distintas carreras las cuales requerirán a futuro realizar estos procedimientos
en su labores o vida cotidiana.

Es importante que todo estudiante en este caso de ingeniería Industrial conozca los
métodos de la cadena de Márkov con el cual puede realizar un estudio a futuro de los
cambios que se generaran al mercado con los productos en consecuencia de la
competencia y el cliente, es importante que este tema que se aborda con tanta frecuencia
sea comprendido y llevado a la práctica con la realización de los ejercicios que se
evidenciaron.

Con las cadenas de Márkov, podemos estimar las condiciones de mercado futuras de
las compañías que compiten con nosotros en el mismo sector.

Este tipo de ejercicios ayudan al estudiante a tener una base para tomar decisiones en
base a incertidumbres que afectan a una compañía, por medio de la teoría de Márkov.

Con la realización de esta actividad se adquirió conocimiento en cuanto a los diferentes

métodos para dar solución a los problemas planteados en la guía de actividades, de igual
manera para esta fase colaborativa la participación de los integrantes contribuye a dar
correctivos a las fallas presentadas en el desarrollo de los problemas, dado que los que
son realizados de manera manual pueden ser comprados con la herramienta Solver y
entre otras.

Aplicamos las estrategias de cómo evaluar una situación, cuando no sabemos qué va a
pasar con la situación financiera de una empresa.
Entendimos las probabilidades de cuando se toma una decisión. utilizando una estrategia
para saber qué ocurrirá en el futuro, con los clientes o usuarios de un servicio
proporcionado por un proveedor.

BIBLIOGRAPHY

Ibe, O. (2013). Markov Processes for Stochastic Modeling: Massachusetts, USA:

University of Massachusetts Editorial. Retrieved on Nov 10, 2018 from:
http://bibliotecavirtual.unad.edu.co:2051/login.aspx?direct=true&db=nlebk&AN=516132
&lang=es&site=eds-live

Dynkin, E. (1982). Markov Processes and Related Problems of Analysis: Oxford, UK:
Mathematical Institute Editorial. Retrieved on Nov 10, 2018 from:
http://bibliotecavirtual.unad.edu.co:2048/login?url=http://search.ebscohost.com/login.as
px?direct=true&db=e000xww&AN=552478&lang=es&site=ehost-live

Pineda, R. (2017). Virtual learning object Unit 3. Markov decision processes. [Video File].
Retrieved on Nov 10, 2018 from: http://hdl.handle.net/10596/13271

Piunovskiy, A. (2012). Examples in Markov Decision Processes: Singapore: Imperial

College Press Optimization Series. Retrieved on Nov 10, 2018 from:
http://bibliotecavirtual.unad.edu.co:2051/login.aspx?direct=true&db=nlebk&AN=545467
&lang=es&site=eds-live