Exercise 1.

Markov Chain (Steady State): XYZ insurance company charges its customers
according to their accident history. If you have not had accidents the last two years will be
charged for the new policy $ 1,580,000 (state 0); if you have had an accident in each of the last
two years you will be charged $ 2,150,000 (State 1); If you had accidents the first of the last
two years you will be charged $ 1,630,000 (state 2) and if you had an accident the second of
the last two years will be charged $ 1,550,000 (State 3). The historical behavior of each state is
given by the following cases of accident, taken in four different events.

ACCIDENTS IN THE YEAR

STATE E0 E1 E2 E3 TOTAL
E0 2961 1974 3948 987 9870
E1 1100 3300 5500 1100 11000
E2 2500 1250 1250 7500 12500
E3 4380 0 2920 7300 14600

STATE E0 E1 E2 E3
E0 0.30 0.20 0.40 0.10
E1 0.10 0.30 0.50 0.10
E2 0.20 0.10 0.10 0.60
E3 0.30 0.00 0.20 0.50

W q= 0.3 0.2 0.4 0.1 =

X 0.1 0.3 0.5 0.1 =
Y 0.2 0.1 0.1 0.6 =
Z 0.3 0 0.2 0.5 =

aw + bx + cy + dz + e = =

EC1 0,3W-W+0,1X+0,2Y+0,3Z = 0
EC2 0,2W+0,3X-X+0,1Y+0,0Z = 0
EC3 0,4W+0,5X+0,1Y-Y+0,2Z = 0
EC4 0,1W+0,1X+0,6Y+0,5Z-Z = 0
EC5 W+X+Y+Z-1 = 0

EC1 (-)0,7W+0,1X+0,2Y+0,3Z = 0
EC2 0,2W-0,7X+0,1Y = 0
EC3 0,4W+0,5X-0,9Y+0,2Z = 0
EC4 0,1W+0,1X+0,6Y-0,5Z = 0
EC5 W+X+Y+Z -1 = 0

PRIMA PROMEDIO= 0,252(1580000)+0,109(2150000)+0,257(1630000)+0,381(1550000)

charges its customers
st two years will be
cident in each of the last
ts the first of the last
ccident the second of
behavior of each state is
According to Table by applying the criteria of Markov: 1. Use the stable
Markov initial method. 2. Find the transition matrix with the participation of
each event according to its total. 3. Find the values that satisfy the equations of
state according to the conditions of the problem. 4. Determine the probable
value according to Markov theory and the mean prime in the problem.

ESTADOS
E0 E1 E2 E3
1,580,000 2,150,000 1,630,000 1,550,000

E0= Si no ha tenido accidentes los ultimos 2 años

E1= si ha tenido un accidente en cada uno de los dos ultimos años
E2= Si tuviste accidentes el primero de los ultimos dos años
E3= Si tuvo un accidente el segundo de los ultimos 2 años

1.00
1.00
1.00
1.00

Σ
1 EC1 0,3W+0,1X+0,2Y+0,3Z
1 p= (WXYZ) EC2 0,2W+0,3X+0,1Y+0Z
1 EC3 0,4W+0,5X+0,1Y+0,2Z
1 EC4 0,1W+0.1X+0,6Y+0,5Z
EC5 W+X+Y+Z

E0 E1 E2 E3
W X Y Z
0.252 0.109 0.257 0.381
 COEFICIENTES
W X Y Z INDEP
-0.70 0.10 0.20 0.30 0
0.20 -0.70 0.10 0.00 0
0.40 0.50 -0.90 0.20 0
0.10 0.10 0.60 -0.50 0
1 1 1 1 -1

0)+0,381(1550000) $ 1,643,514.85
=W
=X
=Y
=Z
=1
IGUAL A

0
0
0
0
0
 A B C D E F
1
2
3
4
5 Exercise 2. Markov chains (Initial state multiplication): In Colombia there ar
6 operators such as Tigo, Claro, Movistar, ETB, Uff and Azteca which we will cal
7 following chart summarizes the odds that each client has to stay in their current
a change of company. The current percentages of each operator in the current m
8
0.20 for 3 Comcel 0.15, for Movistar 0.15, for ETB 0.2, 0.15 for Uff and 0.15 fo
9 state).
10
11
12
13
14
15
16 E1 E2 E3 E4 E5
17 state TIGO CLARO MOVISTAR ETB UFF
18 TIGO 0.15 0.17 0.16 0.13 0.15
19 CLARO 0.17 0.19 0.2 0.13 0.11
20 MOVISTAR 0.15 0.21 0.19 0.17 0.19
21 ETB 0.2 0 0.21 0.12 0.25
22 UFF 0.21 0.21 0.17 0.13 0.11
23 AZTECA 0.12 0.19 0.13 0.15 0.19
24
25
26
27 E1 E2 E3 E4
28 E1 state TIGO CLARO MOVISTAR ETB
29 TIGO 0.16 0.17 0.17 0.14
30 CLARO 0.16 0.17 0.18 0.14
31 MOVISTAR 0.17 0.16 0.18 0.14
32 ETB 0.16 0.17 0.17 0.14
33 UFF 0.16 0.17 0.18 0.14
34 AZTECA 0.17 0.17 0.17 0.14
35
36
37
38 E1 E2 E3 E4
39 E2 state TIGO CLARO MOVISTAR ETB
40 TIGO 0.16 0.17 0.17 0.14
 A B C D E F
41 CLARO 0.16 0.17 0.17 0.14
42 MOVISTAR 0.16 0.17 0.17 0.14
43 ETB 0.16 0.17 0.17 0.14
44 UFF 0.16 0.17 0.17 0.14
45 AZTECA 0.16 0.17 0.17 0.14
46
47
48
49 E1 E2 E3 E4
50 E3 state TIGO CLARO MOVISTAR ETB
51 TIGO 0.16 0.17 0.17 0.14
52 CLARO 0.16 0.17 0.17 0.14
53 MOVISTAR 0.16 0.17 0.17 0.14
54 ETB 0.16 0.17 0.17 0.14
55 UFF 0.16 0.17 0.17 0.14
56 AZTECA 0.16 0.17 0.17 0.14
57
58
59
60
61 E1 E2 E3 E4
62 E4 state TIGO CLARO MOVISTAR ETB
63 TIGO 0.16 0.17 0.17 0.14
64 CLARO 0.16 0.17 0.17 0.14
65 MOVISTAR 0.16 0.17 0.17 0.14
66 ETB 0.16 0.17 0.17 0.14
67 UFF 0.16 0.17 0.17 0.14
68 AZTECA 0.16 0.17 0.17 0.14
69
70
71
72 E1 E2 E3 E4
73 E5 state TIGO CLARO MOVISTAR ETB
74 TIGO 0.16 0.17 0.17 0.14
75 CLARO 0.16 0.17 0.17 0.14
76 MOVISTAR 0.16 0.17 0.17 0.14
77 ETB 0.16 0.17 0.17 0.14
78 UFF 0.16 0.17 0.17 0.14
79 AZTECA 0.16 0.17 0.17 0.14
80
 A B C D E F
81
82
83 E1 E2 E3 E4
84 E6 state TIGO CLARO MOVISTAR ETB
85 TIGO 0.16 0.17 0.17 0.14
86 CLARO 0.16 0.17 0.17 0.14
87 MOVISTAR 0.16 0.17 0.17 0.14
88 ETB 0.16 0.17 0.17 0.14
89 UFF 0.16 0.17 0.17 0.14
90 AZTECA 0.16 0.17 0.17 0.14
91
92
93
94 E1 E2 E3 E4
95 E7 state TIGO CLARO MOVISTAR ETB
96 TIGO 0.16 0.17 0.17 0.14
97 CLARO 0.16 0.17 0.17 0.14
98 MOVISTAR 0.16 0.17 0.17 0.14
99 ETB 0.16 0.17 0.17 0.14
100 UFF 0.16 0.17 0.17 0.14
101 AZTECA 0.16 0.17 0.17 0.14
102
103
104
105 E1 E2 E3 E4
106 E8 state TIGO CLARO MOVISTAR ETB
107 TIGO 0.16 0.17 0.17 0.14
108 CLARO 0.16 0.17 0.17 0.14
109 MOVISTAR 0.16 0.17 0.17 0.14
110 ETB 0.16 0.17 0.17 0.14
111 UFF 0.16 0.17 0.17 0.14
112 AZTECA 0.16 0.17 0.17 0.14
113
114
115
116
117 E1 E2 E3 E4
118 E9 state TIGO CLARO MOVISTAR ETB
119 TIGO 0.16 0.17 0.17 0.14
120 CLARO 0.16 0.17 0.17 0.14
 A B C D E F
121 MOVISTAR 0.16 0.17 0.17 0.14
122 ETB 0.16 0.17 0.17 0.14
123 UFF 0.16 0.17 0.17 0.14
124 AZTECA 0.16 0.17 0.17 0.14
125
126 Markov chains
127
128 Enter
Enter the
the markov
markov chain
chain in
in the
the shaded
shaded area.
area. IfIf all
all states
states are
are recu
recu
use
use the
the Solver
Solver button
button to
to find
find the
the steady
steady state
state probabilities.
probabilities.
129
130 Data (one step transition matrix)
131 Initial State 1 State 2 State 3 State 4
132 State 1 0.2 0.15 0.17 0.16 0.13
133 State 2 0.15 0.17 0.19 0.2 0.13
134 State 3 0.15 0.15 0.21 0.19 0.17
135 State 4 0.2 0.2 0 0.21 0.12
136 State 5 0.15 0.21 0.21 0.17 0.13
137 State 6 0.15 0.12 0.19 0.13 0.15
138 End prob(given init) 0.1675 0.154 0.1775 0.137
139
140 2 step transition matrix
141 State 1 State 2 State 3 State 4
142 State 1 0.1617 0.1685 0.1724 0.1399
143 State 2 0.1609 0.1681 0.1752 0.1407
144 State 3 0.1714 0.1623 0.1818 0.1377
145 State 4 0.1644 0.1724 0.1682 0.1416
146 State 5 0.1622 0.1667 0.176 0.1389
147 State 6 0.1661 0.1655 0.1743 0.1381
148 End prob(given init) 0.16431 0.16757 0.174215 0.13961
149
150 3 step transition matrix
151 State 1 State 2 State 3 State 4
152 State 1 0.164598 0.166957 0.17483 0.139323
153 State 2 0.164774 0.166893 0.175042 0.139363
154 State 3 0.164325 0.167289 0.174915 0.139587
155 State 4 0.165154 0.166556 0.175188 0.138996
156 State 5 0.164335 0.167161 0.174759 0.139499
157 State 6 0.164277 0.167201 0.174626 0.139435
158 End prob(given init) 0.16460705 0.1669842 0.1749049 0.1393464
159
160 4 step transition matrix
161 State 1 State 2 State 3 State 4
 A B C D E F
162 State 1 0.16454003 0.16703627 0.17486657 0.13938281
163 State 2 0.16455599 0.16703035 0.17488521 0.13938265
164 State 3 0.16459875 0.16699919 0.17491968 0.13936949
165 State 4 0.16447102 0.16708328 0.17482818 0.13940784
166 State 5 0.16457733 0.16701179 0.17489302 0.13937217
167 State 6 0.16455876 0.16702029 0.17487666 0.13937395
168 End prob(given init) 0.16454583 0.16703315 0.17487514 0.13938287
169
170 5 step transition matrix
171 State 1 State 2 State 3 State 4
172 State 1 0.16455326 0.16702793 0.17487963 0.13938018
173 State 2 0.16455368 0.16702795 0.17488067 0.13938043
174 State 3 0.16455158 0.16702988 0.17487998 0.13938168
175 State 4 0.16455753 0.16702449 0.17488195 0.13937841
176 State 5 0.16455168 0.16702943 0.17487915 0.13938109
177 State 6 0.16455155 0.16702921 0.1748785 0.13938083
178 End prob(given init) 0.16455343 0.16702796 0.17488006 0.13938032
179
180 6 step transition matrix
181 State 1 State 2 State 3 State 4
182 State 1 0.16455297 0.16702833 0.17487982 0.13938053
183 State 2 0.16455304 0.1670283 0.17487992 0.13938053
184 State 3 0.1645533 0.16702812 0.17488012 0.13938045
185 State 4 0.16455265 0.16702858 0.17487961 0.13938065
186 State 5 0.16455315 0.1670282 0.17487997 0.13938047
187 State 6 0.16455309 0.16702824 0.17487988 0.13938047
188 End prob(given init) 0.16455301 0.16702831 0.17487987 0.13938052
189
190 7 step transition matrix
191 State 1 State 2 State 3 State 4
192 State 1 0.16455305 0.16702828 0.1748799 0.13938051
193 State 2 0.16455305 0.16702828 0.1748799 0.13938051
194 State 3 0.16455304 0.16702829 0.1748799 0.13938052
195 State 4 0.16455307 0.16702826 0.17487991 0.1393805
196 State 5 0.16455304 0.16702829 0.17487989 0.13938051
197 State 6 0.16455304 0.16702829 0.17487989 0.13938051
198 End prob(given init) 0.16455305 0.16702828 0.1748799 0.13938051
199
200 8 step transition matrix
201 State 1 State 2 State 3 State 4
202 State 1 0.16455305 0.16702829 0.1748799 0.13938051
 A B C D E F
203 State 2 0.16455305 0.16702829 0.1748799 0.13938051
204 State 3 0.16455305 0.16702828 0.1748799 0.13938051
205 State 4 0.16455304 0.16702829 0.1748799 0.13938051
206 State 5 0.16455305 0.16702828 0.1748799 0.13938051
207 State 6 0.16455305 0.16702828 0.1748799 0.13938051
208 End prob(given init) 0.16455305 0.16702829 0.1748799 0.13938051
209
210 9 step transition matrix
211 State 1 State 2 State 3 State 4
212 State 1 0.16455305 0.16702829 0.1748799 0.13938051
213 State 2 0.16455305 0.16702829 0.1748799 0.13938051
214 State 3 0.16455305 0.16702829 0.1748799 0.13938051
215 State 4 0.16455305 0.16702829 0.1748799 0.13938051
216 State 5 0.16455305 0.16702829 0.1748799 0.13938051
217 State 6 0.16455305 0.16702829 0.1748799 0.13938051
218 End prob(given init) 0.16455305 0.16702829 0.1748799 0.13938051
 G H I J K L M
1
2
3
4
ltiplication): In
5 Colombia there are 6 main internet According to Table by applying the criteria of: • According to th
, Uff and Azteca6 which we will call states. The multiplication of matrices - vectors find state 5 of the problem
h client has to stay
7 in their current operator or make according to the initial state of probabilities. • According to the
s of each operator in the current market are for Tigo multiplication of matrices - vectors, find state 9 of the problem
8
ETB 0.2, 0.15 for Uff and 0.15 for Azteca (initial according to the initial state of probabilities, following the
9 sequence of state 5.
10
11
12
13
14
15
16 E6
17 AZTECA SUMA INITIAL STATE
18 0.24 1 TIGO CLARO MOVISTAR
19 0.2 1 P0 0.2 0.15 0.15
20 0.09 1
21 0.22 1
22 0.17 1
23 0.22 1
24
25
26
27 E5 E6 STATE 1
28 UFF AZTECA TIGO CLARO MOVISTAR
29 0.17 0.19 P1 0.17 0.15 0.18
30 0.17 0.19
31 0.16 0.18
32 0.17 0.18
33 0.16 0.19
34 0.16 0.19
35
36
37
38 E5 E6 STATE 2
39 UFF AZTECA TIGO CLARO MOVISTAR
40 0.17 0.19 P2 0.16 0.17 0.17
 G H I J K L M
41 0.17 0.19
42 0.17 0.19
43 0.17 0.19
44 0.17 0.19
45 0.17 0.19
46
47
48
49 E5 E6
50 UFF AZTECA STATE 3
51 0.17 0.19 TIGO CLARO MOVISTAR
52 0.17 0.19 P3 0.16 0.17 0.17
53 0.17 0.19
54 0.17 0.19
55 0.17 0.19
56 0.17 0.19
57
58
59
60
61 E5 E6
62 UFF AZTECA STATE 4
63 0.17 0.19 TIGO CLARO MOVISTAR
64 0.17 0.19 P4 0.16 0.17 0.17
65 0.17 0.19
66 0.17 0.19
67 0.17 0.19
68 0.17 0.19
69
70
71
72 E5 E6
73 UFF AZTECA
74 0.17 0.19 STATE 5
75 0.17 0.19 TIGO CLARO MOVISTAR
76 0.17 0.19 P5 0.16 0.17 0.17
77 0.17 0.19
78 0.17 0.19
79 0.17 0.19
80
 G H I J K L M
81
82
83 E5 E6
84 UFF AZTECA STATE 6
85 0.17 0.19 TIGO CLARO MOVISTAR
86 0.17 0.19 P6 0.16 0.17 0.17
87 0.17 0.19
88 0.17 0.19
89 0.17 0.19
90 0.17 0.19
91
92
93
94 E5 E6
95 UFF AZTECA
96 0.17 0.19 STATE 7
97 0.17 0.19 TIGO CLARO MOVISTAR
98 0.17 0.19 P7 0.16 0.17 0.17
99 0.17 0.19
100 0.17 0.19
101 0.17 0.19
102
103
104
105 E5 E6
106 UFF AZTECA STATE 8
107 0.17 0.19 TIGO CLARO MOVISTAR
108 0.17 0.19 P8 0.16 0.17 0.17
109 0.17 0.19
110 0.17 0.19
111 0.17 0.19
112 0.17 0.19
113
114
115
116
117 E5 E6
118 UFF AZTECA STATE 9
119 0.17 0.19 TIGO CLARO MOVISTAR
120 0.17 0.19 P9 0.16 0.17 0.17
 G H I J K L M
121 0.17 0.19
122 0.17 0.19
123 0.17 0.19
124 0.17 0.19
125
126
127
nn in
in the
the shaded 128
shaded area.
area. IfIf all
all states
states are
are recurrent
recurrent then
then
oo find
find the
the steady
steady state
state probabilities.
probabilities.
129
130 Steady state Results for MCs with
131 State 5 State 6 State 2
132 0.15 0.24 0 P1 0 Row should sum to 1 p1
133 0.11 0.2 0 P2 0 Row should sum to 1
134 0.19 0.09 0 P3 0 Row should sum to 1
135 0.25 0.22 0 P4 0 Row should sum to 1
136 0.11 0.17 0 P5 0 Row should sum to 1
137 0.19 0.22 0 P6 0 Row should sum to 1 p2
138 0.17 0.194 sum
139
140
141 State 5 State 6
142 0.1662 0.1913
143 0.167 0.1881
144 0.1622 0.1846
145 0.1692 0.1842
146 0.1638 0.1924
147 0.1638 0.1922
148 0.1656 0.188695
149
150
151 State 5 State 6
152 0.16515 0.189142
153 0.165198 0.18873
154 0.165446 0.188438
155 0.164592 0.189514
156 0.165406 0.18884
157 0.165298 0.189163
158 0.1651506 0.18900685
159
160
161 State 5 State 6
 G H I J K L M
162 0.1652069 0.18896742
163 0.16520354 0.18894226
164 0.16518342 0.18892947
165 0.16524176 0.18896792
166 0.16519118 0.18895451
167 0.1651951 0.18897524
168 0.16520572 0.18895729
169
170
171 State 5 State 6
172 0.16520191 0.18895708
173 0.16520201 0.18895526
174 0.16520361 0.18895326
175 0.16519963 0.188958
176 0.165203 0.18895566
177 0.16520286 0.18895705
178 0.16520203 0.1889562
179
180
181 State 5 State 6
182 0.16520229 0.18895606
183 0.16520228 0.18895593
184 0.16520216 0.18895586
185 0.16520247 0.18895603
186 0.1652022 0.18895601
187 0.16520222 0.1889561
188 0.16520228 0.188956
189
190
191 State 5 State 6
192 0.16520226 0.188956
193 0.16520226 0.18895599
194 0.16520227 0.18895598
195 0.16520225 0.18895601
196 0.16520227 0.18895599
197 0.16520227 0.188956
198 0.16520226 0.188956
199
200
201 State 5 State 6
202 0.16520226 0.188956
 G H I J K L M
203 0.16520226 0.188956
204 0.16520226 0.18895599
205 0.16520227 0.188956
206 0.16520226 0.188956
207 0.16520226 0.188956
208 0.16520226 0.188956
209
210
211 State 5 State 6
212 0.16520226 0.188956
213 0.16520226 0.188956
214 0.16520226 0.188956
215 0.16520226 0.188956
216 0.16520226 0.188956
217 0.16520226 0.188956
218 0.16520226 0.188956
 N O P Q R S T U
1
2
3
4
plying the criteria
5 of: • According to the
- vectors find 6state 5 of the problem
e of probabilities.
7 • According to the
- vectors, find state 9 of the problem
8
e of probabilities, following the
9
10
11
12
13
14
15
16
NITIAL STATE
17
18 ETB UFF AZTECA
19 0.2 0.15 0.15
20
21
22
23
24
25
26
STATE 1 27
28 ETB UFF AZTECA
29 0.14 0.17 0.19
30
31
32
33
34
35
36
37
STATE 2 38
39 ETB UFF AZTECA
40 0.14 0.17 0.19
 N O P Q R S T U
41
42
43
44
45
46
47
48
49
STATE 3 50
51 ETB UFF AZTECA
52 0.14 0.17 0.19
53
54
55
56
57
58
59
60
61
STATE 4 62
63 ETB UFF AZTECA
64 0.14 0.17 0.19
65
66
67
68
69
70
71
72
73
STATE 5 74
75 ETB UFF AZTECA
76 0.14 0.17 0.19
77
78
79
80
 N O P Q R S T U
81
82
83
STATE
84 6
85 ETB UFF AZTECA
86 0.14 0.17 0.19
87
88
89
90
91
92
93
94
95
STATE
96 7
97 ETB UFF AZTECA
98 0.14 0.17 0.19
99
100
101
102
103
104
105
STATE
106 8
107 ETB UFF AZTECA
108 0.14 0.17 0.19
109
110
111
112
113
114
115
116
117
STATE
118 9
119 ETB UFF AZTECA
120 0.14 0.17 0.19
 N O P Q R S T U
121
122
123
124
125
126
127
128
129
Steady 130
state Results for MCs with all recurrent states
131 Steady State
132 0 0 0 0 0 0 0 0
133 0
134 0
135 0
136 0
137 0 0
138 0
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
 V W X
121
122
123
124
125
126
127
128
129
130
131
132 0 0 0
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
 A B C D E F
1
2 Exercise 3. Markov chains (Initial state multiplication): In Colombia there ar
3 main mobile operators such as Avantel, Tigo, Comcel, Movistar, ETB and Uff,
4 which we will call states. The following chart summarizes the odds that each cli
5 has to stay in their current operator or make a change of company
6
7

9 STATE AVANTEL TIGO COMCELMOVISTAR

10 AVANTEL 0.19 0.18 0.17 0.15
11 TIGO 0.17 0.15 0.16 0.16
12 COMCEL 0.16 0.19 0.17 0.17
13 MOVISTAR 0.18 0.18 0.19 0.18
14 ETB 0.15 0.16 0.19 0.15
15 UFF 0.15 0.16 0.17 0.19
16
17 The current percentages of each operator in the current market are for Avantel 0
18 Tigo 0.1 for Comcel 0.2, for Movistar 0.3, for ETB 0.1 and 0.2 for Uff (initial
19 state).
20 E1 MATRIZ DE TRANSICIÓN
21 STATE AVANTEL TIGO COMCELMOVISTAR
22 AVANTEL 0.19 0.18 0.17 0.15
23 TIGO 0.17 0.15 0.16 0.16
24 COMCEL 0.16 0.19 0.17 0.17
25 MOVISTAR 0.18 0.18 0.19 0.18
26 ETB 0.15 0.16 0.19 0.15
27 UFF 0.15 0.16 0.17 0.19
28
29
30
31
32 E2 STATE AVANTEL TIGO COMCELMOVISTAR
33 AVANTEL 0.17 0.17 0.18 0.16
34 TIGO 0.17 0.17 0.18 0.17
35 COMCEL 0.17 0.17 0.17 0.17
36 MOVISTAR 0.17 0.17 0.17 0.17
37 ETB 0.17 0.17 0.18 0.17
38 UFF 0.17 0.17 0.18 0.17
39
 A B C D E F
40
41
42
43 E3 STATE AVANTEL TIGO COMCELMOVISTAR
44 AVANTEL 0.17 0.17 0.18 0.17
45 TIGO 0.17 0.17 0.18 0.17
46 COMCEL 0.17 0.17 0.18 0.17
47 MOVISTAR 0.17 0.17 0.18 0.17
48 ETB 0.17 0.17 0.18 0.17
49 UFF 0.17 0.17 0.18 0.17
50
51
52
53
54 E4 STATE AVANTEL TIGO COMCELMOVISTAR
55 AVANTEL 0.17 0.17 0.18 0.17
56 TIGO 0.17 0.17 0.18 0.17
57 COMCEL 0.17 0.17 0.18 0.17
58 MOVISTAR 0.17 0.17 0.18 0.17
59 ETB 0.17 0.17 0.18 0.17
60 UFF 0.17 0.17 0.18 0.17
61
62
63
64
65
66 E5 STATE AVANTEL TIGO COMCELMOVISTAR
67 AVANTEL 0.17 0.17 0.18 0.17
68 TIGO 0.17 0.17 0.18 0.17
69 COMCEL 0.17 0.17 0.18 0.17
70 MOVISTAR 0.17 0.17 0.18 0.17
71 ETB 0.17 0.17 0.18 0.17
72 UFF 0.17 0.17 0.18 0.17
73
74
75
76
77 E6 STATE AVANTEL TIGO COMCELMOVISTAR
78 AVANTEL 0.17 0.17 0.18 0.17
79 TIGO 0.17 0.17 0.18 0.17
 A B C D E F
80 COMCEL 0.17 0.17 0.18 0.17
81 MOVISTAR 0.17 0.17 0.18 0.17
82 ETB 0.17 0.17 0.18 0.17
83 UFF 0.17 0.17 0.18 0.17
84
85
86
87
88 E7 STATE AVANTEL TIGO COMCELMOVISTAR
89 AVANTEL 0.17 0.17 0.18 0.17
90 TIGO 0.17 0.17 0.18 0.17
91 COMCEL 0.17 0.17 0.18 0.17
92 MOVISTAR 0.17 0.17 0.18 0.17
93 ETB 0.17 0.17 0.18 0.17
94 UFF 0.17 0.17 0.18 0.17
95
96
97
98
99 E8 STATE AVANTEL TIGO COMCELMOVISTAR
100 AVANTEL 0.17 0.17 0.18 0.17
101 TIGO 0.17 0.17 0.18 0.17
102 COMCEL 0.17 0.17 0.18 0.17
103 MOVISTAR 0.17 0.17 0.18 0.17
104 ETB 0.17 0.17 0.18 0.17
105 UFF 0.17 0.17 0.18 0.17
106
107
108
109
110 E9 STATE AVANTEL TIGO COMCELMOVISTAR
111 AVANTEL 0.17 0.17 0.18 0.17
112 TIGO 0.17 0.17 0.18 0.17
113 COMCEL 0.17 0.17 0.18 0.17
114 MOVISTAR 0.17 0.17 0.18 0.17
115 ETB 0.17 0.17 0.18 0.17
116 UFF 0.17 0.17 0.18 0.17
117
118
119
 A B C D E F
120
121
122 E10 STATE AVANTEL TIGO COMCELMOVISTAR
123 AVANTEL 0.17 0.17 0.18 0.17
124 TIGO 0.17 0.17 0.18 0.17
125 COMCEL 0.17 0.17 0.18 0.17
126 MOVISTAR 0.17 0.17 0.18 0.17
127 ETB 0.17 0.17 0.18 0.17
128 UFF 0.17 0.17 0.18 0.17
129
130
131 E10 STATE AVANTEL TIGO COMCELMOVISTAR
132 AVANTEL 0.17 0.17 0.18 0.17
133 TIGO 0.17 0.17 0.18 0.17
134 COMCEL 0.17 0.17 0.18 0.17
135 MOVISTAR 0.17 0.17 0.18 0.17
136 ETB 0.17 0.17 0.18 0.17
137 UFF 0.17 0.17 0.18 0.17
138
139
140 E11 STATE AVANTEL TIGO COMCELMOVISTAR
141 AVANTEL 0.17 0.17 0.18 0.17
142 TIGO 0.17 0.17 0.18 0.17
143 COMCEL 0.17 0.17 0.18 0.17
144 MOVISTAR 0.17 0.17 0.18 0.17
145 ETB 0.17 0.17 0.18 0.17
146 UFF 0.17 0.17 0.18 0.17
147
148
149
150 E12 STATE AVANTEL TIGO COMCELMOVISTAR
151 AVANTEL 0.17 0.17 0.18 0.17
152 TIGO 0.17 0.17 0.18 0.17
153 COMCEL 0.17 0.17 0.18 0.17
154 MOVISTAR 0.17 0.17 0.18 0.17
155 ETB 0.17 0.17 0.18 0.17
156 UFF 0.17 0.17 0.18 0.17
157
158
159 Markov chains

Enter
Enter the
the markov
markov chain
chain in
in the
the shaded
shaded area.
area. IfIf all
all states
states are
are recurre
recurre
use
use the
the Solver
Solver button
button to
to find
find the
the steady
steady state
state probabilities.
probabilities.
 A B C D E F
160
161 Enter
Enter the
the markov
markov chain
chain in
in the
the shaded
shaded area.
area. IfIf all
all states
states are
are recurre
recurre
use
use the
the Solver
Solver button
button to
to find
find the
the steady
steady state
state probabilities.
probabilities.
162
163 Data (one step transition matrix)
164 Initial State 1 State 2 State 3 State 4
165 State 1 0.2 0.19 0.18 0.17 0.15
166 State 2 0.15 0.17 0.15 0.16 0.16
167 State 3 0.15 0.16 0.19 0.17 0.17
168 State 4 0.2 0.18 0.18 0.19 0.18
169 State 5 0.15 0.15 0.16 0.19 0.15
170 State 6 0.15 0.15 0.16 0.17 0.19
171 End prob(given init) 0.1685 0.171 0.1755 0.1665
172
173 2 step transition matrix
174 State 1 State 2 State 3 State 4
175 State 1 0.1674 0.1701 0.175 0.1645
176 State 2 0.1662 0.1699 0.1753 0.1667
177 State 3 0.167 0.1698 0.1747 0.1664
178 State 4 0.1681 0.1711 0.1748 0.1658
179 State 5 0.1656 0.1701 0.175 0.1667
180 State 6 0.1666 0.1703 0.1758 0.1667
181 End prob(given init) 0.16691 0.170255 0.17508 0.166035
182
183 3 step transition matrix
184 State 1 State 2 State 3 State 4
185 State 1 0.166783 0.170187 0.175069 0.166096
186 State 2 0.1668 0.170218 0.175109 0.166134
187 State 3 0.166815 0.170211 0.175092 0.166144
188 State 4 0.166868 0.170211 0.175057 0.166085
189 State 5 0.166777 0.170195 0.175097 0.166178
190 State 6 0.166829 0.170237 0.175079 0.166148
191 End prob(given init) 0.16681335 0.17020875 0.17508175 0.1661268
192
193 4 step transition matrix
194 State 1 State 2 State 3 State 4
195 State 1 0.16680863 0.17020778 0.17508483 0.16613117
196 State 2 0.16681147 0.17020977 0.1750836 0.16613174
197 State 3 0.16681206 0.17020983 0.17508445 0.16613043
198 State 4 0.16681206 0.17020866 0.17508381 0.16612852
199 State 5 0.16681129 0.17021006 0.17508471 0.16613315
200 State 6 0.16681313 0.17020954 0.17508357 0.16613071
 A B C D E F
201 End prob(given init) 0.16681133 0.17020917 0.17508418 0.16613084
202
203 5 step transition matrix
204 State 1 State 2 State 3 State 4
205 State 1 0.16681128 0.17020926 0.17508422 0.16613107
206 State 2 0.16681144 0.17020927 0.17508417 0.16613099
207 State 3 0.16681144 0.17020929 0.17508415 0.16613095
208 State 4 0.16681135 0.17020924 0.17508418 0.1661309
209 State 5 0.16681149 0.17020933 0.17508417 0.166131
210 State 6 0.16681147 0.17020929 0.17508416 0.16613092
211 End prob(given init) 0.1668114 0.17020928 0.17508418 0.16613097
212
213 6 step transition matrix
214 State 1 State 2 State 3 State 4
215 State 1 0.16681141 0.17020928 0.17508418 0.16613098
216 State 2 0.16681141 0.17020928 0.17508418 0.16613097
217 State 3 0.16681141 0.17020928 0.17508418 0.16613097
218 State 4 0.16681141 0.17020928 0.17508418 0.16613097
219 State 5 0.16681142 0.17020928 0.17508418 0.16613097
220 State 6 0.16681141 0.17020928 0.17508418 0.16613097
221 End prob(given init) 0.16681141 0.17020928 0.17508418 0.16613097
222
223 7 step transition matrix
224 State 1 State 2 State 3 State 4
225 State 1 0.16681141 0.17020928 0.17508418 0.16613097
226 State 2 0.16681141 0.17020928 0.17508418 0.16613097
227 State 3 0.16681141 0.17020928 0.17508418 0.16613097
228 State 4 0.16681141 0.17020928 0.17508418 0.16613097
229 State 5 0.16681141 0.17020928 0.17508418 0.16613097
230 State 6 0.16681141 0.17020928 0.17508418 0.16613097
231 End prob(given init) 0.16681141 0.17020928 0.17508418 0.16613097
232
233 8 step transition matrix
234 State 1 State 2 State 3 State 4
235 State 1 0.16681141 0.17020928 0.17508418 0.16613097
236 State 2 0.16681141 0.17020928 0.17508418 0.16613097
237 State 3 0.16681141 0.17020928 0.17508418 0.16613097
238 State 4 0.16681141 0.17020928 0.17508418 0.16613097
239 State 5 0.16681141 0.17020928 0.17508418 0.16613097
240 State 6 0.16681141 0.17020928 0.17508418 0.16613097
241 End prob(given init) 0.16681141 0.17020928 0.17508418 0.16613097
 A B C D E F
242
243 9 step transition matrix
244 State 1 State 2 State 3 State 4
245 State 1 0.16681141 0.17020928 0.17508418 0.16613097
246 State 2 0.16681141 0.17020928 0.17508418 0.16613097
247 State 3 0.16681141 0.17020928 0.17508418 0.16613097
248 State 4 0.16681141 0.17020928 0.17508418 0.16613097
249 State 5 0.16681141 0.17020928 0.17508418 0.16613097
250 State 6 0.16681141 0.17020928 0.17508418 0.16613097
251 End prob(given init) 0.16681141 0.17020928 0.17508418 0.16613097
252
253 10 step transition matrix
254 State 1 State 2 State 3 State 4
255 State 1 0.16681141 0.17020928 0.17508418 0.16613097
256 State 2 0.16681141 0.17020928 0.17508418 0.16613097
257 State 3 0.16681141 0.17020928 0.17508418 0.16613097
258 State 4 0.16681141 0.17020928 0.17508418 0.16613097
259 State 5 0.16681141 0.17020928 0.17508418 0.16613097
260 State 6 0.16681141 0.17020928 0.17508418 0.16613097
261 End prob(given init) 0.16681141 0.17020928 0.17508418 0.16613097
262
263 11 step transition matrix
264 State 1 State 2 State 3 State 4
265 State 1 0.16681141 0.17020928 0.17508418 0.16613097
266 State 2 0.16681141 0.17020928 0.17508418 0.16613097
267 State 3 0.16681141 0.17020928 0.17508418 0.16613097
268 State 4 0.16681141 0.17020928 0.17508418 0.16613097
269 State 5 0.16681141 0.17020928 0.17508418 0.16613097
270 State 6 0.16681141 0.17020928 0.17508418 0.16613097
271 End prob(given init) 0.16681141 0.17020928 0.17508418 0.16613097
272
273 12 step transition matrix
274 State 1 State 2 State 3 State 4
275 State 1 0.16681141 0.17020928 0.17508418 0.16613097
276 State 2 0.16681141 0.17020928 0.17508418 0.16613097
277 State 3 0.16681141 0.17020928 0.17508418 0.16613097
278 State 4 0.16681141 0.17020928 0.17508418 0.16613097
279 State 5 0.16681141 0.17020928 0.17508418 0.16613097
280 State 6 0.16681141 0.17020928 0.17508418 0.16613097
281 End prob(given init) 0.16681141 0.17020928 0.17508418 0.16613097
 G H I J K L M N
1
multiplication):
2 In Colombia there are 6 According to Table by applying the criteria of: • According to the multiplic
o, Comcel, Movistar,
3 ETB and Uff, matrices - vectors find state 7 of the problem according to the initial state of
art summarizes4 the odds that each client probabilities. • According to the multiplication of matrices - vectors, find st
a change of company
5 the problem
according to the initial state of probabilities, following the sequence of state
6
• According to the multiplication of matrices - vectors, find state 12 of the
7 problem according to the initial state of probabilities, following the sequenc
8 state 9.

9 ETB UFF
10 0.19 0.12
11 0.18 0.18
12 0.16 0.15
13 0.15 0.12
14 0.18 0.17
15 0.18 0.15
16
the current market
17 are for Avantel 0.1,
or ETB 0.1 and
18 0.2 for Uff (initial
19
DE TRANSICIÓN
20
21 ETB UFF SUMA INITIAL STATE
22 0.19 0.12 1 AVANTEL TIGO COMCEL MOVISTAR
23 0.18 0.18 1 P0 0.2 0.15 0.15 0.2
24 0.16 0.15 1
25 0.15 0.12 1
26 0.18 0.17 1
27 0.18 0.15 1
28
29
30
31
32 ETB UFF AVANTEL TIGO COMCEL MOVISTAR
33 0.17 0.15 P1 0.17 0.17 0.18 0.17
34 0.17 0.15
35 0.17 0.15
36 0.17 0.15
37 0.17 0.15
38 0.17 0.15
39
 G H I J K L M N
40
41
42
43 ETB UFF AVANTEL TIGO COMCEL MOVISTAR
44 0.17 0.15 P2 0.17 0.17 0.18 0.17
45 0.17 0.15
46 0.17 0.15
47 0.17 0.15
48 0.17 0.15
49 0.17 0.15
50
51
52
53
54 ETB UFF
55 0.17 0.15 AVANTEL TIGO COMCEL MOVISTAR
56 0.17 0.15 P3 0.17 0.17 0.18 0.17
57 0.17 0.15
58 0.17 0.15
59 0.17 0.15
60 0.17 0.15
61
62
63
64
65
66 ETB UFF
67 0.17 0.15 AVANTEL TIGO COMCEL MOVISTAR
68 0.17 0.15 P4 0.17 0.17 0.18 0.17
69 0.17 0.15
70 0.17 0.15
71 0.17 0.15
72 0.17 0.15
73
74
75
76
77 ETB UFF
78 0.17 0.15
79 0.17 0.15 AVANTEL TIGO COMCEL MOVISTAR
 G H I J K L M N
80 0.17 0.15 P5 0.17 0.17 0.18 0.17
81 0.17 0.15
82 0.17 0.15
83 0.17 0.15
84
85
86
87
88 ETB UFF
89 0.17 0.15 AVANTEL TIGO COMCEL MOVISTAR
90 0.17 0.15 P6 0.17 0.17 0.18 0.17
91 0.17 0.15
92 0.17 0.15
93 0.17 0.15
94 0.17 0.15
95
96
97
98
99 ETB UFF
100 0.17 0.15 ESTADO 7
101 0.17 0.15 AVANTEL TIGO COMCEL MOVISTAR
102 0.17 0.15 P7 0.17 0.17 0.18 0.17
103 0.17 0.15
104 0.17 0.15
105 0.17 0.15
106
107
108
109
110 ETB UFF
111 0.17 0.15 AVANTEL TIGO COMCEL MOVISTAR
112 0.17 0.15 P8 0.17 0.17 0.18 0.17
113 0.17 0.15
114 0.17 0.15
115 0.17 0.15
116 0.17 0.15
117
118
119
 G H I J K L M N
120
121
122 ETB UFF ESTADO 9
123 0.17 0.15 AVANTEL TIGO COMCEL MOVISTAR
124 0.17 0.15 P9 0.17 0.17 0.18 0.17
125 0.17 0.15
126 0.17 0.15
127 0.17 0.15
128 0.17 0.15
129
130
131 ETB UFF AVANTEL TIGO COMCEL MOVISTAR
132 0.17 0.15 P10 0.17 0.17 0.18 0.17
133 0.17 0.15
134 0.17 0.15
135 0.17 0.15
136 0.17 0.15
137 0.17 0.15
138
139
140 ETB UFF AVANTEL TIGO COMCEL MOVISTAR
141 0.17 0.15 P11 0.17 0.17 0.18 0.17
142 0.17 0.15
143 0.17 0.15
144 0.17 0.15
145 0.17 0.15
146 0.17 0.15
147
148
149 ESTADO 12
150 ETB UFF AVANTEL TIGO COMCEL MOVISTAR
151 0.17 0.15 P12 0.17 0.17 0.18 0.17
152 0.17 0.15
153 0.17 0.15
154 0.17 0.15
155 0.17 0.15
156 0.17 0.15
157
158
159

nn in
in the
the shaded
shaded area.
area. IfIf all
all states
states are
are recurrent
recurrent then
then
oo find
find the
the steady
steady state
state probabilities.
probabilities.
 G H I J K L M N
160
nn in
in the shaded 161
the shaded area.
area. IfIf all
all states
states are
are recurrent
recurrent then
then
oo find
find the
the steady
steady state
state probabilities.
probabilities.
162
163
164 State 5 State 6 State 2
165 0.19 0.12 0 P1 0 0 0 0
166 0.18 0.18 0 P2 0 0 0 0
167 0.16 0.15 0 P3 0 0 0 0
168 0.15 0.12 0 P4 0 0 0 0
169 0.18 0.17 0 P5 0 0 0 0
170 0.18 0.15 0 P6 0 0 0 0
171 0.173 0.1455
172
173
174 State 5 State 6
175 0.174 0.149
176 0.1737 0.1482
177 0.1731 0.149
178 0.1726 0.1476
179 0.1732 0.1494
180 0.1724 0.1482
181 0.17318 0.14854
182
183
184 State 5 State 6
185 0.173239 0.148626
186 0.173155 0.148584
187 0.173184 0.148554
188 0.173211 0.148568
189 0.173155 0.148598
190 0.173149 0.148558
191 0.17318645 0.1485829
192
193
194 State 5 State 6
195 0.17318357 0.14858402
196 0.1731818 0.14858162
197 0.17318199 0.14858124
198 0.17318499 0.14858196
199 0.17318049 0.1485803
200 0.17318227 0.14858078
 G H I J K L M N
201 0.17318269 0.14858179
202
203
204 State 5 State 6
205 0.17318245 0.14858171
206 0.17318249 0.14858163
207 0.17318252 0.14858166
208 0.17318259 0.14858174
209 0.17318242 0.14858158
210 0.17318254 0.14858162
211 0.1731825 0.14858166
212
213
214 State 5 State 6
215 0.1731825 0.14858166
216 0.1731825 0.14858166
217 0.1731825 0.14858166
218 0.1731825 0.14858166
219 0.1731825 0.14858165
220 0.1731825 0.14858166
221 0.1731825 0.14858166
222
223
224 State 5 State 6
225 0.1731825 0.14858166
226 0.1731825 0.14858166
227 0.1731825 0.14858166
228 0.1731825 0.14858166
229 0.1731825 0.14858166
230 0.1731825 0.14858166
231 0.1731825 0.14858166
232
233
234 State 5 State 6
235 0.1731825 0.14858166
236 0.1731825 0.14858166
237 0.1731825 0.14858166
238 0.1731825 0.14858166
239 0.1731825 0.14858166
240 0.1731825 0.14858166
241 0.1731825 0.14858166
 G H I J K L M N
242
243
244 State 5 State 6
245 0.1731825 0.14858166
246 0.1731825 0.14858166
247 0.1731825 0.14858166
248 0.1731825 0.14858166
249 0.1731825 0.14858166
250 0.1731825 0.14858166
251 0.1731825 0.14858166
252
253
254 State 5 State 6
255 0.1731825 0.14858166
256 0.1731825 0.14858166
257 0.1731825 0.14858166
258 0.1731825 0.14858166
259 0.1731825 0.14858166
260 0.1731825 0.14858166
261 0.1731825 0.14858166
262
263
264 State 5 State 6
265 0.1731825 0.14858166
266 0.1731825 0.14858166
267 0.1731825 0.14858166
268 0.1731825 0.14858166
269 0.1731825 0.14858166
270 0.1731825 0.14858166
271 0.1731825 0.14858166
272
273
274 State 5 State 6
275 0.1731825 0.14858166
276 0.1731825 0.14858166
277 0.1731825 0.14858166
278 0.1731825 0.14858166
279 0.1731825 0.14858166
280 0.1731825 0.14858166
281 0.1731825 0.14858166
 O P Q R S T U V
1
of: • According
2 to the multiplication of
m according to3the initial state of
ion of matrices4 - vectors, find state 9 of
5
, following the sequence of state 7.
6
s - vectors, find state 12 of the
7
babilities, following the sequence of
8

9
10
11
12
13
14
15
16
17
18
19
20
TIAL STATE21
22 ETB UFF
23 0.15 0.15
24
25
26
27
28
29
30
31
32 ETB UFF
33 0.17 0.15
34
35
36
37
38
39
 O P Q R S T U V
40
41
42
43 ETB UFF
44 0.17 0.15
45
46
47
48
49
50
51
52
53
54
55 ETB UFF
56 0.17 0.15
57
58
59
60
61
62
63
64
65
66
67 ETB UFF
68 0.17 0.15
69
70
71
72
73
74
75
76
77
78
79 ETB UFF
 O P Q R S T U V
80 0.17 0.15
81
82
83
84
85
86
87
88
89 ETB UFF
90 0.17 0.15
91
92
93
94
95
96
97
98
99
ESTADO 7 100
101 ETB UFF
102 0.17 0.15
103
104
105
106
107
108
109
110
111 ETB UFF
112 0.17 0.15
113
114
115
116
117
118
119
 O P Q R S T U V
120
121
ESTADO 9 122
123 ETB UFF
124 0.17 0.15
125
126
127
128
129
130
131 ETB UFF
132 0.17 0.15
133
134
135
136
137
138
139
140 ETB UFF
141 0.17 0.15
142
143
144
145
146
147
148
STADO 12 149
150 ETB UFF
151 0.17 0.15
152
153
154
155
156
157
158
159
 O P Q R S T U V
160
161
162
163 Steady state Results for MCs with all recurrent states
164 Steady State
165 Row should s p1 0 0 0 0 0 0
166 Row should sum to 1 0
167 Row should sum to 1 0
168 Row should sum to 1 0
169 Row should sum to 1 0
170 Row should s p2 0 0
171 sum 0
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
 W X Y Z AA AB AC AD
160
161
162
163
164
165 0 0 0 0 0 0 0 0
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
 A B C D E F
1
2 Exercise 4. Markov chains (Initial state multiplication):
3 Suppose that 4 types of soft drinks are obtained in the market: Colombian, P
4 Cola, Fanta and Coca Cola when a person has bought Colombian there is a
5 probability
that they will continue to consume 40%, 20% of which will buy Pepsi Cola,
6
that
7 Fanta buys and 30% that Coca Cola consumes; when the buyer currently
8 consumes
9 Pepsi Cola there is a probability that he will continue to buy 30%, 20% buy
10 Colombiana, 20% that Fanta consumes and 30% Coca Cola; if Fanta is curr
11 consumed, the likelihood of it continuing to be consumed is 20%, 40% buy
12 Colombian, 20% consume Pepsi Cola and 20% go to Coca Cola. If you curr
13
consume Coca Cola the probability that it will continue to consume is 50%,
buy
14
Colombian, 20% that consumes Pepsi Cola and 10% that is passed to Fanta.
15 At present, each Colombian brand, Pepsi Cola, Fanta and Coca Cola have th
16 following percentages in market share respectively (18%, 32%, 15% and 35
17 during week 7.
18
19 MATRIZ DE TRANSICIÓN
20 STATE ColombianPepsi Cola Fanta Coca Cola
21 Colombian 0.4 0.2 0.1 0.3
22 Pepsi Cola 0.2 0.3 0.2 0.3
23 Fanta 0.4 0.2 0.2 0.2
24 Coca Cola 0.2 0.2 0.1 0.5
25
26
27
28 E1 STATE ColombianPepsi Cola Fanta Coca Cola
29 Colombian 0.3 0.22 0.13 0.35
30 Pepsi Cola 0.28 0.23 0.15 0.34
31 Fanta 0.32 0.22 0.14 0.32
32 Coca Cola 0.26 0.22 0.13 0.39
33
34
35
36 E2 STATE ColombianPepsi Cola Fanta Coca Cola
37 Colombian 0.28 0.22 0.14 0.36
38 Pepsi Cola 0.28 0.22 0.14 0.36
39 Fanta 0.29 0.22 0.14 0.36
40 Coca Cola 0.28 0.22 0.14 0.36
 A B C D E F
41
42
43
44 E3 STATE ColombianPepsi Cola Fanta Coca Cola
45 Colombian 0.28 0.22 0.14 0.36
46 Pepsi Cola 0.28 0.22 0.14 0.36
47 Fanta 0.28 0.22 0.14 0.36
48 Coca Cola 0.28 0.22 0.14 0.36
49
50
51
52 E4 STATE ColombianPepsi Cola Fanta Coca Cola
53 Colombian 0.28 0.22 0.14 0.36
54 Pepsi Cola 0.28 0.22 0.14 0.36
55 Fanta 0.28 0.22 0.14 0.36
56 Coca Cola 0.28 0.22 0.14 0.36
57
58
59 Markov chains
60
61 Enter
Enter the
the markov
markov chain
chain in
in the
the shaded
shaded area.
area. IfIf all
all states
states are
are recur
recu
use
use the
the Solver
Solver button
button to
to find
find the
the steady
steady state
state probabilities.
probabilities.
62
63 Data (one step transition matrix)
64 Initial State 1 State 2 State 3 State 4
65 State 1 0.18 0.4 0.2 0.1 0.3
66 State 2 0.32 0.2 0.3 0.2 0.3
67 State 3 0.15 0.4 0.2 0.2 0.2
68 State 4 0.35 0.2 0.2 0.1 0.5
69 End prob(given init) 0.266 0.232 0.147 0.355
70
71 2 step transition matrix
72 State 1 State 2 State 3 State 4
73 State 1 0.3 0.22 0.13 0.35
74 State 2 0.28 0.23 0.15 0.34
75 State 3 0.32 0.22 0.14 0.32
76 State 4 0.26 0.22 0.13 0.39
77 End prob(given init) 0.2826 0.2232 0.1379 0.3563
78
79 3 step transition matrix
80 State 1 State 2 State 3 State 4
 A B C D E F
81 State 1 0.286 0.222 0.135 0.357
82 State 2 0.286 0.223 0.138 0.353
83 State 3 0.292 0.222 0.136 0.35
84 State 4 0.278 0.222 0.135 0.365
85 End prob(given init) 0.2841 0.22232 0.13611 0.35747
86
87 4 step transition matrix
88 State 1 State 2 State 3 State 4
89 State 1 0.2842 0.2222 0.1357 0.3579
90 State 2 0.2848 0.2223 0.1361 0.3568
91 State 3 0.2856 0.2222 0.1358 0.3564
92 State 4 0.2826 0.2222 0.1357 0.3595
93 End prob(given init) 0.284042 0.222232 0.135843 0.357883
94
95 5 step transition matrix
96 State 1 State 2 State 3 State 4
97 State 1 0.28398 0.22222 0.13579 0.35801
98 State 2 0.28418 0.22223 0.13584 0.35775
99 State 3 0.28428 0.22222 0.1358 0.3577
100 State 4 0.28366 0.22222 0.13579 0.35833
101 End prob(given init) 0.283977 0.2222232 0.1358075 0.3579923
102
103 6 step transition matrix
104 State 1 State 2 State 3 State 4
105 State 1 0.283954 0.222222 0.135801 0.358023
106 State 2 0.284004 0.222223 0.135807 0.357966
107 State 3 0.284016 0.222222 0.135802 0.35796
108 State 4 0.28389 0.222222 0.135801 0.358087
109 End prob(given init) 0.2839569 0.22222232 0.13580307 0.35801771
110
111 7 step transition matrix
112 State 1 State 2 State 3 State 4
113 State 1 0.283951 0.2222222 0.1358023 0.3580245
114 State 2 0.2839622 0.2222223 0.135803 0.3580125
115 State 3 0.2839636 0.2222222 0.1358024 0.3580118
116 State 4 0.2839382 0.2222222 0.1358023 0.3580373
117 End prob(given init) 0.28395199 0.22222223 0.13580254 0.35802324
118
119 8 step transition matrix
120 State 1 State 2 State 3 State 4
121 State 1 0.28395066 0.22222222 0.13580245 0.35802467
 A B C D E F
122 State 2 0.28395304 0.22222223 0.13580253 0.3580222
123 State 3 0.2839532 0.22222222 0.13580246 0.35802212
124 State 4 0.2839481 0.22222222 0.13580245 0.35802723
125 End prob(given init) 0.28395091 0.22222222 0.13580248 0.35802439
126
127 9 step transition matrix
128 State 1 State 2 State 3 State 4
129 State 1 0.28395062 0.22222222 0.13580247 0.35802469
130 State 2 0.28395111 0.22222222 0.13580248 0.35802419
131 State 3 0.28395113 0.22222222 0.13580247 0.35802418
132 State 4 0.28395011 0.22222222 0.13580247 0.3580252
133 End prob(given init) 0.28395068 0.22222222 0.13580247 0.35802463
134
135 10 step transition matrix
136 State 1 State 2 State 3 State 4
137 State 1 0.28395062 0.22222222 0.13580247 0.35802469
138 State 2 0.28395072 0.22222222 0.13580247 0.35802459
139 State 3 0.28395072 0.22222222 0.13580247 0.35802459
140 State 4 0.28395052 0.22222222 0.13580247 0.35802479
141 End prob(given init) 0.28395063 0.22222222 0.13580247 0.35802468
142
143 11 step transition matrix
144 State 1 State 2 State 3 State 4
145 State 1 0.28395062 0.22222222 0.13580247 0.35802469
146 State 2 0.28395064 0.22222222 0.13580247 0.35802467
147 State 3 0.28395064 0.22222222 0.13580247 0.35802467
148 State 4 0.2839506 0.22222222 0.13580247 0.35802471
149 End prob(given init) 0.28395062 0.22222222 0.13580247 0.35802469
 G H I J K L M
1
e multiplication):
2
tained in the market:
3 Colombian, Pepsi
n has bought Colombian
4 there is a
5
20% of which will buy Pepsi Cola, 10%
6
7 buyer currently
umes; when the
8
will continue to9buy 30%, 20% buy
nd 30% Coca 10 Cola; if Fanta is currently
to be consumed11 is 20%, 40% buy
d 20% go to Coca12 Cola. If you currently
t will continue13to consume is 50%, 20%
14
la and 10% that is passed to Fanta.
15 Coca Cola have the
Cola, Fanta and
16 32%, 15% and 35%)
spectively (18%,
17
18 INITIAL STATE
19 WEEK 7
20 P0 ColombianPepsi Cola Fanta Coca Cola
21 0.18 0.32 0.15 0.35
22
23
24
25
26
27
28 WEEK 8
29 P1 ColombianPepsi Cola Fanta Coca Cola
30 0.27 0.23 0.15 0.36
31
32
33
34
35
36 WEEK 9
37 P2 ColombianPepsi Cola Fanta Coca Cola
38 0.28 0.22 0.14 0.36
39
40
 G H I J K L M
41
42
43
44 WEEK 10
45 P3 ColombianPepsi Cola Fanta Coca Cola
46 0.28 0.22 0.14 0.36
47
48
49
50
51
52 WEEK 11
53 P4 ColombianPepsi Cola Fanta Coca Cola
54 0.28 0.22 0.14 0.36
55
56
57
58
59
60
nn in
in the
the shaded 61 IfIf all
shaded area.
area. all states
states are
are recurrent
recurrent then
then
oo find
find the
the steady state
state probabilities.
steady62 probabilities.

63
64 State 2
65 0 P1 0 0 0 0 0
66 0 P2 0 0 0 0 0
67 0 P3 0 0 0 0 0
68 0 P4 0 0 0 0 0
69
70
71
72
73
74
75
76
77
78
79
80
 N O P Q R S T
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63 Steady state Results for MCs with all recurrent states
64 Steady State
65 Row should sum to 1 p1 0 0 0 0 0
66 Row should sum to 1 0
67 Row should sum to 1 0
68 Row should sum to 1 p2 0 0
69 sum 0
70
71
72
73
74
75
76
77
78
79
80
 U V W X Y Z AA AB
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65 0 0 0 0 0 0 0 0
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80