Primeros resultados de

la medida de la
experiencia de usuario
de telecomunicaciones
fijo y móvil en
Colombia
Primeros resultados del análisis

case
Primeros resultados de la
medida de la experiencia
de usuario celular en
Colombia

Índice
1. Metodología
2. Visión global de la experiencia de usuario para el servicio de datos

3. Visión global de la experiencia de usuario para el servicio de Voz

4. Visión global de la cobertura del servicio

5. Visión Bogotá:

6. Anexos
Primeros resultados de la
medida de la experiencia
de usuario celular en
Colombia Metodología
Ciudad objetivo 31-dic Porcentaje
_ Número de Muestras Barranquilla 12.000 19.558 163,00%

Bogotá, D.C. 60.000 69.346 115,60%

_ Las medidas presentadas se tomaron del 011015 al 31/12/2015
utilizando el sistema Medux Bucaramanga 12.000 14.610 121,80%

Cali 24.000 43.651 181,90%

_ El número de muestras total fue de 273.130 Cartagena 12.000 15044 125%
Cúcuta 12.000 19.229 160,20%
_ El número de pruebas de cada tipo varía en función de la prueba Leticia 9.000 9000+ 100,00%
Medellín 36.000 48.362 134%
Quibdó 9.000 13.606 151,20%

Villavicencio 12.000 20.724 172%

_ Tipos de Pruebas
_ La definición de los parámetros incluidos en el presente informe es la siguiente:
_ DCR: % de llamadas caídas sobre el total de llamadas establecidas
_ CSSR: % de llamadas establecidas sobre el total de llamadas intentadas
_ % Tiempo registrado en la red: % de tiempo en el que el terminal tiene establecida sesión de datos operativa
_ % Tiempo registrado en la red 4G: % de tiempo en el que el terminal tiene establecida sesión de datos operativa
_ Tiempo de carga Web: tiempo de carga completa de la página hasta el último recurso (incluye la resolución de DNS)
_ Velocidad de descarga HTTP: Velocidad media de bajada durante la descarga de un archivo (3MB y 10MB de distintos servidores)
_ % de pruebas HTTP finalizadas: % de descargas HTTP que han finalizado correctamente sin llegar al timeout establecido
_ Consideraciones
_ Con el objeto de representar el todavía elevado número de terminales 2G en Colombia se realizó un conjunto de pruebas de voz en 2G. En la
actualidad las sondas se hayan en modo libre. El porcentaje de pruebas de 2G sobre el total de las pruebas es del 15% para este estudio
_ El número de muestras por grid condiciona fuertemente la posibilidad de obtener conclusiones con ese nivel de detalle. Se incluyen algunos ejemplos
para reforzar la noción de que pueden existir “zonas calientes” que pueden presentar un comportamiento muy específico. Hasta el nivel de localidad el
nivel de número de muestras es representativo. A niveles inferiores (grid) debe evaluarse “ad hoc”
_ Las sondas de MEDUX se despliegan en maleteros de taxi, utilizando terminales estándar con antenas integradas para replicar lo máximo posible las
condiciones reales de los usuarios (a diferencia de los Drive Test donde se utilizan antenas externas), por tanto condiciones más exigentes (peores
niveles de señal y movilidad intensa) para identificar problemas tanto en los servicios de voz como en datos. Como consecuencia de ellos, los
indicadores tradicionales de calidad obtenidos son bajos, pero absolutamente válidas para hacer comparaciones e identificar tendencias y problemas.3
Primeros resultados de la
medida de la experiencia
de usuario celular en
Visión global de la experiencia de usuario para el servicio de
Colombia datos
Visión global (ms,Mbps, %)
19
El tiempo de carga Web
frente a la velocidad de
BOG, BAR, BUC, CAL, CUC, VIL,: servicio
descarga produce una cercano a la referencia Internacional
visión agregada del 17

servicio de datos. La
experiencia de uso es CAL BUC
similar pero inferior a las 15 BOG
referencias
internacionales. Las CAR y MED: servicio por debajo de la
media
ciudades pueden 13 VIL
CUC
agruparse en tres grupos BAR

distintos S`peedtest DL (Mbps)

CAR

Ciudad 11
BEN
COL
MED
9

LET

LET y QUII: servicio Pobre

QUI
3
13000 18000 23000 28000 33000 38000 43000 48000 53000
Tiempo Carga Web (ms)
Primeros resultados de la
medida de la experiencia
de usuario celular en
Visión global de la experiencia de usuario para el servicio de
Colombia datos
Acces MOS
El Acces MOS cuantifica
Los MOS ofrecen una la capacidad y la rapidez
visón agregada de los para contactar con
aspectos principales de la BEN: 3,23 servidores en internet
experiencia del usuario y (PING). La latencia es
cuantifican la diferencia COL: 2.39
muy alta en todo el país y
con las referencias para todas redes, lo que
internacionales aleja la experiencia de
uso de la referencia

Benchmark

Web MOS
El Web MOS cuantifica la
BEN: 4,14
fluidez y completitud de
la navegación Web y el
COL: 3,67
tiempo que tardan las
páginas en presentarse al
usuario. Si bien el valor
para el país es
ligeramente inferior que
la referencia algunas
redes consiguen valores
similares o incluso
mejores
Benchmark
5
 Primeros resultados de la
medida de la experiencia
de usuario celular en
Visión global de la experiencia de usuario para el servicio de
Colombia Voz Visión global Voz
BUC, BAR, VIL: Servicio excelente
101

100 BUC VIL

BAR CUC
CAL
QUI
BOG CAR
MED
El servicio de voz es

Accesib ilidad (%)

99

comparable o mejor al de Ciudad

98 BOG, MED, CAL,QUI, CUC servicio
la referencia con la BEN
97 similar a la referencia

excepción de la ciudad de COL

96 CAR: Inferior a la media
LET. Los valores de 95
LET LET: servicio Pobre

accesibilidad son muy 94

altos en general 0 2 4 6 8 10 12 14
Caídas (%)
Llamadas Caídas

En lo que se refiere a la calidad del servicio de voz

la ciudad de LET vuelve a mostrar un
COL: 4,02 comportamiento claramente distinto al resto del
país
BEN: 3,79
Para CAR el servicio es también inferior a la media
mientras que para BOG, MEC, CAL, QUI y CUC el
servicio es muy similar al de la referencia. EN
5
Benchmark
BUC, BAR y VIL el servicio puede considerarse
Voz MOS como excelente.
4 Los valores de llamadas caídas son en media
BEN: 3,5 ligeramente superiores a la referencia
3 COL: 2,92 fundamentalmente asociados a redes y ciudades
concretas
2
Los valores de accesibilidad (intentos de
llamadas) son, con excepción de LET, muy altos
1

La calidad de voz es muy similar para todo el país

0 y para todas las redes y está en la banda de lo
6
aceptable aunque es inferior a la referencia
 Primeros resultados de la
medida de la experiencia
de usuario celular en
Colombia Visión global de la experiencia de usuario en cobertura 4G
Visión global Cobertura VIL: Servicio excelente
101

100
El nivel de cobertura del QUI
CAR
MED BAR CUC BUC BOG VIL

servicio es alto y la 99
cobertura 4G se beneficia 98
de la existencia de
operadores exclusivos. No 97 CAR, MED, BAR, BUC,BOG, CUC: servicio

% Registrado
inferior a la referencia CAL
obstante LET, QUI Ciudad 96
presentan cobertura 4G BEN
95
testimonial y CAL un nivel COL CAL: Cobertura inferior

de tiempo registrado 94

menor 93

92 LET
LET, QUI: servicio Pobre
91
0 10 20 30 40 50 60 70 80 90 100
% Registrado 4G

% Tiempo en 4G
BEN: 88,99% Excepto en Leticia la cobertura es alta. Sin embargo
QUI tiene un tiempo en 4G muy pequeño. Para el
COL: 70,26 %
resto de las ciudades La cobertura en general es
muy alta y el % de tiempo en 4G está en valores
similares a la referencia.
En las principales ciudades y tomando red a red
(excluyendo el efecto de los OMV sin 4G) la
cobertura del servicio está en valores cercanos a los
Benchmark
de referencia (sobre el 85%). No obstante MED y CAR
se hayan en la banda baja
7
 Servicio de datos: Visión
BOG Ejemplo: Servicio de datos en Bogotá
Visión global (ms,Mbps, %)
35
30 Velocidades ST Altas
OMVF2 Tiempos de carga Muy elevados

La prestación del servicio

Speedtest DL (Mbps)
25

de datos en Bogotá varía 20

OMVF1 OMR3
OMR2 OMV3.2
fuertemente pero se 15 OMV3.1
identifican redes 10 OMR1
comparables a las 5
Comportamiento muy estable OMV2.1
referencias internacionales 0
0 5000 10000 15000 20000 25000 30000 35000 40000 45000 50000
-5
Tiempo Web (ms)
Operador BOG BEN COL

_ MOS
_ Access MOS _ Web MOS

Benchmark: 4,14
_ Web MOS: 3,76
Benchmark: 3,23
_ Benchmark: 4,14
BOG: 3,76
BOG: 2.41

_ Es posible identificar grupos de operadores que parecen prestar el servicio con estrategias
diferentes, fundamentalmente en tiempo de carga WEB (y Web MOS)
_ Las velocidades de acceso de algunos OMR parecen reducidas, mientras que los tiempos de
cargan son también superiores a las referencias. La latencia (Acces MOS) es en general alta 8
 Servicio de datos: Visión
BOG Algunos datos para BOG
_ Tiempo Carga Web (ms) _ Velocidad DL Speedtest (Mbps)

El tiempo de carga web es

bueno para algunas redes
pero para otras resulta
muy elevado. Mientras que
el % de páginas es alto. BOG: 19.167 ms Benchmark: 16,65 Mbps
Algunos OMR presentan
valores no muy altos de
velocidad de descarga en
ST, mientras que la
latencia es muy alta por lo Benchmark: 14.290 ms BOG: 14,95 Mbps
general
_ Pruebas Web Completadas (%) _ Latencia Ping (ms)

BOG: 84,88 %

BOG: 229,03 ms

Benchmark: 80,31%
Benchmark: 74,83 ms

9
 Servicio de datos: Visión
BOG Algunos datos para BOG
_ Dropbox-Velocidad media:Kbps _ Youtube - Velocidad media (kB/s)

Una vez que la

comunicación se ha
establecido la prestación
de servicios OTT es de
muy buena calidad, BOG: 2307 kbps BOG: 542 kB/s
destacando especialmente
el caso de Dropbox

Benchmark: 1482 kbps Benchmark: 531 KB/s

10
 Servicio de Voz: Visión
BOG Servicio de Voz en Bogotá
Bogotá Voz
100,5
OMV3.2 OMV3.1
En el servicio de voz 100 OMVF1 OMVF2 OR3 OMV2.1 OR1

también se aprecia una

Accesibilidad
99,5
clara diferencia Operador
99
comportamiento por BOG

grupo de operadores. En BEN 98,5

general los valores de COL 98 OR2

Accesibilidad son muy
97,5
altos y para algunos 0 1 2 3 4 5 6 7
operadores también son Caidas
muy buenos los valores de Calidad de voz (MOS)
llamadas caídas mientras
que otros presentan _ Existe un grupo de operadores que prestan un
valores ligeramente servicio de voz de muy alta calidad (en parámetros 5
de llamadas)
perores que las referencias
internacionales _ No obstante las redes que cursan mayor tráfico 4

tienen prestaciones mejorables o ligeramente

peores que las referencias internacionales 3

_ Algunos MVNO parecen presentar

comportamientos diferenciados a los de sus hosts 2

_ El comportamiento de algunas redes resulta tan 1

similar que es prácticamente indistinguible en el
gráfico
0
_ Los valores de calidad de voz (expresada en MOS)
resultan muy similares y en línea con valores
aceptables
11
Primeros resultados de la
medida de la experiencia
de usuario celular en
Colombia “Hot Areas” DCR en BOG

_ OMR 1 _ OMR 2 _ OMR 3 _ OMV F1 _ OMV F2

_ En BOG se han identificado áreas que por su importancia y número de viandantes tienen
un gran impacto sobe la experiencia de los usuarios, en este caso del servicio de Voz. Si
bien es posible identificar esas áreas prácticamente para todos los operadores la
“profundidad” y extensión de las mismas no es igual en todos los casos. Es posible que
mecanismos orientados a la mejora en áreas específicas refuercen la necesidad de
compartir las soluciones a los problemas entre diferentes operadores

12
Primeros resultados de la
medida de la experiencia
de usuario celular en
Colombia Tabla resumen de las principales magnitudes
Resumen

Medida Bogotá Medellín Cali Cartagena Barranquilla Bucaramanga Cúcuta Leticia Quibdó Villavicencio

% Tiempo registrado 99,78% 99,72% 96,71 % 99,95% 99,85% 99,77 % 99,76 % 92,08 % 99,6 % 99,85 %

% Tiempo 4G 74,09% 57,63% 79,96 % 49,04 % 61,43% 68,56 % 64,76 % 1,58 % 13,65 % 88,34 %

DCR 3,84 % 4,24% 3,72 % 6,06 % 2,92% 1,61% 3,59 % 10,87 % 3,84 % 2,92 %

CSSR 97.69% 99,51% 99,93 % 100 % 100 % 99,94 % 99,96 % 95,28 % 99,93 % 99,98 %

Tiempo carga Web 19.167ms 23.099 ms 17.788 ms 25.284 ms 20.339 ms 20.632 ms 19.663 > 1 min 27.188 ms 18.509 ms
ms

Velocidad descarga 14,95 Mbps 9,49 Mbps 15,56 Mbps 11,82 Mbps 12,67 Mbps 15,41 Mbps 12,95 3,47 Mbps 13,61 Mbps
Mbps

% Completadas Web 84,88% 83,82% 90,17 % 83,88 % 88,48 % 85,06% 86,06 % 75,41 % 90,27 %

13
Primeros resultados de la
medida de la experiencia
de usuario celular en
Colombia Conclusiones
_ Cobertura
_ Leticia y Quibdó muestran una experiencia de uso de los servicios mucho peor que el resto. En el caso de Leticia esto es
especialmente grave.
_ En ciudades importantes como Medellín y Cartagena la cobertura y el servicio están por debajo de la media del país. No
obstante la cobertura 4G es alta y la 3G prácticamente completa. Las excepciones de Leticia y Quibdó están relacionadas
con la pobre prestación del servicio en esas ciudades.

_ Servicio de datos
_ En la mayoría de las ciudades el servicio de datos es similar y no muy alejado de las referencias internacionales. No obstante,
la velocidad de descarga es por lo general inferior a las de la referencia y los tiempos de carga web más altos de lo deseable
para algunas redes. Los valores de latencia son marcadamente altos en todos los casos.
_ Los servicios cloud (Dropbox y youtube) obtienen consistentemente valores mejores que los de la referencia. Algunas redes
obtienen puntuaciones en línea con las mejores referencias, aunque en los valores MOS finalmente no puntúen tan alto
(penalizados por la latencia)
_ Las principales redes presentan comportamientos consistentes de ciudad en ciudad (con las excepciones ya mencionadas).
Sin embargo, se ha identificado el probable uso de optimizadores en algunas de ellas y en algunas ciudades que pueden
tener impacto en la experiencia final de los clientes.
_ En Leticia la experiencia de usuario es muy pobre, siendo el servicio prácticamente inusable. La situación no es tan grave en
Quibdó pero el servicio es sensiblemente peor que en el resto del país. Ciudades importantes como Medellín y Cartagena
disfrutan de un servicio peor que la media
_ Servicio de Voz
_ El servicio de voz se presta (con la excepción de Leticia) muy en la línea de los valores de referencia internacional aunque la
existencia de amplias zonas subóptimas en algunas ciudades aleja los valores medios de esos valores.
_ La accesibilidad del servicio de voz es muy alta por lo general y para algunas redes en algunas ciudades la calidad del
servicio es muy alta

14
 Primeros datos de la
medida de la experiencia
de usuario de Acceso a
Internet en Colombia

Índice
1. Visión global del servicio de acceso a internet en el país
(por universo). Capa 2:
1. Tiempo carga Web vs velocidad descarga Http vs franja horaria
2. Ethernet vs Wifi
1. Tiempo de Carga Web
2. Velocidad de descarga
3. Velocidades publicitadas totales
 Primeros datos de la
medida de la experiencia
de usuario de Acceso a
Internet en Colombia Visión agregada de la experiencia
% Descarga HTTP
18 100
BEN
16
99
. La experiencia en general 14
se encuentra alejada de la

Descarga HTTP (Mbps)

98
12
de la referencia debido a la
baja velocidad media 10 97

(asociada a las velocidades 8 OR3 96

publicitadas). No obstante 6 OR1 COL
OR4
el tiempo de carga web 4 OR2
95

está para OMR1 en la línea 94

2
de las referencias mientras
que para el resto de las 0 93
6500 7500 8500 9500 10500 11500 12500 13500 OR3
ETB OR2CO
Movistar OR1
Claro OR4
Une BEN COL
redes, especialmente para Tiempo Carga Web (ms)
OMR3 paradójicamente, Descarga HTTP Tiempo de carga Web
hay grandes
oportunidades de mejora

% Descarga HTTP

Aunque para las medidas sintéticas se intuye para los valores directos si
se aprecia un cierto, aunque no muy importante, componente horario. El
servicio se vuelve peor en la banda de tarde al disminuir la velocidad de
descarga y aumentar los tiempos de carga. El porcentaje de éxito se
mantiene alto y más o menos invariable

16
 Primeros datos de la
medida de la experiencia
de usuario de Acceso a
Internet en Colombia Impacto de la tecnología en la experiencia de usuario (ETH vs Wifi): Tiempo de Carga
15000
OR3

El tiempo de Carga Web se OR3; 14429,25

ve sustancialmente 14000
afectado por la tecnología.
Los casos de OR3 y OR2
son muy característicos
13000
mientras que OR3 muestra
un comportamiento
asociado probablemente a OR2

disponer de velocidades 12000

WiFi (ms)
OR2; 11745,53
publicitadas más altas.
Como se ha señalado OR4
presenta un 11000
comportamiento único al
obtener mejor valor a
través de WiFi 10000
OR1
OR4; 9525,47

9000
OR1; 8903

8000
8000 9000 10000 11000 12000 13000 14000 15000
ETH (ms)
OR4

Universo teorica

17
 Primeros datos de la
medida de la experiencia
de usuario de Acceso a Impacto de la tecnología en la experiencia de usuario (ETH vs Wifi): Velocidad
Internet en Colombia Descarga
16

OR3

Como era previsible las

velocidades de descarga 14
se ven afectadas muy
sensiblemente por el uso
del interfaz WiFi. No
obstante el impacto no es 12
homogéneo. Es muy alto
en OR3 (asociado OR2

probablemente a una
mayor velocidad de 10
descarga media) y muy OR3; 9,62

bajo para OR4. Para OR2

es también llamativamente
alto 8

OR1

6
OR4; 5,69
OR1; 5,38

OR2; 4,54
4
4,5 6,5 8,5 10,5 12,5 14,5 16,5

Universo teorica
OR4

18
 Primeros datos de la
medida de la experiencia
de usuario de Acceso a
Internet en Colombia Identificaciones de conjuntos de velocidades publicitadas

_ Más de un 50% de la muestra tienen una velocidad publicitada igual o inferior a 5M

A nivel agregado la
velocidad más frecuente
es 5M seguido a mucha
distancia por 10M. Estas
velocidades no son altas si
se comparan con el
contexto internacional
229
Operado Velocidad
r publicitada # panelistas
Todos 1 18
2 5
3 24
4 14
5 83
6 16
7 4
10 32
20 12
25 4
30 9
40 2
50 2
70 4
19
 Primeros datos de la
medida de la experiencia
de usuario de Acceso a
Internet en Colombia Diagramas acumulativos de velocidades medidas vs publicitada
Probabilidad DL ST Superior por velocidad Publicitada
100,00%
El grado de cumplimiento Velocidad publicitada ST DL Medio GC%

es alto pero precisamente todas 9,34 104,92%

las velocidades más 90,00% 1 1,57 156,61%
2 2,95 147,70%
populares (5M y 10M)
3 2,98 99,28%
presentan índices de 80,00%
4 4,02 100,43%
cumplimiento en la banda
5 4,85 96,95%
inferior. La velocidad (ST 70,00% 6 5,95 99,18%
DL), tanto publicitada 7 7,70 109,93%
como medida, es baja 60,00% 10 9,86 98,64%
20 21,64 108,18%
25 26,62 106,47%
50,00%
30 28,54 95,12%
40 41,65 104,11%
40,00% 50 57,42 114,85%
70 75,94 108,49%
30,00% Total general 9,34 104,92%

20,00%

_ Benchmark
10,00%
Velocidad publicitada ST DL Medio GC%

0,00% EU* 39,69 78,31

0 3 6 9 12 15 18 21 24 27 30 33 36 39 42 45 48 51 54 57 60 63 66 69 72 75 EUA* 24,88* 101

1 2 3 4 5 6 7 ESP* 85 88

10 20 25 30 40 50 Total
* Fuiente: Quality of Broadband Services in the EU.October 2014. Velocidad 20
EUA Cable. ESP medidas propias FTTH
 Primeros datos de la
medida de la experiencia
de usuario de Acceso a Velocidad de descarga: Ethenernet vs WiFii vs Velocidad publicitada(medias y
Internet en Colombia distribución)

_ Para la velocidad publicitada más popular (5M) la velocidad (ST DL) más frecuente es 4M
El uso del interfaz WiFi 35 Velocidad media (ST DL) sobre WiFi
concentra las velocidades
en la parte inferior de la 30

gráfica y mueve las bandas

25
más populares ligeramente
a la izquierda 20

15

10

0
0 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38 40 42 44 46 48 50 52 54 56 58 60 62 64 66 68 70 72 74 76

1 2 3 4 5 6 7 10 20 25 30 40 50

_ Distribución de velocidades medias (ST DL) según interfaz (ejemplo 5M)

60 ETH 30 WiFi

50 25
40 20
30 15
20 10
10 5
0 0
0 1 2 3 4 5 6 1 2 3 4 5 21
 Primeros datos de la
medida de la experiencia
de usuario de Acceso a
Internet en Colombia Conclusiones y recomendaciones
1.
Las principales 2.
conclusiones del estudio
identifican un escenario
con oportunidades de
mejora que pueden ser 3.
accionadas de manera
clara a partir de una
situación de partida que
ofrece mecanismos para
hacerlo
4.
5.
6.
Las velocidades ofertadas son muy bajas. Existe una clara oportunidad para mejorarlas mientras se
esquiva la posibilidad de mantener al país anclado en una experiencia “ADSL”
Los valores de cumplimiento están en la línea con las referencias internacionales (y son muy superiores a
los de la UE). No obstante deben monitorizarse las tendencias y concentrarse en la velocidades más
populares (5M y 6M) que son las que presentan peores índices en principio
A diferencia de la velocidad de descarga en el speedtests los parámetros que más afectan a la
experiencia de los clientes (el tiempo de carga web, la velocidad de descarga, la latencia, el uso de
Dropbox o Youtube) presentan variaciones importantes que no son fácilmente comunicables a los
clientes. Definir un modo eficaz para comunicar estos datos podría ser un elemento útil a la hora de la
toma de decisiones informadas por parte de los clientes
La latencia es en general muy alta. Su impacto en ciertos tipo de aplicaciones como juegos, mensajería y
video comunicaciones es muy importante. Hay una oportunidad clara para una mejora global de este
parámetro.
El impacto del interfaz de uso del servicio (WiFi o ETH) es muy alto, en general. Este hecho tiene un fuerte
sustrato tecnológico y es previsible, como ya indican los resultados, que se haga más acusado conforme
las velocidades aumenten en general. Existe la oportunidad de informar a los clientes de este hecho
mientras que se les pueden ofrecer soluciones adecuadas según su necesidad, influyendo en la
estrategia de CPE de los operadores o facilitando a los clientes medios para escoger su propio CPE
La muestra utilizada incluye ciudades principales lo que ofrece una visión de la experiencia de la mayoría
de la población y está en línea con las metodologías utilizadas en otros países. No obstante es presumible
un cierto componente geográfico que no ha sido evaluado en este estudio
22
 Primeros datos de la
medida de la experiencia
de usuario de Acceso a
Internet en Colombia

case Luis Molina

luismo@caseonit.com

Victor Drobinic
Victor.drobinic@nae.com.co

www.nae.es
23