Rapport Qualite Service Mobile 2011

La qualit des services de voix et de donnes
des rseaux mobiles (2G et 3G)

en France mtropolitaine
Les rsultats de lenqute pour lanne 2011
Novembre 2011
ARCEP Rsultats pour lanne 2011 de lenqute de qualit des services de voix et de
donnes des rseaux mobiles (2G et 3G) en France mtropolitaine

2/64
La qualit des services de voix et de donnes
des rseaux mobiles en France mtropolitaine

Sommaire

Synthse page 3

Qualit du service de voix des rseaux mobiles (2G et 3G) page 9

Qualit des services de donnes des rseaux mobiles (2G et 3G) page 29


3/64

Synthse

Lenqute de qualit de service mene annuellement par lARCEP a pour objectif dune part,
dapprcier, sur une base comparative, la qualit de service des rseaux mobiles offerte aux
abonns par les oprateurs mobiles et, dautre part, de vrifier que les obligations
rglementaires en matire de qualit de service sont bien respectes
1
.

La qualit de service est teste sur les rseaux de deuxime et de troisime gnrations des
oprateurs Orange France, SFR et Bouygues Telecom.

Les autorisations des oprateurs mobiles prvoient quune enqute dvaluation de la qualit
de service est mene chaque anne et que les oprateurs contribuent financirement sa
ralisation.

LARCEP rdige, cette fin, en concertation avec les oprateurs, un cahier des charges
dtaillant la mthodologie suivre pour la ralisation de lenqute et la publication de ses
rsultats.

Depuis 2007, cette enqute se divise en une enqute dvaluation de la qualit du service de
voix et une enqute dvaluation de la qualit des services de donnes.

En 2011, lenqute relative au service de voix a t conduite par la socit AFD et celle
relative aux services de donnes a t conduite par la socit Directique. Elles se sont
droules du 1
er
mars au 13 juillet 2011 pour lenqute de qualit de service voix, et du
24 mars au 13 juillet 2011 pour lenqute de qualit des services de donnes.

Les deux enqutes menes en 2011 ont volu sur un certain nombre de points par rapport
la prcdente enqute.

Les principales volutions ont portes sur les enqutes des services de donnes. Cette anne,
les mesures de visiophonie ont t supprimes, ce service tant peu utilis. En revanche, des
mesures de navigation web sur PC avec cl 3G ont t introduites, selon un protocole
similaire au protocole des mesures WAP sur mobiles.

En outre, des mesures de dbit et de navigation web sur smartphones ont t ajoutes sur
lensemble des agglomrations de plus de 400 000 habitants ( TOP 12 ). Ces mesures,
ralises titre exprimental, visaient valider le protocole de mesures sur ce type de
terminaux.

Les autres volutions ont port sur des sujets communs aux services de voix et donnes. Ainsi,
une nouvelle rpartition des mesures entre les zones trs denses (ZTD) et autres zones denses
(AZD) a t introduite. Les mesures ont t ralises pour 2/3 en ZTD et 1/3 en AZD, alors
que la rpartition lors de lenqute prcdente tait de 50% en ZTD et 50% en AZD.

1
Lenqute mene par lARCEP vise, au travers de mesures techniques ralises sur le terrain, reflter de
manire statistique la qualit des services sur les rseaux des oprateurs. Elle ne vise pas recueillir, par
exemple au travers dun sondage, la perception que pourraient avoir les abonns de la qualit de bout en bout de
ces services, qui peut dpendre de leur usage du rseau, du terminal et des applications utilises.

4/64
1. Enqute relative la qualit du service de voix

1.1 Mthodologie
1.1.1 Dfinition dune mesure

Une mesure consiste tenter dtablir une communication tlphonique, puis valuer la
qualit auditive de la communication, sur chacun des rseaux des oprateurs tests, en
utilisant aussi bien les rseaux 2G que les rseaux 3G.

Deux aspects sont mesurs lors de lenqute :

- la capacit de dmarrer une communication et de la maintenir 2 ou 5 minutes ;
- la qualit audio de la communication.

1.1.2 Zones gographiques et usages

Les mesures sont effectues dans les agglomrations et sur les axes de circulation suivants :

- dans les 12 agglomrations les plus peuples (TOP 12)
2
lintrieur et lextrieur
des btiments et en situation de passager bord dun vhicule en mouvement ;
- dans 20 agglomrations entre 50 000 et 400 000 habitants lintrieur et lextrieur
- dans 20 agglomrations entre 10 000 et 50 000 habitants lintrieur et lextrieur
- dans les principales lignes TGV (en mouvement) ;
- sur les autoroutes fort trafic en situation de passager bord dun vhicule en
mouvement ;
- dans les trains de banlieue et tramways (en mouvement).

1.1.3 Terminaux utiliss

Pour chaque oprateur, les mesures sont ralises avec un terminal de deuxime gnration et
un terminal de troisime gnration, slectionns parmi les trois terminaux les plus vendus de
chaque oprateur au cours des 6 mois prcdant le dmarrage de lenqute.

1.2 Les enseignements de lenqute de voix

Lenqute 2011 confirme le bon niveau global de la qualit du service de tlphonie vocale
observe depuis plusieurs annes.

Ce service a t test dans 52 agglomrations de plus de 10 000 habitants, lintrieur et
lextrieur des btiments, ainsi que dans un vhicule en mouvement. Il ressort des tests que le

2
Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice-Antibes-Cannes, Toulouse, Bordeaux, Nantes, Toulon,
Douai-Lens, Strasbourg et Grenoble

5/64
taux de communications russies et maintenues 2 minutes et 5 minutes reste trs lev, de
respectivement 97,3% et 96,2%, dans la continuit des annes prcdentes. Les
communications russies et maintenues sont presque toujours de qualit auditive parfaite.

La qualit du service de tlphonie a galement t mesure, en mouvement, sur les
principales lignes TGV, dans les trains de banlieue des 4 plus grandes villes et sur les
autoroutes fort trafic.

Dans le TGV, le taux de communications russies et maintenues pendant 2 minutes est en
baisse de 3% par rapport lenqute prcdente. Les rsultats font par ailleurs tat dcarts
significatifs entre oprateurs.

Sur les autoroutes, le taux de communications russies et maintenues est en baisse denviron
2% par rapport lenqute prcdente, mais le taux de communications de qualit parfaite est
en augmentation de 2%.

Enfin, dans les trains de banlieues et les tramways, les taux de communications de qualit
correcte et parfaite sont en hausse respectivement de 2% et 4% par rapport la prcdente
enqute.

2. Enqute relative la qualit des services de donnes

2.1 Mthodologie
2.1.1 Services audits

Lenqute dvaluation de la qualit de service permet de vrifier, la fois pour les rseaux
2G et 3G :

- la qualit du service de messages courts (SMS) ;
- la qualit du service de transmission de photo par MMS ;
- la qualit du service daccs WAP ;
- la qualit du service de transfert de fichiers ;
- la qualit de navigation web sur PC.


6/64
2.1.2 Rpartition gographique

Les mesures sont effectues dans les agglomrations suivantes :

- dans les 12 agglomrations les plus peuples
3
, en situation statique, lextrieur des
btiments ;
- dans 20 agglomrations entre 50 000 et 400 000 habitants, en situation statique,
lextrieur des btiments.

2.1.3 Terminaux utiliss et offres testes

SMS, MMS, WAP

Pour chaque oprateur, les mesures sont ralises avec un terminal de deuxime gnration et
un terminal de troisime gnration slectionns parmi les trois terminaux les plus vendus de
chaque oprateur au cours des 6 mois prcdant le dmarrage de lenqute.

La rpartition entre les deux types de terminaux est rgle pour chaque oprateur de manire
tre reprsentative de la clientle de loprateur.

Tlchargement de fichiers et navigation web

Les mesures sont ralises sur un ordinateur portable avec une cl 3G. Loffre teste
correspond, pour chaque oprateur, loffre 3G+ grand public la plus performante disponible
au lancement de lenqute.

2.2 Les enseignements de lenqute sur les services de donnes
2.2.1 Le service de transfert de fichiers en mode FTP

Sur chaque point de mesure, la mesure est faite sur le meilleur rseau disponible (EDGE,
UMTS, HSPA) de chaque oprateur.

Les rsultats prsentent des lments dapprciation des performances des rseaux des
oprateurs au moment de lenqute acheve mi-juillet 2011. Ils ne prjugent pas des
volutions relatives aux dploiements par les oprateurs des diffrentes technologies
employes et celles relatives la charge des rseaux des oprateurs.

Il est important de prciser que le transit des fichiers transfrs se fait en partie via internet :
ce transit peut parfois engendrer des difficults daccs au serveur et un allongement du dlai
de rception des messages, indpendamment de la qualit de transmission propre au rseau
mobile.

3
Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice-Antibes-Cannes, Toulouse, Bordeaux, Nantes, Toulon,
Douai-Lens, Strasbourg et Grenoble

7/64
Ces tests ont montr que les dbits observs pour le tlchargement de fichiers sur les rseaux
3G atteignaient plus de 9,2 Mbit/s pour les plus rapides, et que lenvoi de fichiers a fait
apparatre des dbits suprieurs 3 Mbit/s pour les plus rapides.

Le dbit moyen atteint pour le tlchargement est de 3 Mbit/s, de 40% suprieur au dbit
moyen atteint lors de lenqute prcdente. Pour lenvoi de fichier, le dbit moyen atteint
1,3 Mbit/s, dbit lgrement suprieur celui atteint dans lenqute prcdente (1,2 Mbit/s).

Par ailleurs, on constate une plus forte disparit de dbits observs entre oprateurs, que ce
soit pour le tlchargement ou lenvoi de fichiers. Ainsi, les dbits mdians sont de 4,8 Mbit/s
pour Orange France, 2,8 Mbit/s pour SFR et 1,2 Mbit/s pour Bouygues Telecom.

2.2.2 Les autres services de donnes

Les rsultats des tests effectus pour le service de message court (SMS) confirment, avec un
taux de russite suprieur 99%, le trs bon niveau de qualit global de ce service observ
depuis plusieurs annes.

Le service denvoi de photo par messagerie multimdia (MMS), ainsi que le service de
navigation WAP, prsentent globalement cette anne une amlioration des rsultats. Ainsi, le
taux de messages reus en moins de 3 minutes augmente de 2,4% dans les agglomrations de
plus de 50 000 habitants.

Les rsultats du service de navigation WAP connaissent une augmentation de 7% du taux de
navigation russie et maintenue pendant 5 minutes dans les agglomrations de plus de
50 000 habitants par rapport lenqute prcdente, et de 6% dans les 12 agglomrations les
plus peuples ; ce taux est cette anne proche de 100%.

Pour la premire anne, le service daccs au web partir de cls 3G a t mesur. Les deux
indicateurs tests sont le taux de russite daccs au web dans un dlai infrieur 50 secondes,
qui atteint en moyenne 97,5 %, et le taux de navigation russie et maintenue pendant une
dure de 5 minutes, de 96% environ.

2.3 Les mesures exprimentales sur smartphones

Des mesures exprimentales sur smartphones ont galement t introduites pour la premire
fois cette anne dans les 12 plus grandes agglomrations mtropolitaines. En nombre rduit,
ces mesures ont permis de vrifier que les protocoles de mesures qui avaient t dfinis pour
le transfert de fichiers et la navigation web sur ce type de terminaux peuvent pleinement tre
mis en uvre, mais ne permettent pas, linstar des autres indicateurs, de publication
individuelle par oprateur. Elles apportent nanmoins plusieurs enseignements.

Le taux daccessibilit au rseau est identique au taux de connexion au rseau atteint par les 3
oprateurs sur des mesures partir de cls 3G sur PC. Le dbit moyen atteint pour le
tlchargement est de 2,4 Mbit/s, ce qui est un peu infrieur au dbit moyen atteint avec la cl
3G dans les 12 plus grandes agglomrations. Pour lenvoi de fichier, le dbit moyen atteint
1,4 Mbit/s, dbit lgrement suprieur au dbit atteint dans les 12 plus grandes
agglomrations.

8/64

Les diffrences observes avec les cls 3G sur les dbits en tlchargement pourraient
notamment tre lies aux performances maximales des smartphones, infrieures celles des
cls 3G et ne semblent pas rsulter des rseaux des oprateurs.

3. Format de restitution des rsultats

Les rsultats complets sont disponibles la fin de chaque rapport, aprs une description
dtaille des protocoles de mesures.

La signaltique utilise dans les tableaux de rsultats est la suivante :

- la qualification du rsultat individuel de chaque oprateur autour de la moyenne
agrge des trois oprateurs est symbolise par les signes suivants :

Symbole Signification
Trs infrieur la valeur de rfrence
Infrieur la valeur de rfrence
= Voisin de la valeur de rfrence
+ Suprieur la valeur de rfrence
+ + Trs suprieur la valeur de rfrence

- les flches apparaissant dans les tableaux indiquent le sens de lvolution des
rsultats par rapport lenqute prcdente, lorsque la comparaison est possible et
que lvolution est significative.

La qualit des services de voix des rseaux
mobiles (2G et 3G) en France mtropolitaine


ARCEP- rsultats pour lanne 2011 de lenqute de qualit des services de voix des rseaux
mobiles
10/64

AVERTISSEMENT

Remarques gnrales

Lobjet de cette enqute, mene sur une base annuelle, est dapprcier la qualit de service des
rseaux de tlphonie mobile de deuxime (2G) et de troisime gnrations (3G) en France.
LARCEP dfinit en concertation avec les oprateurs concerns par ltude, savoir Orange France,
SFR et Bouygues Telecom, un cahier des charges dtaillant la mthodologie suivre pour la
ralisation de lenqute et la publication de ses rsultats.

Limites de lexercice

L'valuation porte sur la qualit du service de voix des rseaux mobiles perue par les clients dans
les conditions dutilisation quotidienne. Cette valuation a t mene sur une dure totale de 4 mois.
Afin, notamment, de rendre ltude plus reprsentative de lusage du service vocal de tlphonie
mobile, chacun des rseaux a t test avec les mobiles 2G et 3G correspondant aux meilleures
ventes rcentes de packs de chaque oprateur.

Prcision statistique et arrondis

Comme dans tout sondage, les rsultats de la prsente enqute comportent une marge
dimprcision. La prcision statistique indique en dessous de chaque rsultat est lintervalle
contenant le rsultat selon une probabilit de 95%. Toute comparaison entre les diffrents
indicateurs doit donc tenir compte de cet intervalle de confiance.
Par ailleurs, pour tre en cohrence avec cette imprcision statistique, les rsultats de la prsente
enqute ont t arrondis au dixime prs. Il convient de rappeler que :
- la somme de deux rsultats arrondis peut tre diffrente de larrondi de leur somme ;
- le produit de deux rsultats arrondis peut tre diffrent de larrondi de leur produit.

mobiles
11/64

SOMMAIRE

1. CARACTERISTIQUES TECHNIQUES DE LENQUETE ............................................................................ 12
1.1 CONFIGURATION GENERALE ........................................................................................................................... .... 12
1.2 CONSTRUCTION DE LECHANTILLON ............................................................................................................... .... 13
1.3 CONDITIONS DE MESURE................................................................................................................................. .... 16
1.4 NOTATION DE LA QUALITE AUDITIVE .............................................................................................................. .... 19
1.5 EQUIPES ET DEROULEMENT DE LENQUETE ..................................................................................................... .... 20
2. INDICATEURS DE PUBLICATION DE LENQUETE ................................................................................. 23
2.1 DEFINITIONS DES INDICATEURS PUBLIES ........................................................................................................ .... 23
2.2 PRINCIPES GENERAUX DE LA PUBLICATION ..................................................................................................... .... 23
3 RESULTATS DE LENQUETE DEVALUATION DE LA QUALITE DU SERVICE DE VOIX DES
RESEAUX DE DEUXIEME ET TROISIEME GENERATIONS EN FRANCE METROPOLITAINE ............... 25
3.1 USAGES EN AGGLOMERATION......................................................................................................................... .... 25
3.2 USAGES SUR LES AXES DE TRANSPORT ........................................................................................................... .... 27

mobiles
12/64

1. CARACTERISTIQUES TECHNIQUES DE LENQUETE
1.1. Configuration gnrale
1.1.1. Dfinition de la mesure
Les enquteurs munis de tlphones mobiles et les enquteurs munis de tlphones fixes sappellent
entre eux sur les diffrents rseaux de tlphonie mobile tester. Ils vrifient lobtention de lappel
(absence dchec), le maintien de la communication pendant la dure de lappel, qui peut tre de 2
minutes ou 5 minutes (absence de coupure), et valuent la qualit auditive de la communication.
Une partie des mesures a t ralise avec des mobiles 3G, dans une proportion cohrente avec le
trafic voix sur les rseaux 3G de chaque oprateur : 20% pour Bouygues Telecom, 30% pour SFR et
40% pour Orange France. Les mesures 3G sont intercales entre les mesures 2G afin dtre rparties
uniformment sur les zones testes.
Les appels ont t passs dans 1/3 des cas du fixe vers le mobile et pour le reste, du mobile vers le
fixe.
Plusieurs situations dutilisation sont testes :
- en voiture, en situation passager (sans antenne de toit) sur autoroutes et dans les
agglomrations,
- en piton lextrieur,
- en piton lintrieur de btiments,
- bord des trains de banlieue et tramways,
- bord des TGV.
Quelle que soit la situation, les mesures ont t effectues simultanment sur les trois rseaux au
mme endroit gographique. Chaque rseau est test par un binme denquteurs, lun mobile et
lautre fixe.
Lutilisation dun kit oreillette est systmatique.
Les mesures en situation de piton lintrieur (bureaux, habitations et lieux publics) ont t
ralises en 1
er
jour (pice avec fentre). Elles sont rparties entre le rez-de-chausse et les tages en
excluant les sous-sols.

1.1.2. Calendrier, planning et horaires
Lenqute 2011 sest droule entre le 1
er
mars 2011 et le 13 juillet 2011.
Durant lenqute, les oprateurs Bouygues Telecom, Orange France et SFR ne connaissaient ni les
dates ni les lieux o taient effectues les mesures. Ils ignoraient aussi la liste des villes tires au
sort parmi les agglomrations de moins de 400 000 habitants ainsi que les abonnements utiliss
dans le cadre de lenqute.
Les mesures ont t ralises du lundi au vendredi, jours fris exclus, et rparties de faon
homogne entre 9h et 21h. Toutefois, dans les agglomrations (hors trains de banlieue et tramways),
les heures pleines (12h-13h et 18h-21h) ont t privilgies hauteur de 40%.
Les mesures ont t rparties sur la dure de lenqute pour chaque usage, dans les agglomrations,
les axes et les lignes TGV. De plus, afin dobtenir une rpartition temporellement homogne de
mobiles
13/64
lenqute, plusieurs passages ont t effectus dans chacune des agglomrations de plus de 400 000
habitants.

1.1.3. Terminaux utiliss
Les terminaux ont t choisis parmi les meilleures ventes des packs de chaque oprateur. Une
vrification fonctionnelle a permis de garantir que les tlphones slectionns possdaient des
performances comparables et quils ninduisaient pas eux-mmes de biais dans la mesure.
Les terminaux retenus sont les suivants :

Oprateur GSM (2G) UMTS (3G)
Bouygues Telecom Black Berry 8520 CURVE iPhone 4
Orange France Samsung C3050 Sony Ericsson J 20 Quick Silver
SFR NOKIA 2720 FOLD NOKIA E71

1.2. Construction de lchantillon
1.2.1. Slection des agglomrations
Les agglomrations de plus de 400 000 habitants sont au nombre de 12. Toutes ont t retenues et
testes, en distinguant les zones trs denses et les autres zones denses selon les critres
suivants :
- Zones trs denses : centre-ville de la ou des communes principales, zones de transit (gares,
aroports), centres dactivits (commerciaux, affaires), axes urbains trs fort trafic et
autoroutes dans les limites de lagglomration ;
- Autres zones denses : continuum bti autour des zones trs denses, autres centres villes de
plus de 5 000 habitants, autres axes urbains au sein de lagglomration.

Les agglomrations de moins de 400 000 habitants sont spares en deux groupes au sein desquels
ont t slectionnes, par tirage au sort, 20 agglomrations : un groupe avec les agglomrations de
50 000 400 000 habitants et un autre avec celles de 10 000 50 000 habitants.

Cette mthode de slection des agglomrations renforce volontairement la reprsentation des
agglomrations de faible population.

Pour chacun des deux groupes dagglomrations, le tirage au sort a t effectu avec une probabilit
fonction logarithmique de la population, qui a t rectifie pour quilibrer les diverses rgions du
territoire.

Pour chaque agglomration, deux zones ont t distingues : la ville qui correspond la
commune principale et le reste de lagglomration.

mobiles
14/64
Le tableau suivant regroupe les agglomrations slectionnes classes par groupe :

10 000 50 000 habitants 50 000 40 000 habitants
TOP 12
(suprieur 400 000 habitants)
Ville dpt Ville dpt Ville dpt
Lons le saunier 39 Orlans 45 Bordeaux 33
Coulommiers 77 Besanon 25 Douai-Lens 62
Lure 70 Chalon sur Sane 71 Grenoble 38
Gray 70 Saint Quentin 02 Lille 59
Cambrai 59 Valenciennes 59 Lyon 69
Remiremont 88 Metz 57 Marseille-Aix-en-Provence 13
Sarrebourg 67 Arras 62 Nantes 44
Grardmer 88 Chalons en champagne 51 Nice-Cannes-Antibes 6
Saint-Malo 35 Rouen 76 Paris 75
Trouville 14 Rennes 35 Strasbourg 67
Yvetot 76 Elbeuf 76 Toulon 83
Pont Audemer 27 Laval 53 Toulouse 31
Albertville 73 Saint Etienne 42
L'Isle sur la Sorgue 84 Avignon 84
Le Grau du Roi 30 Frjus 83
Saint Rmy de Provence 13 Thonon les Bains 74
Royan 17 Prigueux 24
Mazamet 81 Montauban 82
Langon 33 Limoges 87
Figeac 46 La Rochelle 17

La reprsentativit des agglomrations est rcapitule dans le tableau suivant :

Agglomrations
Total France Echantillon
Nombre
Population
(millions)
Nombre
slectionn
Population
(millions)
Reprsentativit
de plus de 400 000
habitants
12 19,18 12 19,18 100 %
de 50 000 400 000
habitants
104 12,74 20 2,45 19,23 %
de 10 000 50 000
habitants
361 7,11 20 0,39 5,54 %

mobiles
15/64
1.2.2. Carte des agglomrations et des axes tests

Reprsentation cartographique et rgionale de lensemble de lenqute

mobiles
16/64
1.2.3. Volumtrie et rpartition par type de lieu et par type dusage
Lchantillon a t construit de manire respecter les critres suivants :
- distinguer les diffrentes catgories de situations (voiture, piton intrieur, piton extrieur,
zones gographiques,) ;
- disposer dun nombre suffisant de mesures dans chaque catgorie en vue dobtenir une
prcision statistique satisfaisante ;
- rpartir les mesures, au sein de chaque catgorie, selon des conditions reprsentatives des
utilisations les plus courantes.

Le nombre de mesures ralises pour lensemble des oprateurs est rparti de la manire suivante :

Communications de 2 minutes
En agglomrations Voiture
Piton
Total
En intrieur En extrieur
de plus de 400 000 habitants 603 1923 1251 3777
de 50 000 400 000 habitants 408 1293 834 2535
de 10 000 50 000 habitants 231 738 480 1449

Communications de 5 minutes
En agglomrations Voiture
Piton
Total
En intrieur En extrieur
de plus de 400 000 habitants 624 1878 1257 3759
de 50 000 400 000 habitants 414 1272 825 2511
de 10 000 50 000 habitants 249 702 474 1425

Sur les axes de circulation : communications de 2 minutes
TGV Autoroutes
Trains de
banlieue
Total
4720 3189 2961 10870
Au total, ltude a produit et exploit 26 326 appels tlphoniques.

1.3. Conditions de mesure
1.3.1. Conditions de mesure dans les agglomrations
Aprs avoir ainsi dtermin la localisation et le nombre des mesures, un certain nombre de
conditions supplmentaires ont t prises en compte :
- Localisation des mesures
Dune faon gnrale, lextension de chaque agglomration teste correspond la dfinition de
lINSEE de 2007 donnant la liste des communes appartenant lagglomration.
mobiles
17/64
Les agglomrations de plus de 400 000 habitants ont t subdivises en zones trs denses et
autres zones denses comme expliqu prcdemment.
Dans les autres agglomrations, ont t distingus la ville (ZTD = Zone Trs Dense), qui est la
commune principale, et le reste de lagglomration (AZD = Autre Zone Dense).
- Mesures en voiture
Dans les agglomrations de plus de 400 000 habitants, le territoire tester a t divis en zones de
surfaces quivalentes, avec un certain nombre dappels effectuer. Les enquteurs ajustent leurs
parcours en fonction du terrain (circulation et sens interdits), lobjectif tant de couvrir
quitablement la zone.
Dans les autres agglomrations, les mesures ont t rparties pour 2/3 en ville (ZTD) et 1/3 dans le
reste de lagglomration (AZD). Elles ont t effectues sur des parcours incluant les axes
principaux et dans les zones bties (centre-ville, aroport, gare, lieux touristiques, zones
dactivits).
- Mesures pitons
Dispositions communes aux mesures lextrieur ou lintrieur des btiments
Dans chaque agglomration, les mesures ont t disperses le plus possible sur le territoire tester
et il a t vit de raliser des mesures aux mmes endroits que celles effectues en voiture.
Dans les agglomrations de plus de 400 000 habitants, les mesures ont t rparties selon le mme
principe de division en zones de surfaces quivalentes que pour les mesures en voiture.
Dans les autres agglomrations, les mesures ont t effectues dans les zones bties, avec une
rpartition 2/3 en ville et 1/3 dans le reste de lagglomration.
Mesures pitons en extrieur
Les mesures ont t ralises pour 2/3 en dplacement et 1/3 larrt. En chaque point mesur, une
seule mesure a t effectue de faon obtenir la meilleure dispersion gographique. Les
emplacements ont t choisis parmi les zones frquentes par les pitons (zones bties, parcs et
jardins, plages, ...).
Mesures pitons en intrieur
Tous les appels ont t passs en 1
er
jour (pice avec fentre), sans se dplacer, aux rez-de-chausse
et dans les tages en excluant les sous-sols.
Les mesures ont t rparties, selon le type de btiment :
- dans les lieux publics de grande superficie : 2 mesures indoor premier jour ;
- dans les lieux privs (bureaux ou habitations) : 2 mesures indoor premier jour.

mobiles
18/64
1.3.2. Conditions de mesure dans les trains de banlieue et tramways
Ces mesures concernent les agglomrations de Paris, Lyon, Lille et Marseille-Aix-en-Provence
dotes de rseaux de trains de banlieue et de tramways. La rpartition des mesures est base sur les
donnes de trafic et de frquence des rames compiles partir des sources www.ter-sncf.com;
www.paris.fr/portail/deplacements; www.rtm.fr anne 2010).

Agglomrations testes en
trains de banlieue
Proportion de mesures
ralises par
agglomration
Paris 64,28%
Lyon 14,33%
Lille 11,90%
Marseille 9,49%
Total 100,00%

Les diffrentes positions des enquteurs dans les rames ont t testes : fentre ou couloir, bas ou
haut dans les rames, un ct de la voie laller puis lautre au retour. Les trois enquteurs sont
groups afin dvaluer les trois rseaux dans les mmes conditions.

1.3.3. Conditions de mesure sur les autoroutes
La rpartition des mesures sur les axes autoroutiers fort trafic est prsente ci-dessous. Celle-ci est
base sur les donnes fournies par le SETRA.

Axes autoroutiers
ralises sur chaque axe
A1 Paris - Lille 9,2%
A4 Paris - Strasbourg 7,7%
A6 Paris - Lyon 18,1%
A7 Lyon - Marseille 12,4%
A8 Marseille - Menton 4,8%
A9 Orange - Perpignan 11,7%
A10 Paris - Bordeaux 12,5%
A11 Paris - Nantes 7,7%
A13 Paris - Caen 7,3%
A61 Toulouse - Narbonne 3,5%
A62 Bordeaux - Toulouse 5,1%
Total 100,0%

Les tests sont raliss en variant rgulirement les positions des enquteurs dans le vhicule afin
dvaluer les trois rseaux dans les mmes conditions.

mobiles
19/64
1.3.4. Conditions de mesure dans les TGV
La rpartition des mesures sur les lignes de TGV testes est prsente ci-dessous. Celle-ci
est base sur les informations des horaires des trains sur le site http://www.voyages-sncf.com/

Lignes TGV
ralises sur chaque
ligne
Lille - Lyon 4,6%
Paris - Bordeaux 8,8%
Paris - Calais 10,8%
Paris - Lille 13,3%
Paris - Lyon 20,8%
Paris - Marseille 9,1%
Paris - Nantes 10,4%
Paris - Rennes 10,3%
Paris - Strasbourg 8,2%
Avignon - Montpellier 3,7%
Total 100,0%

Les tests sont raliss prs des fentres et en haut dans les rames en duplex. Les trois
enquteurs sont les uns derrire les autres ct fentre en variant les positions pour valuer les trois
rseaux dans les mmes conditions.

1.3.5. Rcapitulatif des mesures ralises par strate et par situation dutilisations

Strate En voiture
A lintrieur
des btiments
En train
A lextrieur
des btiments
Total des
mesures
10-50 000 hab 480 1440 954 2874
50-400 000 hab 822 2565 1659 5046
AUTOROUTE 3189 3189
TDB 2961 2961
TGV 4720 4720
TOP12 1227 3801 2508 7536
Total 5718 7806 7681 5121 26326

1.4. Notation de la qualit auditive
La qualit auditive est note par les enquteurs mobile et fixe, selon une chelle 4 niveaux :
- Parfaite : aucune perturbation, qualit quivalente celle du rseau fixe commut ;
- Acceptable : lgre gne dans lcoute par quelques perturbations qui ne troublent toutefois
pas la conversation ;
mobiles
20/64
- Mdiocre : frquemment gn dans lcoute par de nombreuses perturbations, mais il est
encore possible de se comprendre ;
- Mauvais : il est trs difficile de sentendre, la conversation est impossible.
Chaque enquteur mobile et fixe, porte une apprciation sur les communications maintenues 2 ou 5
minutes. Les communications sont qualifies indpendamment par lappelant et par lappel. La
note de lappel dcoule de lapprciation la plus svre des deux notes. Des dispositions ont t
prises pour garantir une apprciation objective de la qualit de la part des enquteurs ainsi que pour
viter les divergences dvaluation et leurs consquences sur les rsultats. Les enquteurs ont t
forms spcifiquement afin de qualifier les communications de faon rigoureuse.
Les dispositions prises afin de garantir un talonnage objectif et homogne de la qualit auditive ont
t les suivantes :
- formation des enquteurs afin didentifier les perturbations typiques pouvant survenir sur les
rseaux mobiles numriques (cho, bruit mtallique, grsillements,) ;
- entranement (dbut et fin de chaque phase de mesures) l'talonnage de la qualit auditive
d'aprs des enregistrements sonores, et contrle de la dispersion des rsultats ;
- avant le dbut de lenqute, tous les matriels utiliss ont t vrifis par le consultant. Leur
bon fonctionnement a t contrl comme le ferait un usager classique en vrifiant
notamment le bon accrochage du rseau, le contrle de la batterie et les premires
communications ;
- campagne de mesures probatoires en situation relle et analyse : application de procdures,
enregistrement des donnes pour tous les enquteurs mobile et fixe, et analyse des rsultats ;
- contrle par des superviseurs au cours des mesures relles : coute discrte alatoire et
contrle des donnes enregistres tout au long de lenqute ;
- analyse quotidienne de la cohrence des rsultats obtenus : divers tats de sortie statistiques
permettent de dtecter dventuelles divergences de notation de la qualit auditive, selon les
enquteurs, les terminaux, etc., et dintervenir en cas danomalie ;
- permutation des binmes denquteurs fixe et mobile sur chaque rseau et entre eux afin
dliminer tout biais rsiduel dapprciation de la qualit auditive dans un mme groupe et
dans des groupes diffrents.
Au cours de l'enqute, l'apparition d'ventuels problmes de fonctionnement est surveille en temps
rel. S'ils proviennent du matriel utilis, les mesures sont marques de manire spcifique dans la
base pour ne pas tre prises en compte dans les rsultats. Ces mesures sont alors refaites aprs
correction du problme.
1.5. Equipes et droulement de lenqute
1.5.1. Ralisation de lenqute

Une quipe constitue dun directeur de projet, de deux chefs de projet (1 chef de projet AFD et 1
chef de projet GENETEL) et dun coordinateur a organis le droulement de lenqute :

- La formation des enquteurs au protocole ARCEP ;
- Lorganisation des plannings ;
- La vrification journalire des quotas et la rpartition des mesures ;
- Le respect des modes opratoires ;
mobiles
21/64
- La communication hebdomadaire des rsultats vers lARCEP.

Les mesures en voiture ont t ralises par une quipe de 7 personnes (3 enquteurs mobiles
accompagns dun chauffeur, 3 enquteurs fixes).
Les mesures pitons ont t ralises par des quipes de 7 personnes (3 enquteurs mobiles
accompagns dun chauffeur, 3 enquteurs fixes).
Les mesures dans les trains (TGV et trains de banlieue) ont t ralises par des quipes de 6
personnes (3 enquteurs mobiles et 3 enquteurs fixes). En cas de gne pour les autres passagers ou
de remarques des contrleurs, les enquteurs continuaient les mesures dans le wagon bar toujours
ct fentres et toujours du mme ct.

Chaque enquteur teste un seul rseau. Les appels sont passs simultanment sur lensemble des
trois rseaux et une permutation des enquteurs fixes et mobiles est ralise chaque demi-journe.

Les enquteurs fixes sont situs lAFD SOLUTI ON CENTER Clichy (92110, France).

1.5.2. Contrle de cohrence des mesures ralises
Des contrles de cohrence des rsultats ont t raliss au fil de leau par AFD tout au long de
lenqute terrain, conformment au cahier des charges. Ils visaient notamment prvenir en temps
rel lapparition de biais lis un matriel dfectueux, une diffrence dapprciation de la qualit
entre les enquteurs, et plus gnralement, des imprcisions dans lapplication sur le terrain du
protocole de mesure.
Lensemble des donnes de go-localisation ont t transmises en temps rel via les smartphones
des enquteurs mobiles sur un serveur de donnes, avec un accs scuris.
Une vigilance particulire a t porte au matriel de tests utiliss pour la ralisation de lenqute.

1.5.3. Matrise des quotas

Pour la construction de lchantillon de lenqute, un certain nombre de quotas ont t tablis sur la
base de valeurs de rfrence ou de moyennes reprsentatives du march actuel des mobiles en
France. Ces quotas ont fait lobjet dun suivi portant sur le respect de la rpartition horaire des
mesures, la proportion du trafic fixe vers le mobile et mobile vers le fixe , la rpartition des
mesures entre les terminaux 2G et 3G ainsi que sur la prcision statistique maximale admise portant
sur les rsultats publier.

De plus, la mthodologie applique visait respecter des quotas de rpartition de mesures en
agglomrations :
de plus de 400 000 habitants : entre les zones trs denses et les autres zones
denses ;
de 10 000 400 000 habitants : entre la ville qui est la commune principale, et
le reste de lagglomration .

mobiles
22/64
Pour toutes les agglomrations, les mesures pitons ont t rparties selon le type de btiment :
lieux publics, immeubles de bureaux privs, locaux dhabitations privs. Les mesures lextrieur
de btiment ont t ralises en dplacement (dynamique) ou larrt (statique).
Le tableau ci-dessous dfinit les quotas et prsente leur respect lors de lenqute.

Primtre dapplication Cible Ralis
Fixe vers mobile 33% 33,05%
Mobile vers fixe 67% 66,95%
Bouygues
Telecom
20% 19,42%
Orange France 40% 37,85%
SFR 30% 27,63%
Prcision statistique maximale
admise
Sur les rsultats
publier
2,50% < 2,5 %
Tranches horaires Heures pleines 40% 36,25%
Dure des appels Appels de 5 min 50% 49,79%
Statique 33% 31,00%
Dynamique 67% 69,00%
ZTD 70% 68,50%
AZD 30% 31,50%
Agglomrations de plus de 10000
habitants
Rpartition de mesures par zone
Dfinition des quotas (mesures retenues)
habitants et sur les axes de circulation
Sens d'appel
Appels avec le terminal 3G
habitants, hors trains de banlieue
Mesures lextrieur de btiment
mobiles
23/64
2. INDICATEURS DE PUBLICATION DE LENQUETE

2.1. Dfinitions des indicateurs publis
Une mesure consiste tenter dtablir une communication vocale puis valuer la qualit auditive
de la conversation sur chacun des rseaux tests. Une mesure sur trois rseaux porte ainsi sur trois
communications, quelles aient abouti ou non.
Les dfinitions des indicateurs sont rsumes dans le tableau ci-dessous :
Indicateurs Dfinition
Taux de
communications
russies et maintenues :
CR
Une communication est considre comme russie si lappel lanc par lun
des enquteurs aboutit ds le premier essai et si la communication est
maintenue sans coupure. Le taux est calcul sur la base du nombre total de
mesures. Le complment 100% est donc constitu du taux dchecs aprs
une tentative, plus le taux de coupures.
Taux de
communications
russies, maintenues
et de qualit auditive
parfaite : TQP
Une communication est considre comme parfaite si elle est russie au
sens du premier indicateur et si la qualit auditive perue par les deux
interlocuteurs est parfaite (comparable la qualit des communications sur
le rseau fixe).
Taux de
communications
russies, maintenues
et de qualit auditive
correcte : CRC
Une communication est considre comme russie et de qualit correcte si
elle est russie au sens du premier indicateur et si la qualit auditive perue
par les deux interlocuteurs est soit parfaite soit acceptable.
Une communication est considre comme acceptable si la qualit auditive
perue par les deux interlocuteurs est perturbe lgrement sans toutefois
gner la conversation.
Les taux de communications correctes, parfaites ou acceptables sont calculs sur la base du nombre
total de tentatives de communications.

2.2. Principes gnraux de la publication

2.2.1. Prsentation des tableaux
Pour chaque indicateur, le rsultat est publi sur la base de deux valeurs. Dune part, une valeur de
rfrence choisie comme tant la moyenne agrge pour les trois oprateurs. Dautre part, la
qualification de la performance de chaque oprateur autour de cette valeur selon les cinq niveaux :
trs infrieur, infrieur, voisin, suprieur et trs suprieur la valeur de rfrence.
De plus, une comparaison avec les rsultats de lenqute prcdente, tenant compte de la prcision
statistique de ces mesures, est prsente lorsquelle est pertinente sous forme dun signe () ou ().
Ce signe accol au rsultat indique le cas chant une amlioration ou une dgradation par rapport
lanne prcdente, pour la valeur moyenne comme pour les performances individuelles des
oprateurs.

2.2.2. Qualification de loprateur en fonction de la valeur de lcart par rapport aux
seuils
Chaque oprateur est qualifi en fonction de la valeur de lcart (e) entre son rsultat (t) et la valeur
de rfrence (m). La valeur de rfrence correspond la moyenne des rsultats des trois oprateurs
sur lindicateur considr chelonn sur 5 niveaux : trs infrieur, infrieur, voisin, suprieur, trs
suprieur la valeur de rfrence. Les seuils qui dterminent ces niveaux prennent en compte la
mobiles
24/64
prcision statistique des rsultats. En effet, les carts ne sont significatifs que sils sont suprieurs
lincertitude. Les seuils s1 et s2 sont calculs selon les formules suivantes :
s1 = Max ( 1% ;
( )
n
t t
1
645 , 1 )
s2 = 4%
o t est la valeur de lindicateur considr et n correspond au nombre de mesures ralises pour cet
indicateur.
La qualification de la performance de loprateur est dfinie en fonction de la valeur de lcart par
rapport ces seuils :
Seuil Performance Dfinition
e s -s2
-s2 < e s -s1 Infrieur la valeur de rfrence
-s1 < e s s1
s1 < e s s2 + Suprieur la valeur de rfrence
e > s2

2.2.3. Comparaison des rsultats avec ceux de lenqute prcdente

Une comparaison avec lenqute prcdente est possible lorsque le primtre et la mthode de
mesure sont identiques. Si tel est le cas, lvolution par rapport lenqute prcdente, pour chaque
oprateur et pour chaque indicateur, est indique par un signe accol au nom de loprateur ou de la
moyenne mesure. Ce signe est dtermin en fonction de lcart entre la valeur (t2) de l'indicateur
de cette anne par rapport l'anne prcdente (t1), selon un seuil qui prend en compte la
prcision statistique des rsultats :
= Max (1% ; ( )
|
.
|
\
|
+
2
1
1
1
1 645 , 1
n n
p p )
p =
2 1
2 2 1 1
n n
t n t n
+
+

o p est le rsultat moyen des mesures ralises durant cette enqute et lenqute prcdente, et n1
et n2 correspondent aux nombres de mesures de chacune des deux annes.

signe () : amlioration suprieure
absence de signe : indtermination (cart infrieur )
signe () : dgradation suprieure

mobiles
25/64
3. RESULTATS DE LENQUETE DEVALUATION DE LA QUALITE
DU SERVICE DE VOIX DES RESEAUX DE DEUXIEME ET
TROISIEME GENERATIONS EN FRANCE METROPOLITAINE

3.1. Usages en agglomration

3.1.1. Communications dune dure de 2 minutes

Moyenne
mesure
7761 mesures
97,3%
Prcision statistique 0,36%
95,9%
97,0%
0,45%
Ecart heure pleine / heure creuse (taux de
communications russies et maintenues)
= = =
Taux de communications russies, maintenues 2
minutes et de qualit Parfaite (TQP)
minutes et de qualit Correcte (CRC)
Ensemble des agglomrations de plus de 10 000 habitants
Orange
France
SFR
Bouygues
Telecom
Taux de communications russies et
maintenues 2 minutes (CR)
= = =
= = =
= = =
Moyenne
mesure
3777 mesures
97,0%
95,9%
96,8%
0,12%
Les 12 plus grandes agglomrations
=
Orange
France
SFR
Bouygues
Telecom
= = =
= = =
= =
= = =
mobiles
26/64

3.1.2. Communications dune dure de 5 minutes

Moyenne
mesure
7695 mesures
96,2%
94,2%
96,0%
0,73%

Ensemble des agglomrations de plus de 10 000 habitants
Orange
France
SFR
Bouygues
Telecom
= = =
= = =
= = =
= = =
Moyenne
mesure
3759 mesures
96,3%
94,6%

96,0%
0,96%
Orange
France
SFR
Bouygues
Telecom
= =
Les 12 plus grandes agglomrations
=
= = =
= = =
= = +
mobiles
27/64

3.2. Usages sur les axes de transport

Moyenne
mesure
4707 mesures
74,2%

69,5%
73,3%
Orange
France
SFR
Bouygues
Telecom
maintenues 2 minutes (CR) + +
TGV
+ =
+ +
Moyenne
mesure
3189 mesures
92,9%

91,1%

92,5%
Autoroutes
Orange
France
SFR
Bouygues
Telecom
maintenues 2 minutes (CR) = = =
= =
= = =
=
mobiles
28/64
Moyenne
mesure
2961 mesures
85,4%
82,8%

84,7%

= =
=
=
Trains de banlieue
Orange
France
SFR
Bouygues
Telecom
= = =
= =

La qualit des services de donnes des rseaux
mobiles (2G et 3G) en France mtropolitaine
ARCEP- rsultats pour lanne 2011 de lenqute de qualit des services de voix et de donnes des rseaux
mobiles

30/64

AVERTISSEMENT

Remarques gnrales
Lobjet de cette enqute, mene sur une base annuelle, est dapprcier la qualit de service des
rseaux de tlphonie mobile de seconde (2G) et de troisime gnration (3G) en France.
LARCEP dfinit en concertation avec les oprateurs concerns par ltude, savoir Orange
France, SFR et Bouygues Telecom, un cahier des charges dtaillant la mthodologie suivre
pour la ralisation de lenqute et la publication de ses rsultats.

Limites de lexercice
L'valuation porte sur la qualit des services de donnes des rseaux mobiles perue par les
clients, dans les conditions o ceux-ci les utilisent au quotidien. Cette valuation est mene sur
une dure totale de 4 mois.
Afin notamment de rendre ltude plus reprsentative de lusage des services de donnes,
chacun des rseaux a t test avec les mobiles 2G et 3G, en prenant en compte le volume de
donnes et de communications 3G de loprateur selon les derniers chiffres trimestriels dont
dispose lARCEP.
Pour les tests de transfert de donnes une offre de service daccs internet, incluant matriel
de raccordement au PC (cl 3G) est slectionne pour chaque oprateur sur le critre de la
meilleure offre grand public du haut dbit.

Prcisions statistiques et arrondis
Enfin, il convient de rappeler que, comme dans tout sondage, les rsultats de la prsente
enqute comportent une marge dimprcision. La prcision statistique indique en dessous de
chaque rsultat est lintervalle qui contient le rsultat selon une probabilit de 95%. Toute
comparaison entre les diffrents indicateurs doit donc tenir compte de cet intervalle de
confiance.
Par ailleurs, pour tre en cohrence avec cette imprcision statistique, les rsultats de la
prsente enqute ont t arrondis au dixime prs. Il convient de rappeler que :
- la somme de deux rsultats arrondis peut tre diffrente de larrondi de leur somme ;
- le produit de deux rsultats arrondis peut tre diffrent de larrondi de leur produit.
mobiles

31/64
SOMMAIRE

1 CARACTERISTIQUES TECHNIQUES DE LENQUETE ............................................................................ 32
1.2 CALENDRIER ET PLANNING ............................................................................................................................. .... 32
1.3 REPARTITION GEOGRAPHIQUE DE MESURES .................................................................................................... .... 33
1.4 VOLUMETRIE DE MESURES ............................................................................................................................. .... 35
1.5 TERMINAUX ET ABONNEMENTS UTILISES ........................................................................................................ .... 35
2 MISE EN UVRE DES MESURES ................................................................................................................. 36
2.1 DISPOSITIONS GENERALES .............................................................................................................................. .... 36
2.2 MESURES SMS ............................................................................................................................................... .... 36
2.3 MESURES MMS .............................................................................................................................................. .... 37
2.4 NAVIGATION WAP ......................................................................................................................................... .... 38
2.5 TRANSFERT DE DONNEES EN MODE PAQUETS .................................................................................................. .... 40
2.6 ACCES WEB .................................................................................................................................................... .... 41
2.7 MAITRISE DES MESURES ................................................................................................................................. .... 43
3 INDICATEURS DE PUBLICATION DE LENQUETE ................................................................................. 45
3.1 DEFINITIONS DES INDICATEURS PUBLIES ........................................................................................................ .... 45
3.2 PRINCIPES GENERAUX DE LA PUBLICATION ..................................................................................................... .... 47
4 RESULTATS DE LENQUETE DEVALUATION DE LA QUALITE DES SERVICES DE
DONNEES DES RESEAUX DE DEUXIEME ET DE TROISIEME GENERATIONS EN FRANCE
METROPOLITAINE. .................................................................................................................................................... 50
4.1 LES SERVICES INTERPERSONNELS ET DE NAVIGATION .................................................................................... .... 50
4.2 TRANSFERT DE DONNEES EN MODE PAQUETS..................................................................................................... .... 53
5 ANNEXE : MESURES EXPERIMENTALES SUR SMARTPHONES ......................................................... 60
5.2 VOLUMETRIE .................................................................................................................................................. .... 61
5.3 TERMINAUX UTILISES ..................................................................................................................................... .... 61
5.4 OUTIL ET PROTOCOLES ................................................................................................................................... .... 61
5.5 RESULTATS DES MESURES REALISEES SUR SMARTPHONE SUR LE TOP 12 ....................................................... .... 63

mobiles

32/64
1. CARACTERISTIQUES TECHNIQUES DE LENQUETE

Lenqute porte sur lvaluation de la qualit des services de donnes suivants :
- le service de messages courts SMS : envoi dun message constitu dun texte ;
- le service de messagerie multimdia MMS : envoi dun message constitu dun texte
et dune photo ;
- le service daccs WAP : navigation sur un site dinformation, exclusivement gratuit,
de loprateur ;
- le transfert de donnes en mode paquets et laccs web sur PC : envoi dun fichier de
1 Mo, tlchargement dun fichier de 5 Mo et navigation web sur plusieurs sites
grand public .
Le transfert de donnes et laccs web sont raliss avec une cl data 3G+ et les mesures de
service SMS, MMS et WAP sont ralises avec des terminaux mobiles 2G et 3G, dont la
rpartition entre les terminaux est la suivante :

Proportion des mesures avec le terminal 3G
Type de mesure Orange France SFR Bouygues Telecom
SMS 40% 30% 15%
MMS, WAP 90% 90% 85%
Cette rpartition entre les mesures en 2G et 3G est dfinie sur la base :
- pour les SMS : du volume de communications vocales en 2G et en 3G de loprateur
selon les derniers chiffres trimestriels dont dispose lARCEP ;
- pour les MMS et WAP : du volume de donnes en 2G et en 3G de loprateur selon
les derniers chiffres trimestriels dont dispose lARCEP.

1.2. Calendrier et planning
Lenqute sest droule du 24 mars au 13 juillet 2011. Pendant le droulement de lenqute,
les oprateurs, Orange France, SFR et Bouygues Telecom, ne connaissaient, mis part les
12 agglomrations de plus de 400 000 habitants (TOP 12), ni les jours, ni les lieux o
seffectuaient les mesures, ni les numros de cartes SIM des abonnements utiliss dans le
cadre de lenqute.
Les mesures ont t ralises entre 9h et 21h en semaine, du lundi au vendredi et sont rpartis
de manire homogne entre les 4 crneaux horaires : 9h-12h ; 12h-15h ; 15h-18h et 18h-21h.
En pratique, pour respecter les quotas horaires, a t applique la rpartition de mesures
prsente dans le tableau ci-dessous :

Tranches horaires Proportion de mesures
9h 12h 25%
12h 15h 25%
15h 18h 25%
18h 21h 25%
mobiles

33/64
1.3. Rpartition gographique de mesures
652 lieux de mesures ont t audits sur les 20 agglomrations de 50 000 400 000 habitants
(strate 50-400) tires au sort ainsi que sur lensemble des agglomrations de plus de 400 000
habitants (TOP12) : Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice-Cannes-Antibes,
Toulouse, Bordeaux, Nantes, Toulon, Douai-Lens, Strasbourg et Grenoble. La rpartition des
lieux par agglomration est illustre sur la carte ci-dessous.

Au sein de chaque agglomration on distingue les zones trs denses et autres zones
denses selon les critres suivants :
- Zones trs denses (ZTD) : centre-ville de la ou des communes principales, zones de
transit (gares, aroports), centres dactivits (commerciaux, affaires), axes urbains
trs fort trafic et autoroutes dans les limites de lagglomration ;
mobiles

34/64
- Autres zones denses (AZD) : continuum bti autour des zones trs denses, autres
centres villes de plus de 5 000 habitants, autres axes urbains au sein de
lagglomration.
Les lieux de mesures sont choisis alatoirement et rpartis de manire homogne au sein de
chaque agglomration audite. La rpartition des lieux entre les zones ZTD et AZD au sein de
chaque agglomration est de 2/3 1/3.
Cette rpartition des lieux de mesures entre les ZTD et les AZD au sein de chaque
agglomration se traduit par le nombre de mesures suivantes :

Agglomrations ZTD AZD Total
T
O
P

1
2

PARIS 77 39 116
MARSEILLE 21 11 32
LYON 23 11 34
LILLE 20 10 30
NICE 17 8 25
TOULOUSE 15 8 23
BORDEAUX 17 8 25
NANTES 13 6 19
TOULON 14 7 21
DOUAI-LENS 14 7 21
STRASBOURG 13 6 19
GRENOBLE 13 6 19
Total 257 127 384
A
g
g
l
o
m
r
a
t
i
o
n
s

d
e

5
0

0
0
0

4
0
0

0
0
0

h
a
b
i
t
a
n
t
s

SAINT-ETIENNE 12 6 18
NANCY 12 6 18
ANGERS 11 6 17
REIMS 11 6 17
NIMES 11 5 16
AMIENS 11 5 16
ANGOULEME 10 5 15
CHAMBERY 10 5 15
BOURGES 9 5 14
FORBACH 9 5 14
QUIMPER 9 4 13
TARBES 9 4 13
MEAUX 8 4 12
SAINT-QUENTIN 8 4 12
LAVAL 7 4 11
ARCACHON 7 3 10
ARMENTIERES 7 3 10
BERGERAC 7 3 10
ROMANS-SUR-ISERE 6 3 9
SALON-DE-PROVENCE 5 3 8
Total 179 89 268
Nombre total des lieux audits 436 216 652

mobiles

35/64
1.4. Volumtrie de mesures

Sur chaque lieu, ont t raliss en moyenne 1 SMS, 1 MMS, 2 WAP, 2 envois dun fichier
de 1 Mo (uplink), 2 tlchargements dun fichier de 5 Mo (downlink) et 2 accs web sur PC.

Ce qui conduit une volumtrie de 6 480 mesures ralises en moyenne par oprateur :

Echantillon
Mobiles 2G/3G Cls data 3G+
SMS MMS WAP
Uplink
1Mo
Downlink
5Mo
Web
TOP12 384 384 768 759 759 748
50-400 268 268 536 527 529 529
TOTAL 652 652 1304 1286 1288 1277

Au total, sur 652 lieux audits, ltude a produit et exploit 19 454 mesures soit : 1956 SMS,
1956 MMS, 3912 navigations WAP, 7799 tlchargements de fichiers et 3831 accs web.
1.5. Terminaux et abonnements utiliss

Ltude a t ralise avec les terminaux et les abonnements spcifiques en offre grand public
suivants :

Oprateur Mobiles 2G Mobiles 3G Abonnements
Orange Samsung C3050 Nokia 6700 Slide Origami star 1h
SFR Nokia 2720 Fold Nokia E71-1 Illymitics 5 connect
Bouygues Telecom Nokia 2220 Slide Nokia 6700 Slide NEO 4 smartph

Les terminaux ont t choisis sur la base des meilleures ventes des packs de chaque oprateur
et aprs vrification que les tlphones slectionns ont des performances comparables et
quils nintroduisent pas eux-mmes de biais dans la mesure.
Pour les tests de transfert de donnes et la navigation web, une offre de service daccs
internet, incluant matriel de raccordement au PC (cl data 3G+) est slectionn pour chaque
oprateur. Les abonnements ont t choisis par les oprateurs sur le critre de la meilleure
offre grand public du haut dbit.
Les cls et les abonnements suivants ont t slectionns :
Oprateur
Offre accs Internet
Cl data 3G+ Abonnements
Orange Huawei E367V2 F.IEW 2H ajustable 6 et 12 h
SFR Vodafone K4505 Huawei Internet pro
Bouygues Telecom Alcatel One Touch X220L Internet 3Go 24/24

mobiles

36/64
2. MISE EN UVRE DES MESURES

2.1. Dispositions gnrales
Les mesures ont t ralises par deux quipes, constitues de trois techniciens de mesures
spcialiss dans ce type de mesures. Ces techniciens ont t forms au protocole de lARCEP
2011 et sensibiliss aux contraintes de confidentialit absolue de l'tude.
Toutes les mesures sont ralises bord dun vhicule en stationnement. Sur chaque lieu, le
technicien relve les donnes de positionnement gographique (adresse et GPS), puis ralise
les tests prvus sur ce lieu. Un planning prtabli et automatis indique prcisment les
terminaux utiliser (2G ou 3G) et les mesures raliser sur le lieu.
En pratique, les tests sont effectus en mme temps sur les 3 rseaux par 3 techniciens. Le
tableau ci-dessous schmatise une squence de tests pour chaque oprateur :

Squence de mesures sur un lieu
SMS
MMS
WAP_1
WAP_2
DL 5Mo_1 / UL 1Mo_1 / WEB_1
DL 5Mo_2 / UL 1Mo_2 / WEB_2

2.2. Mesures SMS
Une mesure consiste tenter denvoyer un message SMS, mesurer son dlai de rception et
vrifier son intgrit, sur chacun des rseaux tests.
Le message SMS envoy est identique pour tous les oprateurs et ce durant tout laudit. Il est
constitu de 26 caractres remplis par les lettres majuscules de lalphabet ( ABCD
XYZ ) et dun identifiant numrique unique.
Les messages SMS sont envoys depuis le terminal de chaque oprateur vers un autre
terminal du mme oprateur, du mme modle, allum en tat de veille et paramtr en
rception automatique. Les mobiles dmission et de rception sont situs dans la mme zone
gographique et restent statiques.
La dure entre lmission et la rception du message est mesure, et est vrifi que le contenu
du message est sans erreur lors de sa rception. Au-del dune dure de 2 minutes, le message
est considr comme non reu. Tout message non envoy par refus du rseau est compt
comme non reu.
Aprs chaque mesure SMS, les messages sont supprims des mobiles lexception du modle
du message.
La synoptique de la mesure SMS est illustre ci-dessous.
mobiles

37/64

2.3. Mesures MMS
Une mesure consiste tenter denvoyer un message MMS et mesurer son dlai de rception
et son intgrit, sur chacun des rseaux tests.
Le message MMS envoy est identique pour tous les oprateurs et ce durant tout laudit Il est
constitu de 26 caractres remplis par les lettres majuscules de lalphabet ( ABCD
XYZ ), dun identifiant unique et dune pice jointe de 50Ko au format JPEG (photo) ci-
dessous :

Les messages MMS sont envoys depuis le terminal de chaque oprateur vers un autre
terminal du mme oprateur, allum en tat de veille et paramtr en rception automatique
(configuration dorigine). Les deux terminaux sont situs sur la mme localisation et restent
statiques.
La dure entre lmission et la rception du message est mesure et on vrifie que le contenu
du message est sans erreur lors de sa rception. Au-del dune dure de 5 minutes, le message
est considr comme non reu. Tout message non envoy par refus du rseau est compt
comme non reu.

Envoi du SMS
Prparation du
SMS : 26 lettres
majuscules de
lalphabet + numro
de la mesure
Rception du
SMS
Consultation
du SMS
Clic sur
Envoyer
Message
envoy
EMISSION RECEPTION
Dlai de rception

Hors dlai : 2 minutes
ATTENTE

Temps inter-
mesure

Notification de la
rception
Dlai dmission
du SMS
Dlai de rception
du SMS
mobiles

38/64
Aprs chaque mesure MMS, les messages sont supprims des mobiles lexception du
modle du message.
La synoptique de la mesure MMS est illustre ci-dessous.

2.4. Navigation WAP
Une mesure consiste accder au portail WAP de loprateur, puis naviguer
successivement, pendant 5 minutes, sur des sites dinformation, parmi les dix les plus
frquents (exclusivement gratuits) de chaque rseau, en restant environ 20 secondes sur
chaque page. En comptant le temps de chargement, on consulte donc denviron 10-12 pages
par site test.
Si une page est en cours de chargement au bout des 5 minutes de navigation, on attend quelle
finisse de se charger pour qualifier la session.
Ainsi, chaque test WAP est compos des tapes suivantes :

Envoi du
MMS
Rception de
la
notification
du message
Tlchargement
du message
Clic sur
Envoyer
Message
envoy
EMISSION RECEPTION
Dlai de rception

Hors dlai : 5 minutes
ATTENTE

Notification du
message et
dbut du
tlchargement
Consultation
du message

Temps inter-
mesure
Message
reu
Dlai dmission
Dlai de
notification
Dlai de
tlchargement
Message : 26
lettres majuscules
+ numro de la
mesure + photo
JPG de 50ko
mobiles

39/64

Les 10 sites tests sont les suivants :

SFR Orange Bouygues Telecom
Annuaire Actu People
Chat&CO Humour EuroSport
Logos TV Mto
Sport Sport Tlpoche
People Jeux Boursier
Info Bourse Info
Skyrock
Chat
Mto L'Equipe
Musique Cinma Allocin
Itinraires Restos&Bars Cin/BD
Foot Horoscope Mtro France

Pour chaque rseau, ont t constitus 10 scnarios diffrents, chacun comprenant au moins la
page daccueil WAP et un des 10 sites tests :

Lieu 1 Lieu 2 Lieu 3 Lieu 4 Lieu 5
WAP 1 Accueil, site 1 Accueil, site 3 Accueil, site 5 Accueil, site 7 Accueil, site 9
WAP 2 Accueil, site 2 Accueil, site 4 Accueil, site 6 Accueil, site 8 Accueil, site 10

Accs
laccueil
WAP :
Page 1
Dconnexion du
rseau depuis 1
minute minimum
Navigation sur
le site :
Page 2
Connexion
WAP
Connect
CONNEXION NAVIGATION SUR LES PAGES WEB DECONNEXION
Demande
page
Dlai de
connexion
WAP

Hors dlai :
30 secondes

Vrification
intgrit de la
page :
contenu, mise
en page

Temps inter-
mesure : 1
minute

Temps de
visualisation :
20 secondes
Navigation durant 5 minutes
Page
affiche
Dlai
de
chargement
page

Hors dlai :
30 secondes
AVANT TEST
mobiles

40/64
Lors de navigation WAP, 2 types dchec sont possibles :

Echecs bloquants Echecs non bloquants
Accs portail WAP
Time Out ou Echec d'accs
au portail de l'oprateur
Navigation sur les sites
Blocage,
retour arrire impossible
Time Out de tlchargement,
retour arrire possible
Mauvais routage,
Echec service,
Echec service,
Non intgrit de la page,
Coupure

En cas dchec bloquant, la navigation sarrte, est considre comme chec et on passe
la mesure suivante. En cas dchec non bloquant sur une page, la navigation se poursuit sur
une page suivante.

2.5. Transfert de donnes en mode paquets

2.5.1. Protocole de mesure
Une mesure consiste, sur chacun des rseaux tests, :
- Se connecter, via un modem (clef) de loprateur, un serveur reli linternet, et
mesurer le dlai dtablissement de la liaison ou noter lchec ventuel ;
- Tlcharger ou envoyer, selon le protocole FTP, un fichier et mesurer le dlai de
transfert ou noter lchec ventuel (en distinguant les checs de connexion au serveur
FTP, de coupure en cours de communication, et les abandons hors dlai) ;
- Vrifier que les fichiers sont intgralement tlchargs.
Les fichiers utiliss pour les transferts de donnes sont identiques pour les 3 oprateurs :
- un fichier de 5 Mo pour le tlchargement en sens descendant (download) ;
- un fichier de 1 Mo pour lenvoi en sens montant (upload).
Pour chaque tlchargement, une connexion/dconnexion rseau est effectue. Le time out de
connexion est de 1 minute. Les time out de tlchargement aprs connexion sont
respectivement de 2 minutes en upload et de 5 minutes en download. Au-del de ces temps,
les tlchargements sont abandonns et considrs comme chous.
La synoptique de transfert de donnes est prsente ci-dessous :
mobiles

41/64

2.5.2. Serveur FTP
Le serveur Ikoula a t slectionn la suite de tests probatoires sur deux serveurs de deux
fournisseurs diffrents (Ikoula et OVH).

Fournisseur OS IP Bande Passante
Ikoula Debian 5.0.8 213.246.38.46 100 Mbps garanti

2.5.3. Plateforme de mesures
Les mesures FTP ont t ralises laide dun outil dacquisition automatique de mesures de
services de donnes (MQC).
Une plateforme de test comprend un PC HP Probook 4520s (OS windows XP pour Bouygues
Telecom et SFR, OS Windows 7 pour Orange), la cl data teste pour chaque oprateur avec
labonnement recommand, ainsi quun dispositif de golocalisation. Aucune application en
dehors de celles ncessaires aux mesures nest utilise sur ces machines.

2.6. Accs web
Une mesure consiste accder internet, puis raliser une succession de connexions sur
diffrentes pages pendant une dure de 5 minutes, en restant 20 secondes sur chaque page
tlcharge.
Le principe de construction et dexcution des scnarios est le mme que pour les mesures
WAP :

Connexion
au rseau
Dconnexion
du rseau
depuis
minimum 1
minute
Connexion
au serveur
FTP
Tlcharge
ment ou
mission du
fichier

Demande de
connexion
au rseau
PC connect
indication
du dbit
dans la
barre de
tche
CONNEXION TRANSFERT DECONNEXION

Demande de
tlchargement
ou denvoi du
fichier

Dconnexion
du rseau
Fichier
reu
Dlai de
Connexion

Hors dlai : 1
minute
Dlai de
Tlchargement

Hors dlai :
300s pour download
120s pour upload

Dconnexion
du serveur
FTP
Vrificatio
n du fichier
reu
AVANT TEST
mobiles

42/64

Les pages retenues pour ce test, identiques pour les 3 oprateurs, correspondent aux 13 sites
internet les plus frquents nationalement par les internautes (hors sites oprateurs ou
constructeurs) :

Pages WEB
http://www.google.fr
http://www.facebook.fr
http://www.youtube.fr
http://www.wikipedia.fr
http://www.pagesjaunes.fr
http://www.yahoo.fr
http://www.amazon.fr
http://www.leboncoin.fr
http://www.ebay.fr
http://www.commentcamarche.net
http://www.fnac.com
http://www.blogspot.com
http://www.francetelevisions.fr

La navigation est considre comme russie si aucune erreur parmi celles listes ci-dessous ne
sest produite pendant la navigation de 5 minutes :
- non affichage de la page au bout de 50 secondes ;
- blocage de la navigation ou rupture de la connexion ;
- messages derreur affichs par le terminal.
Si une page est en cours de chargement au bout des 5 minutes de navigation, on attend quelle
finisse de se charger pour qualifier la session.

Connexion
au rseau
Dconnexion du
rseau depuis 1
minute minimum
Accs une
page Internet
Connexion
RAS
Connect
CONNEXION NAVIGATION SUR LES PAGES WEB DECONNEXION
Demande
page web
Dlai de
connexion au
rseau

Hors dlai :
1 minute

Vrification
intgrit de la
page :
contenu, mise
en page

Temps inter-
mesure : 1
minute

Temps inter-
page : 20
secondes
Navigation durant 5 minutes
Page
affiche
Dlai
de
chargement
page

Hors dlai :
50 secondes
AVANT TEST
mobiles

43/64
2.7. Maitrise des mesures

2.7.1. Equipes et droulement de lenqute
Un chef de projet assure la formation des quipes au protocole ARCEP, lorganisation des
itinraires, le respect des modes opratoires et le bon droulement de lenqute.
Le travail de chaque quipe est guid et scuris par une application informatique qui indique
les tests effectuer et le mobile utiliser (2G ou 3G).
Les enquteurs effectuent la saisie des rsultats des mesures et des repres topographiques de
chaque lieu de test.
Les positions des mesures sont repres par un systme de localisation GPS, ce qui permet de
vrifier le respect des consignes concernant les lieux, de reprer les mesures, et daider au
diagnostic en cas de problme.
Au cours de lenqute, lapparition dventuels problmes de fonctionnement affectant
anormalement la qualit sur un ou plusieurs rseaux est surveille en permanence. Sils
proviennent du rseau dun oprateur et sont non-rcurrents, ils sont considrs comme des
inconvnients subis par les clients, et les mesures sont prises en compte. Sils sont rcurrents
(panne totale dun rseau dans une zone par exemple), ils sont immdiatement signals
lARCEP, qui dfinit la conduite tenir.
Le matriel utilis pour les tests (mobiles, cls et PC) fait lobjet dune attention particulire
des enquteurs pour viter que des dfaillances puissent influencer les rsultats des mesures.

2.7.2. Gestion des quotas
Pour la construction de lchantillon de lenqute, un certain nombre de quotas, tablis sur la
base de valeurs de rfrence ou de moyennes reprsentatives du march actuel des mobiles en
France, ont t dfinis.
Ces quotas ont fait lobjet dun suivi rigoureux portant sur le respect de la rpartition horaire
des mesures, la rpartition des mesures entre les terminaux 2G et 3G pour chaque service et le
nombre des lieux audits.
De plus, au sein de chaque agglomration, la mthodologie applique consiste respecter les
quotas de rpartitions de mesures entre les ZTD - zones trs denses et les AZD - autres
zones denses.
Le tableau ci-dessous dfinit les quotas et montre leur respect lors de lenqute :

Dfinition des quotas Cible Ralis
Mesures avec le terminal 3G
SMS
Orange France 40% 40.3%
SFR 30% 30.1%
Bouygues Telecom 15% 14.7%
MMS
SFR 90% 90.3%
WAP
SFR 90% 90.0%
mobiles

44/64
Tranches horaires
9h 12h 25% 25.1%
12h 15h 25% 25.0%
15h 18h 25% 25.0%
18h 21h 25% 24.9%
Proportion des lieux en AZD
TOP 12 33.3% 33.1%
50 400 33.3% 33.2%
Sur lensemble des agglomrations 33.3% 33.1%
Nombre des lieux audits Sur lensemble des agglomrations 650 652

mobiles

45/64
3. INDICATEURS DE PUBLICATION DE LENQUETE

3.1. Dfinitions des indicateurs publis

3.1.1. Service de messagerie courts (SMS)
Une mesure consiste tenter dmettre un message, puis mesurer le dlai de rception et
vrifier son contenu, sur chacun des rseaux tests. Une mesure sur trois rseaux porte ainsi
sur trois messages, quils aient abouti ou non.
Indicateurs SMS Dfinition
Taux de messages reus Un message est considr comme reu si le message mis nest
pas refus par le rseau, sil est reu dans un dlai de 2 minutes, et
si son contenu est correct. Le complment 100% est donc
constitu du taux de messages refuss par le rseau ou reus aprs
2 minutes, ou dont le contenu est incorrect.
Taux de messages reus dans
un dlai infrieur 30
secondes
Un message est considr reu dans un dlai infrieur 30
secondes si le message est reu au sens du premier indicateur et si
le dlai de rception du message reu ne dpasse pas 30 secondes.
Les deux indicateurs sont calculs sur la base du nombre total de tentatives denvoi de
message.

3.1.2. Service de messages multimdia (MMS)
Une mesure consiste tenter dmettre un message avec une pice jointe de 50 ko, puis
mesurer le dlai de rception et vrifier son contenu, sur chacun des rseaux tests. Une
mesure sur trois rseaux porte ainsi sur trois messages, quils aient abouti ou non.

Indicateurs MMS Dfinition
Taux de messages reus Un message est considr comme reu si le message envoy nest
pas refus par le rseau, sil est reu dans un dlai de 5 minutes, et
si son contenu est correct. Le complment 100% est donc
constitu du taux de messages refuss par le rseau ou reus aprs
5 minutes ou dont le contenu est incorrect.
Taux de messages reus dans
un dlai infrieur 3 minutes
Un message est considr comme reu dans un dlai de 3 minutes
si le message est reu au sens du premier indicateur et si le dlai
de rception du message reu ne dpasse pas 3 minutes.
Les deux indicateurs sont calculs sur la base du nombre total de tentatives denvoi de
message.

mobiles

46/64
3.1.3. Service de navigation WAP
Une mesure consiste accder au portail de loprateur, puis raliser une succession de
connexions sur des sites Internet Mobile partir du portail de loprateur pendant une
dure de 5 minutes.

Indicateurs WAP Dfinition
Taux de russite de laccs au
portail de loprateur
Laccs au portail de loprateur est considr comme russi
lorsque la page daccueil de loprateur est charge intgralement
dans un dlai infrieur 30 secondes, sans coupure de la
connexion, et ds la premire tentative. Ce taux est calcul sur la
base du nombre total de mesures.
Taux de navigations russies
et maintenues pendant une
dure de 5 minutes
La navigation est considre comme russie si elle est maintenue
et active pendant une dure de 5 minutes sans coupure de
connexion au rseau de donnes. Ce taux est calcul sur la base du
nombre total de mesures dont laccs au portail a russi.

3.1.4. Service de transmission de donnes en mode FTP
Une mesure consiste tablir une connexion au serveur reli internet par des liens
correctement dimensionns et tenter de tlcharger ou envoyer des fichiers en utilisant le
protocole de transfert de donnes FTP.

Indicateurs FTP Dfinition
Taux de connexions russies
Une connexion est russie si elle est tablie dans un dlai
infrieur 1 minute. Le taux est calcul sur la base de
lensemble des mesures ralises.
Taux de connexions russies dans
un dlai infrieur 10 secondes
Le taux de connexions russies dans un dlai infrieur 10
secondes est calcul sur la base de lensemble des mesures
ralises.
Taux de fichiers de 1 Mo envoys*
Un fichier est considr comme reu sil est reu
intgralement, sans coupure de la connexion, dans un dlai de
2 minutes et si son contenu est correct. Le taux est calcul sur
la base du nombre total de fichiers envoys.
Dbit de donnes atteint pour 90%
des fichiers de 1 Mo envoys *
Cet indicateur correspond au percentile de 90% des fichiers
reus au sens de lindicateur 3
Taux de fichiers de 5 Mo reus*
Un fichier est considr comme reu si le fichier est reu
intgralement dans un dlai de 5 minutes et si son contenu est
correct. Le taux est calcul sur la base du nombre total de
fichiers tlchargs.
des fichiers de 5 Mo reus*
Dbit de donnes atteint pour 50% Cet indicateur correspond au percentile de 50% des fichiers
mobiles

47/64
des fichiers de 5 Mo reus* reus au sens de lindicateur 3
des fichiers de 5 Mo reus*
* les indicateurs correspondants sont publis sur un mode individuel.

3.1.5. Service daccs WEB sur PC
Une mesure consiste accder internet, puis raliser une succession de connexions sur
diffrentes pages pendant une dure de 5 minutes. Les pages retenues pour ce test
correspondent aux 13 sites internet les plus frquents nationalement par les internautes.

Indicateurs WEB Dfinition
Taux de russite de laccs
un site internet
Laccs un site internet est considr comme russi lorsque la
page daccueil du site est charge intgralement dans un dlai
infrieur 50 secondes ds la premire tentative. Ce taux est
calcul sur la base du nombre total de mesures.
Taux de navigations russies
et maintenues pendant une
dure de 5 minutes
La navigation est considre comme russie si elle est maintenue
et active pendant une dure de 5 minutes sans coupure de
connexion au rseau de donnes. Ce taux est calcul sur la base du
nombre total de mesures dont laccs au portail a russi.

3.2. Principes gnraux de la publication

3.2.1. Prsentation des tableaux
A lexception des indicateurs relatifs au tlchargement de fichiers en mode FTP, les rsultats
de lenqute sont publis sur la base, dune part, dune valeur de rfrence choisie comme
tant la moyenne agrge pour les trois oprateurs et de sa prcision statistique
4
, et, dautre
part, de la qualification de la performance individuelle de chaque oprateur autour de cette
valeur selon les cinq niveaux : trs infrieur, infrieur, voisin, suprieur, trs suprieur la
valeur de rfrence.
De plus, une comparaison avec les rsultats de lenqute prcdente tenant compte de la
prcision statistique de ces mesures est prsente, lorsquelle est pertinente, sous forme dun
signe () ou () accol au rsultat indiquant le cas chant une amlioration ou une
dgradation par rapport lanne prcdente, et ce pour la valeur moyenne comme pour les
performances individuelles des oprateurs.

4
La prcision statistique ( p ) dfinit autour de la valeur mesure ( x ) un intervalle de confiance | | p x p x + ; , tel quil
contienne la valeur thorique (X) avec une probabilit de 95 %. Elle est calcule en utilisant lapproximation normale de la
distribution binomiale, par la formule n x x p ) 1 ( 96 , 1 = (o n est le nombre de mesures ralises pour
lindicateur considr).
mobiles

48/64
3.2.2. Choix de la valeur de rfrence
Chaque oprateur est qualifi en fonction de la valeur de lcart entre son rsultat (t
i
) et la
valeur de rfrence (v), qui est la moyenne des rsultats des trois oprateurs sur lindicateur
considr.
3 /
3
1
=
= =
i
i
t t v

3.2.3. Choix des seuils
On ralise le test dingalit suivant :
i i
s v t
mi n ,
+ > o s
min,i
est dfini pour chaque oprateur
de telle faon que lintervalle [
i
t -s
min,i ,
100 %] contienne la valeur (T
i
) du rsultat thorique de
loprateur avec une probabilit de 95 %.
s
min,i
est calcul par la formule suivante (n tant le nombre de mesures ralises pour
lindicateur considr):
n
t t
s
i i
i
) 1 (
645 , 1
min,
=

Pour chaque oprateur, les seuils S
1
et S
2
sont dfinis de la faon suivante :

- S
1
= Max (1 % ; s
min,i
)
- S
2
= 4%

3.2.4. Qualification de loprateur en fonction de la valeur de lcart par rapport aux
seuils
La qualification de la performance de loprateur se fait en fonction de la valeur de lcart (e)
du taux (
i
t ) ou du dlai (
i
d ) mesur par rapport la valeur de rfrence ( v ) :

Seuil Performance Dfinition
e <= -S
2
- S
2
< e <= - S
1
Infrieur la valeur de rfrence
- S
1
< e <= S
1
S
1
< e <= S
2
+ Suprieur la valeur de rfrence
e >= S
2

3.2.5. Comparaison des rsultats avec ceux de la prcdente enqute

Pour chaque oprateur et pour chaque indicateur, si une comparaison avec lenqute
prcdente est possible (cest--dire quand le primtre et la mthode de mesure sont
identiques), lvolution par rapport lenqute prcdente est indique par un signe accol au
nom de loprateur ou de la moyenne mesure. Ce signe est dtermin en fonction de lcart
entre la valeur (t
2
) de l'indicateur de cette anne par rapport l'anne prcdente (t
1
), selon un
seuil qui prend en compte la prcision statistique des rsultats :

| | ) / 1 / 1 )( 1 ( 645 . 1 %; 1
2 1
n n p p Max + = A
2 1
2 2 1 1
n n
t n t n
p
+
+
=
mobiles

49/64
o p est le rsultat moyen de mesures ralises durant cette enqute et lenqute prcdente, et
n
1
et n
2
les nombres de mesures de chacune des deux annes.

signe () = amlioration suprieure ;
pas de signe = indtermination (cart infrieur ) ;
signe () = dgradation suprieure .

mobiles

50/64
4. RESULTATS DE LENQUETE DEVALUATION DE LA
QUALITE DES SERVICES DE DONNEES DES RESEAUX DE
DEUXIEME ET DE TROISIEME GENERATIONS EN FRANCE
METROPOLITAINE.

4.1. Les services interpersonnels et de navigation

4.1.1. Ensemble des agglomrations de plus de 50 000 habitants

SMS
Moyenne
mesure
Orange
France
SFR
Bouygues
Telecom
1 956 mes
99.7% = = =
Prcision statistique 0.2%
99.2% = = =
Taux de messages reus en moins de 30 secondes
Taux de messages reus
MMS
Moyenne
mesure
Orange
France
SFR
Bouygues
Telecom
1 956 mes
97.1% - + =

96.8% - + =

Taux de messages reus en moins de 3 minutes
WAP
Moyenne
mesure
Orange
France
SFR
Bouygues
Telecom
3 912 mes
95.0% + = -

99.8% = = =

Taux de russite de connexion au portail
Taux de navigation russie et maintenue pendant une
dure de 5 minutes
ENSEMBLE DES AGGLOMERATIONS DE PLUS DE 50 000 HABITANTS
mobiles

51/64

Comparaison avec ltude prcdente effectue pour tous les indicateurs, sauf les
indicateurs lis laccs web

WEB
Moyenne
mesure
Orange
France
SFR
Bouygues
Telecom
3 820 mes
Accs un site internet dans un dlai infrieur 50s
dure de 5 minutes
97.5%
+ = =
95.9%
- = =
mobiles

52/64
SMS
Moyenne
mesure
Orange
France
SFR
Bouygues
Telecom
1 152 mes
99.9% = = =
99.4% = = =
Taux de messages reus en moins de 30 secondes
4.1.2. Agglomrations du TOP 12

Comparaison avec ltude prcdente effectue pour tous les indicateurs, sauf les
indicateurs lis laccs web
MMS
Moyenne
mesure
Orange
France
SFR
Bouygues
Telecom
1 152 mes
96.9% - + =

96.5% - + =

Taux de messages reus en moins de 3 minutes
WAP
Moyenne
mesure
Orange
France
SFR
Bouygues
Telecom
2 304 mes
95.0% + = -
99.7% = = =

Taux de russite de connexion au portail
dure de 5 minutes
WEB
Moyenne
mesure
Orange
France
SFR
Bouygues
Telecom
2 235 mes
Accs un site internet dans un dlai infrieur 50s
dure de 5 minutes
= =
= = =
97.5%
96.0%
=
AGGLOMERATIONS DU TOP12
Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice-Cannes-Antibes, Toulouse, Bordeaux, Nantes,
Toulon, Douai-Lens, Strasbourg et Grenoble

mobiles

53/64
4.2. Transfert de donnes en mode paquets

4.2.1. Ensemble des agglomrations de plus de 50 000 habitants

Loffre grand public teste pour Orange France est F.I EW 2H ajustable 6-12 h
Loffre grand public teste pour SFR est I nternet pro
Loffre grand public teste pour Bouygues Tlcom est I nternet 3Go 24/24

Comparaison avec ltude prcdente effectue pour tous les indicateurs

Connexion au rseau
Moyenne
mesure
Orange
France
SFR
Bouygues
Telecom
7 623 mes
98.4%

Taux de connexions russies au rseau
Taux de connexions russies en moins de 10 secondes
99.0%
= = =
= = =
Tlchargement de fichiers de 5Mo
Orange
France
SFR
Bouygues
Telecom
96.5% 95.3% 87.3%
1.0% 1.2% 1.8%

2230 kbit/s 927 kbit/s 385 kbit/s
Dbit moyen de transfert atteint par 90% des fichiers reus
Taux de fichiers reus de 5 Mo
Prcision statistique
mobiles

54/64
4.2.2. Agglomrations du TOP 12

Loffre grand public teste pour Orange France F.I EW 2H ajustable 6-12 h
Loffre grand public teste pour SFR est I nternet pro
Loffre grand public teste pour Bouygues Tlcom est I nternet 3Go 24/24

Comparaison avec ltude prcdente effectue pour tous les indicateurs

Connexion au rseau
Moyenne
mesure
Orange
France
SFR
Bouygues
Telecom
4 425 mes
98.6%

Taux de connexions russies au rseau
Taux de connexions russies en moins de 10 secondes
99.1%
= = =
= = =
Envoi de fichiers de 1Mo
Orange
France
SFR
Bouygues
Telecom
97.3% 95.2% 89.0%

1.2% 1.5% 2.2%
Taux de fichiers envoys de 1 Mo
Dbit moyen de transfert atteint par 90% des fichiers envoys
Tlchargement de fichiers de 5Mo
Orange
France
SFR
Bouygues
Telecom
97.5% 95.1% 88.1%
1.2% 1.5% 2.3%

Taux de fichiers reus de 5 Mo
AGGLOMERATIONS DU TOP 12

mobiles

55/64
COURBES DE REPARTITION DES ECHANTILLONS

Aide la lecture du graphique :
- 226 mesures dont la connexion rseau a russi ont dpass 2 Mbit/s pour Bouygues
Telecom
- 852 mesures dont la connexion rseau a russi ont dpass 2 Mbit/s pour SFR
- 1077 mesures dont la connexion rseau a russi ont dpass 2 Mbits/s pour Orange
France
mobiles

56/64

Aide la lecture du graphique :
Il y a eu 50 mesures pour SFR dont les dbits ont t enregistrs entre 1 Mbit/s et 1,2 Mbit/s.

Echantillon atteignant un dbit minimum en Upload
0
200
400
600
800
1000
1200
1400
0 500 1000 1500 2000 2500 3000
Dbit (kbps)
C
u
m
u
l

d
e
s

c
h
a
n
t
i
l
l
o
n
s
Orange France
SFR
Bouygues Telecom
mobiles

57/64

Rpartition des dbits Upload
0
50
100
150
200
250
0 500 1000 1500 2000 2500 3000
Dbit (kbps)
N
o
m
b
r
e

d
e

m
e
s
u
r
e
s
Orange France
SFR
Bouygues Telecom
mobiles

58/64


mobiles

59/64

Echantillon atteignant un dbit minimum en Upload
0
100
200
300
400
500
600
700
800
0 500 1000 1500 2000 2500 3000
Dbit (kbps)
C
u
m
u
l

d
e
s

c
h
a
n
t
i
l
l
o
n
s
Orange France
SFR
Bouygues Telecom
Rpartition des dbits Upload
0
50
100
150
200
0 500 1000 1500 2000 2500 3000
Dbit (kbps)
N
o
m
b
r
e

d
e

m
e
s
u
r
e
s
Orange France
SFR
Bouygues Telecom

mobiles

60/64
5. ANNEXE : MESURES EXPERIMENTALES SUR
SMARTPHONES
En complment des mesures dcrites prcdemment, des mesures de dbit et de navigation
web ont galement t ralises, titre exprimental, depuis des smartphones, afin de tester
des protocoles de mesure adapts ces terminaux.
Les protocoles de mesures ayant pu tre pleinement mis en uvre, des rsultats issus de ces
mesures exprimentales sont reproduits dans ce rapport titre indicatif. En raison de la faible
volumtrie des mesures, la prcision statistique est infrieure celle des autres mesures et
seules des valeurs agrges entre oprateurs sont prsentes.

Des mesures exprimentales de dbit et de navigation web sur smartphones ont t ralises
sur lensemble des agglomrations de plus de 400 000 habitants (TOP 12) : Paris, Marseille-
Aix-en-Provence, Lyon, Lille, Nice-Cannes-Antibes, Toulouse, Bordeaux, Nantes, Toulon,
Douai-Lens, Strasbourg et Grenoble, sur les mmes lieux que les mesures de qualit pour les
services de donnes qui figurent dans le rapport.
La rpartition des lieux par agglomration est illustre sur la carte ci-dessous:
mobiles

61/64
Au total, 261 lieux ont t audits :
Agglomrations Total
T
O
P

1
2

PARIS 77
MARSEILLE 21
LYON 23
LILLE 20
NICE 19
TOULOUSE 16
BORDEAUX 16
NANTES 12
TOULON 15
DOUAI-LENS 14
STRASBOURG 14
GRENOBLE 14
Nombre total des lieux audits 261

5.2. Volumtrie
Sur chaque lieu, ont t raliss un tlchargement dun fichier de 5 Mo (downlink), un envoi
dun fichier de 1 Mo (uplink) et deux navigations web.

Ce qui conduit une volumtrie de 1044 mesures ralises par oprateur :

Echantillon Downlik 5 Mo Uplink 1 Mo Navigation web
TOP12 261 261 522

5.3. Terminaux utiliss
Ltude a t ralise avec 2 types de smartphones : un terminal quip du systme
dexploitation Android (53% de mesures) et un iPhone (47% des mesures). Les smartphones
et les abonnements suivants, en offre grand public, ont t utiliss:

Oprateur Android iPhone Abonnements
Orange France Samsung Galaxy SI9000 iPhone 4 Origami star 1h
SFR HTC Desire HD iPhone 4 Illymithics 5 webphone
Bouygues Telecom Samsung Galaxy SI9000 iPhone 4 NEO 4 smartph

5.4. Outil et protocoles
Les mesures de dbit et de navigation web sur smartphones ont t ralises laide dun outil
dacquisition automatique de mesures MobiSpeed install sur chaque smartphone.

5.4.1. Transfert de donnes en mode paquets
Le protocole de mesures de dbit est identique celui des mesures FTP sur PC avec les cls
3G+ (voir partie 2.5).
Une mesure consiste tablir une connexion avec un serveur et tlcharger ou envoyer des
fichiers en utilisant le protocole de transfert de donnes avec le protocole http. Les fichiers
utiliss pour les transferts de donnes sont identiques pour les 3 oprateurs :
- un fichier de 5 Mo pour le tlchargement en sens descendant (download)
mobiles

62/64
- un fichier de 1 Mo pour lenvoi en sens montant (upload)
Les time out de tlchargement de fichiers sont respectivement de 2 minutes en upload et de 5
minutes en download. Au-del, les tlchargements sont abandonns et considrs comme
ayant chou.
5.4.2. Navigation WEB
Le protocole de navigation web est identique celui des mesures web sur PC avec les cls
3G+ (voir partie 2.6).
Une mesure consiste accder internet, puis raliser une succession de tlchargements de
diffrentes pages pendant une dure de 5 minutes avec 20 secondes sur chaque page
tlcharge.
Les pages retenues pour ce test, identiques pour les 3 oprateurs, correspondent aux 12 sites
internet les plus frquents par les internautes mobiles nationalement (hors sites oprateurs ou
constructeurs) :

Pages web
http://touch.facebook.fr
http://www.google.fr
http://m.youtube.fr
http://www.wikipedia.fr
http://twitter.com
http://smartphone.pagesjaunes.fr
http://android ou iphone.mappy.com/
http://fr.m.yahoo.com
http://iphone.dailymotion.com
http://mobile.allocine.fr
http://www.leboncoin.fr
http://m.linternaute.com

La navigation est considre comme ayant russi si aucune erreur parmi celles listes ci-
dessous ne sest produite pendant la navigation de 5 minutes :

- non affichage de deux pages successivement, aprs un time out de 50 secondes
pour chacune ;
- blocage de la navigation ou rupture de la connexion ;
- messages derreur remonts par le terminal.
Au terme de la session de 5 minutes de navigation, si une page est encore en cours de
tlchargement, on attend quelle finisse de se charger pour qualifier la session.

mobiles

63/64
5.5. Rsultats des mesures exprimentales ralises sur smartphone sur le
TOP 12

Les mesures prsentes ci-dessous sont des valeurs agrges entre oprateurs.

5.5.1. Transfert de donnes en mode paquets

Loffre grand public teste pour Orange France est origami star 1h
Loffre grand public teste pour SFR est illymitics 5 web phone
Loffre grand public teste pour Bouygues Tlcom est NEO 4 smartph


mobiles

64/64
5.5.2. Navigation web

AGGLOMERATIONS DU TOP12

Rapport Qualite Service Mobile 2011

Enviado por

Dados do documento

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Rapport Qualite Service Mobile 2011

Enviado por

Direitos autorais:

Formatos disponíveis

La qualit des services de voix et de donnes

des rseaux mobiles (2G et 3G)

Taux de communications russies, maintenues 5

Prcision statistique 1,25%

Prcision statistique 0,89%

Prcision statistique 0,99%

Prcision statistique 1,36%

Prcision statistique 1,30%

Prcision statistique 0.7%

Prcision statistique 0.8%

Prcision statistique 0.7%

Prcision statistique 0.1%

Prcision statistique 1.0%

Prcision statistique 1.1%

Prcision statistique 0.2%

Prcision statistique 0.3%

1.0% 1.2% 1.8%

Prcision statistique 0.4%

1.2% 1.5% 2.3%

Você também pode gostar