Comment amliorer les performances avec l'usage mix d'hbergeurs, CDN et Clouds ?

Paris Web 2011

Julien Coulon
Co-Founder & General Manager @juliencoulon julien@cedexis.com + 33 6 07 13 68 56

Stephane Enten
Vice-President, Services @s_enten stephane@cedexis.com +33 603 966 603

@cedexis

Cedexis: Historique : do viennent nos donnes

Fonde en 2009 par des ex-Akamai, Dailymotion, et Cisco

3 brevets dposs lis nos technologies 32 employs (USA, France, Qatar, Canada, Thailande) Leve de fonds en Aout 2011 (7 M$) auprs dATV et Madrona 170+ clients dans les medias, e-Commerce, luxe, gouvernement/institutions, automobile, tourisme, social networking, gaming, telecom, e-pub (en majorit en Europe et aux USA)

2 principaux services :

Cedexis Radar
Monitoring de la performance en temps rel sans agent (Real User Monitoring en Javascript)

Cedexis Openmix
Routage DNS scriptable fond sur les variables collectes en temps rel

Sinteresser la partie immerge de liceberg de lInternet Beaucoup de solutions de monitoring existent

La plupart sont des serveurs dans des datacenters en coeur de rseau. Un data center qui teste un autre data center est une solution Tous les internautes qui remontent les informations de disponibilit, performance, dbit en temps rel depuis tous les FAI du monde en est une autre.

Naissance du R.U.M. (Real User Monitoring)

Plus de dtails sur le sujet :

http://oreilly.com/web-development/excerpts/9780596155131/chapter-10.html Complete Web Monitoring

Watching your visitors, performance, communities, and competitors
By Alistair Croll, Sean Power Publisher: O'Reilly Media Released: June 2009 Pages: 672

Pourquoi le R.U.M. ?
Le problme nest pas le terminal mais la livraison

Internet dans les films :

Credit image : http://gcaptain.com/googles-water-based-data-centers

Pourquoi le R.U.M. ?
Les problmes quelque part sur la chaine se rvlent

Internet en ralit :

Credit image : http://www.techrepublic.com/photos/server-room-cabling-nightmare/6137

Exemple de donnes recoltes : Comparons les hbergeurs Cloud depuis les internautes

Sur la journe du 21 Septembre 2011 28 millions de mesures reues 34,000 rseaux dans185 pays Measures sans agents Reflte lexperience utilisateur

Types de mesures Dlai pour un Cache-miss (ms) Temps de rponse (ms) Taux de disponibilit (%) Temps de chargement de la page

Comparatif des hbergeurs Cloud

Amazon EC2 East

Que valent les clouds publics ?

GoGrid Google App Engine Joyent

Rackspace CloudServer
Windows Azure

Joyent

HTTP Response Time \ ms 0 to 300, 300 to 400, 400 to 500, 500 to 750, >750, (7%) (24%) (14%) (24%) (31%)

Google App Engine

HTTP Response Time \ ms 0 to 300, 300 to 400, 400 to 500, 500 to 750, >750, (7%) (25%) (14%) (27%) (28%)

GoGrid

HTTP Response Time \ ms 0 to 300, 300 to 400, 400 to 500, 500 to 750, >750, (22%) (22%) (14%) (20%) (22%)

Windows Azure

HTTP Response Time \ ms 0 to 300, 300 to 400, 400 to 500, 500 to 750, >750, (21%) (20%) (13%) (27%) (20%)

Rackspace CloudServers

Rackspace CloudServer

HTTP Response Time \ ms 0 to 300, 300 to 400, 400 to 500, 500 to 750, >750, %) (30%) (15%) (12%) (23%) (20

Amazon EC2

Amazon EC2 East

HTTP Response Time \ ms 0 to 300, 300 to 400, 400 to 500, 500 to 750, >750, (33%) (15%) (14%) (20%) (18%)

And the Winner is

Temps de rponse HTTP

Amazon EC2 East

Prestataires de Cloud

EC2 East GoGrid Rackspace Azure App Engine Joyent

(51%) (17%) (18%) (8%) (3%) (2%)

EC2 versus EC2

Comparons les diffrentes rgions dAmazon EC2

Amazon EC2

EC2 Virginia EC2 California EC2 Ireland EC2 Singapore EC2 Tokyo

EC2 Virginie
EC2 USEast

HTTP Response Time \ ms 0 to 300, 300 to 400, 400 to 500, 500 to 750, >750, (33%) (15%) (14%) (20%) (18%)

EC2 Californie
EC2 USWest

HTTP Response Time \ ms 0 to 300, 300 to 400, 400 to 500, 500 to 750, >750, (17%) (24%) (16%) (21%) (22%)

EC2 Ireland
EC2 EU

HTTP Response Time \ ms 0 to 300, 300 to 400, 400 to 500, 500 to 750, >750, (33%) (9%) (18%) (25%) (15%)

EC2 Singapore
EC2 Singapore

HTTP Response Time \ ms 0 to 300, 300 to 400, 400 to 500, 500 to 750, >750, (8%) (12%) (26%) (29%) (24%)

EC2 Tokyo
EC2 Tokyo

HTTP Response Time \ ms 0 to 300, 300 to 400, 400 to 500, 500 to 750, >750, (7%) (12%) (27%) (29%) (26%)

And the Winner is

HTTP Response Time Winners

EC2 Zone EC2 Singapore EC2 Tokyo EC2 EU EC2 East EC2 West

(13%) (7%) (49%) (23%) (9%)

Utilisons les donnes pour Agir et non Subir

Deux approches stratgiques pour amliorer lexprience utilisateur.

A
Aiguillage Gographique

B
Aiguillage la Performance

Aiguillage Gographique

EC2 Zones EC2 Tokyo EC2 EU EC2 East/West (avg)

Temps de rponse aiguillage Gographique

HTTP Response Time \ ms 0 to 300, 300 to 400, 400 to 500, 500 to 750, >750, (39%) (8%) (13%) (25%) (15%)

Gains de Performance (compar EC2 East)

Optimization Opportunity 0% to 5%, (43%)

5% to 25% (23%) 25% to 50% (32%) >50% (3%)

Problme: Variation par Fournisseur dAccs

Country Level
EC2 Singapore EC2 Tokyo EC2 US West EC2 US East EC2 EU

Average Response Time

522 ms 274 ms 392 ms 427ms 487 ms

EC2 TOKYO: Network Variability

Network
CHINANET-BACKBONE No.31,Jin-rong Street CHINANET-SH-AP China Telecom (Group) CHINA169-BJ CNCGROUP IP network China169 Beijing Province BACKBONE-GUANGDONG-AP China Telecom(Group) CHINA169-BACKBONE CNCGROUP China169 Backbone CNCGROUP-SH China Unicom Shanghai network

Average Response Time

336 276 293 218 383 396

ERX-CERNET-BKB China Education and Research Network Center

CNIX-AP China Networks Inter-Exchange

223
443

CNCGROUP-SZ CNCGROUP IP network of ShenZhen region MAN

TOPWAY-NET ShenZhen Topway Video Communication Co. Ltd

204
233

Aiguillage la performance
HTTP Response Time Winners

EC2 Zone EC2 Singapore EC2 Tokyo EC2 EU EC2 East EC2 West

(13%) (7%) (49%) (23%) (9%)

Temps de rponse Aiguillage la performance

HTTP Response Time \ ms 0 to 300, 300 to 400, 400 to 500, 500 to 750, >750, (46%) (14%) (12%) (16%) (11%)

Gains de Performance (compar EC2 East)

Optimization Opportunity 0% to 5% (30%)

5% to 25% (27%) 25% to 50% (38%) >50% (5%)

Aiguillage la perf vs. Gographique : Les donnes pour agir et non pour subir
*

49 Countries Static GeoLB Avg. = 198 Dynamic PerfLB Avg. = 184

Gain = 7%
26 Countries Static GeoLB Avg. = 353 Dynamic PerfLB Avg. = 272

Gain = 23%
46 Countries Static GeoLB Avg. = 833 Dynamic PerfLB Avg. = 729 12 Countries Static GeoLB Avg. = 397 Dynamic PerfLB Avg. = 341

46 Countries Static GeoLB Avg. = 519 Dynamic PerfLB Avg. = 375

Gain = 28%

Gain = 13%
10 Countries Static GeoLB Avg. = 775 Dynamic PerfLB Avg. = 568

Gain = 14%

Gain = 27%

Panne EC2 Virginia

100 90 80 70 60 50 40 30 20 10 0 17-Apr 18-Apr 19-Apr 20-Apr 21-Apr 22-Apr 23-Apr 24-Apr

Evolution typique dun hebergement/cloud priv de site : Phase 1 : on dmarre sur un serveur
DNS www.paris-web.fr A 92.243.21.64

Evolution typique dun hebergement / cloud priv de site : Phase 2 : on en ajoute au mme endroit
DNS www.paris-web.fr A 92.243.21.64 A 92.243.21.65 A 92.243.21.66

Un jour, cest le drame chez lhebergeur

Evolution typique dun hebergement/cloud de site: Phase 3 : on utilise deux hebergeurs

DNS www.paris-web.fr A 92.243.21.64 A 213.186.33.5

Evolution typique dun hebergement/cloud de site : Phase 4 : audience internationale

CDN CDN

CDN
CDN CDN CDN

CDN CDN

CDN
CDN

Soulager linfrastructure en utilisant du CDN

DNS

www.paris-web.fr

CNAME parisweb.bidulecdn.net.

CDN CDN

CDN
CDN CDN CDN

CDN CDN

CDN
CDN

Mme dmonstration avec les CDN

Depuis 1 FAI

Limitation du risque: Aiguillage entre CDN

6 CDN utilisent le mme peering Tous sont impacts par un simple problme rseaux

Tectonique des plaques Internet

Content Provider CDN

Back Bone

ISP

Internet Users

Content Provider

CDN

ISP

Internet Users

Content Provider

ISP-CDN

Internet Users

Net Neutrality

Adosser les donnes laiguillage temps rel, contourner les embouteillages de lInternet pour gagner en performance

CDN CDN

CDN
CDN CDN CDN

CDN CDN

CDN
CDN

Gains de Performance : 30 to 70%

Akamai

Amazon

Cotendo

Rackspace

Cedexis

Performance sur 1 heure depuis 1 FAI : 12 000 25 000 rapports par seconde Cedexis peut aiguiller en fonction de la meilleure performance en temps rel. En moyenne sur un mois, tous se valent. Sur une heure, le gain est substantiel.

Merci !
Des questions ?

Julien Coulon
Co-Founder & General Manager @juliencoulon julien@cedexis.com + 33 6 07 13 68 56

Stephane Enten
Vice-President, Services @s_enten stephane@cedexis.com +33 603 966 603

Icones : http://famfamfam.com/lab/icons/silk/

@cedexis