L'info est tombée aujourd'hui : Facebook to build massive Arctic data centre in Sweden

Facebook a donc choisi la ville de Luleå en suède dans l'objectif premier de faire du Freecooling.

et pour consommer 120 Megawatts

C'est à dire de baisser au maximum son PUE et ne consommer que le strict minimum d'énergie pour refroidir les serveurs.

Second choix : Réduire sa facture d'électricité via la consommation d'hydroélectricité locale et pouvoir aussi faire de la communication sur une consommation d'énergie renouvelable.

subventions de l'état :

Le gouvernement suédois semble avoir offrert une aide de 100 Millions de dollars à Facebook : source

Car cela va créer 300 emplois locaux..

L'article est intéressant car il précise que c'est la plus grosse entreprise depuis l'aciérie Saab

Electricité :

Essayons de faire un petit topo de la production et de la consommation d'électricité dans la zone :

• De la production éolienne
• De l'hydroélectricité

Et des consommateurs :

• Une aciérie electro-intensive.. tiens ça me rappelle Saint Jean de Maurienne The Dalles où Google s'est installé pour cause de proximité de barrage.

Le producteur local semble être : Luleå Energi ait divers projets de production d'énergie renouvelable.

Exemple de production, voici parc éolien devant l'aciérie Ssab

Ils précisent que cette ferme devrait produire 40 Gw/h soit un cinquième de la production de la ville de Luleå.

Dans cette infographie, Facebook résume le coté énergétique de son nouveau datacenter :

• Freecooling
• Utilisation de l'énergie hydroélectrique à 100% j'espère qu'ils n'auront jamais de maintenance à faire dans la centrale..
• La température moyenne annuelle est de 1.3 °
• L'industrie électro-intensive a crée les conditions pour l'installation d'un datacenter, ça me rappelle notre proposition de 2005
• La Suède a très peu d'activité sismique.. les serveurs ne seront pas secoués, le barrage ne cassera pas.
• Dernier point sur le GDP (Gross domestic product ?) et la production de Co2, facebook considère que la Suède est un bon élève.

La suède est politiquement, socialement stable depuis très longtemps..

Bref, tout ça pour dire que la suède est en endroit agréable où il est rentable d'investir dans un datacenter avec des coûts de fonctionnement prévisibles.

Communication Facebook

Comme à chaque fois..Facebook a commencé à faire de la communication autour de leur datacenter, voici les images du directeur du site :

Tom Furlong

Il semble que ce soit une grande nouvelle pour les élus locaux, il suffit de voir cet article : facebook's first european data centre in lulea, sweden

Elus locaux, le mode d'emploi pour attirer les entreprises

En 2005, nous avions proposé à Google de venir s'installer à la place de l'usine Rio Tinto Alcan

En 2011 quand je vois ce site internet : The Node Pole

Je me rends compte que nous n'étions absolument pas à coté de la plaque.. mais plutôt en avance de quelques années..

The Node Pole c'est quoi ?

C'est un organisme qui est là pour promouvoir le territoire :

• Tarifs d'électricités les plus bas d'europe
• Redondance du réseau électrique
• 100 % d'énergie hydroélectrique locale
• Air frais toute l'année (Freecooling)
• Stabilité géographique et politique

La suède placée numéro un sur :

• Préparation à l'utilisation des NTIC
• Qualité du débit internet (Fibre optique de partout)
• Nombre d'ordinateurs par habitants

Fibre optique :

• 150 000 Km de réseaux

Electricité :

• Développement important du réseau
• Aucune panne importante depuis 1979

Quel est le message ?

Voici exactement ce qu'il faut faire pour attirer des entreprises du secteur web en recherche de datacenter.

Il faut communiquer simplement, rapidement.. sur les valeurs "industrielles" d'un territoire.

C'est une leçon de politique locale et d'attractivité d'un territoire, a quand la même chose en Maurienne ?

Conclusion :

Facebook est un industriel qui doit réduire le plus possible ses coûts de fonctionnement, surtout maintenant qu'il va approcher le milliard d'utilisateurs.

Sur la consommation électrique elle reste relativement énorme : 120 Megawatts

Pour faire quoi ?

Collecter des données privées et les commercialiser...

Espérons que ce qu'il reste de l'union européenne aille mettre son nez dans ce datacenter.. Le tribunal de Luleå va aussi recruter pas mal de monde..

^[1]

Comme le titre datacenterknowledge.com : "Facebook’s Expansion: How Big, How Fast?"

Les investissements de facebook sont pharaoniques, on parle de 450 Millions de dollars pour le datacenter de Rutherford en Caroline du Nord.

Je vous laisse regarder à quelle vitesse les travaux avancent :

• Novembre 2010

• Décembre 2010

• 23 Janvier 2011

Pourquoi deux datacenter ?

Deux datacenter sont actuellement en construction : Prineville Data Center et Rutherford Data Center, à quoi vont-il servir ?

• Pour bénéficier d'une "proximité avec les utilisateurs" cote EST, cote OUEST (Amélioration de la latence)
• Pour garantir une redondance, le réseau sera sans doute proche du Terabit /s entre les deux
• Pour se passer de location de salles, cela doit être très coûteux pour eux.. d'avoir à rajouter 300 à 5000 serveurs / jours dans des salles louées.

Le problème de l'électricité

Je pense que Facebook va devenir fournisseur d'électricité, pour faire de l'achat d'élécitricté en gros et pour réduire ses frais de fonctionnement.

Finalité

Pour calculer votre profil marketing, il faut de la puissance de calcul, des serveurs, de la place..

La seule chose que Facebook veut faire, c'est de monétiser vos informations personnelles et vous donner l'impression que vous êtes libres de choisir ce que je vous achetez..

https://www.facebook.com/advertisin...

Facebook est clairement en route vers un milliard d'utilisateurs

Combien de serveurs dans ce datacenter ?

• 100 000 ? 300 000 ?
  • 300 000 serveurs 8 cores : 2.4 Millions de cores...

• 50 Megawatts ?

^[1]

^[1]

Backblaze c'est quoi ?

C'est un service de sauvegarde en ligne

• Logiciel installé sur le poste windows/mac
• Sauvegarde en permanence
• Snapshots sur les datas avec une fenêtre de plusieurs semaines

Comment ils stockent ces données ?

Via ce qu'ils appellent des "Pods" :

La documentation pour en construire un dans son garage et monter une start-up

(faut-il avoir du débit..)

Combien de données chez backblaze ?

Pas beaucoup finalement face aux géants (google & co)

Seulement 10 Peta octets (10 000 teraoctets) ou 10 000 disques dur

Voilà ce que ça donne :

• 137 serveurs
• 17 baies

Consommation électrique doit être assez ridicule.. face à la quantité de stockages.. par contre on ne parlera pas des problèmes qui pourraient arriver en cas de coupure élec.. ou pire.

Intéressant ce graph, car on voit comment backblaze a évolué au fil du temps :

• Disques d'un 1To puis 1.5 To, puis 2 To

Tous ces disques sont low cost

Voir l'article sur le blog de backblaze

Besoin de débit

Mais il y'a un hic, surtout quand on fait des photos en RAW..

Il vous faut du débit en émission ! et non pas 1 Mb/s (ADSL 2+)

Parce qu'avec 1 Mb/s cela va vous coûter pas mal d'argent en électricité pour uploader vos xxx Go de photos

Mark Zuckerberg est nommé "Homme de l'année" selon le magazine TIME

Et parmis les articles du TIME, nous avons un article intéressant : A Glimpse Inside a Facebook Server Farm

L'article nous présente une série de photos sur l'un des datacenter que Facebook utilise pour ses serveurs, regardons les photos une par une :

Vue sur les baies

• A droite une allée froide, l'air est injecté par le sol (faux plancher) en façade des serveurs.
• La température de l'air est sans doute supérieure à ce qui se fait d'habitude.

Vue de l'intérieur de l'allée froide

• Le plafond de l'allée froide est spécialement conçu pour "fondre" en cas d'incendie ou de facilement partir en cas d'injection de gaz neutre (ou d'eau)
• l'air froid est injecté depuis le sol en façade des baies, les ventilateurs des serveus aspirent l'air frais, l'échange thermique se fait.

Vue de derrière les serveurs

• Deux PDU (power distribution unit) sur le coté gauche de la baie, ce sont des alimentations "intelligentes" qui permettent de faire ON/OFF à distance..
• A priori une seule arrivée électrique par serveur
• Deux interfaces réseaux par serveur (sans doute du réseau gigabit)
• Serveurs 1U (42 Serveurs par baie)

Encore une vue sur les baies avec allée froide

• Les baies ne sont pas remplies totalement et le sommet des baies est bouché, afin d'éviter encore une fois des pertes. Tout l'air frais devra passer à travers les ventilateurs de chacun des serveurs.
• Aucun switch réseau dans les baies, tous les câbles réseaux semblent aller vers d'autres baies "switching"

Vue sur les câbles

• On observe à droite des PDUs avec un câble réseau
• Beaucoup de câbles réseaux, mais sans doute afin d'optimiser le plus possible la bande passante entre les serveurs. Les pertes liées à la distance doivent être négligeables.

Encore une autre vue sur les baies et l'allée froide

• Une caméra dôme au plafond
• Deux Sprinkler
• Les baies ne sont pas pleines, en bas un type de serveurs, sur le dessus d'autres serveurs. Des serveurs Mysql ? Et des serveurs de fichiers ? (Scribe, leur système de logs)

Une vue sur le câblage réseau

• Et là surprise, on voit une plaque marquée "Force 10"
• Force 10 c'est du réseau, voir les référence : http://www.force10networks.com/whit...

For example, the C-Series has a total switching capacity of 1.536 Tbps and a slot capacity of 96 Gbps

Vue sur des serveurs et sur des allées froides

• Serveurs de stockage avec 4 emplacements disques
• Pas d'allée froide pour les serveurs de stockage, sans doute parce qu'ils produisent peu de chaleur. Les allées froides seraient alors bien des serveurs de calcul intensif ?

Conclusions :

Je suis assez étonné par ce datacenter, qui semble être un modèle presque trop parfait.. d'une croissance aussi exponentielle que Facebook. On a l'impression que tout est clean, neuf et coûteux.

• Serveurs coûteux
• Temps important pour la mise en place :
• Temps de câblage
• Temps de mise en place des serveurs dans les racks

Ce qu'on voit sur les photos c'est à mon avis l'infrastructure que Facebook s'est payé il y'a quelques années et qu'ils ont fait évolué à chaque fois qu'ils ont eu des levées de fond.

Maintenant que Facebook construit deux immenses datacenter :

• http://www.facebook.com/prinevilledatacenter
• http://www.facebook.com/rutherforddatacenter

Regardez l'echelle

Facebook est très certainement parti sur une logique low cost à la google :

• Serveurs low cost (Quad-core, 32 Go de ram, xx disques sata 2To)
• Des serveurs insérables rapidement (pas de montants à viser dans les baies)
• Des systèmes de déploiement automatiques pour augmenter rapidement la capacité (scalabilité horizontale)

Combien de serveurs facebook ?

200 000 ?

Peut être plus.. en tout cas les deux datacenters vont très certainement servir à accueilir beaucoup de machines.

Prospective :

Facebook a sans doute beaucoup de choses prévues dans sa roadmap !

• Puissance de calcul pour l'analyse automatique des visages
• Backend pour le marketing ciblé... (vous pensiez vraiment que Facebook, c'est pour relier les gens entre eux ?)
• Construire son propre CDN et se séparer de Akamai (coûts ?)
• Accélérer ses temps d'accès ? Datacenters en Europe ? Est-ce possible avec les conditions générales d'accès au service ? Est-ce possible avec la sous licence que chaque utilisateur accepte en ayant un compte facebook ?

Facebook...

Ce n'est que le début... ils utilisent tout ce qu'il y'a de meilleur dans le logiciel libre et le Web 2.0... D'ici peu ils pourront utiliser des serveurs avec de la DDR3.. des SSD ..