Je viens de découvrir ce fantastique billet !

Inauguration du Data Center de Google Belgique

Analyse des photos

Vue d'ensemble

Sur cette image ont voit très bien sur la gauche la série de projecteurs.. Ils sont assez parano niveau sécurité, comme j'avais pu le lire sur le blog de Robert

Tours de refroidissement

Chaque tour dispose de deux para-tonnerre

Batiments administratifs

Pas très green l'éclairage !

Intérieur des bâtiments

Très étrange cette vision du green.. ils refroidissent le DC avec de la flotte pompée dans le canal d'a coté.. et ils ont besoin de cassettes de climatisation au plafond.

Les batiments ne sont pas isolés ? ils ne sont pas HQE ? Faut m'expliquer..

La salle de réparation des serveurs

Je pense que Tomhtml se trompe sur la description de l'image, nous sommes là dans l'atelier mécanique.. Avec des arbres, des roulemets, des presses hydrauliques. Il s'agit de mécanique d'industrie.. c'est le secteur maintenance des différentes installations (pompes etc..)

http://picasaweb.google.com/tomhtml...

Présentation d'un arrache moyeux... où comment sortir l'arbre qu'on voit à coté.. Du palier à roulements qu'on voit à coté...

http://picasaweb.google.com/tomhtml...

Encore une fois.. je me pose une question sur le coté Green ! Regardez le chauffage au plafond.. .Quoi ?? un chauffage dans un DC Google ? Ils ont pas un peu quelques dizaines de Megawatt de chauffage à coté ?

Je vous dit ça ..parce que j'ai visité le centre technique de Saint Jean de Maurienne.. et que j'ai vu du chauffage aussi de ce type.. avec un toit végatalisé sur le batiment..

Green où est-tu ?

Et nous arrivons à la photo la plus intéressante : La Control Room

Qu'est-ce qu'on peut voir ?

• Utilisation de windows XP pour la lecture des logs
• Utilisation d'une souris microsoft
• Utilisation un Mac OsX (la tour grise en bas..) et on voit le technicien utiliser MacOsX avec la bare verticale.. on voit un Firefox un et Chrome.

Déduction : Ce système est raccordé au net ! Confiance en MacOsX et son code source fermé ? A mon avis Steeve Jobs.. doit regarder la conso electrique du DC à distance

• Utilisation de prises électriques ondulées.. la convention veut qu'on ait des petits capuchons rouge dessus.
• Sur les trois écrans du dessus on voit le système de gestion informatisé du cooling du DC.. a mon avis le système le plus critique et le plus confidentiel. Comment on a pu laisser prendre cette photo ?

On voit donc une série de 15 tours de refroidissement, certaines en vert d'autres en rouge.. le DC n'est pas en prod ?

Quelques suppositions.. sur la capacité de refroidissement.. 15 Tours ? 1 Megawatt par tour ? Puissance du DC : 15 Mw elec ?

Je regarderai ça en précision plus tard.

Sur l'écran du milieu on peut voir le circuit d'alimentation en eau .. avec sans doute : moteurs, filtration on voit l'état de fonctionnement : vert, rouge etc..

Sur l'écran à droite en haut.. on voit le graphique de température.. d'eau ? de refroidissement.. C'est le genre de graphiques que j'ai déjà vu sur les photos d'écrans d'Octave (OVH).

Ce graphique doit représenter un empilement des différentes tours de de refroidissement..

Conclusions rapide sur cette photo :

• Tout est automatisé
• Une seule personne surveille la partie technique du DC
• Utilisation d'outils Google (le logo est présent sur tous les outils du monitoring) (A mon avis ce sont des pages web) (Ecran de droite un google chrome sous windows XP)

Merci Marc pour lien Merci TomHtml pour le reportage

Google a annoncé quelques méthodes pour améliorer le PUE de votre datacenter, voici ce qu'ils proposent :

• Séparer le chaud et le froid en créant des allées chaudes, les baies sont dos à dos et la chaleur est aspirée directement à la source.

• Augmenter la climatisation, au lieu d'avoir 15° de production de froid mettre à 26°

• Utiliser du "free cooling" (économiseur d'air), pour faire simple : On utilise l'air frais extérieur pour faire l'échange de calories. Notamment en utilisant des tours de refroidissement.. avec un principe que tout le monde connait : l'évaporation de l'eau permet un refroidissement. (comme le corps humain).

Les annonces de google semblent très simples, mais la réalité est un peu différente :

• Pour faire du free cooling il faut pas mal de savoir-faire et encore peu d'entreprises savent faire ça..
• Il faut être capable de faire du monotoring de l'ensemble de l'infrastructure pour mesurer tous les points vitaux :

- Température de tous les éléments
- Consommation électrique de tous les éléments
- Avoir beaucoup de puissance électrique produisant de la chaleur et si possible de manière très uniforme (4000 des mêmes serveurs.. exemple une grappe GFS google)
- Pouvoir tester des changements de configuration sans trop de risques.. les clusters google étant totalement redondant.. une coupure ne sera pas très grave.

Voilà à quoi ressemblent les allées chaudes Google :

Source : http://www.datacenterknowledge.com/...

Déjà, la vidéo.. n'est pas désentrelacée.. donc plein de petites rayures partout !

Revenons au sujet. Cette vue par exemple :

On dirait de la propagande, la vue contient plein de messages subliminaux :

• Des câblages partout, ce coup là avec des têtes plastiques et plein de couleurs différentes. Ce n'est donc pas du câble fait a l'arrache, les pseudos câbles console : Admin de quoi ? Des équipements électriques sur place ? Pour quand une maintenance est faite ? Cela me parait véritablement étrange .. que lorsqu'on a 50 000 serveurs dans un datacenter.. on s'amuse à faire de la console sur les machines.

• Un tableau, avec le Master Plan ?

• Des disques dur neufs posés sur la table, le nombre de pannes doit être assez élevé

Seconde image :

Le technos arrive devant le conteneur, où il va ensuite mettre une machine.

Mais on ne voit pas la machine sur la table, mais deux disques sur, un plateau. Est-ce qu'il construit la machine sur place ? Cela ferait quand même pas mal de taf.. en cas de grosse panne..et perte de 500 machines (par exemple).. il faudrait beaucoup beaucoup de monde dans le DC.. pour tout remettre en route.

Ensuite, on le voit s'approcher de son ordinateur portable.. une interface de l'intranet pour réinclure une machine dans le cluster ? Encore une fois, cela me parait bien étonnant au niveau gestion.. Qu'il faille en faire autant.. Les machines ont sans doute un ideentifiant unique..

Les portes des conteneurs ne sont pas en dur, mais ont une vitre. Ce qui me fait dire qu'il y'a forcement un système anti-incendie performant. Le conteneur est donc forcement étanche pour éviter tout problème.. voir même tout problème de propagation d'un incendie.

D'ailleurs.. je trouve chaque conteneur très proche, faudrait pas qu'un seul prenne feu...

Tout est vraiment "low cost", on voit l'espece de système d'alarme et une etiquette "Home Security ... " on arrive pas trus bien a lire. Sans doute une alarme, ou quelquechose à code permettant d'entrer dans la salle ?

La vidéo est pleine de messages cachés.. par exemple là, on peut voir que la porte est taggée.. comme la plupart des choses chez Google. Sur d'autres images, d'une ancienne génération de racks. On pouvoit voir l'une des faces taggée..

Les machines sont codées comme ça :

AUNR12, AUKR12

On arrive pas très bien a lire

Une note à ce sujet : pas de codes barre, pas de choses allant vers l'automatisation et le système d'information autour des machines. De là une question : Est-ce que l'ordre des machines, compte vraiment ?

Le technicien n'est déjà plus dans le même conteneur.. parce que si l'on regarde dehors il y'a beaucoup d'espace. Alors qu'on devrait voir une table et du bordel de câbles.

Un choix de montage vidéo

Nous sommes bien dans un datacenter Google, dédié à Gmail

Le t-shirt date de 2007, le technos est sans doute là depuis .. 2 ans peut être plus. Encore une info intéressante

Beaucoup d'informations, certaines bonnes à jetter, beaucoup qui m'amusent !

Si vous avez des commentaires.. n'hésitez pas

Allez la suite !

Tout est pensé.. sur le volet de la porte, il y'a un mode manuel :

La belle manivelle

Tiens :

C'est quoi toute cette ficelle accrochée ensemble ?

Des liens vers le backbone ?

Est-ce qu'il y'a des switchs gigabit dans les salles, qui ont des uplink cuivre en 10 Gb/s vers dehors ?

C'est étonnant tout ces câbles.. D'ailleurs le routage doit se faire dans une autre salle. Sans doute en face des conteneurs, pour éviter 500 mètres de longueur de câble cuivre.

Tiens..

UPS ?

Je croyais qu'il y'en avait pas ? Ah si peut être pour les switchs..

Le gaz neutre, pour éteindre un éventuel incendie

Bon voilà, c'est tout pour ce soir.

Je vous invite aussi à aller voir du coté de chez Robert à Mons, l'une des vidéos publiée présente le datacenter Belge

J'ai trouvé de nouvelles photos d'un datacenter Google !

Voir :

• http://www.flickr.com/photos/kaptur...
• http://www.flickr.com/photos/kaptur...
• http://www.flickr.com/photos/kaptur...

La localisation au bord d'un canal garanti bien que c'est du Google :

Sur cette image on peut voir en bas à droite une voiture sur le parking. Cela nous donne une echelle sur la hauteur du batiment.

Sans doute deux hauteurs de conteneurs dans ce batiment

Ce datacenter est aussi équipé d'un groupe électrogène, sur cette photo on peut voir dans la zone ou il y'a du gravier, deux espèces de cheminées qui sortent du sol. Sans doute en dessous un réservoir de fioul.

Quand on batiment derrière, il semble avoir plusieurs cheminées

Sur cette photo, on peut voir 3 énormes tours de refroidissement.

Elles utilisent :

• De l'eau, en provenance du canal
• De l'air frais

La fight club rule viens d'être cassée chez Google ?

36 datacenters, 40 à 50 000 serveurs dans chaque batiment, 2 batiments par site.. Allez, 2,8 millions de serveurs.. Mais vu le coté low cost des machines.. et si on applique un coef "fight club rule"

Peut être 3 millions de serveurs..

Mais à quoi peut bien servir autant de puissance de calcul ? :)...