Quelques photos de Fukushima :

Pour boucher les quelques fuites...

Avant :

Après :

Voir le site Cryptome :

• http://cryptome.org/eyeball/daiichi...
• http://cryptome.org/eyeball/daiichi...

^[1]

Facebook et le stockage des photos...

Je suis tombé sur ces slides :

Quelques chiffres :

• 65 Milliards de photos
• 260 Milliards images (icones, vignettes & co)
• 20 Petaoctets de stockage : 20 000 disques dur de 1To
• 1 Milliard de photos envoyées par semaine soit 60 Tera octets

• 'Serveurs web qui distribuent' : 1 Million d'images par seconde... (Merci Varnish)

Soit environ : 3.1536 × 10^13 photos distribuées par an... (sans compter le facteur d'augmentation..)

Utilisation d'un CDN :

Facebook utilise Akamai en tant que CDN, le pourcentage de HIT (fichiers en cache dans le CDN est uniquement de 80%) c'est à dire que Facebook prends : 200 000 requêtes par seconde pour distribuer des images.

Vous allez me dire que c'est énorme.. mais à vrai dire tout ça pourrait tenir sur uniquement un seul serveur Varnish !

Quand on voit le dernier record sur un seul serveur :

La distribution des images Facebook.. pourraient potentiellement tenir sur une seule machine.. Mais ce n'est pas le cas, parce qu'il faut distribuer ce contenu à travers des millions de connexion TCP et garantir une haute dispo, palier aux probs matériel etc... c'est sans doute une grosse population de serveurs varnish qui distribuent le contenu !

On apprends aussi qu'il y'a beaucoup d'accès à du contenu ancien (anciennes photos etc..) les gens qui utilisent facebook crawlent toutes les photos..

Mise à la poubelle de NFS

Pour distribuer ces photos, facebook utilise des serveurs web qui eux même vont chercher le contenu à travers le réseau sur des serveurs de stockage. Avant Facebook utilisait NFS, mais clairement ce système de fichier réseau n'est pas fait pour faire beaucoup d'entrées/sorties par seconde.

Surtout quand on voit la configuration des machines ..

• 12 disques 1 To en raid-6 (on peut tolérer deux pannes de disque)

Il s'agit des configuration des nouvelles, mais les anciennes devaient ressembler à ça..

Les limitations de NFS sont :

• Trop peu d'I/O par seconde
• Les metadata du système de fichier XFS trop sollicitées pour arriver à tenir la charge

Mise en place de Haystack :

• Serveurs avec des blocs de 10 To dans un système de fichiers XFS (Matériel : 12 disques 1 To Raid-6)
• Système de fichiers organisé comme un log, dans lequel on ne fait qu'ajouter des objets
• 100 conteneurs haystack par par machine, chacun faisant 100 Go
• Ce système de fichier "log" a aussi un système de metadonnées rapide (pour s'y retrouver)

Serveur web haute vitesse : Haystack Store : photo server

Pour distribuer les photos aux internautes il faut un serveur web, il s'agit de :

Haystack photo server

• Récupère les requêtes HTTP et les transforment en opérations haystack, le fichier qu'on veut doit être codé dans la requête
• Toutes les photos stockées sur le serveur sont stockées dans un index (sans doute en mémoire) 32 octets par photo contre 600 pour un inode classique)
• 5 Go d'index pour 10 To d'images

Quelles sont les opérations qu'on peut faire avec ce système de fichiers ?

• Lire
• Modifier
• Effacer
• Compacter

Comprendre les urls d'images facebook :

Les slides nous disent :

URL generation

– http://<CDN>/<Cache>/<Node>/<Logical volume id, Image id

https://s-hphotos-ash1.fbcdn.net/hs786.ash1/167687_183899201643803_100000711748307_485916_2381629_n.jpg

Décomposons l'url :

CDN :

s-hphotos-ash1.fbcdn.net

Il s'agit d'une ip aux USA DC cote EST sans doute

hs786.ash1

de la machine de cache N° 786 ? sur le node ash1 ?

KISS (Keep It Simple)

Garder les choses simples, c'est la logique.. qui permets d'aller vite !

• Les lectures aléatoires sont optimisées pour faire 1 entrée sortie par objet
• On utilise du matos pas cher (Disques 1To/rack 2U) : moins de 2000 € (achetés par 10 000)
• 8500 lignes de code c++
• Boulot de deux ingénieurs pendant 4 mois (single point of failure)

Evolutions futures :

• se passer de cartes 3ware-like (raid 6 logiciel)
• se séparer de Akamai (CDN) la facture doit faire mal..(et on dirait qu'en 2011 c'est fait)
• Avoir l'index sur des SSD (Flash)

Questions ouvertes :

On dirait bien que OVH est très largement en avance avec l'utilisation de ZFS sur ses stockages hydrides SSD / disques dur

Conclusion :

C'est tout simplement monstrueux !

Là où certaines entreprises utiliseraient des baies de disques avec Fiber Channel et autres matos coûteux, lourds etc...

Facebook utilise du logiciel libre (linux) ses propres systèmes (non ouverts) pour faire du stockage et la conclusion est simple : Cela fonctionne, c'est terriblement efficace.

Mais la vraie efficacité des images Facebook est liée à l'utilisation de Varnish, qui élimine le frein aux I/O que sont les disques dur en utilisant un bloc de mémoire virtuelle pour stocker les objets.

Bonus : Evolution du code source de Varnish :

Voici une petite vidéo qui montre l'évolution du code source de Varnish :

J'ai pris quelques photographies du concours de sculptures sur Glace de Valloire des vidéos sont aussi à venir dans un reportage Maurienne TV

• Album
• Diaporama

Superbe reportage photo d'Olivier Grunewald

Images publiées sur Boston Big Picture, je vous laisse découvrir les clichés