Diaporama de notions

Caches

Acte 5 · La cache qui absorbe tout : Varnish s'installe en avant du web et absorbe les demandes répétées avant qu'elles ne coûtent quoi que ce soit.

420-5A4-MT · Module 2 · Varnish
Où en est l'histoire

Pourquoi recuisiner le même plat ?

L'encyclopédie et les fiches de règles deviennent virales : des centaines de milliers de lectures des mêmes pages fixes. À chaque visite, WordPress recalcule la même page - PHP s'exécute, MySQL (MariaDB) répond, Apache assemble - pour servir un résultat identique à celui d'il y a deux secondes. Cent mille lectures, cent mille cuissons du même plat. L'entreprise engage un serveur dont le seul métier est de garder les plats chauds : une cache.

Sans cache chaque visite Apache PHP Base de données 100 000 lectures = 100 000 cuissons Avec une cache Varnish plats chauds 1 fois Apache PHP Base de données 1 cuisson, tous les autres servis chauds
Panorama

Tous les caches, du visiteur à la base

Chez le visiteur son ordinateur Navigateur
Sur Internet des centres de données Réseau de diffusion
À la porte varnish30 Varnish
La base mysql10 Caches de MySQL (MariaDB)
Famille 1 les caches HTTP : la réponse toute prête Famille 2 les caches d'exécution : la cuisine plus rapide

Le trajet se lit de gauche à droite : chaque étage peut répondre depuis son cache et épargner tout ce qui se trouve à sa droite. Touchez une pastille pour ouvrir sa diapo.

Famille 1 · Les caches HTTP

Le réseau de diffusion (CDN)

Un réseau de diffusion de contenu installe des copies du site dans des centres de données partout sur la planète. Un visiteur de Tokyo est servi par une copie à Tokyo, pas par votre serveur à Montréal. Ce sont des comptoirs dans chaque quartier, approvisionnés par la cuisine centrale.

Il vit où ?

Chez des sociétés spécialisées (Cloudflare, Akamai, Fastly...), près des visiteurs.

Il garde quoi ?

Les fichiers et les pages publics du site.

Il brille quand...

...l'audience est mondiale, ou quand un pic de trafic doit être absorbé loin du serveur.

Pas dans nos laboratoires : c'est un service qu'on loue. Mais c'est le principe de Varnish, à l'échelle de la planète.

Famille 1 · Les caches HTTP

Varnish, le comptoir des plats chauds

Varnish se place à la porte du site et garde les pages complètes déjà servies. Quand cent visiteurs demandent la même page, Apache la cuisine une seule fois; Varnish la sert les 99 autres fois, instantanément. C'est le comptoir des plats chauds devant la cuisine.

Il vit où ?

Devant le serveur web, sur sa propre machine (varnish30) ou la même.

Il garde quoi ?

Des réponses HTTP complètes.

Il brille quand...

...la même page est demandée par tout le monde.

sudo varnishstat
# cache_hit contre cache_miss : le rendement de votre cache

L'outil de la semaine : il a son propre diaporama, son guide et le laboratoire.

Architecture

Varnish est un proxy inverse

Le proxy (avant)
  • Protège les clients d'un réseau interne.
  • L'unique porte de sortie vers Internet.
  • Garde en cache ce que les clients consultent souvent.
Le proxy inverse
  • Protège les serveurs web.
  • L'unique porte d'entrée depuis Internet.
  • Garde en cache ce que les visiteurs demandent souvent.

Cinq métiers du proxy inverse : la mise en cache des pages fréquentes, l'anonymat des serveurs d'arrière-plan, la protection (filtres, antivirus), la répartition de la charge entre plusieurs serveurs, et la compression des réponses.

Varnish est un proxy inverse spécialisé dans le cache. La semaine 8, HAProxy sera un autre proxy inverse, spécialisé dans la répartition de la charge : même place devant les serveurs, autre métier.

Le choc architectural

Apache ne voit plus personne

Varnish protège Apache, mais le rend aveugle : dans son journal d'accès, Apache ne voit plus qu'une seule adresse, celle de varnish30. WordPress aussi croit que tous les visiteurs sont Varnish.

Varnish agit donc en relais : sur chaque requête qu'il laisse passer, il accroche l'en-tête X-Forwarded-For, qui porte la véritable adresse du visiteur. Il le fait tout seul; c'est Apache qu'il faut convaincre de le lire :

sudo a2enmod remoteip
# dans la configuration d'Apache :
RemoteIPHeader X-Forwarded-For
RemoteIPInternalProxy ADRESSE_DE_VARNISH
sudo systemctl restart apache2.service

Le même choc reviendra la semaine 8, quand HAProxy prendra la porte.

L'invalidation

Le scalpel plutôt que la bombe

Redémarrer Varnish vide toute la cache : c'est raser la bibliothèque parce qu'une recette a changé. Pratique en laboratoire pour repartir à zéro, ruineux sur un site occupé : tout redevient miss d'un coup.

La vraie force d'un cache, c'est l'invalidation ciblée : effacer une seule page, et garder toutes les autres en mémoire.

# une page, par une requete PURGE (adresses autorisees par l'ACL purge)
curl -X PURGE http://ADRESSE_DE_VARNISH/chemin/de/la/page/
# une famille de pages, par un ban
sudo varnishadm ban "req.url ~ ^/recettes/"

Avec une extension, WordPress peut même envoyer lui-même la requête PURGE dès qu'un article est modifié.

Famille 1 · Les caches HTTP

mod_cache, le réchaud dans Apache

Apache sait aussi garder ses propres réponses, sans machine de plus : il suffit d'activer un module. C'est le réchaud posé directement dans la cuisine : moins puissant qu'un comptoir dédié, mais déjà là.

Il vit où ?

Dans Apache, sur le serveur web.

Il garde quoi ?

Des réponses HTTP, sur le disque.

Il brille quand...

...on veut un cache HTTP sans machine de plus.

sudo a2enmod cache cache_disk
# dans le VirtualHost :
CacheEnable disk /
sudo systemctl restart apache2.service

Le comparatif à faire : mod_cache seul, puis Varnish devant.

Famille 2 · Les caches d'exécution

Le cache de WordPress

Une extension de WordPress (WP Super Cache, W3 Total Cache...) enregistre chaque page générée dans un fichier. Au visiteur suivant, on sert le fichier au lieu de refaire tout le travail de PHP et de la base. C'est le plat préparé d'avance par le cuisinier lui-même.

Il vit où ?

Dans l'application, sur le disque du serveur web.

Il garde quoi ?

Des pages générées, gardées en fichiers.

Il brille quand...

...on contrôle le site mais pas le serveur : en hébergement partagé, pas de Varnish possible.

Le cookie de connexion le contourne aussi : un usager connecté voit toujours une page fraîche.

Famille 2 · Les caches d'exécution

OPcache, la recette déjà traduite

Avant d'exécuter un script, PHP le traduit en instructions pour la machine : le bytecode. OPcache garde cette traduction en mémoire : on ne retraduit plus la même recette à chaque commande. Il profite à toutes les pages, même personnalisées.

Il vit où ?

Dans PHP, sur le serveur web.

Il garde quoi ?

Le bytecode compilé des scripts.

Il brille quand...

...toujours : chaque page PHP en profite.

php -i | grep -i opcache.enable
# /etc/php/VERSION/apache2/php.ini (adapter le numero de version)
opcache.memory_consumption=128
opcache.revalidate_freq=2

Livré avec PHP moderne et actif par défaut : souvent, il suffit de vérifier.

Famille 2 · Les caches d'exécution

APCu, le garde-manger du cuisinier

APCu garde dans la mémoire de PHP des résultats coûteux à recalculer : un menu, une liste d'articles, un réglage lu dans la base. C'est le garde-manger de la cuisine : à portée de main, mais seulement pour ce cuisinier-là.

Il vit où ?

Dans PHP, local à cette machine.

Il garde quoi ?

Des objets et des variables.

Il brille quand...

...un seul serveur web génère des pages personnalisées.

sudo apt install php-apcu
php -m | grep apcu

Dès qu'on essaime, chaque machine a son propre APCu, et ils ne se parlent pas.

Famille 2 · Les caches d'exécution

Memcached et Redis, la chambre froide commune

Memcached est un service qui ne fait qu'une chose : garder des objets en mémoire vive et les rendre en une fraction de milliseconde. Plusieurs serveurs web peuvent y puiser. C'est la chambre froide commune à toutes les cuisines du restaurant.

Il vit où ?

Un service en mémoire vive, sur le serveur web ou sur sa propre machine.

Il garde quoi ?

Des objets, des sessions, des résultats de requêtes.

Il brille quand...

...plusieurs serveurs web partagent le même cache.

sudo apt install memcached php-memcached
echo stats | nc 127.0.0.1 11211 | head

Redis est son grand frère : il peut garder ses données sur disque et range des structures plus riches. Port 11211 : réseau interne seulement, jamais vers Internet.

Famille 2 · Les caches d'exécution

Les caches de MySQL (MariaDB)

La base de données a ses propres caches. Le plus important, le buffer pool d'InnoDB, garde en mémoire vive les données les plus lues : MySQL (MariaDB) évite ainsi le disque. Il offre aussi un cache de requêtes, qui garde le résultat d'un SELECT identique. C'est la mémoire du commis : il sait déjà où sont rangés les ingrédients.

Il vit où ?

Dans MySQL (MariaDB), sur le serveur de base de données (mysql10).

Il garde quoi ?

Les données les plus lues; les résultats de requêtes identiques.

Il brille quand...

...les mêmes données sont lues souvent et changent peu.

sudo mariadb -e "SHOW VARIABLES LIKE 'innodb_buffer_pool_size';"
sudo mariadb -e "SHOW VARIABLES LIKE 'query_cache%';"

Le cache de requêtes est désactivé par défaut : il se vide à chaque écriture dans la table, ce qui le rend souvent plus coûteux qu'utile.

La preuve

Mesurer pour croire

Un cache sans mesure est une croyance. Deux outils rapides :

ab -n 200 -c 10 http://adresse-du-site/
curl -s -o /dev/null -w "%{time_total}s\n" http://adresse-du-site/

Comparez la même page dans quatre configurations, et notez les temps :

Le cache HTTP court-circuite l'exécution; le cache d'exécution la rend moins chère. Les chiffres diront ce que chacun rapporte.

Récapitulatif

La carte des caches

Famille 1 · Les caches HTTP : ils gardent la réponse toute prête et court-circuitent l'exécution. Dans l'ordre où la requête les croise :

Cache Il vit où ? Il garde quoi ? Il brille quand...
Navigateur Sur l'ordinateur du visiteur Images, styles, pages déjà vues ...le même visiteur revient.
Réseau de diffusion (CDN) Chez des sociétés spécialisées, près des visiteurs Des copies des pages et fichiers publics ...le site a une forte audience, partout.
Varnish Devant le serveur web (sa machine ou la même) Des réponses HTTP complètes ...la même page est demandée par tout le monde.
mod_cache Dans Apache Des réponses HTTP ...on veut un cache HTTP sans machine de plus.
Récapitulatif · Suite

La carte des caches

Famille 2 · Les caches d'exécution : quand la page doit être générée, ils rendent la cuisine moins chère.

Cache Il vit où ? Il garde quoi ? Il brille quand...
Cache de WordPress Dans l'application (une extension) Des pages générées, gardées en fichiers ...on contrôle le site, mais pas le serveur.
OPcache Dans PHP Le bytecode compilé des scripts ...toujours : chaque page PHP en profite.
APCu Dans PHP (local à la machine) Des objets et variables ...une seule machine web génère des pages personnalisées.
Memcached Service en RAM (même ordinateur ou machine dédiée) Objets, sessions, résultats de requêtes ...plusieurs serveurs web partagent le même cache.
Caches de MySQL (MariaDB) Dans la base de données (mysql10) Données les plus lues, résultats de requêtes ...les mêmes données sont lues souvent et changent peu.