Mirroring sur deux serveurs

À l'heure où les serveurs d'entreprises doivent stocker un volume croissant de données et assurer une haute disponibilité, il est nécessaire d'imaginer des systèmes de mirroring (miroir) autres que simplement sur des disques durs.

La redondance de disques durs (RAID-1, RAID-5) permet déjà d'avoir une bonne résistance aux pannes d'un disque (ou plusieurs si on est en RAID-5). Cependant, si c'est la machine qui tombe (le processeur, l'alimentation, le contrôleur de disque, etc.), on n'a aucun moyen pour relancer le tout rapidement sans perte de données.

drbd permet de mettre en œuvre une solution de RAID-1 au travers du réseau. C'est-à-dire que sur deux serveurs, on a une partition¹⁾ par serveur qui est à tout moment une copie exacte d'une partition de l'autre serveur. C'est un mirroring (miroir) de partitions à travers une interface réseau.

C'est une solution qui permet également d'utiliser deux PC au lieu d'un serveur afin de faire des économies, aussi bien pour l'achat initial que pour l'achat de disques supplémentaires (en remplacement ou en ajout) par la suite. Dans la mesure où ce cluster est utilisé pour un partage samba, ce type de matériel est tout à fait convenable et peut supporter jusqu'à une vingtaine de clients.

Ce tutoriel met en œuvre certains outils qu'il faut rapidement présenter. Des termes importants sont utilisés :

• serveur
• service
• haute disponibilité
• client

Ces termes ne sont pas détaillés dans ce tutoriel, je fais appel à votre curiosité pour trouver leur définition.

Samba est l'outil qui permet à un ordinateur sur lequel une distribution GNU/Linux ou Unix est installée d'apparaître sur le réseau et de partager des fichiers et des imprimantes comme le ferait un ordinateur avec Windows©.
C'est LA solution logicielle pour faire d'un serveur GNU/Linux un serveur de fichiers (et d'imprimantes) pour des clients sous Windows©, puisqu'elle est simple d'utilisation pour les clients.

Heartbeat gère la haute disponibilité de services qui peuvent être fournis par plusieurs serveurs (2 au minimum). Pour ce faire, chacun des serveurs est surveillé via un battement de cœur (heartbeat) diffusé sur le réseau. Au départ les services sont démarrés sur l'un des serveurs, et si celui-ci n'émet plus de battement de cœur²⁾, un autre serveur prend la relève.

Le cas qui est certainement le plus répandu est la mise en place de Heartbeat sur deux serveurs, ce qui est le cas dans ce tutoriel.

DrBD permet de synchroniser en temps réel³⁾ des données entre deux ordinateurs.

DrBD est constitué d'un module du noyau et d'outils de gestion.

• Les deux serveurs :
  • serv1 avec adresse IP 192.168.214.10 : serveur primaire
  • serv2 avec adresse IP 192.168.214.11 : serveur secondaire
• sur chacun des deux serveurs, la partition /dev/sda6 est celle que drbd duplique. Il s'agit d'une partition non-formatée⁴⁾. Toutes les données de cette partition seront perdues.
• l'adresse mail de l'administrateur à contacter⁵⁾ est admin@domain.fr⁶⁾.

Pour que la reprise de service soit transparente pour les clients, nous utiliserons une fonctionnalité de heartbeat, celle de la gestion d'une adresse flottante. Cette adresse est définie à 192.168.214.20.
De plus samba sera configuré pour passer par cette adresse flottante et pour donner un nom NetBios indépendant du nom du serveur sur lequel il est exécuté. Ce nom est "serveur".

L'ordre d'installation à respecter concerne surtout DrBD qui doit être installé après Heartbeat.

Installez le paquet samba.

Dans l'optique d'une gestion de Samba avec Heartbeat, il faut laisser le soin à ce dernier de démarrer Samba, il faut donc faire en sorte que Samba ne soit pas lancé au démarrage :

update-rc.d -f samba remove

Il faut ensuite arrêter le service samba :

/etc/init.d/smb stop

Installez le paquet heartbeat.

Mise à jour du système :

• Mise à jour des dépôts
• Mise à jour des paquets (dist-upgrade)

Passer à la version du noyau la plus récente. Redémarrer.

Vérification de la présence du module drbd :

cat /proc/drbd

cat: /proc/drbd: Aucun fichier ou répertoire de ce type

modprobe drbd
cat /proc/drbd

version: 8.2.6 (api:88/proto:86-88)
GIT-hash: 3e69822d3bb4920a8c1bfdf7d647169eba7d2eb4 build by phil@fat-tyre, 2008-05-30 12:59:17

Sous Hardy Heron, la version du module et des outils est la 8.0.11.

Installation de drbd8-utils version idem à la version du module sans quoi le fonctionnement correct n'est pas garanti.
Un paquet suggéré : heartbeat : tout le monde est sur la même longueur d'onde…

update-rc.d drbd defaults 70

Finalisation pour faire en sorte que les outils heartbeat fonctionnent :

chgrp haclient /sbin/drbdsetup
chmod o-x /sbin/drbdsetup
chmod u+s /sbin/drbdsetup

chgrp haclient /sbin/drbdmeta
chmod o-x /sbin/drbdmeta
chmod u+s /sbin/drbdmeta

Éditer le fichier /etc/drbd.conf :

global {
  usage-count no;
}

common {
  protocol C;
  
  syncer {
    rate 3M;
    verify-alg sha1;
  }
  
  handlers {
    pri-lost-after-sb "reboot -f";
    pri-lost "echo Déconnexion des serveurs, vérifier les logs | mail -s 'SERVEUR: Alerte DRBD' admin@domain.fr";
    out-of-sync "echo Désynchronisation des serveurs, vérifier les logs | mail -s 'SERVEUR: Alerte DRBD' admin@domain.fr";
    pri-on-incon-degr "reboot -f";
    outdate-peer "/usr/lib/heartbeat/drbd-peer-outdater -t 5";
    local-io-error "echo o > /proc/sysrq-trigger ; halt -f";
  }
}

resource r0 {
  device    /dev/drbd0;
  disk      /dev/sda6;
  meta-disk internal;
  
  disk {
    on-io-error   detach;
  }
  
  startup {
    wfc-timeout  60;
    degr-wfc-timeout 30;
    become-primary-on serv1;
  }
  
  net {
    after-sb-0pri discard-older-primary;
    after-sb-1pri call-pri-lost-after-sb;
    after-sb-2pri call-pri-lost-after-sb;
  }
  on serv1 {
    address   192.168.214.10:7788;
  }
  on serv2 {
    address   192.168.214.11:7788;
  }
}

Lancer :

drbdadm create-md r0

v08 Magic number not found
md_offset 1093922816
al_offset 1093890048
bm_offset 1093853184

Found some data
 ==> This might destroy existing data! <==

Do you want to proceed?
[need to type 'yes' to confirm] 

Taper yes. Il est possible qu'une autre question demandant confirmation de destruction des données de la partition soit posée, répondez yes si vous êtes sûr de ce que vous faites.

v07 Magic number not found
v07 Magic number not found
v08 Magic number not found
Writing meta data...
initialising activity log
NOT initialized bitmap
New drbd meta data block sucessfully created.
success

shred -zvf -n 1 /dev/sda6

Si le module drbd n'est pas chargé :

modprobe drbd

Puis :

drbdadm up r0

La commande suivante doit donner quelque chose du genre :

# cat /proc/drbd

version: 8.2.6 (api:88/proto:86-88)
GIT-hash: 3e69822d3bb4920a8c1bfdf7d647169eba7d2eb4 build by phil@fat-tyre, 2008-05-30 12:59:17
 0: cs:Connected st:Secondary/Secondary ds:Inconsistent/Inconsistent C r---
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 oos:149134808

Puisque drbd est lancé mais aucun serveur primaire n'est déclaré. On le voit car après st:, il est indiqué Secondary/Secondary ce qui signifie que le nœud sur lequel la commande est exécuté est secondaire (le premier avant le /) et que l'autre l'est aussi (le second après le /).
Pour ne connaître que l'état de la grappe drbd, la commande suivante suffit :

drbdadm role all

Secondary/Secondary

Il s'agit maintenant de déclarer un des 2 serveurs comme primaire : Le serveur secondaire se synchronisera automagiquement⁸⁾.
Lancer la commande :

drbdadm -- --overwrite-data-of-peer primary r0

cat /proc/drbd

version: 8.2.6 (api:88/proto:86-88)
GIT-hash: 3e69822d3bb4920a8c1bfdf7d647169eba7d2eb4 build by phil@fat-tyre, 2008-05-30 12:59:17
 0: cs:SyncSource st:Primary/Secondary ds:UpToDate/Inconsistent C r---
    ns:2240 nr:0 dw:0 dr:2240 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 oos:149132568
        [>....................] sync'ed:  0.1% (145637/145639)M
        finish: 17:15:38 speed: 2,240 (2,240) K/sec

On voit que le serveur secondaire se synchronise avec une superbe barre de progression.
Le temps indiqué après finish: est le temps indicatif restant avant la fin de la première synchronisation. Pour diminuer ce temps, il est vivement conseillé de débrider le taux de transfert de la synchronisation en tapant sur les deux serveurs :

drbdsetup /dev/drbd0 syncer -r 100M

Le débit ira donc jusqu'à la vitesse autorisée. Lire le chapitre concernant les débits à la fin de ce document.

et pour revenir à la configuration courante:

drbdadm adjust r0

Une fois les serveurs synchronisés,

cat /proc/drbd

version: 8.2.6 (api:88/proto:86-88)
GIT-hash: 3e69822d3bb4920a8c1bfdf7d647169eba7d2eb4 build by phil@fat-tyre, 2008-05-30 12:59:17
 0: cs:Connected st:Primary/Secondary ds:UpToDate/UpToDate C r---
    ns:2240 nr:0 dw:0 dr:2240 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 oos:149132568

il est temps de formater la partition drbd uniquement sur le serveur primaire (vous avez, bien évidemment pensé à revenir à un débit de synchronisation normal.) :

mkfs.ext3 /dev/drbd0

et de monter votre partition pour vérifier que tout va bien. Le montage de la partition doit utiliser /dev/drbd0 et ne doit se faire que sur le serveur primaire.

mkdir /data
mount /dev/drbd0 /data

Les serveurs redondants ne sont utilisés que pour le partage de fichiers avec samba. Sachant cela, il n'est pas forcément nécessaire, dans une configuration simple, de faire en sorte que tous les utilisateurs système soient créés dans des groupes d'utilisateurs différents.
Ce qui est proposé ici est de gérer les droits uniquement via samba. C'est une solution applicable la plupart du temps.

Dans cette optique, un seul groupe d'utilisateurs est créé :

groupadd sambausers

Et les utilisateurs sont créés de sorte qu'ils ne puissent pas utiliser le système (shell par défaut sur /bin/false et répertoire personnel (home) sur /dev/null) :

useradd -s /bin/false -d /dev/null -g sambausers nom_utilisateur
smbpasswd -a nom_utilisateur

Puis rentrer deux fois le mot de passe de cet utilisateur (ou le faire taper par l'utilisateur lui-même).
Un utilisateur nommé samba et faisant partie du groupe sambausers peut être créé pour qu'il soit propriétaire des répertoires partagés.

Éditez le fichier /etc/samba/smb.conf :

#======================= Global Settings =======================

[global]

## Browsing/Identification ###
workgroup = Arcade
server string = Samba server (%h)
netbios name = Serveur
dns proxy = no

#### Networking ####
interfaces = 192.168.214.20
bind interfaces only = yes

### Access rights ###
create mask = 0664
directory mask = 0775

#### Debugging/Accounting ####
log file = /var/log/samba/log.%m
max log size = 1000
syslog = 0
panic action = /usr/share/samba/panic-action %d

####### Authentication #######
security = user
valid users = @sambausers
encrypt passwords = true
passdb backend = tdbsam
obey pam restrictions = yes
unix password sync = no
map to guest = bad user

############ Misc ############
socket options = IPTOS_LOWDELAY TCP_NODELAY
usershare allow guests = no
local master = yes
os level = 65

Si samba partage des imprimantes, ajouter les lignes suivantes :

########## Printing ##########
   load printers = yes 
   printing = bsd 
   printcap name = /etc/printcap 
   printing = cups 
   printcap name = cups 

[printers]
   comment = All Printers 
   browseable = no 
   path = /var/spool/samba 
   printable = yes 
   guest ok = no 
   read only = yes 
   create mask = 0700 

[print$]
   comment = Printer Drivers 
   path = /var/lib/samba/printers 
   browseable = yes 
   read only = yes 
   guest ok = no 
# Uncomment to allow remote administration of Windows print drivers.
# Replace 'ntadmin' with the name of the group your admin users are
# members of.
######### !!!!!!!!!! Attention à cette ligne !!!!!!!!!!!!! ########
   write list = root @ntadmin

: Quels sont les fichiers à synchroniser entre les 2 serveurs pour la configuration de cups ?

Ajouter les lignes suivantes pour chacun des partages de ce type :

[Nom_du_partage]
   path = /data/répertoire/partagé
   read only = no
   valid users = liste des utilisateurs séparés par des espaces

Ajouter les lignes suivantes pour chacun des partages de ce type :

[Nom_du_partage]
   path = /data/répertoire/partagé
   read only = yes
   valid users = liste des utilisateurs n'ayant que le droit de lire séparés par des espaces
   write list = liste des utilisateurs ayant le droit de lire et d'écrire séparés par des espaces

Pour tester votre configuration de samba, lancer la commande suivante sur le serveur primaire (celui sur lequel /dev/drbd0 est monté) :

/etc/init.d/samba start

Une fois votre configuration éprouvée par quelques tests, vous pourrez stopper le service samba :

/etc/init.d/samba stop

Il faut que les utilisateurs puissent accéder aux répertoires partagés et à leur contenu, c'est là qu'intervient notre utilisateur samba créé à cet effet :

chown -R samba:sambausers /data
chmod -R 775 /data

Éditez le fichier /etc/ha.d/ha.cf :

mcast eth0 239.0.0.10 694 1 0

warntime 4
deadtime 5
initdead 15
keepalive 2

auto_failback off

node serv1 serv2

Pour générer le fichier /etc/ha.d/authkeys :

( echo -ne "auth 1\n1 sha1 "; dd if=/dev/urandom bs=512 count=1 | openssl md5 ) > /etc/ha.d/authkeys
chmod 0600 /etc/ha.d/authkeys

Éditez le fichier /etc/ha.d/haresources :

serv1 IPaddr::192.168.214.20 drbddisk::r0 Filesystem::/dev/drbd0::/data::ext3 samba MailTo::admin@domain.fr::Changement_d_etat_serveur

Dans ce fichier, les champs sont séparés par des espaces, le premier champ est le nom du serveur primaire.
Chaque champs suivant est constitué du nom d'un script, se trouvant dans /etc/init.d/ ou dans /etc/ha.d/resource.d, suivi des paramètres nécessaires à ce script séparés par des "::".
heartbeat rajoute start, stop ou status à la fin de la ligne de commande selon que la commande est lancée lorsque le serveur passe primaire ou secondaire ou pour vérifier l'état du service. C'est ce qui explique qu'il ne faut pas démarrer samba automatiquement, c'est heartbeat qui s'en charge.

Par exemple : Filesystem::/dev/drbd0::/data::ext3 :

• Filesystem est un script se trouvant dans le répertoire /etc/ha.d/resource.d
• la commande lancée sur le serveur primaire lors du démarrage du serveur est :

/etc/ha.d/resource.d/Filesystem /dev/drbd0 /data ext3 start

Ce script permet de monter le périphérique /dev/drbd0 sous /data en ext3fs.

Il faudrait maintenant démarrer le service drbd et relancer heartbeat, mais pour éviter de lister ici toutes les pistes en cas de problème, je préfère conseiller de faire comme ceci :

• Synchroniser tous les fichiers de configuration
• Redémarrer les deux serveurs⁹⁾

Si tout s'est bien passé, lors du redémarrage, heartbeat devrait :

• Créer l'adresse IP 192.168.214.20 sur l'alias d'interface Ethernet eth0:0¹⁰⁾
• Monter /dev/drbd0 sur /data
• Démarrer samba
• Envoyer un mail pour prévenir que serv1 est le serveur sur lequel tous ces services sont disponibles

Sinon, le message d'erreur est visible via la commande dmesg ou dans les log.

La valeur du paramètre rate est exprimée en Mo/sec (d'où le M), si vous êtes en réseau 100Mbit/s, n'allez pas au dessus de 9M, puisqu'il s'agit (environ) de la valeur maximale de débit. La valeur 3M correspond au tiers de ce débit afin de laisser de la bande passante aux utilisateurs. Le tiers de la bande passante est une valeur conseillée sur le site de drbd.

Si vos serveurs ont une carte réseau Gigabit, vous pouvez optimiser les débits de deux manières :

• Séparation physique des flux
• Sous-réseau Gigabit dédié

Il est tout à fait possible (et conseillé) d'avoir 2 cartes réseau sur les serveurs :

• eth0 : pour la connexion au réseau : cette connexion sert aux utilisateurs pour accéder aux données,
• eth1 : pour une connexion directe (via câble croisé) entre les serveurs : celle-ci pour la synchronisation des données uniquement¹¹⁾.

Le fichier /etc/drbd.conf doit être modifié, le débit ajusté ou supprimé (comme ici) et les adresses IP modifiées :

...

  syncer {
    verify-alg sha1;
  }

...

  on serv1 {
    address   192.168.24.10:7788;
  }
  on serv2 {
    address   192.168.24.11:7788;
  }
}

Ainsi que les éventuels partages (NFS) permettant la synchronisation des fichiers de configuration.

Dans le cas où le réseau utilisateur est en 100Mbit/s, il est possible d'utiliser un petit switch Gigabit (de 3 ports minimum) :

• Port 1 : liaison avec le switch du réseau utilisateur (lien 100Mbit/s)
• Port 2 : liaison avec un serveur (lien Gigabit)
• Port 3 : liaison avec l'autre serveur (lien Gigabit)

De cette manière, la synchronisation entre les deux serveurs se fait via un lien Gigabit, et les utilisateurs ne sont pas pénalisés. La valeur du débit peut alors être fixée à 10M.

Seul le fichier /etc/drbd.conf doit être modifié, plus particulièrement le débit alloué à drbd :

...
  
  syncer {
    rate 10M;
    verify-alg sha1;
  }

...

Il est vivement conseillé de créer des partages NFS entre les deux serveurs afin de synchroniser les fichiers de configuration via un script.

Système :

• /etc/resolv.conf
• /etc/group
• /etc/passwd
• /etc/shadow
• /etc/gshadow

Pour drbd :

• /etc/drbd.conf

Pour samba :

• /etc/samba/smb.conf
• /var/lib/samba/account_policy.tdb
• /var/lib/samba/group_mapping.ldb
• /var/lib/samba/ntdrivers.tdb
• /var/lib/samba/ntforms.tdb
• /var/lib/samba/passdb.tdb
• /var/lib/samba/secrets.tdb

Pour heartbeat :

• /etc/ha.d/ha.cf
• /etc/ha.d/authkeys
• /etc/ha.d/haresources

Si vous utilisez les mêmes outils que moi pour la gestion des serveurs…

Pour mail (ssmtp) :

• /etc/ssmtp/revaliases
• /etc/ssmtp/ssmtp.conf

Pour smcroute :

• /etc/smcroute/startup.sh

Pour NFS :

• /etc/exports
• /etc/hosts.deny
• /etc/hosts.allow

Système :

• /etc/hostname
• /etc/hosts
• /etc/netwok/interfaces
• /etc/fstab

Si vous avez opté pour le clonage d'un serveur vers l'autre (attention à drbd), vous devrez personnaliser ces fichiers sur chaque serveur :

• /var/lib/heartbeat/hb_uuid (supprimer ce fichier sur l'un des 2 serveurs après clonage, il sera généré au prochain démarrage de heartbeat)
• /etc/udev/rules.d/70-persistent-net.rules (pour faire en sorte que l'interface Ethernet eth0 soit utilisable)

En cas d'erreur :

/dev/drbd0: Failure: (124) Device is attached to a disk (use detach first)
Command 'drbdsetup /dev/drbd0 disk /dev/sda6 /dev/sda6 internal --set-defaults --create-device --on-io-error=detach' terminated with exit code 10

faire :

drbdadm detach r0
drbdadm up r0

En cas d'erreur :

/dev/drbd0: Failure: (125) Device has a net-config (use disconnect first)
Command 'drbdsetup /dev/drbd0 net 192.168.214.10:7788 192.168.214.11:7788 C --set-defaults --create-device' terminated with exit code 10

faire :

drbdadm disconnect r0
drbdadm up r0

En cas d'erreur :

/dev/drbd0: Failure: (114) Lower device is already claimed. This usually means it is mounted.
Command 'drbdsetup /dev/drbd0 disk /dev/sad6 /dev/sad6 internal --set-defaults --create-device --on-io-error=detach' terminated with exit code 10

c'est que la partition est encore montée, il faut d'abord la démonter avec la commande :

umount /dev/sda6

Il est possible qu'après une coupure sur le réseau ou à cause d'un firewall bloquant mal configuré les deux serveurs ne se voient plus. Lancer la commande :

cat /proc/drbd

Si ils apparaissent comme étant en "Standalone" c'est qu'ils ne se voient plus.

Sur un des deux nœuds, lancer la commande :

drbdadm -- --discard-my-data connect all

et sur l'autre la commande :

drbdadm connect all

Là les deux nœuds se voient à nouveau en secondaire/secondaire. Sur l'un des 2, lancer la commande :

drbdadm primary r0

Et le problème devrait être résolu.

Voici les ports à ouvrir: 694 (udp) pour heartbeat et 7788 (tcp) pour drbd

Contributeur principal : MrWaloo.
Merci à tempus1984 pour le dernier chapitre et pour avoir validé ce tutoriel.