2010-09-09 01:05:15 +02:00
|
|
|
|
EvoBackup
|
|
|
|
|
=========
|
|
|
|
|
|
2014-06-19 02:43:36 +02:00
|
|
|
|
en :
|
|
|
|
|
|
|
|
|
|
EvoBackup is a bunch of shell scripts to create a backup server which will
|
|
|
|
|
handle the backup of many servers (clients). Licence is GPLv2.
|
|
|
|
|
|
|
|
|
|
The main principle uses SSH chroot (called "jails" in the FreeBSD
|
|
|
|
|
world) for each client to backup. Each client will upload his data every day
|
|
|
|
|
using rsync in his chroot (using root account).
|
|
|
|
|
Incrementals are stored outside of the chroot using hard links. (So incrementals
|
|
|
|
|
are not available for clients). Using this method we can keep tens of backup of
|
|
|
|
|
each client securely and not using too much space.
|
|
|
|
|
|
|
|
|
|
Backup server
|
|
|
|
|
************
|
|
|
|
|
Server 1 ------ SSH/rsync -------> * tcp/2222 *
|
|
|
|
|
* *
|
|
|
|
|
Server 2 ------ SSH/rsync -------> * tcp/2223 *
|
|
|
|
|
************
|
|
|
|
|
|
|
|
|
|
This method uses standard tools (ssh, rsync, cp -al). EvoBackup is used for
|
|
|
|
|
many years by Evolix for back up each day hundreds of servers which uses many
|
|
|
|
|
terabytes of data.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
fr :
|
|
|
|
|
|
2010-09-09 01:05:15 +02:00
|
|
|
|
EvoBackup est un ensemble de scripts permettant de mettre en place
|
|
|
|
|
un service de backups gérant les sauvegardes de plusieurs machines.
|
|
|
|
|
Le principe est d'installer des prisons/chroot contenant un service
|
|
|
|
|
SSH écoutant sur un port différent dans chaque prison. Chaque serveur
|
|
|
|
|
peut ainsi envoyer ses données quotidiennement en "root" via rsync
|
|
|
|
|
dans sa propre prison. Les prisons sont ensuite copiées en dehors des
|
|
|
|
|
prisons (donc inacccessible par les serveurs) de façon incrémentale
|
|
|
|
|
grâce à des "hard links". On peut ainsi conserver des dizaines de
|
|
|
|
|
sauvegardes de chaque serveur de façon sécurisé et avec peu de place.
|
|
|
|
|
|
|
|
|
|
**************************
|
|
|
|
|
Serveur 1 ------SSH/rsync -------> * tcp/2222 Serveur *
|
|
|
|
|
* de *
|
|
|
|
|
Serveur 2 ------SSH/rsync -------> * tcp/2223 Sauvegardes *
|
|
|
|
|
**************************
|
|
|
|
|
|
|
|
|
|
Cette technique de sauvegarde s'appuient sur des technologies
|
|
|
|
|
standards. Elle est utilisée depuis plusieurs années par Evolix
|
|
|
|
|
pour sauvegarder chaque jour des centaines de serveurs représentant
|
|
|
|
|
plusieurs To de données incrémentales.
|
|
|
|
|
|
|
|
|
|
Serveur de sauvegardes
|
|
|
|
|
----------------------
|
|
|
|
|
|
2014-06-19 02:43:36 +02:00
|
|
|
|
Le serveur de sauvegardes doit être sous Debian Wheezy (voire Ubuntu 13.04)
|
|
|
|
|
(testé aussi sous Etch/Lenny/Squeeze, mais les instructions sont pour Wheez
|
|
|
|
|
y).
|
2010-09-09 01:05:15 +02:00
|
|
|
|
Avec les logiciels suivants :
|
|
|
|
|
|
|
|
|
|
- OpenSSH
|
|
|
|
|
- Rsync (le daemon rsync n'est pas nécessaire)
|
2013-01-27 18:39:22 +01:00
|
|
|
|
- Le paquet makedev (plus nécessaire depuis Squeeze)
|
2010-09-09 01:05:15 +02:00
|
|
|
|
- Commande "mail" (ou un équivalent) capable d'envoyer
|
|
|
|
|
des messages à l'extérieur.
|
|
|
|
|
|
|
|
|
|
Un volume d'une taille importante doit être monté sur /backup
|
|
|
|
|
Pour des raisons de sécurité on pourra chiffre ce volume.
|
|
|
|
|
On créera ensuite les répertoires suivants :
|
|
|
|
|
|
|
|
|
|
- /backup/jails : pour les prisons
|
|
|
|
|
- /backup/incs : pour les copies incrémentales des prisons
|
|
|
|
|
- /etc/evobackup : config des fréquences des copies incrémentales
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Serveurs à sauvegarder
|
|
|
|
|
----------------------
|
|
|
|
|
|
|
|
|
|
On peut sauvegarder différents systèmes : Linux, BSD, Windows, MacOSX.
|
2014-06-19 02:43:36 +02:00
|
|
|
|
L'un des seuls réels prérequis est d'avoir rsync.
|
2010-09-09 01:05:15 +02:00
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Installation d'une sauvegarde
|
|
|
|
|
-----------------------------
|
|
|
|
|
|
|
|
|
|
Côté serveur de sauvegardes
|
|
|
|
|
~~~~~~~~~~~~~~~~~~~~~~~~~~~
|
|
|
|
|
|
2014-06-19 02:43:36 +02:00
|
|
|
|
0) On récupère les sources via http://git.evolix.org/git/evolinux/evobackup.git
|
2010-09-09 01:05:15 +02:00
|
|
|
|
|
2014-06-19 02:43:36 +02:00
|
|
|
|
# umask 007 && mkdir /etc/evobackup && cp -v evobackup /etc/init.d/evobackup
|
2010-09-09 01:05:15 +02:00
|
|
|
|
|
2014-06-19 02:43:36 +02:00
|
|
|
|
Et on mettra en place des backups incrémentaux sur le serveur :
|
2010-09-09 01:05:15 +02:00
|
|
|
|
|
2014-06-19 02:43:36 +02:00
|
|
|
|
- Mettre en place les scripts evobackup-inc.sh et evobackup-rm.sh dans /usr/share/scripts
|
|
|
|
|
- Mettre les droits d'exécution : chmod u+x /usr/share/scripts/evobackup-{inc,rm}.sh
|
|
|
|
|
- Activer le crontab suivant (ajuster éventuellement les heures) :
|
|
|
|
|
29 10 * * * pkill evobackup-rm.sh && echo "Kill evobackup-rm.sh done" | mail -s "[warn] EvoBackup - purge incs interrupted" root
|
|
|
|
|
30 10 * * * /usr/share/scripts/evobackup-inc.sh && /usr/share/scripts/evobackup-rm.sh
|
2010-09-09 01:05:15 +02:00
|
|
|
|
|
2014-06-19 02:43:36 +02:00
|
|
|
|
Note 1 : si l'on veut plusieurs backups dans la journée (1 par heure maximum),
|
|
|
|
|
on pourra lancer /usr/share/scripts/evobackup-inc.sh à plusieurs reprises...
|
|
|
|
|
ce qui fonctionnera sous réserve qu'entre temps les données ont bien changé !
|
2010-09-09 01:05:15 +02:00
|
|
|
|
|
2014-06-19 02:43:36 +02:00
|
|
|
|
Note 2 : si l'on ne veut *jamais* supprimer les backups incrémentaux, on pourra se contenter
|
|
|
|
|
de ne jamais lancer le script evobackup-rm.sh
|
2010-09-09 01:05:15 +02:00
|
|
|
|
|
2014-06-19 02:43:36 +02:00
|
|
|
|
Si le noyau du serveur est patché avec GRSEC, on évitera pas mal
|
|
|
|
|
de warnings en positionnant les paramètres Sysctl suivants :
|
|
|
|
|
|
|
|
|
|
# sysctl kernel.grsecurity.chroot_deny_chmod=0
|
|
|
|
|
# sysctl kernel.grsecurity.chroot_deny_mknod=0
|
|
|
|
|
|
|
|
|
|
Note : plus nécessaire avec un noyau récent a priori
|
2010-09-09 01:05:15 +02:00
|
|
|
|
|
2014-06-19 02:43:36 +02:00
|
|
|
|
1) Pour installer une "prison" :
|
2010-09-09 01:05:15 +02:00
|
|
|
|
|
2014-06-19 02:43:36 +02:00
|
|
|
|
- Exporter la variable $JAIL avec le nom d'hôte saisit dans la grille :
|
|
|
|
|
|
|
|
|
|
# export JAIL=<nom d'hote>
|
2010-09-09 01:05:15 +02:00
|
|
|
|
|
2014-06-19 02:43:36 +02:00
|
|
|
|
- Se placer dans le bon répertoire (attention, ne pas déplacer le script car
|
|
|
|
|
il a besoin du répertoire etc/ !) puis exécuter :
|
2010-09-09 01:05:15 +02:00
|
|
|
|
|
2014-06-19 02:43:36 +02:00
|
|
|
|
# bash chroot-ssh.sh -n /backup/jails/$JAIL -i <ip> -p <port> -k <pub-key-path>
|
2010-09-09 01:05:15 +02:00
|
|
|
|
|
2014-06-19 02:43:36 +02:00
|
|
|
|
Note 1 : Ignorer une éventuelle erreur avec ld-linux-x86-64.so.2 (32bits) ou ld-linux.so.2 (64bits)
|
|
|
|
|
Note 2 : -i <ip> et -p <port> sont optionnels, vous pouvez ajuster /backup/jails/$JAIL/etc/ssh/sshd_config
|
|
|
|
|
Note 3 : si une prison a déjà été crée, -p guess vous permettra de deviner le prochain port disponible
|
2014-06-25 02:22:26 +02:00
|
|
|
|
Note 4 : -k <pub-key-path> est optionnel, vous pouvez ajouter la clé publique du client dans le fichier
|
|
|
|
|
/backup/jails/$JAIL/root/.ssh/authorized_keys déjà existant
|
2010-09-09 01:05:15 +02:00
|
|
|
|
|
2014-06-19 02:43:36 +02:00
|
|
|
|
2) On lance la prison :
|
2010-09-09 01:05:15 +02:00
|
|
|
|
|
|
|
|
|
# mount -t proc proc-chroot /backup/jails/$JAIL/proc/
|
2013-01-27 18:39:22 +01:00
|
|
|
|
# mount -t devtmpfs udev /backup/jails/$JAIL/dev/
|
2014-01-30 11:08:38 +01:00
|
|
|
|
# mount -t devpts devpts /backup/jails/$JAIL/dev/pts
|
2010-09-09 01:05:15 +02:00
|
|
|
|
# chroot /backup/jails/$JAIL /usr/sbin/sshd > /dev/null
|
|
|
|
|
|
|
|
|
|
Pour vérifier que tout est OK :
|
|
|
|
|
|
2013-01-27 18:39:22 +01:00
|
|
|
|
# /etc/init.d/evobackup reload
|
2010-09-09 01:05:15 +02:00
|
|
|
|
|
2014-06-19 02:43:36 +02:00
|
|
|
|
3) Gestion des sauvegardes incrémentales
|
2010-09-09 01:05:15 +02:00
|
|
|
|
|
|
|
|
|
Pour activer les gestions des copies incrémentales,
|
|
|
|
|
créer le fichier /etc/evobackup/$JAIL contenant par
|
|
|
|
|
exemple :
|
|
|
|
|
|
|
|
|
|
+%Y-%m-%d.-0day
|
|
|
|
|
+%Y-%m-%d.-1day
|
|
|
|
|
+%Y-%m-%d.-2day
|
|
|
|
|
+%Y-%m-%d.-3day
|
|
|
|
|
+%Y-%m-01.-0month
|
|
|
|
|
+%Y-%m-01.-1month
|
|
|
|
|
|
|
|
|
|
Quelques explications sur cette syntaxe particulière.
|
|
|
|
|
Par exemple, la ligne ci-dessous signifie "garder la sauvegarde du
|
|
|
|
|
jour actuel" (à toujours mettre sur la première ligne a priori) :
|
|
|
|
|
+%Y-%m-%d.-0day
|
|
|
|
|
La ligne ci-dessous signifie "garder la sauvegarde d'hier" :
|
|
|
|
|
+%Y-%m-%d.-1day
|
|
|
|
|
La ligne ci-dessous signifie "garder la sauvegarde du 1er jour du
|
|
|
|
|
mois courant" :
|
|
|
|
|
+%Y-%m-01.-0month
|
|
|
|
|
Toujours le même principe, on peut garder celle du 1er jours du
|
|
|
|
|
mois dernier :
|
|
|
|
|
+%Y-%m-01.-1month
|
|
|
|
|
|
|
|
|
|
Et bien sûr, on peut garder aussi le 15e jour (pour avoir une sauvegarde
|
|
|
|
|
toutes les 15 jours, le 1er janvier de chaque année, etc.)
|
|
|
|
|
|
2010-09-22 00:54:07 +02:00
|
|
|
|
Attention, la création de ce fichier est *obligatoire* pour activer
|
2011-07-14 18:17:39 +02:00
|
|
|
|
les copies incrémentales. Si l'on veut garder des copies advitam aeternam
|
2011-10-06 10:33:52 +02:00
|
|
|
|
sans jamais les supprimer, on se contentera de ne pas lancer le script
|
|
|
|
|
evobackup-rm.sh.
|
2011-07-14 18:17:39 +02:00
|
|
|
|
|
2010-09-09 01:05:15 +02:00
|
|
|
|
|
|
|
|
|
Côté serveur à sauvegarder
|
|
|
|
|
~~~~~~~~~~~~~~~~~~~~~~~~~~
|
|
|
|
|
|
2014-06-19 02:43:36 +02:00
|
|
|
|
0) On récupère les sources via http://git.evolix.org/git/evolinux/evobackup.git
|
|
|
|
|
|
2010-09-09 01:05:15 +02:00
|
|
|
|
1) Générez une clé SSH pour l'utilisateur "root" :
|
|
|
|
|
|
|
|
|
|
# ssh-keygen
|
|
|
|
|
|
|
|
|
|
(Ne pas la protéger par une passphrase, sauf si un humain
|
|
|
|
|
va l'entrer manuellement à chaque sauvegarde effectuée)
|
|
|
|
|
|
|
|
|
|
(La clé générée doit être de type RSA et non DSA !!)
|
|
|
|
|
|
|
|
|
|
2) Envoyez "/root/.ssh/id_rsa.pub" au responsable du serveur de
|
|
|
|
|
sauvegarde, ainsi que l'adresse IP de la machine.
|
|
|
|
|
|
|
|
|
|
3) Ajoutez à la crontab le fichier "zzz_evobackup"
|
|
|
|
|
Pour une sauvegarde quotidienne (conseillé), utilisez le répertoire
|
|
|
|
|
"/etc/cron.daily/" (sous Linux) ou "/etc/periodic/daily" (sous FreeBSD).
|
|
|
|
|
|
|
|
|
|
Il faut éventuellement ajuster le script en supprimant les lignes "--exclude"
|
|
|
|
|
si l'on ne souhaite pas exclure les fichiers/répertoires de cette ligne et
|
|
|
|
|
ajouter/supprimer les lignes en dessous pour sauvegarder les bons répertoires.
|
|
|
|
|
($rep désigne les données systèmes). Vous pouvez donc choisir librement ce
|
|
|
|
|
que vous désirez sauvegarder.
|
2014-06-19 02:43:36 +02:00
|
|
|
|
Vous devez aussi décommenter les lignes spécifiques pour les services (MySQL, LDAP,
|
|
|
|
|
MongoDB, etc.) en les ajustant si nécessaire.
|
2010-09-09 01:05:15 +02:00
|
|
|
|
|
|
|
|
|
4) Une fois que tout en place au niveau du serveur de sauvegardes,
|
|
|
|
|
on doit initier la première connexion :
|
|
|
|
|
|
|
|
|
|
# ssh -p <port> <serveur de sauvegardes>
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Mise-à-jour du serveur de sauvegardes
|
|
|
|
|
-------------------------------------
|
|
|
|
|
|
|
|
|
|
En cas d'une mise-à-jour d'un paquet lié à SSH ou rsync côté
|
|
|
|
|
serveur de sauvegardes, on mettra à jour ainsi :
|
|
|
|
|
|
|
|
|
|
# sh chroot-ssh.sh updateall
|
2013-01-27 18:39:22 +01:00
|
|
|
|
# /etc/init.d/evobackup restart
|
2010-09-09 01:05:15 +02:00
|
|
|
|
|