154 lines
6.1 KiB
Markdown
154 lines
6.1 KiB
Markdown
---
|
|
title: Howto Rsync
|
|
categories: sysadmin storage
|
|
...
|
|
|
|
* Documentation : <https://rsync.samba.org/documentation.html>
|
|
|
|
[rsync](https://rsync.samba.org/) est un logiciel libre pour synchroniser des fichiers depuis ou vers un serveur distant, ou encore localement. **rsync** permet notamment de réaliser des synchronisations incrémentales que nous utilisons pour réaliser des migrations de données et des sauvegardes.
|
|
|
|
## Installation
|
|
|
|
~~~
|
|
# apt install rsync
|
|
|
|
$ rsync --version
|
|
rsync version 3.1.2 protocol version 31
|
|
~~~
|
|
|
|
|
|
## Utilisation de base
|
|
|
|
Voici une utilisation basique pour transférer un répertoire vers un serveur distant via SSH (la première commande fait un _dry-run_ pour vérifier que tout est Ok, la seconde envoie les données) :
|
|
|
|
~~~
|
|
$ rsync -aASvn --delete --numeric-ids /home example.com:/home
|
|
$ rsync -aASv --delete --numeric-ids --stats /home example.com:/home
|
|
~~~
|
|
|
|
Notons l'utilisation des **deux options fondamentales** pour lesquelles on doit se poser la question de leur utilisation à chaque commande **rsync** :
|
|
|
|
* `--delete` : Supprime les données « en trop » qui sont sur la destination mais pas sur la source (à utiliser dans 99.9% des cas et pourtant ce n'est pas le défaut !)
|
|
* `--numeric-ids` : Conserve les UID/GID originaux même si owner/group ont des UID/GID différents sur la destination (à utiliser en général, sauf dans les cas de migration de données d'un serveur vers un autre)
|
|
|
|
|
|
## Utilisation
|
|
|
|
Copier un fichier `foo.txt` vers un serveur distant `example.com` :
|
|
|
|
~~~
|
|
$ rsync /tmp/foo.txt example.com:/tmp/
|
|
~~~
|
|
|
|
Copier tout un dossier vers un serveur distant, avec `-r` ou `--recursive` :
|
|
|
|
~~~
|
|
$ rsync --recursive /tmp/bar example.com:/tmp/
|
|
~~~
|
|
|
|
Copier un dossier depuis le serveur vers son poste :
|
|
|
|
~~~
|
|
$ rsync -r example.com:/tmp/bar /tmp/
|
|
~~~
|
|
|
|
La synchronisation peut se faire localement :
|
|
|
|
~~~
|
|
$ rsync -r /tmp/bar/ /tmp/bar2/
|
|
~~~
|
|
|
|
Utiliser le mode archive, avec `-a` ou `--archive`. Ce mode est équivalent à `-rlptgoD` et préserve la plupart des attributs :
|
|
|
|
~~~
|
|
$ rsync --archive /tmp/bar example.com:/tmp/
|
|
~~~
|
|
|
|
### Options
|
|
|
|
**rsync** propose de nombreuses options pour configurer le comportement avant/pendant/après les transferts.
|
|
|
|
Voici la liste des paramètres que nous utilisons souvent :
|
|
|
|
* `-l`, `--links` : Préserve les liens symboliques
|
|
* `-L`, `--copy-links` : Transforme les liens symboliques en fonction du répertoire de destination
|
|
* `-H`, `--hard-links` : Préserve les liens (hardlinks)
|
|
* `-o`, `--owner` : Préserve le propriétaire
|
|
* `-g`, `--group` : Préserve le groupe
|
|
* `-p`, `--perms` : Préserve les permissions
|
|
* `-A`, `--acls` : Préserve les ACLs (implique `-p`)
|
|
* `-t`, `--times` : Préserver les dates (autant que possible)
|
|
* `--numeric-ids` : Conserver les UID/GID originaux même si owner/group ont des UID/GID différents sur la destination (ceci n'est pas le défaut !)
|
|
* `-n`, `--dry-run` : Les actions ne sont pas réalisées, juste listées
|
|
* `-z`, `--compress` : Compresse les fichiers pour accélerer le transfert
|
|
* `-S`, `--sparse` : Traite efficacement les fichiers à trou (sparse files)
|
|
* `-v`, `--verbose` : Mode verbeux
|
|
* `-q`, `--quiet` : Pas de sortie en stdout
|
|
* `-h`, `--human-readable` : Les infos sont lisibles par un humain, conversion à l'unité de mesure la plus proche. Exemple 1249284o = 1.1M
|
|
* `-d`, `--dirs` : Copie les dossiers sans avoir besoin de lui indiquer qu'il faut le faire récursivement
|
|
* `--bwlimit=RATE` : Limite le transfert. Attention c'est en unité de 1024 octets. On peut mettre des suffixes. Exemple 1.5m (1.5Mo/s)
|
|
* `--partial` : Conserve les fichiers transférés partiellement. Idéal pour reprendre un précédent transfert interrompu
|
|
* `--stats` : Affiche des statistiques à la fin du transfert. Idéal si combiné avec `-h` pour avoir le résumé du transfert, vitesse moyenne, octets transférés, etc.
|
|
* `-4`, `--ipv4` : Utiliser une connexion IPv4
|
|
* `-6`, `--ipv6` : Utiliser une connexion IPv6
|
|
* `-P`, `--progress` : Suivre la progression du transfert de chaque fichier
|
|
* `-r`, `--recursive` : Mode récursif
|
|
* `-a`, `--archive` : Archive en preservant la plupart des attributs (équivalent à `-rlptgoD`)
|
|
* `--delete` : Supprimer les données distantes qui sont absentes depuis la source
|
|
* `--exclude=PATTERN` : Ignore les fichiers correspondants au pattern (peut être utilisée plusieurs fois)
|
|
* `--exclude-from=FILE` : Ignore les fichiers correspondants aux patterns situés dans un fichier
|
|
* `--delete-excluded` : Supprimer les données distantes qui sont exclus sur la source.
|
|
* `--ignore-errors` : Ignore les erreurs d'entrées/sorties sur les opérations de suppression
|
|
* `-e`, `--rsh=COMMAND` : Permet de changer le remote shell par défaut. Très utile pour spécifier un port différent pour SSH. Exemple : `-e "ssh -p 2222"`
|
|
* `-C`, `--cvs-exclude` : Ignore automatiquement les fichiers temporaires, à la manière de CVS
|
|
* `--chown=USER:GROUP` : Change le propriétaire USER:GROUP lors de la copie. Peux être combiner avec l'option -a.
|
|
|
|
|
|
## Serveur rsync
|
|
|
|
Activation via `/etc/default/rsync` :
|
|
|
|
~~~
|
|
RSYNC_ENABLE=true
|
|
~~~
|
|
|
|
Il faut définir au minimum des répertoires dans le fichier `/etc/rsyncd.conf` :
|
|
|
|
~~~
|
|
[rsync_shares]
|
|
path = /home/rsync_shares
|
|
~~~
|
|
|
|
Le démon tourne par défaut sur le port TCP/873 :
|
|
|
|
~~~
|
|
873/tcp open rsync
|
|
~~~
|
|
|
|
Et l'on peut l'utiliser ainsi :
|
|
|
|
~~~
|
|
$ rsync -aASvn --delete --numeric-ids /home example.com::rsync_shares/
|
|
~~~
|
|
|
|
|
|
## FAQ
|
|
|
|
### file has vanished
|
|
|
|
Cela signifie que des fichiers ont été modifiés pendant le transfert.
|
|
|
|
### connection unexpectedly closed
|
|
|
|
Si l'on obtient une erreur ressemblant à :
|
|
|
|
~~~
|
|
Write failed: Broken pipe
|
|
rsync: connection unexpectedly closed (128109911 bytes received so far) [receiver]
|
|
rsync error: error in rsync protocol data stream (code 12) at io.c(601) [receiver=3.0.7]
|
|
rsync: connection unexpectedly closed (128109911 bytes received so far) [generator]
|
|
rsync error: unexplained error (code 255) at io.c(601) [generator=3.0.7]
|
|
~~~
|
|
|
|
Cela peut venir dans certains cas d'un routeur coupant agressivement les sessions en cas d'inactivité. Dans ce cas, une solution est d'ajouter l'option suivante en Rsync Over SSH : `-e "ssh -o ServerAliveInterval=5"`
|