--- title: Howto Rsync categories: sysadmin storage ... * Documentation : [rsync](https://rsync.samba.org/) est un logiciel libre pour synchroniser des fichiers depuis ou vers un serveur distant, ou encore localement. **rsync** permet notamment de réaliser des synchronisations incrémentales que nous utilisons pour réaliser des migrations de données et des sauvegardes. ## Installation ~~~ # apt install rsync $ rsync --version rsync version 3.1.2 protocol version 31 ~~~ ## Utilisation de base Voici une utilisation basique pour transférer un répertoire vers un serveur distant via SSH (la première commande fait un _dry-run_ pour vérifier que tout est Ok, la seconde envoie les données) : ~~~ $ rsync -aASvn --delete --numeric-ids /home example.com:/home $ rsync -aASv --delete --numeric-ids --stats /home example.com:/home ~~~ Notons l'utilisation des **deux options fondamentales** pour lesquelles on doit se poser la question de leur utilisation à chaque commande **rsync** : * `--delete` : Supprime les données « en trop » qui sont sur la destination mais pas sur la source (à utiliser dans 99.9% des cas et pourtant ce n'est pas le défaut !) * `--numeric-ids` : Conserve les UID/GID originaux même si owner/group ont des UID/GID différents sur la destination (à utiliser en général, sauf dans les cas de migration de données d'un serveur vers un autre) ## Utilisation Copier un fichier `foo.txt` vers un serveur distant `example.com` : ~~~ $ rsync /tmp/foo.txt example.com:/tmp/ ~~~ Copier tout un dossier vers un serveur distant, avec `-r` ou `--recursive` : ~~~ $ rsync --recursive /tmp/bar example.com:/tmp/ ~~~ Copier un dossier depuis le serveur vers son poste : ~~~ $ rsync -r example.com:/tmp/bar /tmp/ ~~~ La synchronisation peut se faire localement : ~~~ $ rsync -r /tmp/bar/ /tmp/bar2/ ~~~ Utiliser le mode archive, avec `-a` ou `--archive`. Ce mode est équivalent à `-rlptgoD` et préserve la plupart des attributs : ~~~ $ rsync --archive /tmp/bar example.com:/tmp/ ~~~ ### Options **rsync** propose de nombreuses options pour configurer le comportement avant/pendant/après les transferts. Voici la liste des paramètres que nous utilisons souvent : * `-l`, `--links` : Préserve les liens symboliques * `-L`, `--copy-links` : Transforme les liens symboliques en fonction du répertoire de destination * `-H`, `--hard-links` : Préserve les liens (hardlinks) * `-o`, `--owner` : Préserve le propriétaire * `-g`, `--group` : Préserve le groupe * `-p`, `--perms` : Préserve les permissions * `-A`, `--acls` : Préserve les ACLs (implique `-p`) * `-t`, `--times` : Préserver les dates (autant que possible) * `--numeric-ids` : Conserver les UID/GID originaux même si owner/group ont des UID/GID différents sur la destination (ceci n'est pas le défaut !) * `-n`, `--dry-run` : Les actions ne sont pas réalisées, juste listées * `-z`, `--compress` : Compresse les fichiers pour accélerer le transfert * `-S`, `--sparse` : Traite efficacement les fichiers à trou (sparse files) * `-v`, `--verbose` : Mode verbeux * `-q`, `--quiet` : Pas de sortie en stdout * `-h`, `--human-readable` : Les infos sont lisibles par un humain, conversion à l'unité de mesure la plus proche. Exemple 1249284o = 1.1M * `-d`, `--dirs` : Copie les dossiers sans avoir besoin de lui indiquer qu'il faut le faire récursivement * `--bwlimit=RATE` : Limite le transfert. Attention c'est en unité de 1024 octets. On peut mettre des suffixes. Exemple 1.5m (1.5Mo/s) * `--partial` : Conserve les fichiers transférés partiellement. Idéal pour reprendre un précédent transfert interrompu * `--stats` : Affiche des statistiques à la fin du transfert. Idéal si combiné avec `-h` pour avoir le résumé du transfert, vitesse moyenne, octets transférés, etc. * `-4`, `--ipv4` : Utiliser une connexion IPv4 * `-6`, `--ipv6` : Utiliser une connexion IPv6 * `-P`, `--progress` : Suivre la progression du transfert de chaque fichier * `-r`, `--recursive` : Mode récursif * `-a`, `--archive` : Archive en preservant la plupart des attributs (équivalent à `-rlptgoD`) * `--delete` : Supprimer les données distantes qui sont absentes depuis la source * `--exclude=PATTERN` : Ignore les fichiers correspondants au pattern (peut être utilisée plusieurs fois) * `--exclude-from=FILE` : Ignore les fichiers correspondants aux patterns situés dans un fichier * `--delete-excluded` : Supprimer les données distantes qui sont exclus sur la source. * `--ignore-errors` : Ignore les erreurs d'entrées/sorties sur les opérations de suppression * `-e`, `--rsh=COMMAND` : Permet de changer le remote shell par défaut. Très utile pour spécifier un port différent pour SSH. Exemple : `-e "ssh -p 2222"` * `-C`, `--cvs-exclude` : Ignore automatiquement les fichiers temporaires, à la manière de CVS * `--chown=USER:GROUP` : Change le propriétaire USER:GROUP lors de la copie. Peux être combiner avec l'option -a. ## Serveur rsync Activation via `/etc/default/rsync` : ~~~ RSYNC_ENABLE=true ~~~ Il faut définir au minimum des répertoires dans le fichier `/etc/rsyncd.conf` : ~~~ [rsync_shares] path = /home/rsync_shares ~~~ Le démon tourne par défaut sur le port TCP/873 : ~~~ 873/tcp open rsync ~~~ Et l'on peut l'utiliser ainsi : ~~~ $ rsync -aASvn --delete --numeric-ids /home example.com::rsync_shares/ ~~~ ## FAQ ### file has vanished Cela signifie que des fichiers ont été modifiés pendant le transfert. ### connection unexpectedly closed Si l'on obtient une erreur ressemblant à : ~~~ Write failed: Broken pipe rsync: connection unexpectedly closed (128109911 bytes received so far) [receiver] rsync error: error in rsync protocol data stream (code 12) at io.c(601) [receiver=3.0.7] rsync: connection unexpectedly closed (128109911 bytes received so far) [generator] rsync error: unexplained error (code 255) at io.c(601) [generator=3.0.7] ~~~ Cela peut venir dans certains cas d'un routeur coupant agressivement les sessions en cas d'inactivité. Dans ce cas, une solution est d'ajouter l'option suivante en Rsync Over SSH : `-e "ssh -o ServerAliveInterval=5"`