wiki/HowtoRsync.md

166 lines
6.8 KiB
Markdown
Raw Permalink Normal View History

2017-12-27 15:34:42 +01:00
---
2017-12-27 15:35:22 +01:00
title: Howto Rsync
2018-01-08 00:34:45 +01:00
categories: sysadmin storage
2017-12-27 15:34:42 +01:00
...
2018-01-08 00:34:45 +01:00
* Documentation : <https://rsync.samba.org/documentation.html>
2017-12-27 15:34:42 +01:00
2018-01-08 00:34:45 +01:00
[rsync](https://rsync.samba.org/) est un logiciel libre pour synchroniser des fichiers depuis ou vers un serveur distant, ou encore localement. **rsync** permet notamment de réaliser des synchronisations incrémentales que nous utilisons pour réaliser des migrations de données et des sauvegardes.
2017-12-27 15:34:42 +01:00
## Installation
~~~
# apt install rsync
2017-12-27 15:34:42 +01:00
2017-12-29 17:07:25 +01:00
$ rsync --version
rsync version 3.1.2 protocol version 31
2017-12-27 15:34:42 +01:00
~~~
2018-01-08 00:34:45 +01:00
## Utilisation de base
Voici une utilisation basique pour transférer un répertoire vers un serveur distant via SSH (la première commande fait un _dry-run_ pour vérifier que tout est Ok, la seconde envoie les données) :
~~~
$ rsync -aASvn --delete --numeric-ids /home example.com:/home
$ rsync -aASv --delete --numeric-ids --stats /home example.com:/home
~~~
2018-01-11 15:24:33 +01:00
Notons l'utilisation des **deux options fondamentales** pour lesquelles on doit se poser la question de leur utilisation à chaque commande **rsync** :
2018-01-08 00:34:45 +01:00
* `--delete` : Supprime les données « en trop » qui sont sur la destination mais pas sur la source (à utiliser dans 99.9% des cas et pourtant ce n'est pas le défaut !)
2018-01-11 15:26:32 +01:00
* `--numeric-ids` : Conserve les UID/GID originaux même si owner/group ont des UID/GID différents sur la destination (à utiliser en général, sauf dans les cas de migration de données d'un serveur vers un autre)
2018-01-08 00:34:45 +01:00
## Utilisation
2017-12-27 15:34:42 +01:00
Copier un fichier `foo.txt` vers un serveur distant `example.com` :
2017-12-27 15:34:42 +01:00
~~~
$ rsync /tmp/foo.txt example.com:/tmp/
2017-12-27 15:34:42 +01:00
~~~
Copier tout un dossier vers un serveur distant, avec `-r` ou `--recursive` :
2017-12-27 15:34:42 +01:00
~~~
$ rsync --recursive /tmp/bar example.com:/tmp/
2017-12-27 15:34:42 +01:00
~~~
Copier un dossier depuis le serveur vers son poste :
2017-12-27 15:34:42 +01:00
~~~
$ rsync -r example.com:/tmp/bar /tmp/
2017-12-27 15:34:42 +01:00
~~~
La synchronisation peut se faire localement :
2017-12-27 15:34:42 +01:00
~~~
$ rsync -r /tmp/bar/ /tmp/bar2/
2017-12-27 15:34:42 +01:00
~~~
2016-12-29 11:25:39 +01:00
2018-01-01 16:31:32 +01:00
Utiliser le mode archive, avec `-a` ou `--archive`. Ce mode est équivalent à `-rlptgoD` et préserve la plupart des attributs :
~~~
$ rsync --archive /tmp/bar example.com:/tmp/
~~~
2018-01-08 00:34:45 +01:00
### Options
2018-01-08 00:34:45 +01:00
**rsync** propose de nombreuses options pour configurer le comportement avant/pendant/après les transferts.
Voici la liste des paramètres que nous utilisons souvent :
* `-l`, `--links` : Préserve les liens symboliques
2018-01-08 00:34:45 +01:00
* `-L`, `--copy-links` : Transforme les liens symboliques en fonction du répertoire de destination
* `-H`, `--hard-links` : Préserve les liens (hardlinks)
* `-o`, `--owner` : Préserve le propriétaire
* `-g`, `--group` : Préserve le groupe
* `-p`, `--perms` : Préserve les permissions
2018-01-08 00:34:45 +01:00
* `-A`, `--acls` : Préserve les ACLs (implique `-p`)
* `-t`, `--times` : Préserver les dates (autant que possible)
* `--numeric-ids` : Conserver les UID/GID originaux même si owner/group ont des UID/GID différents sur la destination (ceci n'est pas le défaut !)
* `-n`, `--dry-run` : Les actions ne sont pas réalisées, juste listées
* `-z`, `--compress` : Compresse les fichiers pour accélerer le transfert
* `-S`, `--sparse` : Traite efficacement les fichiers à trou (sparse files)
* `-v`, `--verbose` : Mode verbeux
* `-q`, `--quiet` : Pas de sortie en stdout
2018-01-08 00:34:45 +01:00
* `-h`, `--human-readable` : Les infos sont lisibles par un humain, conversion à l'unité de mesure la plus proche. Exemple 1249284o = 1.1M
* `-d`, `--dirs` : Copie les dossiers sans avoir besoin de lui indiquer qu'il faut le faire récursivement
2018-01-08 00:34:45 +01:00
* `--bwlimit=RATE` : Limite le transfert. Attention c'est en unité de 1024 octets. On peut mettre des suffixes. Exemple 1.5m (1.5Mo/s)
* `--partial` : Conserve les fichiers transférés partiellement. Idéal pour reprendre un précédent transfert interrompu
* `--stats` : Affiche des statistiques à la fin du transfert. Idéal si combiné avec `-h` pour avoir le résumé du transfert, vitesse moyenne, octets transférés, etc.
* `-4`, `--ipv4` : Utiliser une connexion IPv4
* `-6`, `--ipv6` : Utiliser une connexion IPv6
2018-01-11 15:26:32 +01:00
* `-P`, `--progress` : Suivre la progression du transfert de chaque fichier
* `-r`, `--recursive` : Mode récursif
2018-01-08 00:34:45 +01:00
* `-a`, `--archive` : Archive en preservant la plupart des attributs (équivalent à `-rlptgoD`)
2018-01-04 09:40:39 +01:00
* `--delete` : Supprimer les données distantes qui sont absentes depuis la source
2018-01-08 00:34:45 +01:00
* `--exclude=PATTERN` : Ignore les fichiers correspondants au pattern (peut être utilisée plusieurs fois)
2018-01-11 15:24:33 +01:00
* `--exclude-from=FILE` : Ignore les fichiers correspondants aux patterns situés dans un fichier
2018-01-04 09:40:39 +01:00
* `--delete-excluded` : Supprimer les données distantes qui sont exclus sur la source.
2018-01-08 00:34:45 +01:00
* `--ignore-errors` : Ignore les erreurs d'entrées/sorties sur les opérations de suppression
* `-e`, `--rsh=COMMAND` : Permet de changer le remote shell par défaut. Très utile pour spécifier un port différent pour SSH. Exemple : `-e "ssh -p 2222"`
* `-C`, `--cvs-exclude` : Ignore automatiquement les fichiers temporaires, à la manière de CVS
2018-01-29 11:57:55 +01:00
* `--chown=USER:GROUP` : Change le propriétaire USER:GROUP lors de la copie. Peux être combiner avec l'option -a.
2022-10-25 11:40:18 +02:00
* `-x`, `--one-file-system` : Rester sur le même système de fichier pour la source. Exemple: `rsync -x /var /mnt`, si `/var/log` est un point de montage, il ne sera pas copié dans `/mnt`.
2018-01-08 00:34:45 +01:00
## Serveur rsync
Activation via `/etc/default/rsync` :
~~~
RSYNC_ENABLE=true
~~~
Il faut définir au minimum des répertoires dans le fichier `/etc/rsyncd.conf` :
~~~
[rsync_shares]
path = /home/rsync_shares
~~~
Le démon tourne par défaut sur le port TCP/873 :
~~~
873/tcp open rsync
~~~
Et l'on peut l'utiliser ainsi :
~~~
$ rsync -aASvn --delete --numeric-ids /home example.com::rsync_shares/
~~~
2016-12-29 11:25:39 +01:00
## FAQ
2018-01-08 00:34:45 +01:00
### file has vanished
Cela signifie que des fichiers ont été modifiés pendant le transfert.
2017-12-29 17:08:46 +01:00
### connection unexpectedly closed
2018-01-08 00:34:45 +01:00
Si l'on obtient une erreur ressemblant à :
2016-12-29 11:25:39 +01:00
~~~
Write failed: Broken pipe
rsync: connection unexpectedly closed (128109911 bytes received so far) [receiver]
rsync error: error in rsync protocol data stream (code 12) at io.c(601) [receiver=3.0.7]
rsync: connection unexpectedly closed (128109911 bytes received so far) [generator]
rsync error: unexplained error (code 255) at io.c(601) [generator=3.0.7]
~~~
2017-12-29 17:08:46 +01:00
Cela peut venir dans certains cas d'un routeur coupant agressivement les sessions en cas d'inactivité. Dans ce cas, une solution est d'ajouter l'option suivante en Rsync Over SSH : `-e "ssh -o ServerAliveInterval=5"`
2022-10-24 12:29:54 +02:00
### "aquota.user": Operation not permitted (1)
Les fichiers de quota (`aquota.user` et `aquota.group`) ne peuvent pas être directement synchronisé par rsync car ces fichiers sont gérés par le noyau et possédant des attributs étendu les rendant immuables.
Il est donc conseillé de les copier localement avec `cp` pour avoir une copie de ces fichiers sans attributs étendus et de copier ces fichiers plutôt que les originaux. Pensez aussi à exclure les fichiers des quotas originaux avec :
```
--exclude 'aquota.user' \
--exclude 'aquota.group'
```