Différences

Ci-dessous, les différences entre deux révisions de la page.

--- autohebergement:sauvegardes_chez_les_copain_e_s [2020/12/31 15:47]
eorn [Annexes]
+++ autohebergement:sauvegardes_chez_les_copain_e_s [2021/08/16 14:13]
@@ Ligne 1: / Ligne 1: @@
-===== Sauvegardes chez les copain·e·s =====
-L'idée de cette page est de proposer une architecture matérielle et logicielle pour partager les sauvegardes.
-Le principe général est simple, c'est du donnant donnant : Alice a des données à sauvegarder, Bob aussi. Alors Bob met à disposition chez lui un endroit pour déposer les sauvegardes distances d'Alice, et échange du même service.
-On utilisera le logiciel [[https://www.borgbackup.org/|Borg]] et l'outil [[https://torsion.org/borgmatic/|Borgmatic]] qui permet une automatisation facile. Borg est un outil de sauvegardes puissant et pratique à mon goût :
-  * il chiffre les données (obligé si on souhaite stocker les données chez quelqu'un d'autre)
-  * il compresse les données (à différents taux de compression, cf un chouette [[https://lapineige.fr/wp/blog/2020/10/borg-backup-et-compression-performances-comparees-des-differentes-possibilites/|article de Lapineige à ce sujet]])
-  * il déduplique les données, c'est à dire que si un fichier est présent plusieurs fois dans la sauvegarde, il ne "pèsera" que pour un.
-De plus, Borgmatic permet d'envoyer nos sauvegardes sur plusieurs dépôts (distants ou locaux). On peut donc imaginer un système à plus que deux, et accueillir Carole et Dave, au moins !
-==== Matériel ====
-Pour avoir un échange équitable, le mieux est qu'Alice et Bob participent également.
-Quelques possibilités :
-  * Alice prête son propre matériel à Bob, Bob peut donc l'utiliser à distance (et inversement)
-  * Alice branche son matériel chez Bob (et inversement)
-L'idée ensuite est pour Alice de pouvoir se connecter via SSH à un petit serveur, fusse-t-il physique (Raspberry Pi + disque dur externe) ou virtuel (machine virtuelle avec un bon gros disque de stockage, si besoin).
-==== Configuration ====
-À présent, prenons l'exemple suivant : Alice et/ou Bob préparent le matériel qui restera chez Bob, à destination d'Alice.
-Le matériel consiste en un Raspberry Pi et un disque dur externe, mais ça ne change pas grand chose au schmilblik.
-Voilà les étapes principales :
-  - faire un compte "alice" sur le serveur de sauvegardes et lui donner un accès en écrite sur le disque dur externe
-  - créer une clé SSH pour s'y connecter
-  - initialiser le dépôt de sauvegardes avec Borg
-  - configurer Borgmatic chez Alice
-=== Pré-requis logiciels ===
-Sur le serveur de sauvegardes, seul le logiciel Borg est nécessaire (et un serveur SSH évidemment).
-Sur le serveur à sauvegarder, il faudra Borg et Borgmatic.
-=== 1. Créer un compte "alice" sur le serveur de sauvegardes ===
-Quelques étapes simples :
-<code bash>
-# Créer le compte
-sudo useradd --create-home alice
-# Accès en écriture
-sudo mkdir /backup/alice
-sudo chown -R alice:alice /backup/alice
-</code>
-=== 2. Créer une clé SSH pour alice ===
-<code bash>
-# On se connecte en tant qu'alice
-sudo su alice
-# On crée le dossier .ssh et un fichier qui autorise à se connecter avec des clés
-mkdir ~/.ssh
-touch ~/.ssh/authorized_keys
-chmod 700 ~/.ssh
-chmod 600 ~/.ssh/authorized_keys
-# On crée la clé en se laissant guider. Sans passphrase.
-ssh-keygen
-# On autorise cette clé pour la connexion
-cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
-</code>
-Et on peut refiler la clé ''id_rsa'' à Alice. Elle pourra l'utiliser pour se connecter elle-même manuellement, ou bien automatiquement avec Borgmatic.
-=== 3. Initialiser le dépôt de sauvegardes ===
-Ça se fait avec Borg. Là, on a le choix : un seul dépôt, sous ''/backup/alice'' par exemple, ou bien si on en veut plusieurs : ''/backup/alice/serveur1'', ''/backup/alice/serveur2'', etc. Prenons le premier cas pour l'exemple.
-D'abord, il nous faut générer une //repokey//, une sorte de phrase de passe que Borg utilise pour chiffrer et déchiffrer le dépôt. On peut utiliser un générateur de mot/phrase de passe ou bien si vous n'avez pas d'idée, on peut utiliser ''openssl'' s'il est installé : ''openssl rand -base64 45''. Pour l'exemple, la phrase de passe sera ''PHRASE-DE-PASSE''.
-Ensuite, on lance Borg :
-<code bash>
-borg init --encryption repokey /backup/alice
-</code>
-On nous demande deux fois la phrase de passe (à garder quelque part pour la suite), et c'est bon, le dépôt est initialisé. Pour vérifier et utiliser Borg un petit peu, on peut faire :
-<code>
-borg info /backup/alice
-</code>
-=== 4. Configurer Borgmatic ====
-Maintenant on est sur le serveur à sauvegarder, on va utiliser Borgmatic.
-Pour l'exemple, on a un dossier ''/srv/borg'' dans lequel on met nos fichiers de configuration.
-On va mettre notre phrase de passe (''PHRASE-DE-PASSE'') dans le fichiers ''/srv/borg/passphrase''. On met dans le dossier la clé ''id_rsa''. Et puis le fichier de configuration ''config.yaml'' qui ressemble à ça :
-<code yaml>
-location:
-    # Quels dossiers sauvegarder
-    source_directories:
-        - /srv/apps/
-    # À quels dépôts Borg envoyer (distants ou locaux)
-    repositories:
-        - alice@chez.bob.fr:/backup/alice
-    # On peut exclure des patterns. Utile pour les bases de données qu'on exporte autrement
-    exclude_patterns:
-         - "*/*/db"
-storage:
-    # La phrase de passe
-    encryption_passcommand: "cat /srv/borg/passphrase"
-    # Quelle compression on veut, on peut choisir
-    compression: lz4
-    # La commande pour se connecter au serveur distant, avec la clé SSH
-    ssh_command: ssh -i /srv/borg/id_rsa
-# Combien de temps on garde les sauvegardes ?
-retention:
-    # Keep all archives within this time interval.
-    keep_within: 24H
-    # Number of daily archives to keep.
-    keep_daily: 7
-    # Number of weekly archives to keep.
-    keep_weekly: 4
-    # Number of monthly archives to keep.
-    keep_monthly: 6
-consistency:
-    # List of one or more consistency checks to run: "repository", "archives", "data",
-    # and/or "extract". Defaults to "repository" and "archives". Set to "disabled" to
-    # disable all consistency checks. "repository" checks the consistency of the
-    # repository, "archives" checks all of the archives, "data" verifies the integrity
-    # of the data within the archives, and "extract" does an extraction dry-run of the
-    # most recent archive. Note that "data" implies "archives".
-   checks:
-       - disabled
-        # - repository
-        # - archives
-</code>
-Pour tester si ça fonctionne, on peut demander via Borgmatic comment est le dépôt Borg :
-<code bash>
-borgmatic info -c /srv/borg/config.yaml
-</code>
-Et si ça marche, lancer une sauvegarde (ça peut être très long si c'est la première) :
-<code bash>
-borgmatic --progress -C -c /srv/borg/config.yaml
-</code>
-Et voilà comment mettre en place un système de sauvegardes partagé, entre copain·e·s ☺
-==== Annexes ====
-=== Sauvegardes des bases de données ===
-Borgmatic propose l'utilisation de //hooks//, c'est-à-dire qu'il peut exécuter une commande en fonction d'événements.
-Ce que je fais pour sauvegarder mes bases de données, c'est qu'avant le processus de compression et d'envoi vers le serveur de sauvegardes, je lance un petit script codé de mes petites mains pour exporter la base de données dans un fichier sql compressé, placé dans le dossier du service à sauvegarder. Et paf, tout est sauvegardé comme ça.
-Voilà le script en question, adapté à mes besoins (docker-compose etc), à réadapter peut-être, donc :
-<file bash dump_database.sh>
-#!/bin/bash
-# Default values
-TYPE="postgres"
-SERVICE=""
-CONTAINER=""
-ENV_FILE=".env"
-ALREADY_UP=true
-while getopts "t:s:c:e:" opt
-do
-        case "$opt" in
-                t) TYPE="$OPTARG";;
-                s) SERVICE="$OPTARG";;
-                c) CONTAINER="$OPTARG";;
-                e) ENV_FILE="$OPTARG";;
-        esac
-done
-###
-# Preparation
-FILENAME="${SERVICE}_$(date +"%Y%m%d-%H%M").sql"
-mkdir -p /srv/apps/$SERVICE/dump
-rm -rf /srv/apps/$SERVICE/dump/*
-# Load env file (user, db name)
-source /srv/apps/$SERVICE/$ENV_FILE
-cd /srv/apps/$SERVICE/
-# Check if the service was up or not, to stop it if necessarry in the end
-if [ -z `docker-compose ps -q $CONTAINER` ] || [ -z `docker ps -q --no-trunc | grep $(docker-compose ps -q $CONTAINER)` ]; then
-        echo "Service not running, starting it…"
-        docker-compose -f /srv/apps/$SERVICE/docker-compose.yml up -d $CONTAINER
-        ALREADY_UP=false
-else
-        echo "Service already running."
-fi
-# Dump (within the container)
-if [ $TYPE == "postgres" ]
-then
-        docker-compose \
-                -f /srv/apps/$SERVICE/docker-compose.yml\
-                exec -T $CONTAINER\
-                pg_dump -U $POSTGRES_USER -d $POSTGRES_DB -f /$FILENAME
-elif [ $TYPE == "mysql" ]
-then
-        docker-compose \
-                -f /srv/apps/$SERVICE/docker-compose.yml\
-                exec -T $CONTAINER\
-                mysqldump -u $MYSQL_USER --databases $MYSQL_DATABASE -p${MYSQL_PASSWORD} -r /$FILENAME
-fi
-# Copy the dump file to host
-echo "Copying the dump file to host…"
-docker cp ${SERVICE}_${CONTAINER}_1:/$FILENAME /srv/apps/$SERVICE/dump
-# Compressing
-echo "Compressing $FILENAME…"
-gzip /srv/apps/$SERVICE/dump/$FILENAME
-#docker exec -ti ${SERVICE}_${CONTAINER}_1 cat /$FILENAME > /srv/apps/$SERVICE/dump/$FILENAME
-#docker-compose -f /srv/apps/${SERVICE}/docker-compose.yml exec -T ${CONTAINER} cat /${FILENAME} > /srv/apps/$SERVICE/dump/$FILENAME
-# Remove the dump file in the container
-docker-compose \
-        -f /srv/apps/$SERVICE/docker-compose.yml\
-        exec -T $CONTAINER rm /$FILENAME -v
-if ! $ALREADY_UP ; then
-        echo "Stopping service"
-        docker-compose -f /srv/apps/$SERVICE/docker-compose.yml stop $CONTAINER
-fi
-</file>
-**Exemple d'usage : ** ''/srv/borg/scripts/dump_database.sh -t postgres -s hedgedoc -c dbhedgedoc''
-Et pour l'utiliser dans le ''config.yaml'', il faut ajouter à la fin du fichier la section //hooks// suivante :
-<code yaml>
-hooks:
-    before_backup:
-            - echo "Starting a backup."
-            - /srv/config/borg/scripts/dump_database.sh -t postgres -s hedgedoc -c dbhedgedoc
-</code>
-=== Envoyer les sauvegardes sur plusieurs dépôts distants ===
-Pour simplifier l'utilisation de plusiers clés SSH, on peut ajouter la configuration suivante dans ''/root/.ssh/config'' :
-<code bash>
-Host raspibackup
-  HostName raspibackup.bob.fr
-  IdentityFile /srv/borg/id_rsa_raspibackup
-  User alice
-</code>
-On peut donc enlever la ligne ''ssh_command: ssh -i /srv/borg/id_rsa'' du fichier ''config.yaml''.
-En ajoutant plusieurs ''Hosts'' on pourra se connecter à plusieurs serveurs distants. Il faudra juste configurer ''config.yaml'' en conséquence. Par exemple :
-<code>
-location :
-  source_directories:
-    ...
-  repositories:
-    - alice@chez.bob.fr:/backup/alice
-    - alice@chez.carole.bzh:/backup/alice
-</code>
-FIXME

Nid de connaissances d'Eorn

Outils pour utilisateurs

Outils du site

Différences

Outils de la page