Semaine 9, 10 & 11 - Tests, Rédaction et Peaufinage

Lors de la semaine 9, j'ai laissé un petit peu de côté la mission principale du stage, pour pouvoir terminer mon blog de stage et pour finir ma présentation. J'ai donc ressorti toutes les notes que j'ai prises durant l'intégralité des semaines passées et ai continué de rédiger.

Vers la mi-semaine 9, j'ai repris les recherches pour trouver un nouveau client WebDav pour transférer plus de 2GB de données.

J'ai donc cherché une liste de tous les clients WebDav possible.

Une fois celle-ci trouvée, je les ai testé un par un.

Davfs2 est celui que j'ai utilisé jusqu'à présent, il ne permet pas plus de 2GB.

→ mount.davfs http://adresse_ip/dossier_webdav/ /point/de/montage/

Ensuite, j'ai testé Cadaver. C'est un client WebDav uniquement en ligne de commande et il ne permet pas non plus les transferts très volumineux. Il ne permet pas non plus de spécifier un point de montage comme davfs2.

→ cadaver http://adresse_ip/dossier_webdav/

Puis j'ai tenté une connexion vers WebDav via nautilus :

→ davs://adresse_ip/dossier_webdav/

Ce fut un échec

J'ai par ailleurs essayé une connexion WebDav via le gestionnaire installé par défaut sur le liveCD que j'ai compilé (PCManFM) :

→ davs://adresse_ip/dossier_webdav/ ou dav://adresse_ip/dossier_webdav/

Ce fut aussi un échec, impossible de se connecter de cette manière.

Après quelques tests en rapport avec WebDav, j'ai repris les tests principaux, à savoir, la sauvegarde entre les partitions, que ce soit en local ou sur un réseau partagé (WebDav). J'ai changé les tailles des partitions et ai testé une sauvegarde de petite partition sur une plus grande et inversement, pour m'assurer que tout fonctionnait parfaitement. Et c'était le cas. Il ne reste plus qu'à trouver une solution pour WebDav et la limite des 2GB, peaufiner l'interface graphique et surtout, commenter toutes les lignes de code que j'ai ajouté, pour que, si jamais quelqu'un veut le relire ou le réutiliser, il doit être en mesure de le comprendre rapidement. Ce sont les objectifs à atteindre avant la fin du stage le 2 Septembre.

Après ma présentation du 23 Août devant le service informatique dans lequel je travaille, j'ai donc repris les recherches pour trouver le client WebDav adéquat pour le transfert de fichiers volumineux.

Au final, je n’ai pas trouvé de client WebDav permettant un transfert plus important. Cela dit, dans un des fichiers de configuration de RedoBackup, j’ai pu modifier la valeur par défaut des tranches de transfert. Ainsi  je l’ai modifié de 2GB à 700MB. Ainsi le problème est résolu et les transferts de plus de 2GB sont possibles de cette manière.

Étant donné que je dois faire relire et vérifier plusieurs personnes pour certifier que mon rapport de stage est conforme et peut être lu à l’extérieur de l'entreprise, je ne pourrai pas rédiger les derniers jours de mon stage.

Ce stage a été très bénéfique pour moi car il m'a permis de mieux comprendre comment fonctionne l'univers Linux, j'ai donc pu acquérir de nombreuses compétences. J'ai découvert comment créer un LiveCD sur plusieurs distributions différentes, comment implémenter un utilitaire permettant la sauvegarde et la restauration de systèmes et de disques. J'ai acquis certaines compétences en XML que je connaissais vaguement et quelques autres en Perl que je n'avais jamais abordé.

J'ai pu évoluer dans un univers qui m'intéresse, dans un service où chacun a un poste de développement au sein de projets d'équipes diversifiés. Et enfin j'ai pu, grâce à mon maître de stage, travailler au sein d'une grande entreprise, ce qui est un tremplin et une très bonne expérience pour ma future vie professionnelle.

Ce document et les informations qu'il contient sont propriété d'Airbus Safran Launchers, Il ne doit pas être utilisé à d'autres fins que celles pour lesquelles il a été remis. Il ne peut être ni reproduit, ni divulgué à des tiers (en tout ou partie) sans l'accord préalable et écrit d’Airbus Safran Launchers. Airbus Safran Launchers – Tous droits réservés. // This document and the information it contains are property of Airbus Safran Launchers. It shall not be used for any purpose other than those for which it was supplied. It shall not be reproduced or disclosed (in whole or in part) to any third party without Airbus Safran Launchers prior written consent. Airbus Safran Launchers – All right reserved.

Semaine 6 - Développement et Rédaction

Au début de la semaine se déroule la réunion avec Julien, mon maître de stage. Je suis plutôt bien avancé dans ma mission de stage puisque j'ai implémenté le service WebDav qui fonctionne maintenant très bien sur ma machine virtuelle. J'ai créé la case « Cloner » et je dois maintenant la développer en XML pour la partie graphique, puis Perl pour la partie traitement.

Ainsi, j'ai donc repris le même schéma que pour la partie Sauvegarder de l'utilitaire RedoBackup, c'est à dire que j'ai réitéré la même procédure mais sans garder la sauvegarde. Voici donc les étapes du mode « clonage de disque » :

1. Choix du disque à cloner

2. Choix de la partition à cloner

3. Choix du disque qui reçoit le clone

4. Choix de la partition qui reçoit le clone

5. Clonage

La partie graphique reste la même et les fonctions de base de même. C'est à dire que j'ai gardé les méthodes permettant de trouver les lecteurs sur l'ordinateur,  permettant de lister les partitions etc.… Ce qui change en réalité est la partie où l'on fait appel à « partclone ».

Dans le mode « sauvegarder », partclone est utilisé comme suit :

print"*** Exécution de: ($tool-c -F -L /partclone.log -s /dev/$part| gzip -c --fast | split -d -a 3 -b 2048m - /$dest/$file"."_part$pn. ) 2>&1 |\n" ;

Ici :

- $tool est une variable qui contient l'extension de la partition (extfs/fat/ntfs/hfsp/jfs/ufs etc.… )

(Voir la fonction which_backup_tool() pour y trouver toutes les extensions possibles)

- « -c » permet le clonage (--clone)

- « -F » permet de forcer la commande (--force)

- « -L » permet de spécifier un fichier de log (--logfile)

-  /partclone.log est le fichier de log spécifié à l'aide de -L

- « -s » permet de spécifier le lecteur source (--source)

- /dev/$part est le lecteur source

Le reste de la commande permet la sauvegarde du lecteur choisi dans la première partie de la commande, dans un dossier.

Et puis, après avoir bien étudié cette commande, j'ai créé une nouvelle commande permettant le clonage directe de disque en disque.

Ainsi, la commande est la suivante :

print "*** Exécution de: ( $tool-b -d -s /dev/$part-o /dev/$part2-L /partclone.log )2>&1 |\n" ;

Ici :

- $tool contient toujours l'extension (ex : partclone.ext2)

- « -b » permet de cloner de lecteur en lecteur (--dev-to-dev)

- « -d » pour le debug (--debug)

- « -s » permet de choisir le lecteur source (--source)

- « -o » permet de choisir le lecteur de destination (--output)

- « -L » permet de choisir un fichier de log (--logfile)

Après avoir enregistré le fichier de traitement de RedoBackup, j'ai régénéré le filesystem afin que les changements soient bien pris en compte, puis j'ai recompilé l’ISO.

Une fois dans la machine virtuelle, j'ai testé mon développement sur la partie clonage directe.

J'ai créé des fichiers aléatoirement sur une des partitions de mon premier disque dur virtuel, puis je l'ai cloné sur une partition de mon deuxième disque dur virtuel qui est entièrement vide.

À la fin de la procédure, la partition de mon deuxième disque qui était vide contient bien maintenant tous les fichiers que j'avais préalablement créés sur la première.

Le clonage fonctionne donc parfaitement.

Juste avant la fin de la semaine, durant mes nombreux tests, je me suis rendu compte que le client WebDav qui fonctionne parfaitement, ne permet qu'un transfert de 2GB maximum. Or le but de ce stage est de pouvoir sauvegarder et restaurer des images de disques. Donc les sauvegardes seront bien plus volumineuses que 2GB. C'est pourquoi j'ai dû commencer les recherches pour trouver un autre client permettant un transfert plus important.

Étant donné que AIRBUS SAFRAN LAUNCHERS ferme ses portes la semaine 7 pour la plupart des stagiaires et la semaine 8 pour tout le monde, je n'ai rien pu faire de plus durant ces deux semaines que de rédiger mon rapport de stage et préparer ma soutenance que je présenterai à l'ensemble de mon service le mardi 23 Août.

Ce document et les informations qu'il contient sont propriété d'Airbus Safran Launchers, Il ne doit pas être utilisé à d'autres fins que celles pour lesquelles il a été remis. Il ne peut être ni reproduit, ni divulgué à des tiers (en tout ou partie) sans l'accord préalable et écrit d’Airbus Safran Launchers. Airbus Safran Launchers – Tous droits réservés. // This document and the information it contains are property of Airbus Safran Launchers. It shall not be used for any purpose other than those for which it was supplied. It shall not be reproduced or disclosed (in whole or in part) to any third party without Airbus Safran Launchers prior written consent. Airbus Safran Launchers – All right reserved.

Semaine 4 & 5 - Scripts et Intégration de fonctionnalités

La quatrième semaine commence comme toutes les autres avec un debriefing de la semaine passé et un briefing pour la semaine à venir. Ainsi, maintenant que la partie compilation est terminée, je passe à la partie script et intégration de fonctionnalités.

Dans un premier temps je vais devoir modifier les fichiers de configuration de redobackup :

- XML pour le front end

- Perl pour le back end

J'ai en tout premier lieu traduit l'utilitaire RedoBackup pour qu'il soit entièrement en français.

Cela est possible en modifiant les fichiers :

- /sbin/redobackup.pl

- /usr/share/redo/redobackup.glade

Une fois l'utilitaire entièrement traduit, vient l'intégration de WebDav.

WebDav (Web-based Distributed Authoring and Versioning) est un protocole (plus précisément, une extension du protocole HTTP) permettant de simplifier la gestion de fichiers avec des serveurs distants. Il permet de récupérer, déposer, synchroniser et publier des fichiers (et dossiers) rapidement et facilement. L'objectif principal de WebDav est de rendre possible l'écriture à travers le web et pas seulement la lecture de données. WebDav permet à plusieurs utilisateurs d'éditer le contenu d'un dossier web simultanément. Il gère les droits d'accès aux fichiers (ou dossiers), en verrouillant momentanément les fichiers et dossiers édités.

L'intégration de cet outil est primordial et est un des points clés de ce stage car le but au final est d'avoir un serveur WebDav et un accès depuis le poste client pour y stocker les backups effectués. Ainsi nous pourrons sauvegarder une partition ou un système entier sur le serveur et le récupérer depuis une autre machine pour y restaurer le système sur un autre disque et/ou partition.

Pour ce qui est de l'intégration WebDav, il y a cette fois-ci encore plusieurs étapes :

A / Installation du serveur WebDav

1. Installer les modules nécessaires

2. Générer un certificat (seulement pour un serveur WebDav sécurisé SSL (https://))

3. Configurer les fichiers Apache

4. Déclarer le serveur virtuel

5. Créer la base utilisateurs

6. Donner les droits d'accès à Apache

7. Configurer le firewall

------ Vous pouvez vous connecter sur https://votre_ip/ dans votre navigateur ------

8. Installer les modules WebDav

9. Configurer les fichiers pour WebDav et les autorisations

10. Créer le fichier de mot de passe pour le server

11. Éditer le fichier de configuration SSL par défaut

12. Recharger et redémarrer Apache

B / Intégration WebDav dans le LiveCD

1. Installer davfs2 ( apt-get –yes install davfs2 )

2. Dans le fichier /sbin/redobackup.pl :

- J'ai ajouté à la fonction backup_source_network_changed () : Une condition si WebDav est choisi :

elsif ( $typeeq'WEBDAV' ) {

                # It's a manually-entered WEBDAV share

                $server = "//URL/FOLDER" ;

      }

- J'ai ajouté le même bout de code pour la fonction restore_source_network_changed ()

- J'ai ajouté dans la fonction mount_data () : Une condition pour monter un répertoire avec le serveur WebDav :

elsif (/WEBDAV/) {

 # Mount a WEBDAV server

my$ftpargs=' ' ;

my$url=$status{'mount_source'};

$url=~ s/\/$//g;  # supprime le dernier slash

my$user =$status{'mount_user'};

my$pass=$status{'mount_pass'};

my$dav= HTTP::DAV->new();

$dav->credentials(-url=>$url, -user=>$user, -pass=>$pass);

$dav->open(-url=>$url);

# Ceci fonctionne avec point de montage sur /mnt/backup par exemple.

print"Executing:mount.davfs$status{'mount_source'} ".MOUNT_POINT." \n";

system("printf '$user\n$pass\ny' | mount.davfs ".$url." ".MOUNT_POINT);

}

Il est maintenant possible d'effectuer une sauvegarde de partitions, de disques et de système entier sur un serveur WebDav

Le dossier où s'effectuent les sauvegardes est donc : https://ip_address/folder_webdav/

Après avoir intégré la connexion au serveur WebDav, l'étape suivante consiste à créer entièrement un nouveau mode (mixte entre le mode « Backup » et le mode « Restore »), qui permettra de sauvegarder directement un disque/partition/système sur un autre disque sans passer par une sauvegarde. Il s'agira en réalité de « Cloner » le media.

J'ai donc développé un nouveau mode que j'ai ajouté au menu principal :

Avant : Mode « Sauvegarder » et « Restaurer » uniquement :

 

Après : Ajout du mode Sauver & Restaurer (Cloner) :

Ce document et les informations qu'il contient sont propriété d'Airbus Safran Launchers, Il ne doit pas être utilisé à d'autres fins que celles pour lesquelles il a été remis. Il ne peut être ni reproduit, ni divulgué à des tiers (en tout ou partie) sans l'accord préalable et écrit d’Airbus Safran Launchers. Airbus Safran Launchers – Tous droits réservés. // This document and the information it contains are property of Airbus Safran Launchers. It shall not be used for any purpose other than those for which it was supplied. It shall not be reproduced or disclosed (in whole or in part) to any third party without Airbus Safran Launchers prior written consent. Airbus Safran Launchers – All right reserved.

Semaine 2 & 3 - Approfondissement et Recompilation

Lors de la deuxième semaine je suis passé à l'étape suivante qui consiste à compiler un nouveau liveCD avec une version plus récente d'Ubuntu (soit : Xenial 16.04).

 La gestion des fichiers dans les dossiers ainsi que l'intégration des paquets selon les versions sont totalement différentes entre Xenial et Precise qui a maintenant 4 ans. Ainsi pour chaque étape et notamment celle de la préparation de l’ISO, il manque des fichiers à certains endroits. Ces fichiers étant nécessaires au bon fonctionnement du liveCD, et n'étant pas capable de générer le filesystem correctement, je n'ai pas pu rester sur cette version.

J'ai donc en milieu de deuxième semaine opté pour une version antérieure (celle précédant Xenial) Wily (15.10) et je me suis heurté quasiment aux mêmes problèmes.

J'ai trouvé par la suite une version qui ne présente pas les mêmes erreurs, Yakkety (16.10) qui n'est pas encore sorti officiellement mais les dépôts sont tout à fait accessibles. Contre toute attente, cette version a fonctionné et j'ai donc pu créer un liveCD à partir de cette distribution.

En fin de deuxième semaine, mes deux ISO d'Ubuntu se lancent proprement ainsi que l'utilitaire Redobackup.

Au début de la troisième semaine, Julien DUBOC, mon maître de stage, est venu faire un debriefing avec moi pour savoir où j'en étais et me donner les prochaines étapes à réaliser. Maintenant que les versions Ubuntu sont compilées, je vais devoir recompiler à nouveau pour implémenter Redobackup sur un liveCD avec une distribution Debian. Cette fois-ci, une seule compilation est nécessaire puisque je ne dois tester qu'avec la dernière version de Debian (Jessie 8).

J'ai tout d'abord testé le tutoriel pour Ubuntu en adaptant pour Debian (changement de la commande debootstrap, changement des paquets d'installation, changement des dépôts, etc.…). Le soucis est que pour Ubuntu, le liveCD fonctionne à l'aide de casper, lupin-casper, linux-generic et ce genre de paquets qui aident à la construction du noyau Ubuntu et du Kernel. Ainsi, après de multiples tentatives, j'ai laissé le tutoriel Ubuntu de côté et ai entamé des recherches pour savoir comment compiler un liveCD sous Debian (et puis je n'avais plus qu'à installer RedoBackup par la suite).

De très nombreux sites proposent des solutions pour créer un ISO Debian mais très peu ont fonctionné. Les paquets nécessaires à l'installation de RedoBackup (tels que Adeskbar, Plymouth (pour la gestion des interfaces/fonds d'écran et chargement), etc ….) ne s'installent pas correctement ou même pas du tout pour certains. Ainsi, je me suis mis à télécharger les paquets manquant directement via le web puis je les ai installé via le gestionnaire d'archive intégré à Debian. Je me suis aussi heurté à des soucis de Kernel, et n'ayant que très peu d'expérience à ce sujet, j'ai du recommencer plusieurs fois la compilation.

Au final, après une semaine pour régler toutes les erreurs, l’ISO charge dans VirtualBox, l'interface du menu n'est pas satisfaisante (bleu marine et noir avec police en blanc), mais la distribution Debian se lance et RedoBackup par la suite.

La première étape concernant la compilation de liveCD est donc terminée. Je garde donc la version Yakkety 16.10 d'Ubuntu pour la suite.

Ce document et les informations qu'il contient sont propriété d'Airbus Safran Launchers, Il ne doit pas être utilisé à d'autres fins que celles pour lesquelles il a été remis. Il ne peut être ni reproduit, ni divulgué à des tiers (en tout ou partie) sans l'accord préalable et écrit d’Airbus Safran Launchers. Airbus Safran Launchers – Tous droits réservés. // This document and the information it contains are property of Airbus Safran Launchers. It shall not be used for any purpose other than those for which it was supplied. It shall not be reproduced or disclosed (in whole or in part) to any third party without Airbus Safran Launchers prior written consent. Airbus Safran Launchers – All right reserved.

Semaine 1 - Découverte, intégration et recherches

Le tout premier jour, lundi 20 Juin débute mon stage de deux mois et demi cher AIRBUS SAFRAN LAUNCHERS. Je suis directement accueilli au bâtiment des ressources humaines où l'on me présente rapidement l'entreprise, où je reçois le règlement intérieur ainsi que d'autres papiers liés à la sécurité des informations. Je reçois également une fiche de parcours d'intégration me permettant de rencontrer différentes personnes au sein de l'entreprise qui ont chacun un rôle important dans mon intégration notamment au niveau de la sécurité du site et de l'information (badge d'entrée dans les bâtiments, présentation approfondie de l'entreprise etc..). J'ai donc pris rendez-vous dans la semaine avec une dizaine de personnes (comme le chef de service au sein duquel je vais travailler) afin de compléter le parcours.

Après avoir été accueilli au bâtiment des ressources humaines, mon maître de stage Julien DUBOC est venu me chercher et m'a par la suite fait une visite complète de mon service et de mon bâtiment. J'y ai donc rencontré les personnes qui y travaillent (la plupart sont développeur étant donné que mon bâtiment est exclusivement lié aux activités informatiques du site de St-Médard-en-Jalles et que mon service est spécialisé dans le développement automate).

Il m'a ensuite fait une présentation de ma mission dans les moindres détails et m'a énoncé les étapes que je devais réaliser.

Une fois cette présentation terminée, il m'a amené au bureau des stagiaires où j'ai pu rencontrer les autres stagiaires présents sur le site à la même période que moi et l'endroit où je travaille la plupart du temps, qui est un e-laboratoire, une salle serveur avec de nombreux PC utilisés pour le développement principalement. C'est un bureau avec accès à internet (réseau dédié).

Une fois face à mon poste à partir du deuxième jour, je me suis lancé dans une série de recherches à propos des différents thèmes de la mission ainsi que tous les termes et/ou technologies que je ne connaissais pas. La base de la mission est d'intégrée dans un LiveCD de noyau GNU/Linux un utilitaire de backup et de restauration de système. N'étant guère très à l'aise avec l'environnement Linux, j'ai dû m'informer énormément pour chaque étape de la mission à réaliser.

Les premières recherches sont donc dédiées à RedoBackup & Recovery qui est la mission principale de ce stage. J'ai cherché ce que c'est, à quoi cela sert exactement et comment l'utiliser. J'ai trouvé un tutoriel listant une dizaine d'étapes intégrant une vingtaine de commandes Shell. Ce tutoriel permet deux choses :

- La création d'un liveCD « From Scratch » (à partir de rien) sur une distribution Precise (version 12.04) d'Ubuntu.

- L'implémentation de l'utilitaire RedoBackup & Recovery sur ce liveCD ainsi que d'autres softs très utiles et complémentaires à RedoBackup (tel que Gparted permettant une gestion simple des partitions du système).

Voici les différentes étapes de conception du liveCD :

1. Préparer un système de base(à l'aide de la commande debootstrap)

2. Entrer dans le chroot¹(= change root)

3. Préparer l'environnement du chroot (monterles dossiers avec mount)

4. Installer les packages basiques²

5. Ajouter les dépôts update et backports

6. Installer les packages additionnels³

7. Implémenter RedoBackup & Recovery

8. Mettre à jour l'écran plymouth splash (gestion des fonds d'écran et de l’interface)

9. Nettoyer et quitter le chroot

10. Préparation à la création de l'image ISO

11. Création du fichier Manifest

12. Création de l'image ISO

^{1 :} Chroot (ou Change root) est une commande des systèmes d'exploitation UNIX permettant de changer le répertoire racine d'un processus de la machine hôte.

^2 : Lors de l'étape 4, nous allons installer les paquets principaux pour générer l'image ISO et le filesystem de notre liveCD. Pour cette distribution, les paquets sont les suivants :

- Discover                                           (Ajoute un système d'identification de matériel)

- Laptop-detect                               (Détecte un ordinateur portable)

- Os-prober                                       (Détecte d'autres systèmes sur un ensemble de disques)

- Linux-generic                 (Complète le noyau générique de linux)

- Casper                                              (Exécuter un système préinstallé en live)

- Lupin-casper                                  (Ajoute un support pour montages lors de l'installation de casper)

³: Lors de l'étape 6, nous allons installer les paquets additionnels pour notre liveCD. Il est possible d'y installer n'importe quoi, ce que vous désirez. Par exemple il est possible d'y installer un browser (Mozilla Firefox par exemple (Iceweasel) ou même un outil de retouche et édition d'image (Gimp)).

Pour voir plus en détails chaque étape et toutes les commandes pour réaliser ce liveCD, voir ICI.

Ayant certaines difficultés avec l'environnement UNIX au début du stage, je me suis heurté à des problèmes de dépôts, de gestion des paquets, de dépendances non gérées et ne sachant pas comment les résoudre, j'ai dû faire de nombreuses recherches très fastidieuses afin de pouvoir passer chaque étape de la conception.

En fin de semaine, mon premier liveCD sur distribution Ubuntu 12.04 « Precise » était compilé et l'image ISO se lançait proprement sur VirtualBox. Ainsi la partie « découverte » et recherches préliminaires était terminée. 

Ce document et les informations qu'il contient sont propriété d'Airbus Safran Launchers, Il ne doit pas être utilisé à d'autres fins que celles pour lesquelles il a été remis. Il ne peut être ni reproduit, ni divulgué à des tiers (en tout ou partie) sans l'accord préalable et écrit d’Airbus Safran Launchers. Airbus Safran Launchers – Tous droits réservés. // This document and the information it contains are property of Airbus Safran Launchers. It shall not be used for any purpose other than those for which it was supplied. It shall not be reproduced or disclosed (in whole or in part) to any third party without Airbus Safran Launchers prior written consent. Airbus Safran Launchers – All right reserved.