Séance #5 Création d’une nouvelle colonne dans le tableau : PAGES ASPIREES

Toujours activement en recherche des derniers URLs en japonais, nous continuons tout de même à publier nos scripts en utilisant nos URLs en français et en anlgais.

On va maintenant ajouter une nouvelle colonne aux tableaux. Cette colonne contiendra les pages web qu’on va aspirer. On va pouvoir aspirer les pages grâce à la commande « wget ». Cette commande permet de sauvegarder localement des URLs.
Le problème du script précédent était qu’il fallait réécrire tout les chemins pour accéder aux fichiers (qu’on veuille les utiliser ou bien les créer). On a donc créé un nouveau fichier qui permet de ne pas réécrire tous ces chemins à chaque fois qu’on démarre le script. Il suffit, grâce à un chevron unique qui redirige le flux entrant, d’ajouter le fichier qui contient les différents chemins.

Voici tout d’abord le script qui permet d’aspirer les pages web :

On peut voir grâce à la capture ci-dessous comment les paramètres sont lus par redirection du flux entrant.

On regarde ce que contient le fichier de paramètres grâce à la commande « cat » :

Ensuite, on lance le script et on regarde le résultat. On vérifie d’abord que les pages ont bien été aspirées et qu’elles ont été enregistrées dans le bon répertoire tel qu’on l’a écrit dans le script.

Les pages ayant été aspirées correctement au bon endroit, on regarde le résultat de la page HTML générée. On tape la commande « ls TABLEAUX/ » pour vérifier que le fichier a bien été créé :

Et on lance ensuite la page dans le navigateur pour voir les tableaux  :

Séance #4 La recherche des URLs et la création du premier tableau

Nous sommes dans une phase du projet où nous sommes censées avoir trouvé toutes nos URLs. Malheureusement, la tâche s’avère un peu plus compliquée en ce qui concerne le japonais.

En effet, pour le français, aucun problème à l’horizon, il n’y a pas de barrière au niveau de la langue. En anglais, nous avons pu nous faire aider par une personne ayant fait un mémoire sur les maladies mentales aux Etats-Unis. Grâce à elle, nous avons pu mieux comprendre ce qu’est la schizophrénie et donc récolter nos URLs plus facilement en ayant des sites fiables (la plupart étant des sites gouvernementaux). En japonais, nous avons procédé de la même manière, le tout étant d’avoir des URLs qui soient un minimum exploitables. Mais cela reste tout de même difficile, le vocabulaire employé n’étant pas forcément du vocabulaire que nous maîtrisons et la société japonaise n’aborde pas forcément cette maladie de la même manière que les occidentaux. Donc, nous avons la totalité des URLs en français et en anglais et environ un tiers des URLs en japonais. L’aide de ces deux personnes a été très précieuse et nous a permis de faire un grand pas en avant dans nos recherches.

Ci-dessous se trouve les tableaux de nos URLs en français et en anglais. Ces tableaux sont formés de deux colonnes dont la première contient la numérotation des URLs et la seconde les URLs.

Voici tout d’abord le script :

Ensuite, on regarde ce que contient le répertoire TABLEAUX. On se rend compte (ci-dessous), que le répertoire ne contient rien. On tape la commande pour lancer le script afin de créer les tableaux. On regarde à nouveau avec la commande « ls » et on s’aperçoit que le fichier HTML est créé.

On regarde maintenant le résultat :

 

Exercice HTML

L’image ci-dessous est la création d’une page HTML en bash. Cette page contient un tableau de deux lignes dont la première affiche nos noms et la seconde affiche le mot de notre projet. Le script est commenté pour montrer ce que fait chaque étape du script.

Ensuite, dans le terminal, nous exécutons le programme pour créer le fichier HTML. Nous pouvons voir ci-dessous qu’avant l’exécution du programme, il n’y a rien d’autre que les programmes dans le dossier.

Et enfin, voici ci-dessous le résultat de notre programme, le tableau HTML contenant deux lignes.

En supplément, voici un autre script qui permet de créer le même type de page HTML avec un tableau de deux lignes, mais celui-ci demande une participation de l’utilisateur qui peut entrer son nom et le nom de son projet.

Nous exécutons le programme puis nous regardons le résultat.

UNIX: Application 3

La commande « ls;who;pwd » permet d’afficher le répertoire courant, son contenu et qui est connecté dessus; les informations précedent le chevron vont s’afficher dans le nom du fichier qui suit, ici « tmp/qui ». La dernière commande avec « echo » permet d’afficher sur le terminal « je suis sous » et le répertoire dans lequel on se trouve.

UNIX: Application 2

Nous avons d’abord fait un  « ls » pour afficher les différents répertoires, puis un « ls | wc -w », cette commande permet en effet de compter les fichiers présents dans le répertoire courant. Pour compter le nombre de fichier dans TEST2, il suffit de faire « ls TEST2 | wc -w », la sortie des commandes qui se trouvent à gauche du pipe sert d’entrée à ce qui se trouve à droit du pipe.

UNIX: Application 1

Nous avons réussi à créer les répertoires TEST1 et TEST2 grâce à la commande « mkdir »; pour créer un répertoire TEST3, il suffit de taper dans la console, « mkdir TEST3 » et le tour est joué, un nouveau répertoire est créé ( pour vérifier la création de ces répertoires, on fait « ls » et les répertoires s’affichent).

 

Pour les commandes suivantes, nous avons rencontré un problème lorsqu’on faisait « touch vide1.txt ./TEST1/vide2.txt ../TEST2/vide3.txt », seuls les fichiers « vide1.txt » et « vide3.txt » étaient créés; nous nous sommes rendues compte qu’il était impossible de créer « vide2.txt » à partir de ces commandes car nous étions déjà dans le répertoire TEST1 et la commande  « ./ » indique le répertoire courant. Il suffisait simplement de faire « touch vide1.txt ./vide2.txt ../TEST2/vide3.txt » pour que « vide2.txt » soit créé dans le répertoire TEST1.

 

Avec la commande « echo », nous avons pu insérer du texte dans notre fichier « vide1.txt » à l’aide des doubles chevrons (qui permettent d’ajouter du texte sans écraser le contenu qui s’y trouve déjà) puis avec la commande « mv » nous l’avons renommé en « jenesuisplusvide.txt ». Nous avons ensuite copier/coller ce fichier dans le répertoire TEST2 grâce à la commande « cp » et nous avons aussi créer le fichier « moinonplus.txt » dans le répertoire TEST1 avec « cp ».

 

 

 

Nous sommes ensuite sorties de la console avec la commande « ctrl -d »; nous avons créé un fichier « liste.txt » qui s’est créé dans le répertoire courant car il n’y a pas de précisions concernant le répertoire dans lequel on veut le créer. La commande « lsd » nous a posé quelques problèmes car même en cherchant avec « man », cette commande était inconnue. De même pour la commande « ../TEST2/liste.txt », il était impossible de créer ce fichier dans ce répertoire car nous n’étions pas à l’intérieur de TEST2, nous avons donc trouvé la solution en faisant « ./TEST2/liste.txt », le fichier est alors créé dans le répertoire TEST2. Il en va de même pour la commande « rm vide2.txt », il est impossible d’effacer le fichier car nous ne sommes pas dans le répertoire TEST1, nous y entrons donc avec « cd TEST1 » puis « rm vide2.txt », le fichier est alors supprimé. En revanche, la commande « rmdir ../TEST3 » ne fonctionnait pas car nous nous trouvions dans le répertoire  TEST1. Ainsi, il suffisait de taper la commande « ../ » qui permet de remonter d’un cran dans l’arborescence et ainsi de supprimer le répertoire TEST3.