Le système d'exploitation GNU-Linux/wget

Le système d'exploitation GNU-Linux

1. Qu'est-ce qu'un système d'exploitation ?
2. Unix et Linux
3. Partitionnement du disque
4. Installation
   1. Installer Debian via le réseau
5. Utilisateur Unix, l'interface console
   1. Le login
   2. Variables d'environnement
   3. Commandes de base
   4. L'aide en ligne man
   5. L'éditeur de texte vi
   6. Les shells
   7. La complétion
   8. Les jokers
   9. Les répertoires importants
   10. Redirection des entrées/sorties
   11. Invoquer un programme en tâche de fond
   12. Propriétaires et droits d'accès
   13. Processus
   14. Locale
6. Administration du système
   1. Configuration du réseau
   2. Les utilisateurs et groupes
   3. Le processus d'initialisation
   4. Les systèmes de fichiers
   5. Le système virtuel /proc
   6. Les périphériques /dev
   7. L'ordonnanceur de travaux cron
   8. Le backup : tar et gzip
   9. ghost avec partimage
   10. sauvegarde de fichiers avec rsync
   11. Les fichiers journaux syslog
   12. Installation de nouveaux logiciels
   13. Le noyau Linux et les modules
   14. Autres commandes utiles
   15. Installation RAID1 logiciel + LVM + XFS
   16. Scripts de surveillance
   17. Réseaux sans fil
7. Administration des services réseaux
   1. L'outil d'administration Webmin
   2. telnet
   3. cURL
   4. wget
   5. Le serveur de noms BIND
   6. Le serveur de configuration réseau DHCP
   7. Le serveur de shell distant SSH
   8. Le partage de fichiers Samba
   9. Le partage de fichiers NFS
   10. Le serveur d'impression CUPS
   11. Le serveur de fichiers FTP
   12. Le serveur Web Apache
   13. Le serveur Web Nginx
   14. La base de données MySQL
   15. La base de données Memcached
   16. La base de données Redis
   17. Le serveur de mails Postfix
   18. Les annuaires LDAP
   19. La supervision Nagios
8. Sécurisation d'un serveur Linux
   1. Installation d'un service en mode chroot
   2. Protection avec iptables
9. Erreurs connues
10. Médiagraphie
11. Auteurs

La commande wget permet de télécharger un fichier depuis la ligne de commande :

  $ wget http://www.kernel.org/pub/linux/kernel/v2.6/linux-2.6.23.tar.bz2
  --13:16:02--  http://www.kernel.org/pub/linux/kernel/v2.6/linux-2.6.23.tar.bz2
             => `linux-2.6.23.tar.bz2'
  Résolution de www.kernel.org... 204.152.191.5, 204.152.191.37
  Connexion vers www.kernel.org[204.152.191.5]:80...connecté.
  requête HTTP transmise, en attente de la réponse...200 OK
  Longueur: 45,488,158 [application/x-bzip2]
 
  9% [===>                                          ] 4,245,225    630.29K/s    ETA 01:28

Pour utiliser un proxy, il faut définir la variable d'environnement http_proxy. Exemple :

http_proxy=monproxy:3128 wget http://apache.cict.fr/ant/source/apache-ant-1.7.0-src.tar.gz

wget sur ftp

wget est également compatible avec le protocole ftp. Il est ainsi capable de télécharger un fichier ou un ensemble de fichier depuis un ftp distant.

 # wget ftp://login:passwd@ftp.host.net/thedir/* 

Pour télécharger les sous-répertoire et fichiers on utilise l'option "-r".

L'option "-nH" permet de ne pas sauvegarder le nom d'hôte, autrement wget fera la copie vers un nouveau dossier créé portant le nom de l'hôte du serveur ftp.

Utilisation de base

Typiquement Wget s'utilise par la ligne de commande, avec un ou plusieurs URLs passés en paramètres. De nombreuses options permettent d'affiner le comportement souhaité (téléchargement multiple, suivre les liens...).

# Télécharge la page à la racine du site exemple.fr dans un ficher
# nommé "index.html".
wget http://www.exemple.fr/

# Télécharger les sources de Wget depuis le serveur FTP de GNU.
wget ftp://ftp.gnu.org/pub/gnu/wget/wget-latest.tar.gz

Il est possible de télécharger automatiquement plusieurs URLs dans une hiérarchie de dossiers.

# Télécharge tous les fichiers *.gif d'un serveur web
# (Les syntaxes de type glob, comme "wget http://www.serveur.com/dir/*.gif", ne marche que avec FTP)
wget -e robots=off -r -l1 --no-parent -A.gif http://www.serveur.com/dir/

# Télécharge la page racine de exemple.fr, avec les images et les 
# feuilles de styles utilisées pour afficher la page, et convertit les 
# URLs internes pour fonctionner avec les copies locales.
wget -p -k http://www.exemple.fr/

# Télécharge le contenu entier de exemple.fr
wget -r -l 0 http://www.exemple.fr/