Comment utiliser wget, l'outil de téléchargement ultime en ligne de commande

Les plus récents ne sont pas toujours meilleurs et wget la commande est la preuve. Lancée en 1996, cette application est toujours l’un des meilleurs gestionnaires de téléchargement de la planète. Que vous souhaitiez télécharger un seul fichier, un dossier entier ou même mettre en miroir un site Web entier, wget vous permet de le faire en quelques touches seulement..

Bien sûr, il y a une raison pour laquelle tout le monde n'utilise pas wget: c'est une application en ligne de commande et, en tant que telle, prend un peu de temps à apprendre pour les débutants. Voici les bases, pour que vous puissiez commencer.

Comment installer wget

Avant de pouvoir utiliser wget, vous devez l’installer. La procédure varie en fonction de votre ordinateur:

La plupart (sinon la totalité) des distributions Linux sont livrées avec wget par défaut. Donc, les utilisateurs de Linux n'ont rien à faire!
Les systèmes macOS ne sont pas livrés avec wget, mais vous pouvez installer des outils de ligne de commande à l’aide de Homebrew. Une fois que vous avez configuré Homebrew, lancez simplement brasser installer wget dans le terminal.
Les utilisateurs Windows n'ont pas facilement accès à wget dans l'invite de commande traditionnelle, bien que Cygwin fournisse wget et d'autres utilitaires GNU, et que le shell Bash d'Ubuntu de Windows 10 soit également livré avec wget.

Une fois que vous avez installé wget, vous pouvez commencer à l’utiliser immédiatement à partir de la ligne de commande. Téléchargeons des fichiers!

Télécharger un seul fichier

Commençons par quelque chose de simple. Copiez l'URL du fichier que vous souhaitez télécharger dans votre navigateur..

Maintenant, retournez au terminal et tapez wget suivi de l'URL collée. Le fichier sera téléchargé et vous constaterez les progrès en temps réel..

Notez que le fichier sera téléchargé dans le dossier actuel de votre terminal, vous voudrez donc CD dans un dossier différent si vous souhaitez le stocker ailleurs. Si vous n'êtes pas sûr de ce que cela signifie, consultez notre guide sur la gestion des fichiers à partir de la ligne de commande. L'article mentionne Linux, mais les concepts sont les mêmes sur les systèmes macOS et les systèmes Windows exécutant Bash..

Continuer un téléchargement incomplet

Si, pour une raison quelconque, vous avez arrêté un téléchargement avant qu'il ne puisse être terminé, ne vous inquiétez pas: wget peut reprendre là où il s'est arrêté. Il suffit d'utiliser cette commande:

fichier wget -c

La clé ici est -c, qui est une "option" dans le jargon de la ligne de commande. Cette option particulière indique à wget que vous souhaitez continuer un téléchargement existant..

Miroir d'un site Web entier

Si vous voulez télécharger un site web entier, wget peut faire le travail.

wget -m http://example.com

Par défaut, cela téléchargera tout sur le site example.com, mais vous voudrez probablement utiliser quelques options supplémentaires pour un miroir utilisable..

--liens de conversion modifie les liens à l'intérieur de chaque page téléchargée afin qu'ils se dirigent les uns vers les autres et non vers le Web.
--page-requis télécharge des éléments tels que des feuilles de style, afin que les pages soient correctes hors connexion.
--pas de parent arrête wget de télécharger les sites parents. Donc, si vous voulez télécharger http://example.com/subexample, vous ne vous retrouverez pas avec la page parent.

Combinez ces options selon vos goûts et vous obtiendrez une copie de tout site Web sur lequel vous pourrez naviguer sur votre ordinateur..

Notez que la mise en miroir d'un site Web complet sur Internet moderne occupera énormément d'espace. Limitez-vous donc aux petits sites, à moins que vous n'ayez un stockage presque illimité..

Télécharger un répertoire complet

Si vous naviguez sur un serveur FTP et trouvez le dossier complet à télécharger, lancez simplement:

wget -r ftp://example.com/folder

le r dans ce cas, vous indiquez à wget que vous souhaitez un téléchargement récursif. Vous pouvez également inclure --noparent si vous voulez éviter de télécharger des dossiers et des fichiers supérieurs au niveau actuel.

Télécharger une liste de fichiers à la fois

Si vous ne trouvez pas un dossier complet des téléchargements souhaités, wget peut toujours vous aider. Il suffit de mettre toutes les URL de téléchargement dans un seul fichier TXT.

puis pointez wget sur ce document avec le -je option. Comme ça:

wget -i download.txt

Faites ceci et votre ordinateur téléchargera tous les fichiers listés dans le document texte, ce qui est pratique si vous voulez laisser un tas de téléchargements en cours d'exécution du jour au lendemain..

Quelques astuces supplémentaires

Nous pourrions continuer: wget offre beaucoup d'options. Mais ce tutoriel est juste destiné à vous donner un point de départ. Pour en savoir plus sur ce que wget peut faire, tapez homme wget dans le terminal et lisez ce qui se passe. Vous apprendrez beaucoup.

Cela dit, voici quelques autres options intéressantes:

Si vous souhaitez que votre téléchargement s'exécute en arrière-plan, incluez simplement l'option -b.
Si vous voulez que wget continue d'essayer de télécharger même s'il y a une erreur 404, utilisez l'option -t 10. Cela va essayer de télécharger 10 fois; vous pouvez utiliser le numéro de votre choix.
Si vous souhaitez gérer votre bande passante, l'option --taux limite = 200k limitera votre vitesse de téléchargement à 200 Ko / s. Changer le numéro pour changer le taux.

Il y a beaucoup plus à apprendre ici. Vous pouvez envisager de télécharger une source PHP ou de mettre en place un téléchargeur automatisé si vous souhaitez obtenir des résultats plus avancés..