Различия

Показаны различия между двумя версиями страницы.

--- wget [2021/01/04 12:11]
dja
+++ wget [2021/01/04 13:07] (текущий)
dja [Загрузка файла и сохранение его с новым именем в текущую директорию]
@@ Строка 1: / Строка 1: @@
-====== Загрузка всех URL, указанный в файле FILE ======
+===== Загрузка всех URL, указанный в файле FILE =====
-''$ wget -i FILE''
+<code>$ wget -i FILE</code>
-===== Заголовок =====
+===== Скачивание файла в указанный каталог (-P) =====
+<code>$ wget -P /path/for/save ftp://ftp.example.org/some_file.iso</code>
+===== Использование имени пользователя и пароля на FTP/HTTP =====
+<code>$ wget ftp://login:password@ftp.example.org/some_file.iso
+$ wget --user=login --password=password ftp://ftp.example.org/some_file.iso
+$ wget --ftp-user=dan --ftp-password=********* FTP-URL</code>
+===== Скачивание в фоновом режиме (-b) =====
+<code>$ wget -b ftp://ftp.example.org/some_file.iso</code>
+===== Продолжить (-c continue) загрузку ранее не полностью загруженного файла =====
+<code>$ wget -c http://example.org/file.iso</code>
+===== Скачать страницу с глубиной следования 10, записывая протокол в файл log =====
+<code>$ wget -r -l 10 http://example.org/ -o log</code>
+===== Скачать содержимое каталога http://example.org/~luzer/my-archive/ и всех его подкаталогов, при этом не поднимаясь по иерархии каталогов выше =====
+<code>$ wget -r --no-parent http://example.org/~luzer/my-archive/</code>
+===== Для того, чтобы во всех скачанных страницах ссылки преобразовывались в относительные для локального просмотра, необходимо использовать ключ -k =====
+<code>$ wget -r -l 10 -k http://example.org/</code>
+===== Также поддерживается идентификация на сервере =====
+<code>$ wget --save-cookies cookies.txt \
+  --post-data 'user=foo&password=bar' \
+  http://example.org/auth.php</code>
+===== Скопировать весь сайт целиком =====
+<code>$ wget -r -l 0 -k http://example.org/</code>
+===== Скачивание галереи картинок с превьюшками =====
+<code>$ wget -r -k -p -l1 -I /images/ -I /thumb/ \
+  --execute robots=off www.example.com/gallery.html</code>
+===== Сохранить веб страницу (как она открывается локально) в текущую директорию =====
+<code>$ (cd cli && wget -nd -pHEKk http://www.pixelbeat.org/cmdline.html)</code>
+===== Скачать файлы определенного типа в текущую директорию =====
+<code>$ wget -r -nd -np -l1 -A '*.jpg' http://www.example.com/</code>
+===== Пропуск файлов определенного типа =====
+<code>$ wget --reject=png Website_url</code>
+===== Отображать вывод напрямую (на экран) =====
+<code>$ wget -q -O- http://www.pixelbeat.org/timeline.html | grep 'a href' | head</code>
+===== Скачать URL в 01:00 в текущую директорию =====
+<code>$ echo 'wget url' | at 01:00</code>
+===== Сделать закачку с уменьшенной скоростью в данном случае 20 KB/s =====
+<code>$ wget --limit-rate=20k url</code>
+===== Проверить ссылки в файле =====
+<code>$ wget -nv --spider --force-html -i bookmarks.html</code>
+===== Создание локальной копии веб-сайта =====
+<code>$ wget --mirror -p --convert-links -P /home/dan xyz.com</code>
+  * -p: производится загрузка всех файлов, необходимых для корректного отображения HTML-страниц.
+  * --convert-links: ссылки в документах будут преобразованы для целей локального просмотра сайта.
+  * -P /home/dan: материалы будут сохранены в указанную папку.
+===== Оперативно обновлять локальную копию сайта (удобно использовать с cron) =====
+<code>$ wget --mirror http://www.example.com/</code>
+===== Используем wildcard для того чтобы скачать несколько страниц =====
+<code>$ wget http://site.com/?thread={1..100}
+$ wget http://site.com/files/main.{css,js}</code>
+===== Запустить скачивание списка ссылок в 5 потоков =====
+<code>$ wget links.txt | xargs -P 5 wget {}</code>
+===== Проверить ссылки из файла на живость =====
+<code>$ cat list.txt</code>
+<code>http://yandex.ru
+http://google.ru
+http://yandex.ru/qweqweqweqwe</code>
+<code>$ wget -nv  --spider -i list.txt</code>
+<code>2013-08-08 22:40:20 URL: http://www.yandex.ru/ 200 Ok
+-08-08 22:40:20 URL: http://www.google.ru/ 200 OK
+http://yandex.ru/qweqweqweqwe:
+Удалённый файл не существует — битая ссылка!</code>
+===== Загрузка файла и сохранение его с новым именем в текущую директорию =====
+<code>$ wget -O имяфайла https://downloads.sourceforge.net/nagios-4.3.1/nagios-4.3.1.tar.gz</code>
+[[http://najomi.org/_nix/wget|Источник 1]]
+[[https://habr.com/ru/company/ruvds/blog/346640/|Источник 2]]

Заметки dja

Инструменты пользователя

Инструменты сайта

Различия

Инструменты страницы