Wget - основні параметри

Програма wget закачує сайти і окремі файли в поточну директорію (в директорію, де була запущена програма wget).

Завантаження одного файлу

Щоб завантажити файл з допомогою wget, можна скористатися такою командним рядком

  • -t 45 - кількість повторів в разі розриву з'єднання
  • -c - режим докачки. Вказує wget продовжувати закачування файлу. Якщо файл в поточній директорії вже є, на сервер буде відправлений запит на продовження закачування
  • --server-response - видавати на екран протокол відповіді сервера
  • --referer =. - вказує referer URL. Параметр необхідний для закачування з тих серверів, які перевіряють referer URL, і не дають скачати файл якщо він не належить даному серверу
  • посделаній параметр - URL скачівемого файлу. Він буде покладено в поточну директорію

Завантаження списку файлів

Якщо є файл, всередині якого знаходиться список файлів для скачування (один URL на одному рядку), то закачати за таким списком можна командою

wget -i linkfile.txt

Обмеження швидкості закачування

Для обмеження швидкості закачування можна скористатися параметром

в даному випадку швидкість буде обмежена 10 Кб / сек.

Завантаження файлів за шаблоном

При перекачуванні по FTP можна в іменах файлів вказувати шаблони (природно, "закавичівая" їх). Наприклад, команда

завантажить всі оновлення до системи XFree86.

Рекурсивне завантажування сайтів

При рекурсивном скачуванні wget автоматично створює відповідне дерево директорій.

При цьому файли будуть міститися в директорію ./www.h-hosts.com/users/goofy/.

Якщо завантаження даних була випадково перервана, то для відновлення закачування з місця зупинки, необхідно в команду додати ключ -з

Зауваження. Wget, будучи культурною програмою, при рекуррентном скачуванні поважає т.зв. "Протокол Web-роботів", і може пропускати частина файлів (заборонених в файлі robots.txt на сервері). Щоб відключити цю "культурність", можна скористатися ключем "-e robots = off". Почитати про Протокол Web-роботів можна в info-документації по Wget, скориставшись командою info wget appendices robots.

Завантаження з сайту тільки певного контенту

Можна скористатися командою виду

Цією командою буде викачаний сайт somesite.com рекурсивно, тобто всі посилання на html файли, які будуть знайдені в index.html цього сайту, будуть оброблені і завантажені, з них теж буде все завантажено і т. Д.

Опція -А обмежує скачуваний контент по допустимим розширенням, таким чином забороняючи завантажувати, наприклад, tar.gz архіви. При цих умовах wget не піде далі вказаного домену та, крім того, буде завантажувати тільки ті реквізити (-p, тобто картинки і стилі) які розташовані на тому ж сайті.

Однак, додавши опцію -H можна ненавмисно створити локальну копію інтернету в межах 5 рекурсивних посилань. Треба бути обережним. Але і для цього є опція -l - задає рівень скачується вкладеності.

Закачування в фоновому режимі

При вказівці ключа "-b" (background) програма відразу переходить у фоновий режим, так що користувач може займатися іншими справами або навіть вийти з системи, а wget буде продовжувати свою роботу.

Повідомлення, які видавалися б на екран, будуть йти в файл wget.log (а якщо він вже є, то в wget.log.1, wget.log.2 і т.д.). Ці лог-файли формуються в поточній директорії.

Continuing in background.

Output will be written to `wget-log '.

/ Soft% tail -f wget-log

Схожі статті