Примеры использования wget и curl для копирования web-контента


Копирум ftp.test.ru, за исключением директории /pub/mp3 и помещаем результат в /tmp/test
wget -m -P/tmp/test -nH ftp://ftp.test.ru/pub/ -X /pub/mp3

Скачиваем файл test.gif со скоростью 10 Кб/с и сохраняем его на локальном диске:
wget --quiet -O - --timeout=20 --limit-rate 10k http://test.ru/test.gif > /tmp/test.gif
curl http://test.ru/test.gif --max-time 20 -s -o test.gif

Рекурсивно скачиваем в директорию test_site:
wget -r --no-parent -P ./test_site http://test.ru/arc/

Доп. опции wget:
"-O N" - куда выводить результат, "-" - стандартный вывод;
"-l N" - уровень вложенности;
"-r" - рекурсивный запрос.
"--no-parent" - не выходить за пределы родительского каталога;
"--quota N" - сограничить общий объем выкачиваемого в байтах (можно m и k);
"--limit-rate N" - ограничить скорость в байт/сек. (10k - 10кб/сек);
"--referer=URL" - подставить свой referer.

http://www.opennet.ru/tips/info/469.shtml

еще один способ
wget --header='Accept-Charset: windows-1251' \
   --header='Accept-Language: ru'    \
   -b -t 5 -T 60 -w 0 -x -E -r -l inf -k -N -p \
     -Dwww.site.ru \
   http://www.site.ru/