Teljes weblap letöltése wget-tel


By Proci - Posted on 25 október 2009

wget -r --no-parent -l0 http://webcim.hu

Ha nem hoz eredményt, lehet még bűvészkedni:

wget -r --no-parent -l0 --wait=20 --limit-rate=20K -p -U Mozilla http://webcim.hu

--wait=20 ami 20 másodperces szüneteket eredményez a letöltések közt, így nem kerülünk blacklist-re

--limit-rate=20K a letöltési sebesség korlátozása. Így kevésbé lesz feltünő, hogy lehúzzuk a teljes weblapot.

--no-parent kapcsolóval pedig nem töltünk le semmit ami a megadott könyvtár "felett" van. Ez akkor hasznos, ha egy könyvtár tartalmát akarod lementeni.

Ha tíltott a wget user agent:

--header="Accept: text/html" --user-agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:21.0) Gecko/20100101 Firefox/21.0"

 

Címkék