So laden Sie alle Seiten einer Website in Linux herunter

Wget ist eine leistungsstarke Open Source-Software unter Linux, mit der Inhalte von Websites heruntergeladen werden können. Manchmal ist es notwendig, eine Kopie des gesamten Inhalts einer Website anzufertigen, um beispielsweise einen Spiegel der Website zu erstellen oder um den aktuellen Inhalt für die spätere Verwendung zu erhalten. Mit Wget kann eine gesamte Website mit einem einzigen einzeiligen Befehl heruntergeladen werden.

Stellen Sie sicher, dass wget installiert ist, indem Sie den Befehl "which" verwenden. Wenn Sie "which wget" (ohne Anführungszeichen) in ein Terminal eingeben, wird angezeigt, wo Wget auf Linux-Computern installiert ist. Wenn Wget nicht installiert ist, verwenden Sie die Softwareinstallationswerkzeuge der Distribution wie Yum oder Apt-get, um Wget zu installieren.

Setzen Sie das Flag, um die Website zu spiegeln. Wget verfügt über mehrere Flags, die gesetzt werden können, um das Verhalten des Programms zu ändern. Die "-m" -Flagge wird verwendet, um eine gesamte Website herunterzuladen. Geben Sie beispielsweise Folgendes ein:

wget -m www.fake-web-site.com

Dadurch wird eine lokale Kopie von "www.fake-web-site.com" auf Ihrem Computer erstellt. Standardmäßig erstellt Wget ein Verzeichnis mit demselben Namen wie die Website innerhalb des Verzeichnisses, in dem es ausgeführt wurde.

Überprüfen Sie, ob der Inhalt erworben wurde, indem Sie die lokale Kopie der Seite in einem Browser öffnen.

Dinge benötigt

wget

Warnungen

Wget kann beim Anfordern von Inhalten von einem Server viel Bandbreite beanspruchen. Einige Firewalls können auch schnelle Anfragen eines einzelnen Clients als Angriff darstellen, was dazu führen kann, dass Ihre IP-Adresse vorübergehend vom Server blockiert wird. Stellen Sie sicher, dass das Flag -w gesetzt ist, um die Zeit zwischen den Anforderungen zu begrenzen. Zum Beispiel:
wget -m -w 10 www.fake-web-site.com
Wget wird 10 Sekunden warten, bevor nachfolgende Dateien vom Server angefordert werden.