Ein effektiver Spinnenblock für WordPress

Wenn es keine Spinnen gäbe, könnten wir Google nicht nach Webinhalten durchsuchen. Spider sind Roboter, die das Internet durchsuchen und alles indizieren, was sie finden. Wenn Sie also nach Artikeln in WordPress suchen möchten, weiß es, wo sich diese Artikel befinden, und kann Sie darauf aufmerksam machen. Sie müssen jedoch kein WordPress für einen Spinnenindex erstellen, und es gibt einen einfachen Weg, einen effektiven Spinnenblock für WordPress zu erstellen, der Spinnen von seriösen Unternehmen blockiert. Ein noch effektiverer Spinnenblock umfasst einige Einstellungen und einen Prozess zum Erkennen und Blockieren böswilliger Spinnen, die Ihre Anweisungen ignorieren und Webinhalte indizieren, die Sie als Sperre-Sperren festgelegt haben.

Robots.txt

Wenn eine Spinne Ihre WordPress-Site besucht, sollte sie als erstes die Datei "robots.txt" lesen. Diese Datei enthält Regeln, die die Dateien und Verzeichnisse angeben, die entweder von allen Spiders oder einzeln benannten Spiders indiziert werden können oder nicht. Eine Spinne findet ihren eindeutigen "Benutzeragenten" -Code in der Datei oder einen Platzhalter, der "alle Spinnen" angibt. Es liest dann die Liste der Dateien und Verzeichnisse, die entweder zulässig oder nicht zulässig sind. Als nächstes beginnt die Indexierung nur der Teile der Site, die indiziert werden dürfen.

Spinnen blockieren

Sie können einen effektiven Spinnenblock für WordPress erstellen, indem Sie eine "robots.txt" -Datei in Ihrem WordPress-Stammverzeichnis erstellen und eine Regel angeben, die die Indizierung des Stammverzeichnisses der Site nicht zulässt. Dies verhindert automatisch die Indizierung eines Unterverzeichnisses der Wurzel. In der Datei sollten Sie außerdem angeben, dass diese Regel für alle Spider-Benutzeragentencodes gilt. Jede Spinne, die Ihre Site besucht, sollte die Datei lesen und verlassen, ohne einen Teil Ihrer Site zu indizieren. Die Datei "robots.txt" sollte beispielsweise so aussehen:

Benutzeragent: * Nicht zulassen: /

Gute und schlechte Spinnen

Es gibt gute Spinnen und es gibt schlechte Spinnen. Gute Spinnen stammen von renommierten Unternehmen wie Google, Yahoo oder Microsoft und halten sich an die Regeln in Ihrer "robots.txt" -Datei. Schlechte Spinnen stammen von Einzelpersonen oder Unternehmen, die die Datei "robots.txt" absichtlich ignorieren und möglicherweise den gesamten Inhalt Ihrer Website indizieren, unabhängig davon, was Sie zulassen oder nicht zulassen. Diese Roboter suchen manchmal nach bestimmten Informationen, z. B. nach E-Mail-Adressen, um sie an Spammer zu verkaufen, oder nach persönlichen Informationen über Benutzer, um sie an andere Unternehmen zu verkaufen. Die Spider durchsuchen Ihre gesamte Website nach Informationen oder Inhalten, die Sie nicht ordnungsgemäß versteckt oder geschützt haben. Verschiedene Webmaster haben unterschiedliche Möglichkeiten, mit Schurkenspinnen umzugehen. Einige versuchen einfach zu identifizieren, wer sie sind, und blockieren sie bei der Indizierung von Inhalten auf der Website. Andere versuchen, Schaden zuzufügen, indem sie die Datenbank der Spinne mit gefälschten Informationen vergiften oder indem sie die Spinne in eine Endlosschleife führen, in der sie entweder beendet oder abgebrochen wird.

Honigtopf

Ein Honeypot oder Tarpit ist eine Technik, die von einigen Webmastern verwendet wird, um bösartige Spinnen zu identifizieren, damit diese blockiert werden können. Sie können einen Honeypot erstellen, indem Sie einfach ein Verzeichnis hinzufügen, das gefälschte Inhalte enthält, z. B. E-Mail-Adressen, und dieses Verzeichnis in der Datei "robots.txt" ausdrücklich nicht zulassen. In den Serverprotokollen erfahren Sie, welche Spider auf das Verzeichnis zugegriffen haben, und Sie können ihre Benutzeragentenzeichenfolge und IP-Adresse aufzeichnen. Mit diesen Informationen können Sie Regeln in der WordPress-Datei "htaccess" erstellen, die den Zugriff auf diese schädlichen Spiders verweigern. Der Honigtopf muss regelmäßig überprüft werden, um neue Schurkenroboter vom Zugriff auf Ihre Website zu fangen.

Beliebte Beiträge