Trendiction-Bot

Der Trendiction Bot ist zuständig für das automatische Crawlen öffentlich verfügbarer Newsseiten, Blogs sowie Foren.

Sollte es ein Problem geben (zuviele Requests, endlos Schleifen, ...) dann benachrichtigen Sie uns bitte!

Warum greifen wir auf Ihre Seite zu?

Wir indexieren Ihre Seite um die gesammelten Informationen in unsere Suchmaschine zu integrieren.

Zusätzlich verarbeiten wir die Informationen um diese in Form von Web-Services unseren Kunden zugänglich zu machen. Zu unseren Kunden zählen Marktforscher, Agenturen sowie sonstige Web-Anwendungen, in dessen Auftrag wir Webseiten crawlen um Ressourcen zu sparen (Man stelle sich vor jeder Mediendienstleister würde alle Websiten selbst crawlen..)

Weitere Informationen über unsere Produkte finden Sie hier.

Wieviel Bandbreite benutzen wir?

Wir benutzen sehr wenig Bandbreite um auf ihre Webseite zuzugreifen. Gleichzeitig versuchen wir so wenig wie mögliche Requests zu generieren.

Wir bemühen uns den Traffic so gering wie möglich zu halten:

• Zusätzlich zum caching benutzen wir die Gzip Kompression um den Datentransfer zwischen Ihrem Server und den unseren zu minimieren.
• Wir benutzen auch die If-Modified-Since und den ETag HTTP Header um unveränderte Seiten nicht doppelt herunterzuladen.
• Wir adaptieren das Crawling Intervall anhand der Anzahl Posts und Ranking der Seite.

Wie kann ich den Zugriff auf meinen Server erkennen?

Wir benutzen folgenden User Agenten:

Mozilla/5.0 (Windows NT 10.0; Win64; x64; trendictionbot0.5.0; trendiction search; http://www.trendiction.de/bot; please let us know of any problems; web at trendiction.com) Gecko/20170101 Firefox/67.0

Wie kann ich den Zugriff auf meinen Server unterbinden?

Wenn Sie Ihre gesamte Website oder einen bestimmten Bereich aus dem Trendiction Index ausschließen wollen, so können Sie auf Ihrem Server eine Datei mit dem Namen robots.txt anlegen.

Um den Trendiction Spider (trendictionbot) sowie sonstige Suchmaschinen davon abzuhalten, Ihre Website durchzugehen, legen Sie folgende robots.txt-Datei in das Root-Verzeichnis Ihres Servers:

Oder um nur unseren Spider den Zugriff zu unterbinden:

Hierbei handelt es sich um das Standardprotokoll, das die meisten Web-Crawler als Aufforderung zum Ausschluss von Websites oder Verzeichnissen aus dem Index erkennen.
Mehr Informationen zu robots.txt erhalten Sie hier: http://www.robotstxt.org/wc/norobots.html.

Da wir die robots.txt Datei cachen, kann es bis zu 5 Tagen dauern bis wir Ihre Änderungen übernommen haben.

Die meisten Leute möchten dass wir Ihre Webseite indexieren, da die Seite ja dadurch auch zB. später in verschiedenen Suchmaschinen gefunden wird und somit Traffic generiert.