Zum Inhalt springen
Jobwächter

JobwaechterBot – unser Crawler

Diese Seite ist für alle, die JobwaechterBot in ihren Server-Logs sehen: was er liest, wie oft er kommt und wie man ihn sperrt.

User-Agent
JobwaechterBot
Tempo
höchstens 1 Anfrage pro Sekunde je Domain
robots.txt
wird vor jedem Abruf beachtet

Wer wir sind

Jobwächter ist ein Dienst für Jobsuchende in Deutschland. Nutzer:innen beschreiben ihren Wunschjob, wir schicken ihnen passende neue Stellen per E-Mail oder Telegram. Die Stellen holen wir direkt von den Karriereseiten der Unternehmen, nicht aus Jobbörsen. Jeder Treffer verlinkt auf die Originalanzeige.

Was der Crawler liest

  • die robots.txt der Domain
  • die Karriereseite und die dort verlinkten Stellenanzeigen
  • öffentliche Stellen-Schnittstellen gängiger Bewerbermanagementsysteme, z. B. Personio, Greenhouse oder Lever
  • strukturierte Stellendaten (schema.org JobPosting) in den Seiten

Der Crawler ruft nur öffentlich erreichbare Seiten ab. Er führt kein JavaScript aus, meldet sich nirgends an und liest höchstens 50 Anzeigenseiten je Durchlauf.

Gespeichert werden Titel, Ort, Arbeitsmodell, Anstellungsart, Link und der Anzeigentext. Den Text nutzen wir nur für den Abgleich mit Suchaufträgen; er wird nicht veröffentlicht und 30 Tage nach dem Verschwinden der Anzeige gelöscht.

Rücksicht auf den Server

  • Höchstens eine Anfrage pro Sekunde je Domain.
  • Ein Crawl-delay in der robots.txt wird eingehalten, bis zu 60 Sekunden zwischen zwei Anfragen.
  • Bedingte Anfragen mit ETag und Last-Modified: Unveränderte Seiten werden nicht erneut übertragen.
  • Jede Firma wird in der Regel einmal täglich geprüft.
  • Antwortet die robots.txt mit einem Serverfehler, ruft der Crawler die Domain nicht ab. Fehlt sie (404), gilt die Domain als freigegeben.

Crawler sperren

Der Crawler folgt den Regeln für den Namen JobwaechterBot in der robots.txt.

Ganze Domain sperren:
User-agent: JobwaechterBot
Disallow: /
Nur einen Bereich sperren:
User-agent: JobwaechterBot
Disallow: /intern/

Die Sperre wirkt ab dem nächsten Durchlauf. Seiten, die die robots.txt ausschließt, ruft der Crawler nicht mehr ab.

Fragen oder Wünsche

Soll eine Karriereseite gar nicht oder anders gelesen werden, oder fällt dir ein Fehler auf? Schreib uns, mit Domain und gern einem Auszug aus dem Log.

[KONTAKT-E-MAIL]