JobwaechterBot – unser Crawler
Diese Seite ist für alle, die JobwaechterBot in ihren Server-Logs sehen: was er liest, wie oft er kommt und wie man ihn sperrt.
- User-Agent
- JobwaechterBot
- Tempo
- höchstens 1 Anfrage pro Sekunde je Domain
- robots.txt
- wird vor jedem Abruf beachtet
Wer wir sind
Jobwächter ist ein Dienst für Jobsuchende in Deutschland. Nutzer:innen beschreiben ihren Wunschjob, wir schicken ihnen passende neue Stellen per E-Mail oder Telegram. Die Stellen holen wir direkt von den Karriereseiten der Unternehmen, nicht aus Jobbörsen. Jeder Treffer verlinkt auf die Originalanzeige.
Was der Crawler liest
- die robots.txt der Domain
- die Karriereseite und die dort verlinkten Stellenanzeigen
- öffentliche Stellen-Schnittstellen gängiger Bewerbermanagementsysteme, z. B. Personio, Greenhouse oder Lever
- strukturierte Stellendaten (schema.org JobPosting) in den Seiten
Der Crawler ruft nur öffentlich erreichbare Seiten ab. Er führt kein JavaScript aus, meldet sich nirgends an und liest höchstens 50 Anzeigenseiten je Durchlauf.
Gespeichert werden Titel, Ort, Arbeitsmodell, Anstellungsart, Link und der Anzeigentext. Den Text nutzen wir nur für den Abgleich mit Suchaufträgen; er wird nicht veröffentlicht und 30 Tage nach dem Verschwinden der Anzeige gelöscht.
Rücksicht auf den Server
- Höchstens eine Anfrage pro Sekunde je Domain.
- Ein Crawl-delay in der robots.txt wird eingehalten, bis zu 60 Sekunden zwischen zwei Anfragen.
- Bedingte Anfragen mit ETag und Last-Modified: Unveränderte Seiten werden nicht erneut übertragen.
- Jede Firma wird in der Regel einmal täglich geprüft.
- Antwortet die robots.txt mit einem Serverfehler, ruft der Crawler die Domain nicht ab. Fehlt sie (404), gilt die Domain als freigegeben.
Crawler sperren
Der Crawler folgt den Regeln für den Namen JobwaechterBot in der robots.txt.
User-agent: JobwaechterBot
Disallow: /User-agent: JobwaechterBot
Disallow: /intern/Die Sperre wirkt ab dem nächsten Durchlauf. Seiten, die die robots.txt ausschließt, ruft der Crawler nicht mehr ab.
Fragen oder Wünsche
Soll eine Karriereseite gar nicht oder anders gelesen werden, oder fällt dir ein Fehler auf? Schreib uns, mit Domain und gern einem Auszug aus dem Log.
[KONTAKT-E-MAIL]