InfraNestInfraNest
Monitore & Checks

InfraNest-Probes durch deine Firewall oder deinen Bot-Schutz zulassen

Firewalls und Bot-Schutz lassen oft einen Browser durch, weisen aber automatisierte Besucher ab — und unsere Checks sind automatisierte Besucher.

Aktualisiert am 12. November 20268 Min. Lesezeit

Firewalls und Bot-Schutz sind so gebaut, dass sie einen Browser durchlassen und einen automatisierten Besucher abweisen — und unsere Checks sind automatisierte Besucher. Dann erreicht der Check deine Seite nie und misst nichts. Dieser Artikel richtet sich an alle, deren Monitor eine eigentlich einwandfrei funktionierende Seite nicht erreichen kann, und zeigt, wie du erkennst, was passiert, und wie du die Checks von InfraNest zulässt.

#Überblick

  • Firewalls, Bot-Schutz und Dienste wie Cloudflare, AWS WAF, Akamai, Vercel, Imperva, Sucuri, DataDome und Imunify360 können unsere Checks für unerwünschte Bots halten und blockieren.
  • Ein blockierter Check zählt nicht als Ausfallzeit und löst keine Benachrichtigung aus — deine Seite ist für echte Besucher wahrscheinlich in Ordnung.
  • Solange unsere Probes jedoch nicht zugelassen sind, kann dir der Monitor nicht sagen, wann die Seite tatsächlich ausfällt.
  • Eine Blockseite, die du selbst geschrieben hast, sieht für uns wie jeder andere Fehler aus (zum Beispiel „HTTP 403 (erwartet 200)“) — die Schritte hier beheben auch das.

#Woran du es erkennst

  1. Suche auf der Seite des Monitors nach einem Bereich mit einem Hinweis wie „Cloudflare weist unsere Checks ab“ (oder dem Namen des jeweiligen blockierenden Dienstes). Dort stehen unsere Adressen und eine fertige Regel zum Einfügen.
  2. Schau dir den Ergebnistext einer fehlgeschlagenen Prüfung an — dort kann stehen: „Der Bot-Schutz von Cloudflare hat unseren Check abgewiesen“.
  3. Tritt das wiederholt auf — drei Prüfungen in Folge von jedem Standort oder ein Standort über eine Stunde lang —, erscheint auf Startseite einmalig „Wir können nicht prüfen …“, und auch die Benachrichtigungsglocke zeigt es an.

#Bevor du beginnst: unsere Adressen besorgen

  1. Öffne die Seite des Monitors. Der Bereich dort listet unsere Probe-Adressen und die genaue Regel für deinen Dienst — wähle daneben Kopieren.
  2. Oder hole dir die vollständige Liste unter https://api.infranest.io/api/probes.txt (eine Adresse pro Zeile) oder https://api.infranest.io/api/probes.json. Wenn deine Firewall eine Liste automatisch abrufen kann, lass sie diese etwa stündlich neu einlesen — die Adressen ändern sich selten.
  3. https://developers.infranest.io/probes erklärt, was unsere Probes tun — praktisch, um es an die Person weiterzugeben, die deine Firewall verwaltet.
InfraNest-Probes durch deine Firewall oder deinen Bot-Schutz zulassen

NoteJeder Check sendet außerdem einen User-Agent, der mit InfraNest-Monitor/… beginnt, sowie einen Header, X-InfraNest-Check, der Monitor und Standort nennt — nützlich, um blockierte Anfragen im Firewall-Log zu finden. Aber jeder kann einen User-Agent kopieren, verlass dich also nicht allein darauf. Jeder Check ist zusätzlich kryptografisch signiert (der Web-Bot-Auth-Standard) mit Schlüsseln, die unter https://api.infranest.io/.well-known/http-message-signatures-directory veröffentlicht sind, sodass ein Dienst, der Signaturen prüft, unsere Checks von einem Nachahmer unterscheiden kann.

Cloudflare kennt uns bereits. Cloudflare führt unsere Checks als verifizierten Bot. Im Pro-, Business- oder Enterprise-Plan lässt Super Bot Fight Mode verifizierte Bots durch, wenn unter Security → Bots die Option Verified bots auf Allow steht — du brauchst dann eventuell gar keine Regel. Im Free-Plan hat Bot Fight Mode keine solche Einstellung, und deine eigenen Custom Rules, IP Access Rules und Rate Limits gelten weiterhin für uns wie für jeden anderen.

#Cloudflare mit einem Klick zulassen

Wenn die DNS-Zone der Seite zu einem unter Integrations verbundenen Cloudflare-Konto gehört, kann InfraNest die Regeln für dich anlegen und pflegen.

  1. Suche auf der Seite des Monitors den Bereich Unsere Probes in Cloudflare mit einem Klick zulassen und wähle In Cloudflare zulassen. (Auch auf Startseite steht neben „Wir können nicht prüfen …“ derselbe Button.)
  2. Prüfe den Dialog — er listet genau auf, was in dieser Zone angelegt wird:
    • Eine IP Access Rule mit der Aktion Allow für jede unserer Adressen.
    • Im Pro-, Business- oder Enterprise-Plan zusätzlich eine Custom Rule, die unsere Adressen Super Bot Fight Mode, Security Level und Browser Integrity Check überspringen lässt (nach deinen eigenen Regeln eingefügt, sodass eine blockierende Regel von dir weiterhin gewinnt).
  3. Wähle Diese Regeln anlegen. Wir prüfen die Seite sofort erneut — sobald ein Check durchkommt, verschwinden der Bereich und der Eintrag auf Startseite.

TipIm Free-Plan kann keine Regel Bot Fight Mode überspringen, aber Bot Fight Mode lässt eine Anfrage in Ruhe, die eine IP Access Rule erlaubt — genau das fügt In Cloudflare zulassen hinzu. Werden Checks weiterhin abgewiesen, schalte Bot Fight Mode unter Security → Bots aus oder wechsle die Zone zu Pro.

Wenn sich unsere Probes ändern, aktualisieren wir die Regeln automatisch innerhalb einer Stunde. Um sie zu entfernen, wähle an derselben Stelle Unsere Regeln entfernen — wir fassen ausschließlich die von uns angelegten Regeln an.

Wenn angezeigt wird, dass die Integration neu verbunden werden muss, wähle Cloudflare neu verbinden (oder Integration öffnen), melde dich erneut an oder ersetze den Schlüssel — danach erscheint der Button wieder. Nutze bis dahin unten Cloudflare manuell.

Wenn angezeigt wird, dass die Integration eine Berechtigung benötigt, wähle Token-Seite von Cloudflare öffnen, füge dem Token Zone → Firewall Services → Edit hinzu (und ab Pro zusätzlich Zone → Zone WAF → Edit), und wähle dann Erneut versuchen.

#Per geheimem Header zulassen

Ein geheimer Header veraltet nie, selbst wenn sich unsere Probe-Adressen ändern. Jeder Check kann X-InfraNest-Probe-Key mit einem nur dir bekannten Schlüssel senden — eine Firewall-Regel auf diesen Schlüssel lässt unsere Checks durch, egal woher sie kommen, und anders als unser User-Agent kann ihn niemand sonst kopieren.

  1. Öffne in Monitoring das Menü ⋯ und wähle Probe-Schlüssel (nur für Owner und Admins).
  2. Wähle Probe-Schlüssel erstellen. Ab der nächsten Prüfung sendet ihn jeder Monitor im Workspace.
  3. Kopiere die fertige Regel für deine Firewall von derselben Seite — es gibt Regeln für Cloudflare, AWS WAF, nginx, Apache und ModSecurity (genutzt von Imunify360 und den meisten Hosting-Panels).

WarningWir senden den Schlüssel nur an die Seite, die der Monitor prüft — nie entlang einer Weiterleitung an eine andere Seite. Behandle ihn wie ein Passwort: Gelangt er nach außen, wähle Schlüssel erneuern und aktualisiere deine Firewall-Regel sofort, denn der alte Schlüssel funktioniert ab diesem Moment nicht mehr. Ausschalten stoppt das Senden vollständig.

#Uns in Cloudflare manuell zulassen

Pro-Plan und höher — eine Custom Rule, die überspringt:

  1. Gehe in Cloudflare zu Security → WAF → Custom rules und wähle Create rule.
  2. Wähle Edit expression und füge den Ausdruck von der Seite des Monitors ein (er sieht etwa so aus: (ip.src in {203.0.113.10 2001:db8::10})).
  3. Wähle als Aktion Skip und aktiviere All remaining custom rules, All rate limiting rules, All managed rules und All Super Bot Fight Mode rules.
  4. Platziere die Regel an erster Stelle und veröffentliche sie.

Free-Plan — Bot Fight Mode: keine Custom Rule kann diesen überspringen, aber er lässt eine Anfrage in Ruhe, die eine IP Access Rule erlaubt.

  1. Gehe zu Security → WAF → Tools → IP Access Rules.
  2. Füge jede unserer Adressen mit der Aktion Allow hinzu. Oder schalte Bot Fight Mode unter Security → Bots aus.

#Uns in AWS WAF zulassen (CloudFront, ein Load Balancer, API Gateway)

  1. Erstelle in AWS WAF unter IP sets ein Set mit unseren IPv4-Adressen (und ein separates für IPv6), jeweils im Format 203.0.113.10/32.
  2. Füge in deiner Web-ACL eine Regel hinzu: Kommt die Anfrage aus dem IP Set, Allow. Gib ihr eine niedrigere Prioritätsnummer als Bot Control und jeder blockierenden Regel, damit sie zuerst ausgewertet wird.

#Uns in Akamai zulassen

  1. Erstelle eine Network List mit unseren Adressen.
  2. Füge sie der Bypass-Liste deiner App & API Protector- oder Bot Manager-Policy hinzu.
  3. Aktiviere die Konfiguration.

#Uns in Fastly zulassen

  1. Füge unsere Adressen in der Next-Gen WAF zu einer Allow List hinzu.
  2. Stelle sicher, dass die Liste von einer Regel mit der Aktion Allow genutzt wird, damit blockierende Regeln sie überspringen.

#Uns in Vercel zulassen

  1. Gehe in deinem Projekt zu Firewall → Configure.
  2. Füge eine neue Regel hinzu: if IP Address is one of unseren Adressen, then Bypass.
  3. Speichere und veröffentliche sie.

#Uns in Imperva zulassen

  1. Füge unsere Adressen unter Website → Security als Ausnahme zu den blockierenden Bot-Schutz- und WAF-Regeln hinzu.

#Uns in Sucuri zulassen

  1. Gehe im Sucuri-Dashboard zu Firewall → Access control → Whitelist IP addresses.
  2. Füge jede unserer Adressen hinzu.

#Uns in DataDome zulassen

  1. Füge im DataDome-Dashboard eine Custom Rule hinzu, die auf unsere Adressen passt.
  2. Setze die Antwort auf Allow.

#Uns in cPanel und Imunify360 zulassen

  1. Gehe in Imunify360 zu Firewall → White list und füge unsere Adressen hinzu.
  2. Füge Adressen auf der Kommandozeile als root einzeln hinzu:
imunify360-agent ip-list local add --purpose white 203.0.113.10 --comment "InfraNest monitoring"
  1. Bitte bei Shared Hosting dein Hosting-Unternehmen, die Adressen für dich auf die Whitelist zu setzen.

#Uns in fail2ban zulassen

  1. Füge unsere Adressen im Abschnitt [DEFAULT] von /etc/fail2ban/jail.local zu ignoreip hinzu:
ignoreip = 127.0.0.1/8 ::1 203.0.113.10 2001:db8::10
  1. Lade fail2ban neu, damit die Änderung wirksam wird.

#Uns in nginx zulassen

  1. Wenn du nur bestimmte Adressen zulässt (allow …; deny all;), füge vor deny all; für jede unserer Adressen eine allow-Zeile hinzu.
  2. Wenn ein Rate Limit (limit_req) unsere Checks abweist, nimm unsere Adressen mit einem geo-Block davon aus.

#Nachdem du uns zugelassen hast

  1. Gehe zurück zur Seite des Monitors.
  2. Wähle Run now (über das Menü ⋯ oder das dort angezeigte Test-connection-Steuerelement).
  3. Sobald der Check durchkommt, verschwinden der Bereich und der Eintrag auf Startseite.

#Fehlerbehebung

  • Das Edge-Netzwerk selbst erreicht deinen Server nicht. Manchmal antwortet der Dienst vor deiner Seite mit einem eigenen Fehler, etwa „Cloudflare konnte den eigenen Server der Seite nicht erreichen (521)“, „… hat keine rechtzeitige Antwort vom eigenen Server der Seite erhalten (522)“ oder „… konnte keine sichere Verbindung zum eigenen Server der Seite aufbauen (526)“. Das ist ein echter Ausfall — Besucher sehen denselben Fehler, also zählt er als Ausfallzeit und löst eine Benachrichtigung aus. Prüfe, ob dein Server läuft, ob seine Firewall die Adressen des Edge-Netzwerks zulässt und ob sein Zertifikat gültig ist.

Verwandte Artikel

In Sekunden startklar

Bring deine gesamte Infrastruktur in ein modernes Dashboard.

Kostenloser Plan · Keine Kreditkarte nötig · In Minuten eingerichtet