MycelAI · crawler
MycelAI-Bot
MycelAI-Bot je crawler, který na vyžádání uživatele proplaví podhoubím veřejné stránky webu a vyhodnotí jeho připravenost na citace v AI vyhledávačích. Neindexujeme obsah pro vyhledávání a data používáme jen pro daný audit.
User agent
MycelAI-Bot/1.0 (+https://mycelai.eu/bot)Jak procházíme
- Respektujeme robots.txt včetně pravidel pro náš user agent.
- Maximálně 50 stránek na jeden audit, jen stejná doména.
- Jedna stránka po druhé, s prodlevou přibližně 1 sekunda mezi požadavky.
- Stahujeme pouze HTML, robots.txt a sitemapy - žádné obrázky ani soubory.
- Audit se spouští jen na výslovné vyžádání uživatele, ne plošně.
- Nevyplňujeme formuláře, nepřihlašujeme se a neprocházíme neveřejné části webu.
Jak procházení zakázat
Přidejte do souboru robots.txt tato pravidla:
User-agent: MycelAI-Bot Disallow: /
Zákaz respektujeme okamžitě - audit se v takovém případě nespustí.
Limity služby
Z jedné IP adresy lze spustit nejvýše 3 audity za hodinu.