enoBot
enoBot è il crawler della directory eno. Visita i siti web pubblicamente accessibili dei produttori di vino per raccogliere dati anagrafici, vini e foto per la directory B2B.
- User agent
enoBot/1.0 (+https://eno.eu/bot)- Frequenza
- al massimo 1 richiesta al secondo per host
- robots.txt
- rispettato, incluso
Crawl-delay - Contatto
- b2b@eno.eu
Esclusione
Per escludere enoBot basta una riga nel robots.txt:
User-agent: enoBot
Disallow: /
In alternativa rimuoviamo su richiesta via e-mail qualsiasi scheda, foto comprese. Le immagini vengono riprese solo per presentare la rispettiva azienda; i dati di contatto non vengono pubblicati.