# Establecemos total libertad para webcrawler
# Ya que dejamos Disallow vacio

User-agent: webcrawler
Disallow:

# En cambio lycra y BadBot
# tiene prohibido integramente el acceso

User-agent: lycra
User-agent: BadBot
Disallow: /

# El resto de bots (señdo mediante *)
# tiene prohibido el acceso a los directorios
# /tmp y /log; libertad para el resto.

User-agent: *
Disallow: /tmp
Disallow: /logs

# Permitir trabajar a los botsde  2 am a 5:45 am
# Las horas son siempre Greenwitch

Visit-time: 0200-0545

# Un documento CADA  30 minutos
Request-rate: 1/30m

# Combinado: 1 doc cada 10 minutos
# y solo de una  a 5 tarde
#Request-rate: 1/10m 1300-1659