#Documento robot para sitio KUZU #Metemos primero el sitemap.xml Sitemap:http://www.kuzu.es/sitemap.xml #--------------------------------------- #Ahora las directrices para los robots #Elegimos el robot, en este caso las normas son para todos al poner * User-Agent:* #Le decimos lo que no queremos que indexe Disallow:/cgi-bin/ Disallow:/private/ Disallow:/conf/ Disallow:/anon_ftp/ Diallow:/httpdocs/_imgs/ Diallow:/httpdocs/css/ Diallow:/httpdocs/files/ Diallow:/httpdocs/imgs/ Diallow:/httpdocs/js/ Diallow:/httpdocs/includes/ Diallow:/httpdocs/Otras cosas/ Diallow:/httpdocs/phpMyAdmin/ Diallow:/httpdocs/plantillas/ #Le damos 10 segundos de pausa entre peticion de pagina para no saturar nuestro servidor Crawl-delay:10