abr
18
2014

Cómo hacer el fichero Robots.txt Opencart

El fichero Robots.txt  limita o permite a los spider o bot recoger información de tu web, la mayor parte de las veces se usa para indexar contenido, conocer la estructura de la web, ver que ficheros tiene la web, etc.

Muchas veces no nos interesa que los robots naveguen por toda la estructura de directorios del servidor, principalmente porque realizan peticiones al servidor y el servidor consume ancho de banda inútil. Otras veces no queremos que navegue por algunos directorios porque no queremos que indexe ese contenido.

Para opencart yo suelo utilizar un fichero robots similar a este:

 

User-Agent: *
Crawl-delay: 60
Disallow: /admin/
Disallow: /cache/
Disallow: /library/
Disallow: /system/
Disallow: /catalog/
Disallow: /download/
Disallow: /image/
Disallow: /cgi-bin/
Disallow: /vqmod
Disallow: /*.js$
Disallow: /*&limit
Disallow: /*&sort
Disallow: /*?route=checkout/
Disallow: /*?route=account/
Disallow: /*?route=product/search
Disallow: /*?route=affiliate/
Allow: /
 
User-agent: Mediapartners-Google
Disallow: /
User-agent: Adsbot-Google
Disallow: /

En este fichero bloqueamos el paso a algunas carpetas o directorios que no es necesario que pasen los robots, además bloqueamos el paso a los archivos js, y también relentizamos las peticiones al servidor, ya que muchas veces los robots no paran de enviar solicitudes recargado el servidor.

Han llegado aquí buscando:
Ningún usuario a búscado algo parecido en nuestra website

Acerca del Autor:

Leave a comment


9 − siete =

Búsquedas similares

Ningún usuario a búscado algo parecido en nuestra website
Google+