Publicidad




« anterior próximo »
Páginas: [1]

Autor Tema: [FIX]: Robots.txt  (Leído 762 veces)

Desconectado American2010

  • Newbie
  • *
  • Mensajes: 20
  • Power: 20
    • Ver Perfil
[FIX]: Robots.txt
« en: Abril 20, 2011, 06:28:28 am »
Una consulta, estaba viendo que el Robots.txt que viene con el Spirate trae:

Disallow: /

Entre otros Disallow

Según entiendo eso esta diciendo que los robots no visiten mi sitio.

De hecho al querer crear un sitemap.xml on-line nada se indexó sino hasta que lo dejé así:

Disallow:

¿No es algo para corregir eso?
En línea

Desconectado brayan2259

  • SPadicto
  • ******
  • Mensajes: 1167
  • Power: 221
  • Sexo: Masculino
  • To be or not to be...
    • Ver Perfil
[FIX]: Re: [FIX]: Robots.txt
« Respuesta #1 en: Abril 20, 2011, 07:24:32 am »
 :comando:Definiciones:
http://es.wikipedia.org/wiki/Est%C3%A1ndar_de_exclusi%C3%B3n_de_robots

http://www.robotstxt.org/robotstxt.html

Aqui un tuto de Como hacer un robots (Sp deberia corregir eso)

http://www.emezeta.com/articulos/robots-txt-todo-lo-que-deberia-saber

Tambien se deberia corregir eso del sitemap.xml que dice ga-mxalmacen.net :hi:

Gracias



Mensaje Unido: Abril 21, 2011, 01:50:30 am
Dejen asi su Robots.txt

Código: [Seleccionar]
User-Agent: *
Disallow: /Themes/default/languages/
Disallow: /Themes/default/
Disallow: /Smileys/
Disallow: /Themes/
Disallow: /Smileys/default/
Disallow: /logos/
Disallow: /cpanel

Asi es la manera correcta

EXPLICACION: el Allow no existe,ya que cuando los robots rastreadores entran a todo,y este robots.txt solo es un archivo de exclusion .
esa directiva Allow, no corresponde

Los robots, lo indexan todo, a menos que se lo prohibas, por lo tanto todo estará "Allow" a menos que se lo nieges con un Disallow


Revisen:http://www.robotstxt.org/robotstxt.html  :hi:

« última modificación: Abril 20, 2011, 08:43:05 am por brayan2259 »
En línea


Luis LMFAO

Desconectado beatlero18

  • Sr. Member
  • ****
  • Mensajes: 363
  • Power: 62
  • Sexo: Masculino
  • :party hard:
    • Ver Perfil
    • Macosfera
Re: [FIX]: Robots.txt
« Respuesta #2 en: Abril 20, 2011, 08:01:01 am »
Cita de: brayan2259 en Abril 20, 2011, 07:24:32 am


Código: [Seleccionar]
Disallow: /index.php/


Hyper Fail :/
En línea

KinGJoKer001

  • Visitante
Re:[FIX]: Robots.txt
« Respuesta #3 en: Diciembre 26, 2011, 07:41:19 pm »
vas al panel de google webmaster ahi una opcion donde podes elegir lo que queres bloquer o no
de los bots y allow esta como opcion y si no mira este robots.txt que es de google
http://www.google.com.ar/robots.txt
En línea
Páginas: [1]
« anterior próximo »