Blog de Diseño Web y Programación

En esta publicación veremos paso a paso, qué es el archivo robots.txt, para qué sirve, y como configurarlo para mejorar el posicionamiento natural en buscadores. Os dejamos un recurso en descarga directa, para optimizar vuestro tiempo con este recurso y no perder tiempo en elaborarlo.

A) ¿QUÉ ES UN ARCHIVO robots.txt?
El archivo robots.txt, no es más que una guía, un sendero con el que le damos ordenes a los spiders/arañas de los principales buscadores, indicándoles,  qué queremos que hagan.
Estas arañas, al llegar a nuestro sitio lo primero que hacen es ver si existe este simple archivo de texto plano, y si es así, seguir las directivas de rastreamiento de nuestro website, que  le indiquemos. En simples palabras, decirle qué tiene y que no tiene que indexar.

B) ¿PARA QUÉ SIRVE UN ARCHIVO robots.txt?
Con un archivo robots.txt, lo que hacemos no es más que optimizar, frente a los principales buscadores y de manera directa, qué contenidos nos interesan o no indexar. Imaginemos la siguiente situación, supongamos que tenemos una página web personal, donde tenemos publicado nuestro currículum vitae, y realmente no nos interesa publicar esto de manera abierta en internet.
Lo que hacemos mediante el robots.txt, es decirle que no lea, que no indexe, la ruta donde se encuentra nuestro currículum, de esta manera sólo estará accesible para aquellas personas a las que les facilitemos la url, de dicho documento.
El archivo en sí no se modifica, el .pdf, .doc, no se modifica en ningún momento, digamos que robots.txt, solo afecta a la manera en la que indexamos nuestro website en internet.

C) ¿CÓMO SE CREA UN ARCHIVO robots.txt?
Para comenzar a elaborar, nuestro archivo robots.txt, lo único que tenemos que disponer es de un editor de texto plano, crearemos un documento nuevo en blanco y lo guardaremos con el nombre “robots.txt” (sin comillas y sin mayúsculas), el siguiente paso es plasmar las directivas de indexación.

Los comandos de configuración son los siguientes:

Nunca puede haber, contradicciones, con estos comandos. Debido a que Allow: y Disallow:,  podrían entrar en contradicciones, la gran mayoría de los especialistas en seo, hacen que se decanten por los comandos y parámetros de Disallow:

Os pondremos algunos ejemplos para que lo veáis más claro:

NINGÚN BUSCADOR RASTREARÁ NUESTRO WEBSITE
User-agent: *
Disallow: /

NO RASTREAR UN DIRECTORIO (en este caso un foro)
User-agent: *
Disallow: /foro/

TODOS LOS BUSCADORES PUEDEN RASTREAR TODO
User-agent: *
Disallow:

>> esta opción podría hacerse, también, introduciendo el archivo robots.txt, en blanco completamente.

EXCLUIR UN ROBOT EN PARTICULAR
User-agent: BadBot
Disallow: /

PERMITIR SOLO A UN BUSCADOR (en este caso google)
User-agent: Google
Disallow:

User-agent: *
Disallow: /

BLOQUEAR ARCHIVOS DE UN TIPO ( por ejemplo todo los archivos jpg, de nuestro website )
User-agent: Googlebot
Disallow: /*.jpg$

BLOQUEAR UNA IMAGEN EN CONCRETO
User-agent: Googlebot-Image
Disallow: /imagenes/perros.jpg

D) HAY ALGUNA MANERA DE SABER…  ¿CUÁNTOS BUSCADORES EXISTEN Y COMO DAR DIRECTIVAS A CADA UNO DE ELLOS?
Efectivamente esto es una de las cosas más importantes a tener en cuenta, saber cuántos buscadores existen en la actualidad, y elaborar directivas para cada uno de ellos( o para todos en concreto).
De manera informativa podréis consultar un listado de buscadores y arañas a las que seducir, aquí (link hacia http://www.robotstxt.org/db.html)

E) ¿DÓNDE TENEMOS QUE COLORAR NUESTRO ARCHIVO robots.txt?
La ubicación exacta, de estos archivos txt, será en la raíz de nuestro sitio web. Ponerla en un directorio, no nos servirá de nada. Tenemos que tener en cuenta, además que tendremos que realizar uno para el servidor normal (http://) y otro para el servidor seguro (https://).

F) ¿SE PUEDEN FACILITAR MÁS DATOS A UN ARCHIVO TXT?
Efectivamente se está extendiendo entre la comunidad seo, indicar además dentro del archivo robots.txt, la ruta de nuestro sitemap, en formato xml. La facilitaríamos al final y de la siguiente manera.
Sitemap: http://tusitioweb.com/sitemap.xml

G) RECURSOS
Como recursos os dejamos un archivo robots.txt para permitir un acceso total, que os puede ser muy fácil de implementar. Así podréis analizar la estructura del documento.

Descargar archivos

Nombre: Juan Garcia Delicado Fecha de Nacimiento: 18-04-1982 Lugar de Nacimiento: Málaga Titulación Académica: Master en Diseño Gráfico & Web Profesión: Diseñador web WEB: www.flashmania.es / www.4cuarenta.com

Como bien dice el eslogan de Adwords: “Lo que importa, son los resultados”.

Ofrecer la máxima información posible a nuestros clientes y obtener datos de máxima fiabilidad para realizar el seguimiento de nuestras labores de posicionamiento es fundamental a la hora de conseguir los mejores resultados y conocer si estamos consiguiendo los objetivos que nos marcamos cuando iniciamos una campaña SEO.

En este aspecto, Google Analytics se ha convertido en una herramienta fundamental tanto por la cantidad de datos que ofrece como la calidad de los mismos de cara a interpretar qué estamos haciendo bien y qué tenemos que mejorar. Todo ello sólo con incorporar una etiqueta de JavaScript en el código HTML de la web que estamos siguiendo.

En Google Analytics podemos encontrar datos sobre nuestros usuarios,  destacándonos el origen de los mismos y el idioma predominante. También nos ofrece información de cuantos usuarios únicos han visitado el sitio y cuanto tiempo permanecen en él destacándonos el lugar en el que se produce el abandono. Algo muy útil para valorar qué actitudes tienen los usuarios en nuestro sitio.

Pero todo esto no deja de ser un aperitivo ante lo que considero el plato fuerte de esta herramienta, los datos sobre las fuentes de tráfico.

En Google Analytics podemos conocer al detalle el origen de nuestras visitas y las fuentes de tráfico que apuntan hacia ella. Por ejemplo, el gráfico anterior nos muestra un círculo en el que se expresan las tres vertientes de tráfico que apuntan hacia una web en concreto. En azul las visitas producidas a través de buscadores, en verde páginas web que nos enlazan y en naranja el tráfico directo, es decir, las visitas que han apuntado a nuestro sitio escribiendo la dirección del mismo en el navegador.

¿Qué mejor forma para demostrarle a un cliente el progreso de su sitio web gracias al servicio que les estamos realizando?

Pero aún hay más, en Google Analytics podemos:

• Hacer seguimiento de nuestras visitas conociendo qué lugares ha visitado en nuestra página web ¡Aunque ésta esté desarrollada en Flash!
• Analizar el contenido de nuestro sitio sabiendo el número de veces que se ha visto el título del mismo y cuántos títulos tenemos en el sitio destacándonos el más visto.
• Llevar el seguimiento de todas las páginas web que estamos trabajando de una forma sencilla.
• Realizar comparativas de progreso entre días, meses, años, etc.
• Exportar informes en formato pdf para poder preparar dichos informes para nuestros clientes.

Y para terminar este breve repaso que hacemos sobre esta herramienta os destaco una opción que me parece realmente fantástica: La conversión de objetivos.

Si estamos optimizando en buscadores una tienda virtual tenemos claro que el objetivo es vender. Pues bien, este objetivo se cumple cuando el usuario pulsa la opción “realizar pedido” en la tienda virtual cuando termina de añadir productos a su cesta de la compra. Google Analytics nos ofrece la posibilidad de poder realizar un seguimiento para conocer cuántas veces se ha conseguido el objetivo de venta indicándonos cuántas veces se ha pulsado esa opción. Algo realmente interesante un paso más en cuanto al seguimiento de estadísticas avanzado se refiere.

Termino recomendando a todos aquellos que aún no conozcáis esta herramienta, su uso de forma imprescindible para mejorar considerablemente nuestros resultados y también la información que ofrecemos a nuestros clientes sobre el trabajo que realizamos. Algo fundamental ante un servicio poco valorado en algunos casos debido al desconocimiento que sufren muchos clientes.

Ah, y por supuesto estamos hablando de una herramienta de Google, así que 100% gratuita.

www.google.com/analytics/es-ES

La famosa teoría del Sandbox de Google es una especie de “purgatorio” en el que google pone a las webs nuevas desde hace 3-4 años. Tiene mucho que ver con un filtro “anti-aging” , es decir, una manera de evitar que las webs de los spammers invadan sus índices.

Hoy día hay programas para generar páginas webs inmensas en pocos minutos, optimizadas
para los buscadores, y llenas de contenido recopilado de Internet y Google trata de luchar contra esta corriente de esta forma. Haciendo que una web nueva este un periodo de unos meses antes de enviarle tráfico en cantidad.

Eso desalienta a muchos spammers de enviar a google webs inmensas optimizadas, pero hechas con contenido automático, copiado de otros sitios, por lo tanto sin mucho valor para el
usuario. Los que buscan el beneficio rápido tienen pues más trabas para conseguirlo.

Es por esto también que Google da tanto valor a los enlaces que apuntan a una web. Ya que normalmente, para “triunfar” en google, es esencial captar enlaces externos. Esto es prueba de
que la pagina tiene un cierto valor.

Espero que te resulte interesante.

Pues bueno, parece ser que sí. Un informe elaborado por Netsuus (empresa de medición y análsis del mercado online en España) podemos ver como resultado que el 60,6% del tráfico web se lo llevan las páginas web cuyos nombres de dominios no supera la extensión de 6,2 caracteres de media.

Para poder sacar estos resultados, Netsuus ha analizado los datos que ha recogido durante el mes de mayo de 2007 en las 500 páginas web más visitadas entre los más de 100.000 dominios monitorizados a través de su red de ISPs. Estas 500 webs tienen nombres cuya extensión está en 5 y 12 caracteres, con una desviación estandar del 3,6. Es decir, requieren una media de 8,5 pulsaciones para poder ser escritas.

El 60,6% del tráfico se lo llevan las webs cuyo dominio tiene una extensión promedio de 6,2 caracteres, muy por debajo de la media. Es decir, que las páginas más visitadas tienen a tener un dominio más corto. Esto se puede ver claramente con otra conclusión que se puede sacar del gráfico: las webs con 6 caracteres o menos se llevan el 64% de las visitas. Y si se computan las webs con 7 caracteres o menos, el porcentaje asciende a un 75,2% (un lugar como youtube requiere exactamente esas 7 pulsaciones).

Por lo tanto, una de las conclusiones que podemos sacar es que los dominios breves son los más rentable en cuanto a visita, pero nos encontramos el problema de que la mayoria de estos dominios se encuentran ya tomados. Aún así, merece la pena idearse un dominio corto, ya que parece ser que parece ventajoso llamarse “Google”, “Yahoo”, “Msn”, etc … a pesar de que estas palabras (si quitamos a lo que envuelven) como tal no transmiten información. Como conclusión final, aparentemente el tamaño si importan en Internet.

El informe elaborado por Netsuus con datos recogidos en España a lo largo del mes de mayo, se puede consultar en su página web.