Escolar Documentos
Profissional Documentos
Cultura Documentos
Antes de comenzar, s o s para que entiendas por qu este material es de gran valor, debo
hacerte una pequea y fugaz introduccin al concepto del crawling en buscadores.
Con crawling nos referimos en este caso al proceso de crawleo o rastreo que llevan a cabo
los bots de Google a la hora de encontrar tu pgina y moverse dentro de ella, analizando y
estudiando lo que ah se encuentran para despus asignar una determinada puntuacin en
funcin de los criterios dictaminados por el algoritmo central de Google.
Existe un concepto dentro del SEO denominado crawl budget que se relaciona con todo
esto que vamos a ver.
El crawl budget est estrechamente relacionado con el crawling que efectan los bots
de Google y lo podemos definir como el tiempo que Google determina que deben
permanecer sus bots en tu pgina (trabajando) en funcin a su autoridad.
2
Aplicaciones de SEO On Page prcticas y rpidas de implementar que nadie te cuenta para optimizar tu web (en menos de 15 minutos)
Dean Romero - blogger3cero.com Optimizando el META ROBOTS de tu web o blog
Esta metaetiqueta lo que hace es decirle a los bots de los motores de bsqueda que no
deben indexar ese contenido, es decir, que no deben aadirlo a su ndice de resultados.
Por tanto, el contenido no ser indexado si desde el principio aadimos noindex a travs de
metarobots (tranquilo que ahora te ensear cmo hacerlo y qu ventajas tiene, pero antes
debes entender bien para qu sirve).
Por contra, si le aadimos noindex a una URL (un post o lo que sea) que ya est indexada,
es decir, que no tena el noindex desde el principio y por tanto ya forma parte del ndice de
resultados de Google, en teora Google al pasar de nuevo por esta URL y al ver el noindex
debera proceder a desindexarla.
Por lo tanto, pginas de sobre m o de quienes somos, aviso legal, poltica de privacidad,
cookies y todas estas siempre debern ir en noindex.
No tienen bsquedas per se. No aportan un valor al usuario que utiliza Google, solo tienen
valor para el usuario que visita tu pgina web y para eso ya se la facilitas a travs de tu men
de navegacin.
Google cuando visita cada una de las URLs, pginas, artculos o lo que sea de tu web o blog
est consumiendo recursos.
Cada vez que Google entra en una de tus URLs se pierde un poco de ese tiempo de rastreo y
as hasta que se acaba tu banca ancha hasta la prxima vez que vuelva a pasar.
La meta etiqueta noindex no hace que Google deje de entrar / rastrear la URL donde
la aades, o lo que es lo mismo = a pesar de utilizar el noindex Google seguir gastando
recursos en esas pginas ya que seguir entrando en ellas, lo nico que no las mostrar
3
Aplicaciones de SEO On Page prcticas y rpidas de implementar que nadie te cuenta para optimizar tu web (en menos de 15 minutos)
Dean Romero - blogger3cero.com Optimizando el META ROBOTS de tu web o blog
en su buscador.
Y cul es la nica forma de que Google no entre en una de tus URLs y por tanto no gaste
recursos y los asigne a otras partes de tu web que los necesitan ms?
>> Bloquear el acceso a los bots de Google a travs del archivo robots.txt. Pero tranquilo que
eso lo veremos luego :-)
Ahora te voy a ensear cmo deberas usar el noindex en tu web de forma prctica y con
capturas de pantalla.
La idea es que despus de leer esta gua puedas optimizar tu web y te aseguro que as ser.
---
Vamos a ver cmo tienes que utilizar el noindex paso a paso en WordPress, a travs de los
plugins de SEO ms archiconocidos que existen y que usa el 99% de los usuarios:
Pondremos las pginas del men (que no traccionan trfico desde buscadores) en
noindex
Nos vamos a las tpicas pginas del men que son meramente informativas para los usuarios
que visitan nuestro site pero que no responden a bsquedas de los usuarios de Google y que
por tanto no tiene sentido que estn indexadas.
Voy a aplicar un ejemplo para que veas un criterio de seleccin con mi blog Blogger3.0:
En mi caso (en el momento de escribir esta gua) tengo estas pginas en el men:
4
Aplicaciones de SEO On Page prcticas y rpidas de implementar que nadie te cuenta para optimizar tu web (en menos de 15 minutos)
Dean Romero - blogger3cero.com Optimizando el META ROBOTS de tu web o blog
Autores invitados - tiene valor para mi lector habitual, no as para Google o los
usuarios de Google, en noindex.
Diccionario - esto s es una pequea keyword (diccionario SEO), s tiene bsquedas y
por tanto s le interesa a los usuarios de Google tambin, en index.
Suscrbete - sin valor para Google, en noindex.
Contacto - sin valor, noindex.
Si quieres poner TODAS las pginas de tu web en noindex, porque de antemano sabes que
ninguna de ellas van a aportar valor para el usuario de Google tendremos que ir a:
a) en Yoast
SEO > Ttulos y metas > Tipos de contenido > Pginas > noindex
5
Aplicaciones de SEO On Page prcticas y rpidas de implementar que nadie te cuenta para optimizar tu web (en menos de 15 minutos)
Dean Romero - blogger3cero.com Optimizando el META ROBOTS de tu web o blog
b) en All in One
All in One SEO > scroll hacia abajo > Ajustes de Noindex > pginas
6
Aplicaciones de SEO On Page prcticas y rpidas de implementar que nadie te cuenta para optimizar tu web (en menos de 15 minutos)
Dean Romero - blogger3cero.com Optimizando el META ROBOTS de tu web o blog
Ahora bien. Ciudado con esta opcin, a travs de ella como decamos ests dando por
sentado que TODAS las pginas de tu proyecto no tienen valor para buscadores.
Pues que en la prctica esto suele ser una verdad a medias, ya que lo normal es que algunas
pginas no tengan valor pero otras s, como ocurra con mi ejemplo con Blogger3cero (donde
diccionario y servicios SEO s me interesaba tener en index).
Por lo tanto, si quieres elegir de una a una qu pginas deberan estar en index y cuales en
noindex tenemos que ir dentro de cada una de esas pginas y operar nuevamente a travs
del plugin en cuestin:
a) en Yoast
Nos vamos al final del artculo en cuestin y debajo del todo, en el propio panel de
Wordpress nos aparecern las opciones del plugin.
Haremos click en la rueda dentada de ajustes que tenemos arriba a la izquierda y despus
desplegaremos la lista de opciones de la opcin meta robots index y marcaremos noindex.
b) en All in One
Vamos una vez ms al final del post y aqu no tenemos que hacer click en ninguna pestaa.
La interfaz de All in One es un poco ms sencilla por lo general que Yoast.
7
Aplicaciones de SEO On Page prcticas y rpidas de implementar que nadie te cuenta para optimizar tu web (en menos de 15 minutos)
Dean Romero - blogger3cero.com Optimizando el META ROBOTS de tu web o blog
En la opcin Robots Meta NOINDEX desplegamos las pestaas disponibles y marcamos por
defecto - noindex.
Perfecto.
Ahora que ya hemos comentado de poner las pginas menos importante para buscadores
en noindex, vamos a hacer un repaso por el plugin de Yoast para que sepas
exactamente a qu tienes que aplicar el noindex de forma global pero en toda tu web.
Si usas All in One debes saber que las opciones de configuracin son exactamente las
mismas, as que todo lo que veas aqu con Yoast lo tendrs que aplicar igual a travs de tu
panel de All in One, es completamente extrapolable.
Por tanto no voy a repetir todo el proceso de forma similar slo para colocar capturas de
pantalla de la interfaz de All in One y adems para marcar las mismas opciones. Estara
llenando esto de fotos sin ningn valor adicional y lo que queremos es ir rpido.
Comenzamos.
8
Aplicaciones de SEO On Page prcticas y rpidas de implementar que nadie te cuenta para optimizar tu web (en menos de 15 minutos)
Dean Romero - blogger3cero.com Configuracin metarobots (index / noindex) con el plugin de Yoas
Configuracin metarobots
(index / noindex) con el plugin
de Yoast
Me voy a saltar todo lo que no sea importante y vamos a ir directamente a las
configuraciones de index / noindex que tienes que tener en cuenta.
Vamos a SEO > Ttulos y metas > Tipos de contenido > ...
Normalmente (aunque hay que ver cada proyecto en particular) las webs suelen rankear
tanto entradas como pginas, pero si t por ejemplo, tienes una web donde slo quieres
conseguir trfico desde las entradas entonces marcars pginas en noindex, como
comentbamos antes.
Si por el contrario, trabajas con un meganicho martillo y slo vas a utilizar las pginas para
rankear sera til desde el primer da marcar noindex en las entradas. Pero tranquilo,
normalmente no te har falta, ya que este es un caso muy particular.
Por otro lado, los archivos Multimedia prefiero marcarlos como noindex y te recomiendo
hacer lo mismo.
Continuamos. Ahora seguimos todava en Ttulos y metas pero esta vez haremos click sobre
la pestaa Taxonomas.
9
Aplicaciones de SEO On Page prcticas y rpidas de implementar que nadie te cuenta para optimizar tu web (en menos de 15 minutos)
Dean Romero - blogger3cero.com Configuracin metarobots (index / noindex) con el plugin de Yoas
Aqu nos vamos a encontrar con las categoras y las etiquetas o tags.
Una vez ms, que las indexes o no depende de tu proyecto, pero por lo general la opcin de
configuracin ms comn es tener las categoras en index y las etiquetas en noindex.
Yo te digo que pongas las categoras en index slo si tienes la intencin de rankearlas.
Es decir, si quieres aparecer en los primeros puestos del buscador con ellas.
Yo por ejemplo, para mi blog Blogger3cero s tiene sentido que las tenga en index ya que
rankeo con varias de ellas.
http://blogger3cero.com/articulos-de/adsense/
Pero si solo vas a utilizar tus categoras como meras cajas donde agrupar los contenidos y
solo van a aportar valor y orden para el usuario que visita tu web ponlas en noindex.
Las etiquetas por otro lado, si que recomiendo en el 99% de los casos ponerlas en noindex.
Generan muchsimo contenido duplicado, URLs pobres y muy escaso texto que son bamb
para Google Panda y adems a la larga es muy fcil que terminen por canibalizarnos otras
URLs como entradas o pginas de nuestro blog.
10
Aplicaciones de SEO On Page prcticas y rpidas de implementar que nadie te cuenta para optimizar tu web (en menos de 15 minutos)
Dean Romero - blogger3cero.com Configuracin metarobots (index / noindex) con el plugin de Yoas
11
Aplicaciones de SEO On Page prcticas y rpidas de implementar que nadie te cuenta para optimizar tu web (en menos de 15 minutos)
Dean Romero - blogger3cero.com Configuracin metarobots (index / noindex) con el plugin de Yoas
Por ltimo en lo que a esta seccin se refiere haremos click en la pestaa Otros.
12
Aplicaciones de SEO On Page prcticas y rpidas de implementar que nadie te cuenta para optimizar tu web (en menos de 15 minutos)
Dean Romero - blogger3cero.com Configuracin metarobots (index / noindex) con el plugin de Yoas
Nos falta por tocar una opcin de Yoast. Probablemente la ms importante de todas, pero
eso lo tendremos que hacer justo abajo, en el siguiente epgrafe y ahora cuando lo leas
entenders por qu :)
13
Aplicaciones de SEO On Page prcticas y rpidas de implementar que nadie te cuenta para optimizar tu web (en menos de 15 minutos)
Dean Romero - blogger3cero.com Optimizando el archivo Robots.txt para ahorrar tiempo a Googlebot
Optimizando el archivo
Robots.txt para ahorrar
tiempo a Googlebot
Nosotros vamos a optimizar el robots.txt desde el plugin de Yoast, que a da de hoy es quien
lo pone ms fcil a la hora de tocar este archivo sin necesidad de entrar a nuestra web por
FTP ni cosas engorrosas de ese estilo.
Recuerda. El metarobots (el noindex) eliminaba nuestras pginas del ndice de resultados de
Google pero a pesar de esto los bots de Google o Googlebot seguan gastando recursos de
rastreo en esas pginas (crawl budget).
Tanto metarobots como robots (si! ya s que suenan similar y parecen lo mismo pero no lo
son!) deben trabajar de forma conjunta y ordenada.
De ese modo le estaras dando acceso a los robots de Google a TODA tu pgina web con el
consecuente gasto de recursos para Googlebot que eso significa.
O quizs es posible que ya lo tengas y adems est optimizado pero te aseguro que esto no
es lo comn.
Para ver tu archivo robots actual tan solo tienes que escribir el nombre de tu pgina y
despus aadir:
/robots.txt
Bien. A da de hoy (aunque es posible que si lees esta gua en un futuro ya no est as) mi
robots est fatal.
Lo tengo por defecto tal y como lo mete Wordpress y para que te hagas una idea a nivel
visual tengo algo de este estilo:
14
Aplicaciones de SEO On Page prcticas y rpidas de implementar que nadie te cuenta para optimizar tu web (en menos de 15 minutos)
Dean Romero - blogger3cero.com Optimizando el archivo Robots.txt para ahorrar tiempo a Googlebot
Tambin se puede optimizar a travs del plugin de All in One ya que son casi hermanos
gemelos ambos plugins, pero aqu he de decir que aunque por lo general me gusta ms la
interfaz de All in One en el apartado de tocar el archivo robots.txt es psima.
Yoast aqu nos lo pone realmente fcil as que vamos a ver cmo hacerlo a travs de l.
Esto nos dar acceso al panel maestro desde el cual podremos modificar todo lo que
queramos del robots.txt
15
Aplicaciones de SEO On Page prcticas y rpidas de implementar que nadie te cuenta para optimizar tu web (en menos de 15 minutos)
Dean Romero - blogger3cero.com Optimizando el archivo Robots.txt para ahorrar tiempo a Googlebot
Y aqu ser donde insertars el robots.txt modelo para Wordpress que te voy a facilitar a
continuacin.
De este modo bloquears un montn de rutas basura que a da de hoy Googlebot visita
dentro de tu pgina y por tanto pierde el tiempo dentro de ellas.
Este modelo est pensado para ser extrapolable a cualquier Wordpress y no bloquea
secciones crticas donde t bajo tu buen criterio debes decidir si bloquear o no.
Bloquea simplemente la basura y tambin algunos bots maliciosos que navegan por Internet
adems de pginas de autor, tags, paginaciones y un largo etctera.
Aqu lo tienes:
User-agent: *
Disallow: /wp-admin/
Disallow: /*/feed/
Disallow: /*/trackback/
Disallow: /*/attachment/
Disallow: /author/
Disallow: /*/page/
Disallow: /*/feed/
Disallow: /tag/*/page/
Disallow: /tag/*/feed/
Disallow: /page/
Disallow: /comments/
Disallow: /xmlrpc.php
Disallow: /b*?s=
Disallow: /*/*/*/feed.xml
Disallow: /?attachment_id*
Sitemap: http://tuweb.com/sitemap.xml
User-agent: Orthogaffe
Disallow: /
User-agent: UbiCrawler
Disallow: /
User-agent: DOC
Disallow: /
User-agent: Zao
Disallow: /
User-agent: sitecheck.internetseer.com
Disallow: /
User-agent: Zealbot
Disallow: /
User-agent: MSIECrawler
Disallow: /
16
Aplicaciones de SEO On Page prcticas y rpidas de implementar que nadie te cuenta para optimizar tu web (en menos de 15 minutos)
Dean Romero - blogger3cero.com Optimizando el archivo Robots.txt para ahorrar tiempo a Googlebot
User-agent: SiteSnagger
Disallow: /
User-agent: WebStripper
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: Fetch
Disallow: /
User-agent: Offline Explorer
Disallow: /
User-agent: Teleport
Disallow: /
User-agent: TeleportPro
Disallow: /
User-agent: WebZIP
Disallow: /
User-agent: linko
Disallow: /
User-agent: HTTrack
Disallow: /
User-agent: Microsoft.URL.Control
Disallow: /
User-agent: Xenu
Disallow: /
User-agent: larbin
Disallow: /
User-agent: libwww
Disallow: /
User-agent: ZyBORG
Disallow: /
User-agent: Download Ninja
Disallow: /
User-agent: wget
Disallow: /
User-agent: grub-client
Disallow: /
User-agent: k2spider
Disallow: /
User-agent: NPBot
Disallow: /
User-agent: WebReaper
Disallow: /
Esa ser la nica lnea que debes sustituir por la URL real del sitemap de tu pgina web.
No te olvides.
En caso de que no tengas sitemap o ahora no sepas el modo de conocer su URL y quieras
pasar del tema y ponerte el robots ya mismo no pasa nada, puedes borrar esa lnea roja y
aadirlo todo tal cual, pero sin el sitemap.
17
Aplicaciones de SEO On Page prcticas y rpidas de implementar que nadie te cuenta para optimizar tu web (en menos de 15 minutos)
Dean Romero - blogger3cero.com Creando Sitemaps no indexables para el usuario a travs de plugins
Sitemaps fsicos en el cdigo HTML de tu pgina, accesibles para los usuarios que visitan
nuestra web y no solo ya para Google (que tambin).
Estos mapas del sitio son vitales para facilitarle a Googlebot el crawleo y la correcta movilidad
a travs de todas y cada una de las pginas de nuestra web.
Googlebot as como cualquier bot de Internet, se mueven dentro de las webs a travs de los
hipervnculos o enlaces internos que enlazan diferentes secciones.
Si nosotros creamos mapas del sitio adicionales de enlaces internos y los hacemos accesibles
tanto para usuarios como para buscadores estaremos optimizando el crawleo de forma
directa.
Luego iremos a crear una nueva pgina dentro de WordPress y antes de publicarla la
pondremos en noindex desde el plugin de SEO que estemos utilizando tal y como se ha
explicado a lo largo de la presente gua.
Esta pgina nueva ser la encargada de albergar el Sitemap HTML que vamos a crear y la
podemos renombrar con algo del estilo Mapa del sitio o similar.
En este momento estaremos dentro de las opciones del plugin, realmente sencillas, y
tendremos que coger uno de los shortcodes que nos facilita y pegarlo en la pgina de mapa
del sitio que previamente hemos creado.
18
Aplicaciones de SEO On Page prcticas y rpidas de implementar que nadie te cuenta para optimizar tu web (en menos de 15 minutos)
Dean Romero - blogger3cero.com Creando Sitemaps no indexables para el usuario a travs de plugins
El que est recuadrado justo en el medio de la pantalla representa el Sitemap genrico que
har que se muestren todas y cada una de las URLs de nuestra web.
Tienes que pensar en este tipo de Sitemap en particular como una pequea maraa de
enlaces potenciadora para la seccin que decidas mostrar a travs de l.
Por lo tanto, si por ejemplo tienes un blog donde solo rankeas con entradas y nunca con
pginas debers utilizar uno de los shortcode de la derecha que solo listar las entradas en
este nuevo sitemap: [wp_sitemap_page only=post]
Es solo un ejemplo. Usa el que represente las URLs que ms visibilidad tienen que recibir por
parte de buscadores (recuerda, el bot llegar ahora a ellas con ms facilidad y desde ms
rutas).
Para finalizar, una prctica til es luego linkar este mapa del sitio web desde algn lado de tu
pgina home mediante un enlace interno (ya que la home es una de las pginas con mayor
frecuencia de rastreo por defecto por parte de buscadores).
He tratado de esforzarme mucho por hacerla lo ms explicativa y entendible posible sin que
a su vez se haga eterna, no obsante, si te has quedado con alguna duda pregntamela a
travs de los comentarios de los post de Blogger3cero.com
Dean.
19