Dos ficheros importantes. Con ellos ayudamos al serp de los buscadores a encontrar todas las páginas de nuestra web. Aquí os los muestro:

robots.txt

User-agent: *
Disallow: /cgi-bin/
Disallow: /js/
Disallow: /css/
Disallow: /wordpress/
Sitemap: http://www.fotoirene.com/sitemap.xml

User-agent En él indicaremos qué spider pueden leer este fichero.

Disallow Aquí indicaremos qué carpetas no le permitimos acceder.

SiteMap.xml

<?xml version=’1.0′ encoding=’UTF-8′?>
<urlset xmlns=”http://www.google.com/schemas/sitemap/0.84″
xmlns:xsi=”http://www.w3.org/2001/XMLSchema-instance”
xsi:schemaLocation=”http://www.google.com/schemas/sitemap/0.84
http://www.google.com/schemas/sitemap/0.84/sitemap.xsd”>

<url>
<loc>http://www.fotoirene.com/index.php</loc>
<lastmod>2007-09-14</lastmod>
<changefreq>weekly</changefreq>
<priority>1</priority>
</url>

<url>
<loc>http://www.fotoirene.com/blog/index.php</loc>
<lastmod>2007-09-15</lastmod>
<changefreq>dayly</changefreq>
<priority>0.8</priority>
</url>

<url>
<loc>http://www.fotoirene.com/foro/index.php</loc>
<lastmod>2007-09-15</lastmod>
<changefreq>dayly</changefreq>
<priority>0.8</priority>
</url>

<url>
<loc>http://www.fotoirene.com/servicios.php</loc>
<lastmod>2007-09-14</lastmod>
<changefreq>weekly</changefreq>
<priority>0.5</priority>
</url>

<url>
<loc>http://www.fotoirene.com/fotografia-modelos.php</loc>
<lastmod>2007-09-14</lastmod>
<changefreq>weekly</changefreq>
<priority>0.8</priority>
</url>

<url>
<loc>http://www.fotoirene.com/paisaje.php</loc>
<lastmod>2007-09-14</lastmod>
<changefreq>weekly</changefreq>
<priority>0.8</priority>
</url>

<url>
<loc>http://www.fotoirene.com/infantil.php</loc>
<lastmod>2007-09-14</lastmod>
<changefreq>weekly</changefreq>
<priority>0.8</priority>
</url>

<url>
<loc>http://www.fotoirene.com/boda-bautizo.php</loc>
<lastmod>2007-09-14</lastmod>
<changefreq>weekly</changefreq>
<priority>0.8</priority>
</url>

<url>
<loc>http://www.fotoirene.com/contacto.php</loc>
<lastmod>2007-09-14</lastmod>
<changefreq>weekly</changefreq>
<priority>0.3</priority>
</url>

<url>
<loc>http://www.fotoirene.com/sobre-mi.php</loc>
<lastmod>2007-09-14</lastmod>
<changefreq>weekly</changefreq>
<priority>0.3</priority>
</url>

</urlset>

La primera parte se ha de poner para indicar la codificación y la versión del sitemap que se está utilizando. Después, utilizamos los elementos url para indicar las páginas que queremos mapear. Este elemento está formado por cuatro variables que hemos de rellenar:

loc la url de la página a la que haremos referencia.

lastmod última fecha de modificación de la página, en formato americano yyyy-mm-dd.

changefreq indicar la frecuencia con la que esa página se actualiza, los valores pueden ser: dayly, weekly, monthly…

priority daremos un valor de prioridad respecto a todas las otras páginas del sitio web. Es un valor ponderado entre 0 y 1. Por ejemplo, si damos a todas un valor de 1, todas seran igual de importantes. Si queremos dar más importancia al índice respecto a otra página, debería tener un valor mayor. Es decir, 1 -> para la más importante, 0 -> para la menos.

Estos dos ficheros son fundamentales para el SEO. En la herramienta web que nos proporciona google para los webmasters, encontraremos un validador de estos dos ficheros.

Saludos a todos de nuevo!