Zoekmachines ontdekken pagina’s van een website gewoonlijk door het volgen van links binnen de websites of vanaf andere websites. De zoekmachine ziet alleen de normale HTML links; links in Flash of JavaScript worden overgeslagen. Het is dan ook heel goed mogelijk dat er pagina’s zijn die buiten de boot vallen en niet worden gecrawled door de zoekmachine. De manier om er zeker van te zijn dat alle pagina’s binnen je website gevonden kunnen worden is door gebruik te maken van XML sitemaps. Het maken en plaatsen van XML sitemaps biedt de zekerheid dat alle opgegeven URL’s gecrawled kunnen worden, maar niet dat het ook werkelijk gebeurd. Een garantie voor indexering is er evenmin. Toch is het op dit moment de beste manier om je website voor de zoekmachines toegankelijk te maken. 

XML Sitemap elementen

Een XML sitemap is een XML bestand met daarin een lijst van URL’s. Dit bestand heeft een vaste structuur waardoor het gelezen kan worden door zoekmachines. Naast de URL’s bevat het ook metagegevens over de URL’s: wanneer is het document voor het laastst bijgewerkt, hoe vaak wordt het document normaal gesproken bijgewerkt en hoe belangrijk is het in vergelijking met de andere documenten.

Voorbeeld van een XML sitemap:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <url>
      <loc>http://www.gevondenwordenopinternet.com/</loc>
      <lastmod>2011-05-16T17:33:04+00:00</lastmod>
      <changefreq>daily</changefreq>
      <priority>1.0</priority>
   </url>
</urlset>

 

Toelichting op de elementen:

• Het “loc” element is verplicht, de andere elementen zijn optioneel.
• Met “lastmod” kun je aangeven wanneer het document voor het laatst is gewijzigd. De datumindeling moet voldoen aan de W3C standaard.
• “changefreq” geeft aan hoe vaak het document waarschijnlijk zal worden gewijzigd. Dit is een indicatie voor de zoekmachine hoe vaak de pagina gecrawled moet worden, maar hier kan vanaf worden geweken. Dit wordt door de zoekmachine dus meer als een advies gezien, dan een opdracht. Mogelijke waarden zijn:
  • Always, de pagina veranderd elke keer wanneer hij wordt bezocht.
  • Hourly
  • Daily
  • Weekly
  • Monthly
  • Yearly
  • Never, de pagina zal niet meer veranderen.
• Met “priority” geef je aan hoe belangrijk de pagina is ten opzichte van andere pagina’s binnen de website. De waarden loopt van 0,0 tot 1,0. De standaard prioriteit staat op 0,5, als het element wordt weggelaten. Deze informatie kan door de zoekmachine worden gebruikt om een selectie van pagina’s te maken uit de website. Op die manier wordt de kans vergroot dat de belangrijkste pagina’s binnen de website worden geindexeerd. Het heeft geen invloed op de positie van de pagina ten opzichte van die van andere websites.

Voorwaarden

URL’s binnen een  XML sitemap moeten hetzelfde protocol gebruiker (http, https, etc.) en dezelfde hostname hebben (www.gevondenwordenopinternet.com of nieuws.gevondenwordenopinternet.com maar niet allebei, daarvoor moet je een nieuwe XML sitemap aanmaken).

Binnen een website kunnen meerdere XML sitemaps bestaan. De locatie van een XML sitemap bestand bepaalt welke URL’s er in mogen worden opgenomen. Staat het bestand bijvoorbeeld op de locatie http://gevondenwordenopinternet.com/voorbeeld/sitemap.xml dan mogen er alleen URL’s worden opgenomen die zich binnen de directory “/voorbeeld” bevinden. Andere URL’s zullen worden genegeerd.

Het is belangrijk dat de inhoud van de XML sitemap valide is en aan het sitemap protocol voldoet. Fouten worden niet geaccepteerd. Gelukkig zijn er tools die het het leven van de webmaster gemakkelijker maakt.

• Tool voor het valideren van XML bestanden: http://www.w3.org/2001/03/webdata/xsv
• Tool voor het maken van sitemaps die XML valide zijn en voldoen aan het sitemap protocol: http://www.xml-sitemaps.com/
  Deze website biedt een eenvoudige manier om een XML sitemap te maken. De applicatie doet dit door middel van crawling. Het volgt de interne links van de website. Ook hiervoor geld dat het alleen de HTML links volgt dus de ‘verborgen’ links zullen nog steeds handmatig moeten worden toegevoegd. Maar deze tool kan je heel veel tijd schelen. De online versie is gratis tot 500 pagina’s.

Koppelen aan zoekmachines

Als de sitemap eenmaal klaar staat op de webserver, dan zullen de zoekmachines die dit protocol ondersteunen geïnformeerd moet worden. Dit kan via de Webmaster tools van de verschillende zoekmachines:

• Google Webmaster Tools
• Bing Webmaster Tools
• Yahoo Site Explorer

Naast de mogelijkheid om sitemaps te koppelen, bieden deze webapplicaties nog veel meer tools voor en informatie over de indexering van je website binnen de zoekmachine.

Verder lezen

Uitgebreide informatie over het Sitemaps Protocol vind je op de website van sitemaps.org