Motoarele de cautare Google, Yahoo si Microsoft conlucreaza pentru a usura pentru detinatorii de web site-uri includerea site-urilor lor in indexurile Web.
Companiile adopta protocolul Google Sitemaps, disponibil din luna iunie 2005, ce permite proprietarilor de site-uri web sa-si includa manual paginile pe Google si sa verifice daca site-urile lor au fost indexate. Detinatorii de web site-uri trebuie sa urmeze aceleasi proceduri pentru fiecare motor de cautare separat.
Acum, vor putea accesa o singura locatie pentru a alerta motoarele de cautare asupra paginilor lor.
In prima initiativa de a imbunatati procesul Web crawl pentru motoarele de cautare, Google, Yahoo si Microsoft au anuntat suportul pentru Sitemaps 0.90, o cale usoara si gratuita pentru webmasteri de a notifica motoarele de cautare asupra site-urilor lor, pentru o indexare mai cuprinzatoare si mai eficienta, avand ca rezultat o mai buna reprezentare in indexurile de cautare.
Procesul de inscrierea manuala a paginilor suplimenteaza crawling-ul Web traditional dar nu garanteaza automat ca paginile vor fi incluse intr-un index de cautare.
