För att kunna visa relevanta annonser måste Google ladda ned en kopia av din sida och leta nyckelord i den. Sidan sparas dock i en cache, så om det framgår av serverns svar att din sida inte ändrats sedan förre besökaren kan Google ibland skippa att ladda ned den varje gång. Då din sida är automatgenererad är det dock troligt att den cachefunktionen är avstängd.
Om du vill slippa alla väluppfostrade webspindlar som läser robots.txt (fundera på om du verkligen vill det) men ändå ha möjlighet att visa Google Adsense-annonser på alla sidor, skriv följande i en fil kallad robots.txt och spara i roten på din public_html:
User-agent: Mediapartners-Google*
Disallow:
User-agent: *
Disallow: /
Efter User-agent kan du skriva ett namn på en specifik spindel, eller "*" för att matcha alla. Googles annonsspindel har ett eget namn (börjar med Media-partners-Google), som skiljer sig från Googles indexerings-bot (Googlebot).
Om du anger en tom "Disallow:"-sats under något robotnamn så utestängs just den roboten inte från någon del av din site. Du kan istället ange en eller flera rader med URL-sökvägar (biten till höger om ditt domännamn). Allt som inleds med den URL-delen blir då blockerat.
Istället för "/" som matchar allt på den domänen kan du ange en sökväg till någon speciellt bandbreddskrävande del av din webplats. Exempel:
User-agent: ElakSpindel
Disallow: /videolib/
Disallow: /bigdownloads/
Just Google erbjuder även en annan variant. Istället för att helt kasta ut spindlarna kan du tala om för Googlebot vilka delar du vill ha indexerade, samt hur ofta den får knacka på. Se dokumentationen om Google sitemaps:
http://www.google.co...s/en/about.html
Lycka till!
/Anders Dovervik,
Stockholms Judoklubb
EDIT:
Jag gick in och sökte efter om jag kunde hitta var ditt egentliga problem uppstår.
Du bör kanske fundera lite på hur stor din site egentligen är... Googles sökmotor hävdar att den indexerat 15500 sidor på domänen "limhamn.nu". Se
http://www.google.com/search?hl=en&q=site%3Alimhamn.nu
Om det låter orimligt mycket, fundera på om du automatgenererar sidor någonstans. Det kan hända att du skapar flera sidor som har olika adress men innehåller samma information. Testa t ex den här sökningen:
http://www.google.com/search?hl=en&lr=&saf...+valborg+tidigt
Speciellt automatgenererade PDF-filer med bilder i borde du kanske stänga av i robots.txt (Disallow: /modules/news/makepdf.php ).
Om 15500 sidor känns rimligt och du vill ha PDF-erna indexerade, fundera på om Manufrogs Lite-paket verkligen är rätt storlek för dig
![:whip:](http://forum.psychofrog.se/public/style_emoticons/default/huh.gif)
.
/DS
Detta inlägg har redigerats av Ado: 18 maj 2006 - 23:30