::: FORUM ManuFrog :::: Sökmotorerna indexerar ihjäl min hemsida - ::: FORUM ManuFrog :::

Hoppa till innehåll

Sida 1 av 1
  • Du kan inte skapa ett nytt ämne
  • Du kan inte svara i detta ämne

Sökmotorerna indexerar ihjäl min hemsida Varför drar sökmotorerna så mycket kraft

#1 Medlemmen är offline   tvesala 

  • Rookie
  • PipPip
  • Grupp: Members
  • Inlägg: 4
  • Gick med: 11-maj 06

Postad 17 maj 2006 - 16:41

Jag har precis bytt webhotells leverantör till Manufrog. Statistiken är lite bättre här och jag har upptäckt att Google slukar massor med bandbredd. Min sida, www.limhamn.nu, har jag haft i 5 års tid och jag ligger på i snitt 90 besökare om dagen. De flesta kommer från Google.

Det jag nu har upptäckt är att mina 10 Gb snabbt kommer att ätas upp av Googles webbspindlar. Nu känns Googles indexering mer som en belastning än som nytta. :whip:

På 2,5 dygn har den totala bandbredden blivit 1,4 Gb varav 1,13 kommer från de olika sökmotorernas spindlar. Google är värst med sina 1 Gb.

Har någon några tips och råd om konfigurering av robots.txt kan hjälpa mm? Har det betydelse att jag har google annonser på min sida?

mvh

Roger
0

#2 Medlemmen är offline   Ado 

  • VIP Member
  • PipPipPipPipPipPip
  • Grupp: Members
  • Inlägg: 97
  • Gick med: 01-juni 04

Postad 18 maj 2006 - 23:06

För att kunna visa relevanta annonser måste Google ladda ned en kopia av din sida och leta nyckelord i den. Sidan sparas dock i en cache, så om det framgår av serverns svar att din sida inte ändrats sedan förre besökaren kan Google ibland skippa att ladda ned den varje gång. Då din sida är automatgenererad är det dock troligt att den cachefunktionen är avstängd.

Om du vill slippa alla väluppfostrade webspindlar som läser robots.txt (fundera på om du verkligen vill det) men ändå ha möjlighet att visa Google Adsense-annonser på alla sidor, skriv följande i en fil kallad robots.txt och spara i roten på din public_html:
User-agent: Mediapartners-Google* 
Disallow:

User-agent: *
Disallow: /


Efter User-agent kan du skriva ett namn på en specifik spindel, eller "*" för att matcha alla. Googles annonsspindel har ett eget namn (börjar med Media-partners-Google), som skiljer sig från Googles indexerings-bot (Googlebot).

Om du anger en tom "Disallow:"-sats under något robotnamn så utestängs just den roboten inte från någon del av din site. Du kan istället ange en eller flera rader med URL-sökvägar (biten till höger om ditt domännamn). Allt som inleds med den URL-delen blir då blockerat.

Istället för "/" som matchar allt på den domänen kan du ange en sökväg till någon speciellt bandbreddskrävande del av din webplats. Exempel:
User-agent: ElakSpindel
Disallow: /videolib/
Disallow: /bigdownloads/


Just Google erbjuder även en annan variant. Istället för att helt kasta ut spindlarna kan du tala om för Googlebot vilka delar du vill ha indexerade, samt hur ofta den får knacka på. Se dokumentationen om Google sitemaps: http://www.google.co...s/en/about.html

Lycka till!

/Anders Dovervik, Stockholms Judoklubb


EDIT:
Jag gick in och sökte efter om jag kunde hitta var ditt egentliga problem uppstår.

Du bör kanske fundera lite på hur stor din site egentligen är... Googles sökmotor hävdar att den indexerat 15500 sidor på domänen "limhamn.nu". Se http://www.google.com/search?hl=en&q=site%3Alimhamn.nu

Om det låter orimligt mycket, fundera på om du automatgenererar sidor någonstans. Det kan hända att du skapar flera sidor som har olika adress men innehåller samma information. Testa t ex den här sökningen: http://www.google.com/search?hl=en&lr=&saf...+valborg+tidigt

Speciellt automatgenererade PDF-filer med bilder i borde du kanske stänga av i robots.txt (Disallow: /modules/news/makepdf.php ).

Om 15500 sidor känns rimligt och du vill ha PDF-erna indexerade, fundera på om Manufrogs Lite-paket verkligen är rätt storlek för dig :whip:.
/DS

Detta inlägg har redigerats av Ado: 18 maj 2006 - 23:30

0

#3 Medlemmen är offline   tvesala 

  • Rookie
  • PipPip
  • Grupp: Members
  • Inlägg: 4
  • Gick med: 11-maj 06

Postad 23 maj 2006 - 17:48

Stort tack för svar. Jag har kännedom om robots.txt, dock ingen djupare sådan. Hur som helst har jag fått kött på benen att strypa onödiga sidor. Ditt inlägg är till stor nytta. Jag ser direkt att jag ska utesluta en mängd php-filer som kan generera samma information.

Roger Månsson
0

Dela med dig av detta ämne:


Sida 1 av 1
  • Du kan inte skapa ett nytt ämne
  • Du kan inte svara i detta ämne


2 användare läser detta ämne
0 medlemmar, 2 gäster, 0 anonyma medlemmar