Robots.txt - upotreba robots.txt fajla i robots meta tagova

16/01/10 Kategorija: SEO

Robots.txt fajl je tekstualni fajl pomoću koga je moguće dati određene instrukcije pretraživačima ili web robotima u pogledu toga koje stranice na sajtu da indeksiraju, a koje ne. Na primer, Google ima svoje web robote tj. programe koji pretražuju internet i indeksiraju sve web stranice na koje naiđu. Pomoću robots.txt fajla moguće je reći Googlu da neku stranicu ili ceo direktorijum ne indeksira i samim tim ne prikazuje u rezultatima pretraživanja.

Pročitajte ceo članak 8 komentara