Za začetek povejmo, kaj sploh je robots.txt. Gre za preprosto tekstovno datoteko, shranjeno nekje na strežniku, na katerem gostuje vaša spletna stran. Njena naloga je, da spletnim iskalnikom oziroma njihovim pajkom pove, katere podstrani spletnega mesta naj si ogledajo in katerih ne želimo med zadetki. Pa to res potrebujem? Nepravilna uporaba te datoteke privede do
