Здравейте, колеги.
1.Някой може ли да ми обясни за файла robots.txt до колко той е полезен?
2.По какви критерии трябва да се направи за да се получи най - добре.
3.И играе ли роля върху по челна позиция в търсачката?
Показва на търсачките дали да търсят или да не влизат в определена от теб директория.Естествено лошите ботове не спазват този файл.
Имаш примерно сайта.ком/админ и там така илии наче нямат работа нито потребителите нито търсачките и просто я ограничаваш.
Използвай гугъл за генератор http://www.google.bg/search?hl=bg&s...ts.txt+generator&meta=&aq=0&oq=online+robots.
Накратко ако искаш работещ файл който дава достъп навсякъде в сайта ти :
Код:
User-agent: *
Allow: /
За да ограничиш определена добави на нов ред:
Код:
Disallow: /cgi-bin/
а ако искаш само файл:
Код:
Disallow: /direktoriq/fail.html
Може да ограничаваш имена на ботове и т.н. За повече инфо погледни https://www.google.com/webmasters
