Google да не обхожда и кешира папка в сайт

Има едно нещо наречено robots.txt
Правиш 1 файл robots.txt и слагаш следния код:

Код:
User-agent: *
Disallow: /etc
Disallow: /js
Allow: /

Това казва: На всички роботи се забранява да индексират папка /etc и /js, а всичко останало се обхожда.
 

Горе