Въпрос: robot.txt

Kameliaa

Registered
hi :)
какво точно трябва да бъде съдържанието на robot.txt за да спра всякакво индексиране от търсачките?

Искам сайта да не се индексира и да НЕ излиза никъде

Може ли да стане?
 
User-agent: *
Disallow: /


User-agent: * - С това задаваш на всички "ботове" командата написана по-долу
Disallow: / - С това забраняваш достъпа до целия сайт
 
Код:
User-agent: Mediapartners-Google*
Disallow:

User-agent: Googlebot
Disallow: /
това забранява само гугъл
не яху,дири, джабсе и подобни

метода на human блокира всички
 

Back
Горе