Правилно ли съм забранил индексацията ?

[sentenello]

Здравейте,
първо искам да се извиня, защото не съм сигурен дали това е раздела в който трябва да си пусна темата.

Проблема:

В robots.txt съм написал този код, но гугъл продължава да ги индексира тея страници

User-agent: *
Disallow: /about/
Disallow: /commentbyid/
Disallow: /contentadd/

Праилно ли са написани и ако е така, защо продължава да ги индексира гугъл.

 

[kriss]

мисля че трябва без налконените черти преди директориите

 

[Karcho]

мисля че трябва без налконените черти преди директориите

Със тях трябва. Преди колко време си го сложил? Може би бота не е минал?

 

[sentenello]

Струва ми се, че проблема обаче не е в бота, защото нямам такива директории в фтп-то (хоста).

примерно:
saita.com/commentbyid/

ми зарежда
saita.com/papka1/fail.php

100% трябва да е минал бота. Сайта е на 2 месеца и доста от нещата са индексирани(новите статии примерно).

 

[Karcho]

Забрани тях :idea:

 

[sentenello]

Интересното е, че имам

/reg/log.php

и въпреки това продължава да ми го индексира.

 

[mitko456]

Интересното е, че имам

/reg/log.php

и въпреки това продължава да ми го индексира.

Не във всички случей бота е длъжен да се съобразява с съдържанието въведено в robots.txt.
Нах -малкото след промяна трябва да изчакаш там още около 2 седмици д те навести пак за да има промяна.
Или отиди Google Webmaster и прикачи на ново robots.txt от настройките.
А й веднъж вече индексирал тези страници неможе да ги спреш да излизат в търсачката.

 

[sentenello]

няма ли начин да се деиндексират :!: