Как да спра индексирането? - 2 ра част

[cHuBakA]

Здравейте,

Миналия пост без да искам го заключих, но проблема си продължава с пълна сила

Някой има ли идея друга как мога да спра индексирането на сайта ми. Искам да го няма в търсачките. Изчетох какво ли не в нета , Пробвах всякакви мета и роботс забрани и не става и не става. премахвам връзки и адреси от google webmaster и... след 3 дни всичко пак е индексирано.

 

[DevNull]

създаваш файл robots.txt и слагаш

User-agent: *
Disallow: /

Това забранява на всички ботове да индексират и посещават страницата.
След като бота обходи този файл в Google webmasters/tools ще ти изпише грешка че достъпа е забранен от robots.txt

 

[god_of_cs]

Аз искам обратното - да направя само гугъл да индексира страницата. Как ще стане ?

 

[DevNull]

Аз искам обратното - да направя само гугъл да индексира страницата. Как ще стане ?

Слагаш следния код.

# allow only important bots
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: Mediapartners-Google
Disallow: /cgi-bin/
Allow: /

User-agent: *
Disallow: /

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /

Изброените с имена получават достъп за индексиране.
след това забраняваш достъпа на всички останали с

User-agent: *
Disallow: /

Последните две си ги остави така. първото мисля че имаше нещо общо с waybackmachine.org , второто не се сещам но е добре да го има.

Ако решиш че искаш и останалите ботове. добавяш тези редове след
User-agent: Mediapartners-Google

User-agent: msnbot
User-agent: msnbot-media
User-agent: Scooter
User-agent: Slurp
User-agent: Teoma
User-agent: Yahoo-Blogs
User-agent: Yahoo-MMCrawler
User-agent: Yandex

:?:

 

[cHuBakA]

Както бях написал и подчертал с удебелен шрифт, още първите ми стъпки бяха със забрани в роботс ; мета - забрани в страниците ; google webmaster (имам над 160 молби за премахване, които ги приемат - трият и след 3-4 дни отново всичко ми е индексирано). Имам представа и съм прилагал през годините какво ли не относно тези неща. Но това ми се случва за първи път. Очаквам други идеи (дори и нестандартни) , а не добре познатите. За това съм пуснал и темата