въпрос относно robots

[DevNull]

Здравейте.
Дали е добре за сеото да сложа следните редове в robots.txt тъй като искам само определени ботове да имат достъп.

Последните 2 не смятам да ги променям.

# allow only important bots
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: Mediapartners-Google
User-agent: msnbot
User-agent: msnbot-media
User-agent: Scooter
User-agent: Slurp
User-agent: Teoma
User-agent: Yahoo-Blogs
User-agent: Yahoo-MMCrawler
User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /docs/
Disallow: /*border=0
Allow: /

User-agent: *
Disallow: /

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /

 

[embaka]

Здравейте.
Дали е добре за сеото да сложа следните редове в robots.txt тъй като искам само определени ботове да имат достъп.

Последните 2 не смятам да ги променям.

# allow only important bots
User-agent: Googlebot
User-agent: Googlebot-ImageUser-agent: Mediapartners-Google
User-agent: msnbot
User-agent: msnbot-media
User-agent: Scooter
User-agent: Slurp
User-agent: Teoma
User-agent: Yahoo-Blogs
User-agent: Yahoo-MMCrawler
User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /docs/
Disallow: /*border=0
Allow: /

User-agent: *
Disallow: /

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /

първо позволяваш на всички ботове, после забраняваш всичко в главната директория и т'ва ia_arhiver и duggmirror не са ми ясни въобще. ама от това, което виждам ми се струва, че нито един бот няма да има достъп до каквато й да е част от сайта

 

[DevNull]

Разрових се из гугъл. кода си е наред.

с първите 10 реда изреждам ботовете които имат право да индексират сайта.

с 2-рия вариант забранявам достъп на всички останали ботове.
3-тия ред забранява архивирането на сайта ( не разбрах къде точно).
4-тото не го знам но казват че е хубаво да го има.

Даже тествах във инструментите на гугъл. няма абсолютно никакъв проблем с това съдържание на robots.txt . успешно посещава страниците без грешки. Полезно е особенно когато нежелаеш досадни спам ботове.

 

[embaka]

не знам да ти кажа, според мен

така както е ще разреши на описаните да проверяват, после имаш команда която забранява всичко за всички ботове, би трябвало поне според мен, както с изпълнението на програмен код последното, което прочете да е като последна промяна, един вид четат изброените ботове, после забранява всички ботове, 3-тото най-вероятно кара ботовете да не кешират сайта

 

[DevNull]

Ето статията която прочетох. Според тях няма никакъв проблем. а и както казах по-горе гугъл бота няма никакъв проблем с посещението на страницата.

search engine bots

 

[DevNull]

Изглежда това е поредната заблуда на противника .
Сега пък започна да ми блокира и гугъл бота. явно ще прибегна до забраните от .htaccess . :lol: :idea:

 

[StormBreaker]

Пишеш в гугъл "webmaster tools", регистрираш си сайта, влизаш и там има панелче за тестване на robots.txt и там пробваш как ще го разчете бота.

 

[DevNull]

Пишеш в гугъл "webmaster tools", регистрираш си сайта, влизаш и там има панелче за тестване на robots.txt и там пробваш как ще го разчете бота.

Той бота го разчита но от друга страна има един сайт с който си проверявам ключови думи, описание , заглавие . там ми забранява достъпа въпреки че му давам гугъл, но какво ли се водя и аз от други сайтове та нали от "webmaster tools" влиза без проблем ....

 

[DevNull]

Значи за последно и като заключение мога да кажа че този код не пречи на нито един от изброените в него ботове. ако случайно някой използва seocentro мета таг анализатора слага едно User-agent: MetaTagRobot след User-agent: Yandex и няма да има никакви проблеми . е това беше за този код. благодаря на всички отговорили, но явно понякога сам трябва да търсиш и сам да си отговаряш на въпросите.