Тъй като сайта започна много да товари процесора спрях ботовете чрез robots.txt да индексират картинките и видео файловете във самите директории където се намират.
Това дали пречи на сео-то ?
Второ баннах бота на гугъл и повечето роботи от суб домейна на който се хостват файловете (cdn1.site.com ) c .htaccess . Натоварването определеноо спадна много но как ли се отразява това на сео-то ?
в уебмастертоолс ми полазва 10к еррор линкс ограничени от роботс.тхт
Код:
User-agent: *
Disallow: /styles
Disallow: /images
Disallow: /admin
Disallow: /styles
Disallow: /plugins
Disallow: /files
Disallow: /files/videos
Disallow: /files/thumbs
Disallow: /videos
Allow: /Второ баннах бота на гугъл и повечето роботи от суб домейна на който се хостват файловете (cdn1.site.com ) c .htaccess . Натоварването определеноо спадна много но как ли се отразява това на сео-то ?
в уебмастертоолс ми полазва 10к еррор линкс ограничени от роботс.тхт