Някаква грешка с robots.txt в webmaster tools

T

tedo96

Registered
Google couldn't crawl your site because we were unable to access the robots.txt file.robots.txt.
https://support.google.com/webmasters/bin/answer.py?hl=en&answer=2409682

От какво може да е това?
 
tedo96 каза:
Google couldn't crawl your site because we were unable to access the robots.txt file.robots.txt.
https://support.google.com/webmasters/bin/answer.py?hl=en&answer=2409682

От какво може да е това?
Увеличете...
Ти имаш ли го ?
И какво имаш в него ако го имаш ? Да не си го блокнал без да искаш...
http://tvoqsait/robots.txt ?
Същото напиши тук и виж какъв отговор ти връща..
http://web-sniffer.net/
Също така правата на robots.txt би трябвало да са 644
 
Създай robots.txt файл и сложи в него:

User-agent: *
Allow: /

По този начин ще кажеш на бота да индексира всички страници. След това го качи в root папката и си екстра :)

Поне аз така съм направил и при мен работи.
 
И при мен е така. Само имам
Disallow: /admin_papkata/ .. няма нужда нея да я индексира.

По принцип robots.txt няма нужда дори и да го имаш, ако не искаш да забраняваш някой бот да влиза в сайта ти.

Тук е обяснено всичко много хубаво, но мисля, че при теб проблема е в правата или си забранил някъде достъпа до самия файл.
http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449
 
vinsbg каза:
И при мен е така. Само имам
Disallow: /admin_papkata/ .. няма нужда нея да я индексира.

По принцип robots.txt няма нужда дори и да го имаш, ако не искаш да забраняваш някой бот да влиза в сайта ти.

Тук е обяснено всичко много хубаво, но мисля, че при теб проблема е в правата или си забранил някъде достъпа до самия файл.
http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449
Увеличете...
User-agent: *
Disallow: /cgi-bin/
Disallow: /admin/
Sitemap: http://site.com/sitemap.xml

Ето това ми представлява. Предполагам, че проблема е с правата. Сега ще ги променя.

ЕДИТ: Правата са си на 644
 
Може би проблема е в sitemap :? Не знам дали се препоръчва да се добавя sitemap адреса в robots.txt

По принцип Sitemap се добавя през Sitemap под Optimization :)
 
tedo96 каза:
User-agent: *
Disallow: /cgi-bin/
Disallow: /admin/
Sitemap: http://site.com/sitemap.xml

Ето това ми представлява. Предполагам, че проблема е с правата. Сега ще ги променя.

ЕДИТ: Правата са си на 644
Увеличете...
Махни сайтмап-а от роботс.тхт. Правата да си останат 644. Сайтмапа можеш да го подадеш ръчно в Google Developer Tools->Оптимизация->sitemap
 
Трябва да си влезнал или регистриран, за да отговориш тук.

Горе