Googlebot и robots.txt ?

[DJCharge]

Това изречение няма смисъл да го четеш, виж по-надолу.. :twisted:

Грешно ли съм задал Disallow: *view=* в robots.txt файла или просто тея неща след User-agent: * не важат за Google бота, понеже преди това съм задал специално за него:

User-agent: Googlebot
Disallow: /*.inc$
Disallow: /*.js$
Disallow: /*.css$

Eто го и файла: цък

Явно това *view=* не важи за бота или е грешно зададено, защото в този резултат излизам първи, но и двата линка които показва (освен, че са до 1 и съща тема) включват view=...

:?

 

[DJCharge]

Никой ли няма да се престраши да пише ?

Според мен ще е най-добре ако просто изтрия това:

User-agent: Googlebot 
Disallow: /*.inc$ 
Disallow: /*.js$ 
Disallow: /*.css$

:idea:

 

[huanitomuerte]

Извинявай но лично аз не мога да разбера от това което си написал - каква е идеята?
1. Да скриеш директория? ... или,
2. Да скриеш част от урл-то, защото ако е това (2) си на абсолютно грешен път и това не се прави така.
А иначе първото което ми хрумва е да напиша в Гоогле "robots validator" и първия резултат който получих е (http://tool.motoricerca.info/robots-checker.phtml), .... а той показва че файла ти има много грешки. Плюс това (ако не се лъжа) в офиц. страница на роботс.тхт изрично пише че коментари във файла не се толерират, защото този файл се чете ред за ред. Според мен е и голяма грешка да сложиш урл-то на сайтмапа най от долу, като пример за добре направен роботс виж това (http://edition.cnn.com/robots.txt). Надявам се да съм ти бил полезен-Успех

 

[DJCharge]

Мерси много .. +1 :?:

Още едно нещо не ми е много ясно.
В момента имам:

User-agent: Googlebot
... тук специално за гугъл бота забраняваме индексирането
на определени линкове -> /*start=0 и т.н.

а по-надолу имаме:

User-agent: *
... тук забраняваме за всички роботи индексирането
на определени файлове/директории -> /папка/папка/ ... /папка/файл.php и т.н.

Въпроса ми е дали забраните от User-agent: * важат и за
Google бота или ще трябва да ги копирам и при него ? :idea:

 

[huanitomuerte]

User-agent: *
Disallow: / ала бала...

Забранява индексирането на абсолютно всички роботи, за файл или директория!

Интересно обаче е едновременното редуване на забрана и разрешение като прим. виж [http://www.google.bg/robots.txt]. Използват се различни приоми за постигане на различни цели :roll:

Аз бих те посъветвал при изграждането на роботс да ползваш гоогле тула в гооглеуебмастер тоолс-те пишат че върши работа, но според мен след това задължително ползвай валидатор защото поне при мен дава грешки в синтаксиса, просто принципно е добър(това е само мое мнение)!

Иначе използването на различни команди от сорта на :
User-Agent: Googlebot
User-agent: Fetch
User-agent: Offline Explorer
User-agent: Teleport
User-agent: WebZIP
User-agent: Microsoft.URL.Control
User-agent: ZyBORG
.... или Яхоо или МSN и т.н. просто упоменават вида на робота (идеята е забраната да важи само за него и да разрешава вс. останали.

Успех!!! :?:

Въпроса ми е дали забраните от User-agent: * важат и за
Google бота или ще трябва да ги копирам и при него ? :idea:

Мисля-ДА! Копирай ги и при него, аз лично бих го направил-Това е само мое мнение, защото конкретизирането на Робот изисква и конкретика само за него...