гуугъл ботове

[magicly]

Нещо не мога да схвана. Трябва ли да имам http://***.com/robots.txt за да се индексира сайта ми в гуугъл и това ли трябва да е съдържанието : User-Agent: *
Allow: / , за да обхождат целия ми сайт????

 

[boby]

Гугъл и всички други търсещи машини обхождат сайта ти по подразбиране, щом го засекат. Robots.txt ти е нужен единствено ако НЕ желаеш търсачките да индексират определени директории или целия сайт.

 

[Admin]

Ако не съдържа нищо ще е още по добре.
Този файл се ползва само за забраняване на бота.
Ако няма да го ограничаваш по добре да е празен.

 

[magicly]

значи ли това че въобще няма нужда дори да го слагам това ***.com/robots.txt ? може да мина и без него

 

[Lupoo1]

Естествено, че можеш.

Но сайтмап ще ти е от полза работиш по този проблем в момента.