Robots.txt и Гугъл сайтмап - въпроси...

S

sizif

Registered
Здравейте!

Забелязах, че от известно време ботовете на гугъл при всяко посещение зареждат ерор-страницата на сървъра за липсващ файл. Проверих в лога, оказа се, че търсят файла Robots.txt

Съдържанието му е онова, к е по-известно като Гугъл-сайтмап или става дума за нещо друго?

Ако се касае за нещо съвсем различно, бихте ли ми дали повече информация?

Благодаря предварително!
 
няма нищо общо между saitmap и роботс.txt
пиши в гугъл robots.txt ще научиш всичко което ти е нужно,
гугъл не носи само трафик, става и за намиране на инфо.

В общи линии през robots.txt му забраняваш за индексира файлове и папки
 
Точно така. Двете са точно противоположни понятия. С едното забраняваш индексирането на файлове и папки (например виж WT - http://web-tourist.net/robots.txt ) а пък с другото казваш какво да се индексира. Също така ботовете автоматично търсят robots.txt, докато за картата е необходимо да се регнеш в Google Webmaster Tools , след това да докажеш че сайта е твой (например като сложиш verify-мета таг) и след това указваш пътя до картата.
 
А...я обяснете какъв е смисъла да Не индексира?И общо взето,кои файлове да индексира и кои не?
 
Здравейте!

Благодаря за отговорите!
Точката е за iwanov. Линкът в поста му е доста подробен и ме ориентира в детайлите...
 
Трябва да си влезнал или регистриран, за да отговориш тук.

Back
Горе