Понеже ми писна да гледам бота, че влиза по 20000 пъти на ден и
реших да му направя една статистика къде точно ровка .
Ще му направя една нова таблица за да си пише там но засега ще ползвам
дневната статистика.
Първото, което схванах е че ровка най-много във форума .
Другото е, че трябва да му забраня да индексира profile.php
Там няма нищо за индексиране.
Друг е въпроса, че не знам как.
Забелязах, че няколко дена преди последния update той се счупи да влиза.
Направо дръпна нета.
След това се поуспокои но в последните дни пак нещо се притесни и почна да влиза по над 10000 пъти.
Та ще трябва малко следене.
Има файлове и папки, които не искам да ги индексира но нещо не се справям с този robots.txt .
Ще трябва пак да преровя инфото за robots.txt или да бодна тук там по един метатаг "nofollow" .
Ето засега статистика за текущия ден.
Жалко, че изпуснахме лудницата тези дни.
http://web-tourist.net/newwebagent/googleagent.php
реших да му направя една статистика къде точно ровка .
Ще му направя една нова таблица за да си пише там но засега ще ползвам
дневната статистика.
Първото, което схванах е че ровка най-много във форума .
Другото е, че трябва да му забраня да индексира profile.php
Там няма нищо за индексиране.
Друг е въпроса, че не знам как.
Забелязах, че няколко дена преди последния update той се счупи да влиза.
Направо дръпна нета.
След това се поуспокои но в последните дни пак нещо се притесни и почна да влиза по над 10000 пъти.
Та ще трябва малко следене.
Има файлове и папки, които не искам да ги индексира но нещо не се справям с този robots.txt .
Ще трябва пак да преровя инфото за robots.txt или да бодна тук там по един метатаг "nofollow" .
Ето засега статистика за текущия ден.
Жалко, че изпуснахме лудницата тези дни.
http://web-tourist.net/newwebagent/googleagent.php