За Googlebot.

[Galli]

Темата май не е за тук, но не знам къде да я напиша.
Това е част от лог файла на сървъра:

66.249.65.142 &-& -& [14/Jan/2007:13:07:43 +0200]& "GET /tt/staff.php HTTP/1.1"& 200 &2867& Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)&"-" 
66.249.65.142 &-& -& [14/Jan/2007:13:09:10 +0200]& "GET /tt/upload.php HTTP/1.1"& 302 &-& Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)&"-" 
66.249.65.142 &-& -& [14/Jan/2007:13:09:11 +0200]& "GET /tt/login.php?returnto=%2Ftt%2Fupload.php HTTP/1.1"& 200 &3305& Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)&"-" 

66.249.65.142 &-& -& [14/Jan/2007:13:19:17 +0200]& "GET /downloads/?C=S;O=A HTTP/1.1"& 200 &382& Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)&"-" 
66.249.65.142 &-& -& [14/Jan/2007:13:20:45 +0200]& "GET /chat/forum HTTP/1.1"& 404 &1041& Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)&"-" 
66.249.65.142 &-& -& [14/Jan/2007:13:22:12 +0200]& "GET /downloads/?C=N;O=D HTTP/1.1"& 200 &382& Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)&"-" 
66.249.65.142 &-& -& [14/Jan/2007:13:27:13 +0200]& "GET /forum/groupcp.php?sid=2e99aaf6a43bdb0629a4a9d8ede8be6c HTTP/1.1"& 200 &12828& Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)&"-"

Това нещо го правя на таблица, за да ми е по-лесно да го проверявам и & е нещо като "разделител" за таблицата.
Ето го LogFormat-a в httpd.conf:

%h &%l& %u& %t& \"%r\"& %>s &%b& %{user-agent}i&\"%{Referer}i\"

Googlebot-a влиза през половин един час и въпросът ми е как да го накарам да не влиза(блокирам). Сложил съм му файл robots.txt и вътре пише:

User-agent: Googlebot
Disallow: /

но това явно не помага. Сървърът е на домашен компютър, сайтът се посещава най-много от 10 човека, ползвам безплатен субдомейн.
Моля помогнете.
И още един въпрос как да направя така, че сайтът да може да се вижда само от потребителите на един интернет доставчик. Нещо с httpd.conf ли е свързано или с Firewall-а?

 

[Smirnoff]

Пробвай с .htaccess да му блокираш достъпа
:arrow: http://web-tourist.net/login/login/view.php?st=381

 

[Galli]

Добавих в .htaccess файла

order allow,deny 
deny from 66.249.65.142 
allow from all

Но, започна да влиза с друг IP-адрес. :lol:
:shock:

66.249.65.198 &-& -& [15/Jan/2007:08:31:05 +0200]& "GET /forum/faq.php HTTP/1.1"& 200 &51713& Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)&"-"

Сега добавям и него, ама ако продължи така... незнам. Направо ще му сложа

deny from 66.249.65

 

[DJCharge]

SetEnvIfNoCase User-Agent "Googlebot" bad_bot

<Limit GET POST>
order allow,deny
allow from all
deny from env=bad_bot
</Limit>

 

[Soul_Stealler]

Само един офтопик.
Защо искаш да го блокираш ?
Хората се опитват по всевъзможни начини да го накарат да им посети сайта.
Пишат уроци за googlebot, а ти искаш да го блокираш.
Защо ?

 

[Galli]

Ами аз написах, че малко хора го посещават и с това исках да кажа, че е предназначен за "локални" нужди, не искам да става нещо по-голямо. Има тракерче и там си качваме само наши неща и затова искам да блокирам всичо освен хората от локалния лан. A бота влиза през 20-30 минути.
Иначе нищо против гугъл нямам разбира се, добре знам, че е хубаво да посещава сайта, но не и този. И аз го ползвах урока за Googlebot-a.
Иначе май се справих.