Игнор на ip-тата на гугъл

[meleto]

Здравейте, правя афилиейт системка, обаче забелязвам, че ботовете от търсачките ме нападат.

Как да блокирам IP-тата им. По-скоро да ги игнорирам и да не ги записвам в БД-то.

 

[vinsbg]

Вариант 1:

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

Вариант 2:
правиш файл robots.txt и в него слагаш това за да блокираш всички ботове за целия сайт:

User-agent: *
Disallow: /

Ако искаш само специфична папка да не виждат:

User-agent: *
Disallow: /папка/

Ако искаш само Google да не влиза:

User-agent: GoogleBot
Disallow: /

И като цяло вариант 1 не го препоръчвам, защото разни malware ботове лесно го подминават и не се съобразяват с него.

 

[meleto]

А ще стане ли така

	User-agent: *
Disallow: /папка/file.php

или

	User-agent: *
Disallow: /папка/file

 

[vinsbg]

А ще стане ли така

	User-agent: *
Disallow: /папка/file.php

така ще стане

Можеш за всеки бот различно да блокираш. Например:

User-agent: *
Disallow: /папка/file.php

User-agent: GoogleBot
Disallow: /папка/file1.php

User-agent: YahooBot
Disallow: /
...
...
...

В примера първиото ще блокира всички ботове да минават през /папка/file.php.
Втория гугъл бота няма да индексира /папка/file1.php.
Третото яхубот(не знам дали точно така се пише яхубота) няма да може да минава целия сайт...
Можеш да добавяш колкото си искаш във файла по този начин.

 

[meleto]

А ще стане ли така

	User-agent: *
Disallow: /папка/file.php

така ще стане

Можеш за всеки бот различно да блокираш. Например:

User-agent: *
Disallow: /папка/file.php

User-agent: GoogleBot
Disallow: /папка/file1.php

User-agent: YahooBot
Disallow: /
...
...
...

В примера първиото ще блокира всички ботове да минават през /папка/file.php.
Втория гугъл бота няма да индексира /папка/file1.php.
Третото яхубот(не знам дали точно така се пише яхубота) няма да може да минава целия сайт...
Можеш да добавяш колкото си искаш във файла по този начин.

А
в
User-agent: GoogleBot
Disallow: /папка/file1.php

папката е текущата или как се описва. В смисъл се разбира domain.com/папка/файл?

 

[vinsbg]

Да,
Disallow: /папка/file1.php се има предвид -> сайт.ком/папка/файл.
Може да е /папка/папка/папка/файл ... няма проблеми