Ботове и паяци

[bganonymous]

Здравейте! Как мога да видя списък с всички ботове и паяци посетили сайта ми?

 

[dakata__92]

Здравейте! Как мога да видя списък с всички ботове и паяци посетили сайта ми?

http://stackoverflow.com/questions/677419/how-to-detect-search-engine-bots-with-php

Ето тези неща те интересуват. Реално търсиш функция засичаща чрез юзър агент в глобалният масив сървър.

function crawlerDetect($USER_AGENT){
	$crawlers = array(
	  'Google' => 'Google',
	  'MSN' => 'msnbot',
      'Rambler' => 'Rambler',
      'Yahoo' => 'Yahoo',
      'AbachoBOT' => 'AbachoBOT',
      'accoona' => 'Accoona',
      'AcoiRobot' => 'AcoiRobot',
      'ASPSeek' => 'ASPSeek',
      'CrocCrawler' => 'CrocCrawler',
      'Dumbot' => 'Dumbot',
      'FAST-WebCrawler' => 'FAST-WebCrawler',
      'GeonaBot' => 'GeonaBot',
      'Gigabot' => 'Gigabot',
      'Lycos spider' => 'Lycos',
      'MSRBOT' => 'MSRBOT',
      'Altavista robot' => 'Scooter',
      'AltaVista robot' => 'Altavista',
      'ID-Search Bot' => 'IDBot',
      'eStyle Bot' => 'eStyle',
      'Scrubby robot' => 'Scrubby',
      'Facebook' => 'facebookexternalhit',
  );
  // to get crawlers string used in function uncomment it
  // it is better to save it in string than use implode every time
  // global $crawlers
   $crawlers_agents = implode('|',$crawlers);
	if(strpos($crawlers_agents, $USER_AGENT) === false)
		return false;
    else {
		return TRUE;
    }
}
//Така викаш
$USER_AGENT = $_SERVER['HTTP_USER_AGENT'];
  if(crawlerDetect($USER_AGENT)) {echo "bot detecteed"}
?>

 

[bganonymous]

А как мога всички тези ДОБРИ ботове да ги allow-на чрез .htaccess?

 

[dakata__92]

А как мога всички тези ДОБРИ ботове да ги allow-на чрез .htaccess?

Защо да не си ги забранил? Каква ти е идеята? Искал си да се защитиш от някого и си поставил код в htaccess ли и сега искаш да ги позволиш или нещо друго. Обясни не четем мисли .

 

[bganonymous]

А как мога всички тези ДОБРИ ботове да ги allow-на чрез .htaccess?

Защо да не си ги забранил? Каква ти е идеята? Искал си да се защитиш от някого и си поставил код в htaccess ли и сега искаш да ги позволиш или нещо друго. Обясни не четем мисли .

Забранил съм посещенията от чужбина. Искам да е разрешено посещаването само от БГ и търсачките.

 

[vinsbg]

Allow и Deny в htaccess-a

 

[IzKuFeLiQqQqQ]

robots.txt няма ли да му е от полза в случея?

 

[dakata__92]

robots.txt няма ли да му е от полза в случея?

Не там няма смисъл!