Търсачка, която да търси в Data.bg

[cnoko]

какви папки бе :shock:

$ot = 0; //От кое ID да почне
$total = 10000;//кое id да свърши
for($i = $ot;$i< $total;$i++)
{
$headers = @get_headers("http://data.bg/f.php?fid=' . $i .'",1);
$content = $headers['Content-Type'][sizeof($headers['Content-Type'])-1];
if($content != 'text/plain' && $content)
{
$link = $headers['Location'][sizeof($headers['Location'])-1];
и тук запис
}
}

това е само за сървъри с доста ram и с мн търпение

Това къде се бута?

прочети малко за php и тогава ме питаи
потсказвам не се бута

 

[StormBreaker]

това е само за сървъри с доста ram и с мн търпение

И доста добър интернет

 

[maminia]

StormBreaker как се прави така споменатиа паяк

 

[StormBreaker]

Като се замисля май варианта на @споко е по-добър.

 

[Soul_Stealler]

не е.
В дата.бг има 40 mln ID-та ако не се лъжа

40 млн ... по 1 секунда да се вземе линка.
40 000 000 seconds = 462.962963 days


:lol:

 

[StormBreaker]

не е.
В дата.бг има 40 mln ID-та ако не се лъжа

40 млн ... по 1 секунда да се вземе линка.
40 000 000 seconds = 462.962963 days


:lol:

По-добър е. Другия вариант е с паяк да отваря ВСЯКА директория, после да търси за файлове в нея. Това прави 2 пъти повече време.

 

[wwwPaykillerOrg]

е добре де я дайте някоя програма за събиране на тези линкове ??

 

[Centrino]

Виждам, че сте подновили темата. Варианта, който аз бях почнал да правя беше с библиотеката cURL прочете малко за нея и ще ви стане ясно. Не е трудно и повечето crawleri са правени с тази библиотека Успех

 

[MontefuckeR]

Виждам, че сте подновили темата. Варианта, който аз бях почнал да правя беше с библиотеката cURL прочете малко за нея и ще ви стане ясно. Не е трудно и повечето crawleri са правени с тази библиотека Успех

И до къде стигна?

 

[Centrino]

Реално погледнато спрях да се занимавам с това да индексирам Data.bg Защо да си играем да индексираме data.bg като има megaupload, rapidshare, yourfilehost и т.н А колкото до това до къде съм стигнал.... ще видите след няколко месеца като пусна проекта си

 

[dj_ee3]

На мен попринцип идеята не ми е за дата.бг ами за видео сайтове като youtube. Но като го пусна да индексира индексира само първите 20 -30 клипа който се показват на индекс страницата на youtube а там клипчетата са милиони ако не и милярди ... + това само хора с специялни акаунти който са платили имат шанс да им покажят клиповете на 1-ва страница така че или трябва нещо да се измисли че да индексира всичко във сървера на youtube или така 20 по 20 задачата става невъзможна..

 

[cnoko]

научи го да влиза и в други страници пък даже и да търси :?:

 

[NewNewbie]

А случайно ако тръгнеш да го нагласяш недей го нагалсяй да търси в search.data.bg!!! линковете с файловете са store1.data.bg и store2.data.bg