как се прави robots

[SandPrince]

как се прави бот за търсачка който да обикаля в нета и да индескира сайтове :?
трябва ми за една търсачка?
можете ли да помогнете

 

[renegat96]

не възможно е ако не знаеш php и c++
php трябва да си на ниво супер мега добър
може би ти трябва и доста c++

 

[SandPrince]

а как работи jabse.com - във форума им пише че ползват някакъв паяк.
как се прави този паяк?

 

[hellfire]

според мене може и без c++
ето един начин
@file_get_contents(site);
и ако покаже нещо с preg_match_All за линкове preg_replace за текст
но ще ти трябва цял сървър за това !
и така един линк може да е към друг саит и става една верига за да индексира и други саитове ако се досещате

 

[renegat96]

според мене може и без c++
ето един начин
@file_get_contents(site);
и ако покаже нещо с preg_match_All за линкове preg_replace за текст
но ще ти трябва цял сървър за това !
и така един линк може да е към друг саит и става една верига за да индексира и други саитове ако се досещате

ама се иска много яка машина и много код..
поне 4 или 5 mb код

 

[hellfire]

според мене може и без c++
ето един начин
@file_get_contents(site);
и ако покаже нещо с preg_match_All за линкове preg_replace за текст
но ще ти трябва цял сървър за това !
и така един линк може да е към друг саит и става една верига за да индексира и други саитове ако се досещате

ама се иска много яка машина и много код..
поне 4 или 5 mb код

мне са ще напиша тука нещо но не знам дали работи за текст
preg_replace('/\<td>\([a-zA-Zа-яА-Я0-9])\<td>/s', '$1', $get-a);
самоче ще има мн мн работа защото трябва за секи език да пишеш сички символи ит.н. сложна раота тряя си мн добър по preg_match, preg_match_all, preg_replace
и така ще индексираш и ще ти трябва найстина мощна машина за да можеш постоянно да индексираш саитове от 1-2 реда до 1500 реда html
сложно
:?

 

[Galli]

ОФФ
Абе такива неща сигурно се правят от цял екип супер специалисти. И аз си мислех за такова нещо ама хич не ми се сяда да се мъча. Дано греша и да успеете да си го напишете. Успех.
/ОФФ
Тука нещо подобно :arrow: http://www.web-tourist.net/forum/viewtopic.php?t=17607&highlight=robots+txt

 

[renegat96]

ОФФ
Абе такива неща сигурно се правят от цял екип супер специалисти. И аз си мислех за такова нещо ама хич не ми се сяда да се мъча. Дано греша и да успеете да си го напишете. Успех.
/ОФФ
Тука нещо подобно :arrow: http://www.web-tourist.net/forum/viewtopic.php?t=17607&highlight=robots+txt

ние с него се разбрахме по скайпа...
отностно паяка
той е много различен от бота на гугъл...
бота можеш да го засечеш
а това май не може
трябва си много знания за да направиш нещо подобно...
просто много
трябва да комбинираш два три езика

пък и май никой не знае на какъв ецик е писан бота на гугъл

тва на jabse май бачка на принципа
"индексация на текст"
т.е. бачка като спам паяк
не знам от какво се влияе
пък и може би имат някво бъдеще но ще им е много трудно срещу чичко Гугъл

просто мноооооого трудно