Бот за съдържание

[martyyy]

Как може да се напише бот който да обикаля по сайтове и да връща текстовете в тях.

 

[cnoko]

трудно, търсачка ли ще правиш?
Ако е това ти пожелавам успех

 

[gamena007]

Ето ти една готова система. Разгледай я. Сравнително лесна е.

ЦЪК!

 

[bancov96]

Ми аз съм писал робот, но е доста трудно. ЗАЩО: :lol:

1. PHP е сравнително тромав език за тази цел. Паякът ми обхождаше едва 5 линка в секунда.

2. Много трудно можеш да напишеш алгоритъм, който да взима най-важното от съдържанието. Същото се отнася както за бота, така и за търсачката. Много хора не си дават зора да пишат валиден код, дори title тагове (има ги и такива) и тогава животът ти става наистина труден. С прост preg_match няма да стане.

3. Огромни ресурси за съхраняваните страници. Ако пък решиш да ги записваш в база данни е направо ужас.

 

[cnoko]

Ми аз съм писал робот, но е доста трудно. ЗАЩО: :lol:

1. PHP е сравнително тромав език за тази цел. Паякът ми обхождаше едва 5 линка в секунда.

2. Много трудно можеш да напишеш алгоритъм, който да взима най-важното от съдържанието. Същото се отнася както за бота, така и за търсачката. Много хора не си дават зора да пишат валиден код, дори title тагове (има ги и такива) и тогава животът ти става наистина труден. С прост preg_match няма да стане.

3. Огромни ресурси за съхраняваните страници. Ако пък решиш да ги записваш в база данни е направо ужас.

Ем да не избираш най-важния текст едвали ще е бот за търсачка
аз се чуда сиг трябва да научиш бота и на CSS, за да избира кой от каде текст е важен кое е меню кое не и т.н. или постоянното индексиране ще върши тази работа :roll: