Scraper, който да отваря линкове

V

vinsbg

Registered
Здравейте,

възможно ли е да се направи това и ако да може ли някой да даде някакви отправни точки от къде да започна..

Имам 10-тина категории. Когато се отвори категория се листват продукти. Искам някак да се 'отвори' продукта и да дръпна от него име и описание и така следващия...

Пример:

Коли-> листване на 10 автомобила->скрапера зарежда автомобил_1 и взима инфото -> отваря автмобил_2 и взима инфото и т.н.

Нямам идея това възможно ли е и изобщо от къде да започна..
 
Здравей,
взимаш началната страница примерно с CURL
Взимаш линковете към категориите. Аз ползвам DomDocument + xpath но може и с регулярен израз за парсване на html-а.
Последователно влизаш във всяка една страница, ако има странициране в списъка с категориите. Отново ги определяш с регилярен израз или DomDocument.
Взимаш линковете към всички продукти, по вече познатият начин и ги обикаляш.
Конкретика може ако дадеш линк към сайта.
Може да ползваш сайтмапа на сайта и направо да взимаш линковете към продуктите. ще си спестиш много работа.
Ако сайта поддържа микродата има и готови решения.
Поздрави.
 
Конкретен сайт не мога да дам, но ще дам за пример олх-а..
Сайта от който ще се тегли инфо има подобни категории в смисъл Категория->Под категория->продукти...
 
http://web-tourist.net/login/login/view.php?st=3469

Прост спайдър бот ти е нужен след което само си създаваш метод за екстрактване на информацията от точните линкове, като можеш да си промениш и регулярният израз да ти взима точно линковете, които искаш по някакъв признак за тях.
:)
 
Трябва да си влезнал или регистриран, за да отговориш тук.

Back
Горе