Приветствую всех! В общем, пишу парс результатов поиска людей в ВК. Использую idhttp. Как мы знаем результаты там подгружаются ajax'ом при прокрутке в самый низ страницы, посмотрел http-анализером какой идет пост запрос при подгрузке следующих результатов
Код:
al число
c[age_from] число
c[age_to] число
c[city] число
c[country] число
c[name] число
c[photo] число
c[section] people
c[university] число
offset 900
, нужный нам параметр в запросе offset, подгрузка идет по 20 результатов, т.е. следущий пост запрос будет
Код:
al число
c[age_from] число
c[age_to] число
c[city] число
c[country] число
c[name] число
c[photo] число
c[section] people
c[university] число
offset 920
Но вот проблема, макс число результатов поиска =1000 ! А мне нужно все. Как обойти это ограничение? Напрямую конечно никак, т.е. посылал пост запрос с offset=1100, в ответ получал исходник с содержимым
Код HTML:
Доступны только первые 1000 результатов.<br>Уточните критерии поиска.</div>
Есть у кого идеи? Ну конечно можно менять второстепенные критерии поиска,которые нам не важны, ну допустим надо выдрать все адреса страниц пользователей с одного города, основной критерий ГОРОД, ок, уточням пол, результатов стало меньше, уточням возраст еще меньше, но в итоге всеравно хоть раз,но будет пропарсен один и тот же юзер, т.к. эти критерии могут быть одинаковы у некоторых юзаков. В общем жду советов.
P.S. ууу, нихера накатал дессертацию, я так в школе на сочинениях много не писал!