Форум по Delphi программированию

Delphi Sources



Вернуться   Форум по Delphi программированию > Все о Delphi > [ "Начинающим" ]
Ник
Пароль
Регистрация <<         Правила форума         >> FAQ Пользователи Календарь Поиск Сообщения за сегодня Все разделы прочитаны

Ответ
 
Опции темы Поиск в этой теме Опции просмотра
  #1  
Старый 17.06.2013, 14:01
nano_bot nano_bot вне форума
Новичок
 
Регистрация: 05.05.2013
Сообщения: 62
Версия Delphi: Delphi 7
Репутация: 10
Восклицание Парс ВК

Приветствую всех! В общем, пишу парс результатов поиска людей в ВК. Использую idhttp. Как мы знаем результаты там подгружаются ajax'ом при прокрутке в самый низ страницы, посмотрел http-анализером какой идет пост запрос при подгрузке следующих результатов
Код:
al              число       
c[age_from]     число      
c[age_to]       число      
c[city]         число    
c[country]      число       
c[name]         число       
c[photo]        число       
c[section]      people  
c[university]   число    
offset          900     
, нужный нам параметр в запросе offset, подгрузка идет по 20 результатов, т.е. следущий пост запрос будет
Код:
al              число       
c[age_from]     число      
c[age_to]       число      
c[city]         число    
c[country]      число       
c[name]         число       
c[photo]        число       
c[section]      people  
c[university]   число    
offset          920 
Но вот проблема, макс число результатов поиска =1000 ! А мне нужно все. Как обойти это ограничение? Напрямую конечно никак, т.е. посылал пост запрос с offset=1100, в ответ получал исходник с содержимым
Код HTML:
Доступны только первые 1000 результатов.<br>Уточните критерии поиска.</div>
Есть у кого идеи? Ну конечно можно менять второстепенные критерии поиска,которые нам не важны, ну допустим надо выдрать все адреса страниц пользователей с одного города, основной критерий ГОРОД, ок, уточням пол, результатов стало меньше, уточням возраст еще меньше, но в итоге всеравно хоть раз,но будет пропарсен один и тот же юзер, т.к. эти критерии могут быть одинаковы у некоторых юзаков. В общем жду советов.

P.S. ууу, нихера накатал дессертацию, я так в школе на сочинениях много не писал!

Последний раз редактировалось nano_bot, 17.06.2013 в 14:14.
Ответить с цитированием
  #2  
Старый 17.06.2013, 14:05
nano_bot nano_bot вне форума
Новичок
 
Регистрация: 05.05.2013
Сообщения: 62
Версия Delphi: Delphi 7
Репутация: 10
По умолчанию

Кстати говоря, с возрастом можно попробовать помутить, т.е. сначала уточняем его чтобы все юзаки были одного возраста, затем увеличиваем его на год и тд. Но если в городе гора юзаков, не поможет.
Ответить с цитированием
  #3  
Старый 17.06.2013, 17:30
Аватар для PhoeniX
PhoeniX PhoeniX вне форума
Always hardcore!
 
Регистрация: 04.03.2009
Адрес: СПб
Сообщения: 3,239
Версия Delphi: GCC/FPC/FASM
Репутация: 62149
По умолчанию

VK API спасёт мегапарсера
Пример работы тут
__________________
Оставайтесь хорошими людьми...
VK id2634397, ds [at] phoenix [dot] dj
Ответить с цитированием
Ответ


Delphi Sources

Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск
Опции просмотра

Ваши права в разделе
Вы не можете создавать темы
Вы не можете отвечать на сообщения
Вы не можете прикреплять файлы
Вы не можете редактировать сообщения

BB-коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.
Быстрый переход


Часовой пояс GMT +3, время: 12:44.


 

Сайт

Форум

FAQ

Соглашения

Прочее

 

Copyright © Форум "Delphi Sources" by BrokenByte Software, 2004-2025