Цитата:
Сообщение от Xalexo
Доброго времени ув. знатоки и иже с ними! Писал парсер с сайта объявлений cian.ru.
Сделал даже полный аналог фильтра для поиска с самого сайта (покупка\продажа\комнаты и тд).
Поначалу прекрасно парсил даже и в 10 и в 100 потоков. Прикрутил каждую страницу к одному thread.
Но счастье, как грится, было недолгим - "Connection Closed Gracefully".
|
Логично, что у них есть система блокировок от парсинга, вот тебя и забанили.
Возможно по каким-то паттернам, раз прокси не спасают, хотя странно.