[Xalexo]

Доброго времени ув. знатоки и иже с ними! Писал парсер с сайта объявлений cian.ru.
Сделал даже полный аналог фильтра для поиска с самого сайта (покупка\продажа\комнаты и тд).
Поначалу прекрасно парсил даже и в 10 и в 100 потоков. Прикрутил каждую страницу к одному thread.
Но счастье, как грится, было недолгим - "Connection Closed Gracefully".

Теперь эта, с позволения сказать, - ошибка вылетает сразу, не дает спарсить даже 1 страницу, т.е результат начисто по-нулям.
Парсил через TIdHTTP.GET(url)/ Пробовал менять и "user agent" в самом компоненте, включал и глоб.прокси через VPN в пр-ме Phsiphon, безрезультатно.
Понятно, что эта чисто внешняя "загрушка" со стороны самого сервера cian.ru..

Полный нуб в этом вопросе, подскажите пож. куда копать, уж очень долго писал етот парсер ))))

Процедура запуска для потока:

Код:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44

procedure MThread.Execute; var http:TIdHTTP;     ssl: TIdSSLIOHandlerSocketOpenSSL; s:string; begin   inherited;     try   http:= TIdHTTP.create(nil);   ssl:=  TIdSSLIOHandlerSocketOpenSSL.Create(nil);   try   with ssl do   begin      SSLOptions.Mode:= sslmUnassigned;      SSLOptions.Method := sslvSSLv23;   end;     with http do   begin     //Response.KeepAlive:= true;     Request.UserAgent:= 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:68.9) Gecko/20100101 Goanna/4.6 Firefox/68.9 PaleMoon/28.10.0';       AllowCookies:=    true;     HandleRedirects:= true;     HTTPOptions:=    [hoForceEncodeParams];     RedirectMaximum:= 100;     ProxyParams.BasicAuthentication:= false;     IOHandler:= ssl   end;     page:= http.get(url_); // тот самый, ранее сформированый в интерфейсе URL     finally     ssl. free;     http.free;   end;       except   // Здесь с некоторых пор имеем "Connection Closed Gracefully"   on E: Exception do        messagebox(0,pchar(E.ClassName+': '+E.Message),pchar(''),MB_ICONWARNING+MB_OK);     end; end;

[lmikle]

Если правильно помню, то этот эксепшн можно игнорировать. Это на стороне сервера конекшн обрывается грубо. Т.е. страницу то ты получил.
Попробуй отловить именно этот эксепшн вокруг page := http.get(url_); и проигнорировать его.

[Admin]

Сообщение от Xalexo

Доброго времени ув. знатоки и иже с ними! Писал парсер с сайта объявлений cian.ru.
Сделал даже полный аналог фильтра для поиска с самого сайта (покупка\продажа\комнаты и тд).
Поначалу прекрасно парсил даже и в 10 и в 100 потоков. Прикрутил каждую страницу к одному thread.
Но счастье, как грится, было недолгим - "Connection Closed Gracefully".

Логично, что у них есть система блокировок от парсинга, вот тебя и забанили.
Возможно по каким-то паттернам, раз прокси не спасают, хотя странно.

[Xalexo]

Спс, сейчас попробую

[Xalexo]

Сообщение от Admin

Логично, что у них есть система блокировок от парсинга, вот тебя и забанили.
Возможно по каким-то паттернам, раз прокси не спасают, хотя странно.

Да, тоже была такая мысль.. Может спасет какой-нить авторизованный доступ, как-то так напр.:

Код:

1 2 3

http.Request.UserName:= "login"; // логин зарег. на сайте, он же емейл http.Request.Password:= "password"; // и пароль от туда page:= http.get(url_);

Или через пост-запрос:

Код:

1	page:= http.post(url_, "файл с параметрами");

[Admin]

Возможно нужно куки за собой таскать, либо они видят что рефер не передается. Нужно анализировать...