Парсинг https

Alex7 · #1 06.12.2019, 22:40

Здравствуйте, помогите, не получается парсить данные с сайта https://hh.ru
Пытаюсь так:

Код:

try
  html :=IdHTTP1.Get(Edit1.Text);
  Edit2.Text :=Copy(html, Pos(Edit3.Text, html)+1, 7);
  except

Ошибка: Error connecting with SSL

Delphi7
indy10
Файлы libeay32.dll и ssleay32.dll в каталоге с .exe

lmikle · #2 07.12.2019, 05:19

Это не весь код, там надо IOHandler настроить.
у меня вот такой код на Delphi 10:

Код:

function TMonitorItem.ReadInternetPage(AUrl : String) : String;
var
  IdHTTP : TIdHTTP;
  Id_HandlerSocket : TIdSSLIOHandlerSocketOpenSSL;
begin
  IdHTTP := TIdHTTP.Create(Nil);
  Id_HandlerSocket := TIdSSLIOHandlerSocketOpenSSL.Create(IdHTTP);
  Try
    IdHTTP.Request.BasicAuthentication := False;
    IdHTTP.Request.UserAgent := 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:12.0) Gecko/20100101 Firefox/12.0';

    Id_HandlerSocket.SSLOptions.Mode := sslmClient;
    Id_HandlerSocket.SSLOptions.Method := sslvSSLv23;
    IdHTTP.IOHandler := Id_HandlerSocket;

    Result := IdHTTP.Get(AUrl);
  Finally
    Id_HandlerSocket.Free;
    IdHTTP.Free;
  End;
end;

Alex7 · #3 07.12.2019, 09:06

Цитата:

Сообщение от lmikle

Это не весь код, там надо IOHandler настроить.
у меня вот такой код на Delphi 10:

Код:

function TMonitorItem.ReadInternetPage(AUrl : String) : String;
var
  IdHTTP : TIdHTTP;
  Id_HandlerSocket : TIdSSLIOHandlerSocketOpenSSL;
begin
  IdHTTP := TIdHTTP.Create(Nil);
  Id_HandlerSocket := TIdSSLIOHandlerSocketOpenSSL.Create(IdHTTP);
  Try
    IdHTTP.Request.BasicAuthentication := False;
    IdHTTP.Request.UserAgent := 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:12.0) Gecko/20100101 Firefox/12.0';

    Id_HandlerSocket.SSLOptions.Mode := sslmClient;
    Id_HandlerSocket.SSLOptions.Method := sslvSSLv23;
    IdHTTP.IOHandler := Id_HandlerSocket;

    Result := IdHTTP.Get(AUrl);
  Finally
    Id_HandlerSocket.Free;
    IdHTTP.Free;
  End;
end;

Та же самая ошибка.

lmikle · #4 07.12.2019, 21:51

Да нет, все работает.
Вот тестовый код:

Код:

unit Unit1;

interface

uses
  Winapi.Windows, Winapi.Messages, System.SysUtils, System.Variants, System.Classes, Vcl.Graphics,
  Vcl.Controls, Vcl.Forms, Vcl.Dialogs, Vcl.StdCtrls;

type
  TForm1 = class(TForm)
    Button1: TButton;
    Memo1: TMemo;
    procedure Button1Click(Sender: TObject);
  private
    { Private declarations }
  public
    { Public declarations }
  end;

var
  Form1: TForm1;

implementation

{$R *.dfm}

uses IdHTTP, IdSSLOpenSSL;

function ReadInternetPage(AUrl : String) : String;
var
  IdHTTP : TIdHTTP;
  Id_HandlerSocket : TIdSSLIOHandlerSocketOpenSSL;
begin
  IdHTTP := TIdHTTP.Create(Nil);
  Id_HandlerSocket := TIdSSLIOHandlerSocketOpenSSL.Create(IdHTTP);
  Try
    IdHTTP.Request.BasicAuthentication := False;
    IdHTTP.Request.UserAgent := 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:12.0) Gecko/20100101 Firefox/12.0';

    Id_HandlerSocket.SSLOptions.Mode := sslmClient;
    Id_HandlerSocket.SSLOptions.Method := sslvSSLv23;
    IdHTTP.IOHandler := Id_HandlerSocket;

    Result := IdHTTP.Get(AUrl);
  Finally
    Id_HandlerSocket.Free;
    IdHTTP.Free;
  End;
end;

procedure TForm1.Button1Click(Sender: TObject);
begin
  Memo1.Lines.Text := ReadInternetPage('https://hh.ru');
end;

end.

Вот начало того, что выдает в мемо:

Цитата:

<!DOCTYPE html>
<html class="desktop"><head><meta http-equiv="Content-Type" content="text/html; charset=UTF-8"><meta http-equiv="X-UA-Compatible" content="IE=edge"><title>Работа в Москве, поиск персонала и публикация вакансий - hh.ru</title><meta name="description" content="hh.ru — сервис, который помогает найти работу и подобрать персонал в Москве более 19 лет! Создавайте резюме и откликайтесь на вакансии. Набирайте сотрудников и публикуйте вакансии."><meta name="keywords" content="работа, вакансии, работа, поиск вакансий, резюме, работы, работу, работ, ищу работу, поиск"><meta property="og:image"

На D10:
1. Создали проект, написали код.
2. Сохранили проект.
3. Скомпилили проект. В результате в папке проекта (если настройки по умолчанию не изменены) будет папочка Win32\Debug
4. Вот в эту папочку Win32\Debug кидаем две dll: libeay32.dll и ssleay32.dll
5. Запускаем проект, нажимаем кнопку - получаем результат.

Возможные проблемы - программа не может загрузить openSSL dll. Почему это может происходить:
1. Библиотеки не найдены. Они должны быть либо рядом с исполняемым файлов (именно оттуда Win32\Debug, причем неважно, из IDE запуск или так), либо в домашней папке Window или Windows\System (я не рекомендую такой вариант, в т.ч. потому что см. п. 2)
2. Билиотеки неправильной версии. Там в какой-то момент openSSL поменял структуру библиотек, так что новые не совместимы со старыми, а Indy ожидает старый формат. У меня версия 0.9.8zh. Если правильно помню, то смена произошла где-то в версии 1.0.x, так что любая до 1.0 должна работать.

Опции темы	Поиск в этой теме
Версия для печати Отправить на Email	Поиск в этой теме: Расширенный поиск
Опции просмотра
Линейный вид Комбинированный вид Древовидный вид

	Сайт	Форум	FAQ	Соглашения	Прочее
	Новости Исходники Компоненты Статьи Добавить исходник Поиск	Правила Поиск Сообщения за сегодня Пользователи Кто на форуме?	Delphi FAQ - 5000 статей DRKB - 4500 статей (ZIP-архив) Справочник функций и процедур Delphi Delphi Programming Guide Indy in Depth. Глубины Indy	Конфиденциальность Соглашение пользователя Правила обработки cookie	О сайте Donate Контакты

Этот пользователь сказал Спасибо lmikle за это полезное сообщение:
Alex7 (13.12.2019)