[groomok]

Добрый день. Прошу прощенья за,наверно, тысячный вопрос одного типа..но ситуация требует((
Коротко: я увы начинающий прогер. даже толком книги не дочитал..(в процессе),хотя образование прогера (среднее спец) получил=)кое что знаю..
вот с парсингом не встречался ниразу..2 дня гуглил..быстро бегал глазами по форумам но находил кусочки..кое что понял..кое что хочу понят.вот к вам решил обратится. Выручите пожалста.
ТЗ:
1 есть бд с полем id..в нем цифры.. от 100 полей и выше..(базы предположительно будут разные)..
2 есть сайт (без авторизации).. с полем "ххх" и кнопкой "поиск"(сайт налоговой,да еще и скриптовый, те поиск устроен не как в яндексе). По вводу цифры вручную в поле и нажатии кнопки "поиск" выдает записи (тоже табличного типа).
нужно чтобы программа (моя), по oncklik на форме, подключила бд которая есть,вошла на сайт, ввела в поле "ххх" данные с бд (поле id), считала после каждого ввода полученую таблицу и записала эти данные например в xml..
в чем проблема - немогу понять как организовать автоматический ввод id на сайт..
и подскажите пожалста по опыту, насколько это реально и правильно. просто мне каж перебор данных из бд автоматом - может быть или долгим или неправильным..или ваще ip забанят.. (хотя разрешение на закачку и тд все есть)
да кстати, я бы погуглил и почитал учебники но время поджимает..к понедельнику нужно сдать проект..
заранее спасибо..

[groomok]

Кстати еще 1 вопрос, оьясните пожлста суть кода..

Код:

1 2 3 4 5

PostData:=TStringList.Create;     PostData.Clear;     PostData.Add('login=user');     PostData.Add('pass=pas');     htmlcode:=IdHTTP1.Get('http://qiq.ru/');

postdata в скобках - login - имя поля логина сайта? pass - соотв - имя поля пароль? или в скобках нужно по другому как то писать?
вместо usera - мое имя на сайте,а вместо pas - мой пароль?
простите за глупые вопросы - просто хочу в этом разобраться!

[Bars1992]

Сообщение от groomok

Кстати еще 1 вопрос, оьясните пожлста суть кода..

Код:

если ты этот код выцарапал с какого то исходника то ты прав. Скорей всего нужно записывать:

PHP код:

PostData.Add('login=Мой логин');
    PostData.Add('pass=мой пароль'); 


Насчет первого вопроса. Если страницы скриптовые то наверное лутче всего использовать WebBrowser (вкладка интернет). Информации про этот компонент довольно много. Загрузиш страницу, с помощью Веб браузера введешь данные (програмно) и загрузишь страницу поиска. Парсить страницу результата можно в том же веб браузере или парсить полученый НТМЛ код с помощью регулярных выражений (я бы выбрал первое ). полученные данные добавить в бд думаю не составит труда.

[groomok]

спасиб огромное за подсказку веббраузера! уже начал находить нужные вещи=)))
по поводу 2 вопроса:
я пытался зайти на сайт qiq под своим логином через прогу.. у мя не получалось..
я после post.add закидывал в переменную хтмл код (который должен был быть после авторизации),и в коде видно что авторизации не было..или я что то напутал, или не понял..

UPD
Все спасибо, залогинился и понял ошибку..код страницы внимательно перечитал и к htmlcode:=IdHTTP1.Get('http://qiq.ru/'); надо было дописать.?action=login итого работающая строка - htmlcode:=IdHTTP1.Get('http://qiq.ru/?action=login').. теперь понял что да как!=)))

[Bars1992]

Сообщение от groomok

спасиб огромное за подсказку веббраузера! уже начал находить нужные вещи=)))
по поводу 2 вопроса:
я пытался зайти на сайт qiq под своим логином через прогу.. у мя не получалось..
я после post.add закидывал в переменную хтмл код (который должен был быть после авторизации),и в коде видно что авторизации не было..или я что то напутал, или не понял..

скорей всего ты что-то не понял. Посмотри ище раз код который ты использовал. если есть возможность выложи на форум.

[groomok]

Если не сложно можно еще вопрос?
Может кто поможет..
вот сайт: http://service.nalog.ru:8080/uwsfind.do
вот огрн: 1077746718070

табличка, которая появляется с данными после поиска.. как ее закачать в файл? код html страницы данны таблички не содержит..
заранее спс

[friz]

тут надо юзать indy client-->idhttp (кидай на форму)
а потом:

Код:

1 2 3 4 5 6 7 8 9

procedure TForm1.Button1Click(Sender: TObject); var s:TStringList; begin s:=TStringList.Create; s.Clear; s.Add('og=1077746718070'); memo1.text:=Utf8ToAnsi(IdHTTP1.Post('http://service.nalog.ru:8080/uwsfind.do',s)); s.Free; end;

и в мемо будет текст нужной тебе страницы, вот его и парси

[Страдалецъ]

Поскольку вы активно работаете с исходным кодом htm я вам советую поставить SRWire Iron. Там есть очень хорошая фишка - просмотр кода элемента. Там будет вся информация по элементам страницы.
А что касается:

табличка, которая появляется с данными после поиска.. как ее закачать в файл? код html страницы данны таблички не содержит..

это не так, страничка содержит, вот только сохранение этого элемента видимо запрещено, вот вы его и не получаете в сохраненном файле.

[groomok]

это не так, страничка содержит, вот только сохранение этого элемента видимо запрещено, вот вы его и не получаете в сохраненном файле.

а не подскажите как мне получить этот элемент в сохр виде?=)

я вам советую поставить SRWire Iron

я через хром панель разработчика наблюдал как там после события клик по кнопке поиск - появляются теги table. вот тока там они и появляются.. а мне их сохранить нужно..

[friz]

делай как я написал и будет все как надо!

[Моклев]

Никакой там защиты нет, просто кидаешь на форму IdHTTP,Memo,Button и пишешь:

Код:

1 2 3 4 5 6 7 8

procedure TForm1.Button1Click(Sender: TObject); var s: TStringList; begin s:=TStringList.Create; s.Add('og=1077746718070'); Memo1.Text:=UTF8ToANSI(IdHTTP1.Post('http://service.nalog.ru:8080/uwsfind.do',s)); s.Free; end;

(как собственно и было уже написано)

в Memo у тебя теперь:

...

<table id="uwsdata">
<thead><tr>
<th>Полное наименование юридического лица</th>
<th>ОГРН</th>
<th title="Р13001 – Заявление о государственной регистрации изменений, вносимых в учредительные документы юридического лица
Р14001 – Заявление о внесении в Единый государственный реестр юридических лиц изменений в сведения о юридическом лице, не связанных с внесением изменений в учредительные документы">Вид изменений</th>
<th>Дата представления документов</th><th>Входящий номер</th>
<th>Наименование налогового органа</th>
</tr></thead>
<tbody>

<tr><td>Общество с ограниченной ответственностью "ПЕРВАЯ РЕКРУТИНГОВАЯ КОМПАНИЯ"</td><td>1077746718070</td><td>Вносимые в сведения реестра (форма № Р14001) в части: учредителей-физических лиц</td><td>06.02.2009</td><td>36875А</td><td>Межрайонная инспекция ФНС России №46 по г.Москве</td></tr>

</tbody>
</table>

...

</div>
<div id="stat"><div><a href="stat.do?uws=1" target="_blank">Статистика доступа</a></div>Copyright © 2006-10 ФНС России</div>
<div id="bottom"></div>
</body>
</html>

просто по заголовкам в таблице ищещ этот кусок html и уже фильтруешь его

[groomok]

Спасибо большое. Пока что получается=)