|
|
|
|
|||||||
| Регистрация | << Правила форума >> | FAQ | Пользователи | Календарь | Поиск | Сообщения за сегодня | Все разделы прочитаны |
|
|
Опции темы | Поиск в этой теме | Опции просмотра |
|
#1
01.09.2012, 18:08
|
||||
|
||||
Многопоточная Обработка web-страниц
В общем в таблице есть список ссылок, по которым надо пройтись (Скачать) распарсить. Всё что касается парсинга и скачивания уже готово.
На 2к страниц тратится около 9-15 минут, естественно без учёта ширины канала, и мощности компьютера. Хотелось бы как-то это оптимизировать. google подсказал многопоточность. Только вот вопросы возникли: как контролировать количество потоков? Как передавать потоку ТУ ссылку, которая ещё не обработана? |
Древовидный вид