Добрый день. Есть следующая ситуация:
- Веб-сайт, на сайте множество страниц, на каждой странице php скрипт
- при обращении к странице скрипт записывает в лог-файл строку со следующими параметрами:
<имя страницы> <времы вызова страницы> <ИП-адрес получателя страницы>
Раз в сутки к лог-файлу подключается программа, перносит данные к себе и обнуляет лог-файл
на текущий момент объем строк может быть от 30 до 100 тысяч строк в сутки (число страниц Х число посещений)
собирать данные нужно в течение нескольких лет, это уже десятки а то и сотни миллионов строк
кроме того периодически нужно получать выборки из это массива строк по заданному параметру (например ИП-адрес, в периоде с такого то числа по такое), для анализа

Вопрос:
как правильно организовать все выше перечисленное? наверно БД?
если у кого есть опыт решения похожих задач, подскажите, если не сложно