Добрый день. Есть следующая ситуация:
- Веб-сайт, на сайте множество страниц, на каждой странице php скрипт
- при обращении к странице скрипт записывает в лог-файл строку со следующими параметрами:
<имя страницы> <времы вызова страницы> <ИП-адрес получателя страницы>
Раз в сутки к лог-файлу подключается программа, перносит данные к себе и обнуляет лог-файл
на текущий момент объем строк может быть от 30 до 100 тысяч строк в сутки (число страниц Х число посещений)
собирать данные нужно в течение нескольких лет, это уже десятки а то и сотни миллионов строк
кроме того периодически нужно получать выборки из это массива строк по заданному параметру (например ИП-адрес, в периоде с такого то числа по такое), для анализа

Вопрос:
как правильно организовать все выше перечисленное? наверно БД?
если у кого есть опыт решения похожих задач, подскажите, если не сложно

[Black Raider]

Вы правильно мыслите про БД.
причем не хилая такая согласно тому что вы собираетесь хранить за несколько лет, т.е. 10000*365*пусть 3 года> 1 млрд. записей, однозначно БД.

[lmikle]

Сообщение от Black Raider

Вы правильно мыслите про БД.
причем не хилая такая согласно тому что вы собираетесь хранить за несколько лет, т.е. 10000*365*пусть 3 года> 1 млрд. записей, однозначно БД.

Hadoop?
Просто сгружаешь туда файл и все.
Потом пишешь отдельную задачу для хадупа, которая делает тебе выборки.

Ну или действительно БД.

PS. 1 лярд записей для всех более-менее приличных баз - это ничто. Особенно, если там данных 3 поля.

а попобробнее? какая БД подойдет? а то их много

[Black Raider]

Сообщение от lmikle

Hadoop?
Просто сгружаешь туда файл и все.
Потом пишешь отдельную задачу для хадупа, которая делает тебе выборки.

Ну или действительно БД.

PS. 1 лярд записей для всех более-менее приличных баз - это ничто. Особенно, если там данных 3 поля.

Без БД грустно будет.

Hadoop? - эт че такое?

Ну впринципе если только 3 поля то да ничто. согласен.