Re:
От | Dmitry E. Oboukhov |
---|---|
Тема | Re: |
Дата | |
Msg-id | 20150311045645.GA11054@vdsl.uvw.ru обсуждение исходный текст |
Ответ на | Re: (Konstantin Gerasimenko <kred@gmx.net>) |
Список | pgsql-ru-general |
> День/Ночь добрый. > предлагаю пропустить обсуждение о том как это сделать правильно в > "постгресте", > а сразу перейти к обсуждению о том как это сделать правильно вообще. > Посмотреть в сторону "биг дата" и изучить две вещи: > - Hadoop > - HBase > Дальше научиться агрегировать данные на "мап/редусе" и потом это > лить в реляционалку для "... низнаю для чего ... ". > Всё ... жизнь наладилась. > Удачи. Но если будут вопросы по этим двум пунктам буду рад ответить > в "привате". очень сомнительный совет. если на постгре такая задача отлично решается, то хадуп потребует где-то x20 ресурсов железных при том что только теоретически будет масштабируем. PS: у нас подобная задача: собираем координаты с тысяч устройств, но передают они их не раз в секунду а раз в 10 секунд (разница непринципиальная). поставили перед постгрисом аггрегатор (демончик) который либо ждет 10 секунд и сбрасывает данные в постгрис либо ждет накопления 1000 точек и так же льет. в итоге сейчас постгриска в контейнере OpenVZ на одном CPU вполне собирает за день где-то 2-4гига точек и при этом отвечает быстро на вопрос "дай мне ближайших к заданной" и отвечает относительно быстро на вопрос "дай мне трек машинки XXX со времени A по время B" партицируем тупо по датам: новый день - новая партиция. -- . ''`. Dmitry E. Oboukhov : :’ : email: unera@debian.org jabber://UNera@uvw.ru `. `~’ GPGKey: 1024D / F8E26537 2006-11-21 `- 1B23 D4F8 8EC0 D902 0555 E438 AB8C 00CF F8E2 6537
Вложения
В списке pgsql-ru-general по дате отправления: