Re: Load experimentation

От

Greg Smith

Тема

Дата

7 декабря 2009 г. в 16:59:51

Msg-id

4B1D6CB1.3090909@2ndquadrant.com

обсуждение

Ответ на

Re: Load experimentation (Ben Brehmer)

Список

pgsql-performance

Дерево обсуждения

Load experimentation Ben Brehmer <benbrehmer@gmail.com> 7 декабря 2009 г. в 14:13:03

Re: Load experimentation "Kevin Grittner" <Kevin.Grittner@wicourts.gov> 7 декабря 2009 г. в 14:33:35

Re: Load experimentation Ben Brehmer <benbrehmer@gmail.com> 7 декабря 2009 г. в 14:45:40

Re: Load experimentation Thom Brown <thombrown@gmail.com> 7 декабря 2009 г. в 14:40:34

Re: Load experimentation Ben Brehmer <benbrehmer@gmail.com> 7 декабря 2009 г. в 15:33:25

Re: Load experimentation Alan Hodgson <ahodgson@simkin.ca> 7 декабря 2009 г. в 15:48:50

Re: Load experimentation Craig James <craig_james@emolecules.com> 7 декабря 2009 г. в 15:37:59

Re: Load experimentation Greg Smith <greg@2ndquadrant.com> 7 декабря 2009 г. в 16:59:51

Re: Load experimentation Ben Brehmer <benbrehmer@gmail.com> 8 декабря 2009 г. в 03:22:36

Re: Load experimentation Greg Smith <greg@2ndquadrant.com> 8 декабря 2009 г. в 03:35:27

Re: Load experimentation Scott Marlowe <scott.marlowe@gmail.com> 8 декабря 2009 г. в 03:59:00

Re: Load experimentation Scott Marlowe <scott.marlowe@gmail.com> 8 декабря 2009 г. в 03:59:54

Re: Load experimentation Dimitri Fontaine <dfontaine@hi-media.com> 8 декабря 2009 г. в 05:10:34

Re: Load experimentation Scott Marlowe <scott.marlowe@gmail.com> 8 декабря 2009 г. в 05:28:38

Re: Load experimentation Dimitri Fontaine <dfontaine@hi-media.com> 8 декабря 2009 г. в 05:39:06

Re: Load experimentation Scott Carey <scott@richrelevance.com> 10 декабря 2009 г. в 19:30:56

Re: Load experimentation Scott Carey <scott@richrelevance.com> 10 декабря 2009 г. в 22:38:12

Re: Load experimentation Craig James <craig_james@emolecules.com> 7 декабря 2009 г. в 14:50:35

Re: Load experimentation Andy Colson <andy@squeakycode.net> 9 декабря 2009 г. в 09:38:03

Re: Load experimentation Ben Brehmer <benbrehmer@gmail.com> 10 декабря 2009 г. в 16:24:56

Re: Load experimentation Scott Mead <scott.lists@enterprisedb.com> 7 декабря 2009 г. в 14:39:39

Ben Brehmer wrote:

By "Loading data" I am implying: "psql -U postgres -d somedatabase -f sql_file.sql". The sql_file.sql contains table creates and insert statements. There are no indexes present nor created during the load.
COPY command: Unfortunately I'm stuck with INSERTS due to the nature this data was generated (Hadoop/MapReduce).

Your basic options here are to batch the INSERTs into bigger chunks, and/or to split your data file up so that it can be loaded by more than one process at a time. There's some comments and links to more guidance here at http://wiki.postgresql.org/wiki/Bulk_Loading_and_Restores

-- 
Greg Smith    2ndQuadrant   Baltimore, MD
PostgreSQL Training, Services and Support
greg@2ndQuadrant.com  www.2ndQuadrant.com

В списке pgsql-performance по дате отправления

Предыдущее

От: Karl Denninger

Дата: 7 декабря 2009 г. в 15:49:52

Сообщение: Re: RAID card recommendation

Следующее

От: Greg Smith

Дата: 7 декабря 2009 г. в 17:20:33

Сообщение: Re: RAID card recommendation