| От | Steven Lembark |
|---|---|
| Тема | Re: large numbers of inserts out of memory strategy |
| Дата | |
| Msg-id | 20171129110210.59a57d4d@wrkhors.com обсуждение исходный текст |
| Ответ на | Re: large numbers of inserts out of memory strategy (Ted Toth <txtoth@gmail.com>) |
| Список | pgsql-general |
> > what tools / languages ate you using? > > I'm using python to read binary source files and create the text files > contains the SQL. Them I'm running psql -f <file containing SQL>. Then chunking the input should be trivial. There are a variety of techniques you can use to things like disable indexes during loading, etc. Maybe load them into temp tables and then insert the temp's into the destination tables. The point is to amortize the memory load over the entire load period. -- Steven Lembark 1505 National Ave Workhorse Computing Rockford, IL 61103 lembark@wrkhors.com +1 888 359 3508
В списке pgsql-general по дате отправления:
Сайт использует файлы cookie для корректной работы и повышения удобства. Нажимая кнопку «Принять» или продолжая пользоваться сайтом, вы соглашаетесь на их использование в соответствии с Политикой в отношении обработки cookie ООО «ППГ», в том числе на передачу данных из файлов cookie сторонним статистическим и рекламным службам. Вы можете управлять настройками cookie через параметры вашего браузера