COPY TO STDOUT Apache Arrow support

Поиск
Список
Период
Сортировка
От Adam Lippai
Тема COPY TO STDOUT Apache Arrow support
Дата
Msg-id CAGrfaBVyfm0wPzXVqm0=h5uArYh9N_ij+sVpUtDHqkB=VyB3jw@mail.gmail.com
обсуждение исходный текст
Ответы Re: COPY TO STDOUT Apache Arrow support
Список pgsql-hackers
Hi,

would it be possible to add Apache Arrow streaming format to the copy backend + frontend?
The use case is fetching (or storing) tens or hundreds of millions of rows for client side data science purposes (Pandas, Apache Arrow compute kernels, Parquet conversion etc). It looks like the serialization overhead when using the postgresql wire format can be significant.

Best regards,
Adam Lippai

В списке pgsql-hackers по дате отправления:

Предыдущее
От: "David G. Johnston"
Дата:
Сообщение: Re: Add version and data directory to initdb output
Следующее
От: Alvaro Herrera
Дата:
Сообщение: Re: typos