E.33. Выпуск 11.17
Дата выпуска: 2022-08-11
В этот выпуск вошли различные исправления, внесённые после версии 11.16. За информацией о нововведениях версии 11 обратитесь к Разделу E.50.
E.33.1. Миграция на версию 11.17
Если используется версия 11.X, выгрузка/восстановление базы не требуется.
Если вы обновляете сервер с более ранней версии, чем 11.14, см. также Раздел E.36.
E.33.2. Изменения
Предотвращение замены объекта при выполнении скрипта расширения, если этот объект до этого не принадлежал расширению (Том Лейн)
Теперь скриптам расширения запрещается выполнять
CREATE OR REPLACEдля существующего объекта, не принадлежащего расширению. Также запрещается выполнятьCREATE IF NOT EXISTSв аналогичной ситуации. Тем самым обеспечивается защита от атак с внедрением троянского кода, когда злонамеренный пользователь базы данных мог стать владельцем объекта в расширении, а затем изменить его с целью перехватить управление при его дальнейшем использовании другими пользователями. Попутно эта защита снижает риск случайной замены объектов.Проект PostgreSQL благодарит Свена Клемма за сообщение об этой проблеме. (CVE-2022-2625)
Исправление воспроизведения записей WAL для
CREATE DATABASEна ведомых серверах (Кётаро Хоригути, Асим Правин, Пол Гуо)На ведомых серверах могут отсутствовать каталоги табличных пространств, необходимые для воспроизведения записей WAL о создании базы данных. До этого исправления ведомый сервер не мог восстановиться в таких случаях, хотя каталоги могли отсутствовать на законных основаниях. Теперь табличное пространство создаётся (как обычный каталог), а по достижении согласованного состояния проверяется, что оно было корректно удалено.
Поддержка «внутренних» табличных пространств (Томас Манро, Микаэль Пакье, Альваро Эррера)
В PostgreSQL табличное пространство — это обычно символическая ссылка на каталог в другой файловой системе. Теперь табличное пространство может представлять собой простой каталог. Это не позволяет размещать таблицы в разных файловых системах, но полезно при тестировании. Кроме того, это является частью решения предыдущей проблемы, которое заключается в том, что отсутствующее табличное пространство временно создаётся в виде «внутреннего» пространства.
Исправление проверки прав в
CREATE INDEX(Натан Боссарт, Ной Миш)В результате исправления уязвимости CVE-2022-1552 команда
CREATE INDEXстала искать классы операторов и другие объекты с правами владельца таблицы, а не с правами выполняющего её пользователя, как это было ранее. При этом возникала проблема с выгрузкой/восстановлением данных, поскольку pg_dump выполняетCREATE INDEXдо назначения прав.Выполнение немедленной фиксации транзакции в расширенном протоколе запросов после
CREATE DATABASEи других команд, которые нельзя использовать в блоке транзакции (Том Лейн)Если клиент сразу после такой команды отправляет не сообщение Sync, а другую команду, любой сбой в последней приводит к откату предыдущей. Обычно следствием этого будет рассогласование состояния на диске (например, будет отсутствовать или обнаружится лишний каталог базы данных). Механизмы предотвращения такой несогласованности, как выяснилось, работают, когда несколько команд передаются в одном сообщении простого протокола, но не когда они передаются в последовательности сообщений расширенного протокола. Чтобы обеспечить согласованность и при этом не поломать сценарии использования, которые работали ранее, теперь после таких команд выполняется неявная фиксация транзакции.
Устранение условий гонки при проверке видимости транзакций (Саймон Риггс)
Функция
TransactionIdIsInProgressмогла выдатьfalseдля транзакции, которая ещё не стала видимой, что могло иметь различные негативные последствия. Как правило, окно условий гонки довольно узкое, но синхронная репликация расширяет его, поскольку в этом окне выполняется ожидание синхронной реплики.Исправление запросов, в которых переменная «вся строка» ссылается на результат функции, возвращающей домен поверх составного типа (Том Лейн)
Устранение ошибки планировщика «variable not found in subplan target list» (переменная не найдена в целевом списке подплана) при подтягивании наверх вложенного
SELECT, задействованного в аргументе функцииGROUPING(Ричард Гуо)Исправление обработки рекурсии для триггеров секционированных таблицы в
ALTER TABLE ... ENABLE/DISABLE TRIGGER(Альваро Эррера, Амит Ланготе)В определённых случаях эта команда завершалась ошибкой «trigger does not exist» (триггер не существует) при попытке изменить состояние триггера в дочерней секции, где его не было.
Исключение возможности получения от функции
pg_stat_get_subscription()дополнительной строки с «мусорными» значениями (Кунтал Гхош)Реализация очистки состояния сеанса в
pg_stop_backup()(Фудзии Масао)Раньше такая очистка не выполнялась, что могло приводить к ошибкам или сбоям проверочных утверждений в том же сеансе.
Исправление сопоставления псевдонимов соединяемых отношений в предложениях
FOR [KEY] UPDATE/SHARE(Дин Рашид)Ранее в особых случаях могло выдаваться неверное сообщение об ошибке.
Устранение сбоя при использовании в конструкции
XMLTABLEилиJSON_TABLEслишком большого числа псевдонимов столбцов (Альваро Эррера)Предотвращение выполнения выражений и функций
ROW()со слишком большим количеством столбцов воFROM(Том Лейн)Запросы с более чем 1600 столбцами не поддерживаются и всегда завершаются ошибкой. Однако обнаружилось, что старую реализацию можно было довести до сбоя проверочных утверждений или краха, составив запрос с более чем 32K столбцами. Чтобы предотвратить это, добавлена проверка количества столбцов при разборе запроса.
Отображение столбцов
SELECT, выводимых в выдаваемом определении правила или представления, с предложениемAS "?column?", если могут существовать внешние ссылки на них (Том Лейн)Ранее такой автоматически создаваемый псевдоним всегда скрывался, но вследствие этого в некоторых случаях полученное определение правила или представления нельзя было восстановить.
Исправление выгрузки представления, вызывающего во
FROMфункцию с результатом составного типа, какие-либо столбцы которого были удалены после создания представления (Том Лейн)Ранее выгруженное представление могло содержать лишние псевдонимы для столбцов результата функции, что препятствовало восстановлению данных или работе pg_upgrade.
Передача информации о неявном создании семейств операторов событийным триггерам (Масахико Савада)
Если при выполнении
CREATE OPERATOR CLASSнеявно создавалось семейство операторов, событийные триггеры не замечали создание этого объекта.Корректировка изменения управляющего файла при выполнении процедуры точки перезапуска во время повышения ведомого сервера (Кётаро Хоригути)
Ранее при завершении процедуры точки перезапуска она могла ошибочно изменить сведения о последней контрольной точке в управляющем файле, следствием чего могла быть аварийная остановка сервера и невозможность перезапустить сервер в случае сбоя до выполнения следующей контрольной точки.
Предотвращение срабатывания тайм-аута
wal_receiver_timeoutна ведомом сервере в процессе логической репликации больших транзакций (Вэй Ван, Амит Капила)Если во время большой транзакции на ведущем сервере ведомому не передавались никакие данные (например, потому что изменяемые в ней таблицы не опубликованы), на ведомом сервере мог сработать тайм-аут. Для устранения этой проблемы в таких ситуациях периодически будут передаваться сообщения об активности.
Запрет вложенных операций резервного копирования в режиме передачи данных логической репликации (Фудзии Масао)
Устранение утечки памяти в коде подписчика логической репликации (Хоу Чжицзе)
Предотвращение утечки открытого дескриптора при чтении неправильного файла с сокращёнными обозначениями часовых поясов (Кётаро Хоригути)
В таких случаях могли выдаваться некритичные предупреждения.
Обеспечение поддержки дополнительных серверных параметров, для которых в качестве короткого описания задано NULL (Стив Чавес)
Расширения могли создавать такие параметры и ранее, но в некоторых местах кода при их обработке происходил сбой.
Исправление обработки флагов
BRIN_EVACUATE_PAGEв логике проверки целостности WAL (Хайян Ван)Исправление некорректных проверочных утверждений в коде управления разделяемыми хеш-таблицами (Томас Манро)
Осуществление очистки после ошибок во время фиксации в
SPI_commit()вместо перекладывания очистки на вызывающий код (Питер Эйзентраут, Том Лейн)Корректно провести очистку сложно, и при этом нужно использовать низкоуровневые средства, поэтому неудивительно, что это нигде не было сделано правильно. В результате возникали сбои, когда процедура PL вызывала
COMMITи в это время возникала ошибка (например, из-за отложенной проверки-ограничения). Чтобы улучшить ситуацию, теперьSPI_commit()по определению начинает новую транзакцию, то есть работает так же, какSPI_commit_and_chain(), но новая транзакция имеет характеристики по умолчанию, а не характеристики предыдущей транзакции. Чтобы это изменение было прозрачным с точки зрения API, функцияSPI_start_transaction()сохранена, но теперь не делает ничего. Везде, где в существующем коде вызывается функцияSPI_commit(), за ней сразу вызываетсяSPI_start_transaction(), поэтому данное изменение там никак не проявится. Подобные замечания применимы и кSPI_rollback().Также исправления внесены в реализацию PL/Python, в которой такие ошибки вообще не обрабатывались, что приводило к выходу из интерпретатора Python. Поступали сообщения о том, что это вызывало падение Python 3.11. В предыдущих версиях Python проблемы ограничивались утечкой памяти.
Удаление в libpq ненужной проверки владельца файла SSL-ключа (Том Лейн)
В предыдущих корректирующих выпусках мы скопировали правила проверки разрешений для файла закрытого ключа SSL, принятые на стороне сервера, в libpq. Однако проверку владения этого файла копировать не следовало. Хотя она работала в обычных ситуациях, она мешала запустить клиентское приложение от имени root, и, возможно, в других случаях.
Обеспечение вывода вменяемого сообщения при потере подключения к серверу в ecpg (Том Лейн)
Вследствие неправильной обработки ошибки, сформированной libpq, например при потере подключения, вместо полезного сообщения могла выдаваться строка «(null)», а в старых версиях мог произойти сбой.
Предотвращение аварийного сбоя в ecpglib при выполнении операций не в ожидаемом порядке (Том Лейн)
Если определённые операции, например
EXEC SQL PREPARE, выполнялись до установления подключения к базе данных, мог произойти сбой (вместо ошибки, как можно было ожидать).Исключение лишних вызовов
newlocale()в ecpglib (Ной Миш)Раньше объекты локали C создавались и освобождались для каждого запроса, теперь же объект локали выделяется один раз для каждого процесса при первом подключении. Это устраняет утечку памяти libc в AIX и может несколько повысить общую производительность.
Добавление в psql перевода строки после прерывания команды
\watchсигналом Control-C (Павел Стехуле)Теперь libedit (а возможно и libreadline) будет точно знать, в каком столбце находится курсор.
Устранение найденных в
contrib/pg_stat_statementsпроблем с очень большими файлами текстов запросов на 32-битных платформах (Том Лейн)Обеспечение в
contrib/postgres_fdwпередачи констант типовregconfigиreg*с правильной схемой (Том Лейн)Блокировка сигналов во время выделения динамической общей памяти в Linux (Томас Манро)
Это изменение позволяет избежать проблем при прерывании сигналом функции
posix_fallocate().Исправление обработки неожиданных ошибок
EEXIST, выдаваемых функциейshm_open()(Томас Манро)Это предотвращает возможный сбой в Solaris.
Корректировка теста PL/Perl для обеспечения совместимости с Perl 5.36 (Дагфинн Ильмари Маннсакер)
Недопущение ошибочного использования устаревшей библиотеки libldap_r в случае, когда при сборке PostgreSQL обнаруживается несколько инсталляций OpenLDAP (Том Лейн)
E.33. Release 11.17
Release date: 2022-08-11
This release contains a variety of fixes from 11.16. For information about new features in major release 11, see Section E.50.
E.33.1. Migration to Version 11.17
A dump/restore is not required for those running 11.X.
However, if you are upgrading from a version earlier than 11.14, see Section E.36.
E.33.2. Changes
Do not let extension scripts replace objects not already belonging to the extension (Tom Lane)
This change prevents extension scripts from doing
CREATE OR REPLACEif there is an existing object that does not belong to the extension. It also preventsCREATE IF NOT EXISTSin the same situation. This prevents a form of trojan-horse attack in which a hostile database user could become the owner of an extension object and then modify it to compromise future uses of the object by other users. As a side benefit, it also reduces the risk of accidentally replacing objects one did not mean to.The PostgreSQL Project thanks Sven Klemm for reporting this problem. (CVE-2022-2625)
Fix replay of
CREATE DATABASEWAL records on standby servers (Kyotaro Horiguchi, Asim R Praveen, Paul Guo)Standby servers may encounter missing tablespace directories when replaying database-creation WAL records. Prior to this patch, a standby would fail to recover in such a case; however, such directories could be legitimately missing. Create the tablespace (as a plain directory), then check that it has been dropped again once replay reaches a consistent state.
Support “in place” tablespaces (Thomas Munro, Michael Paquier, Álvaro Herrera)
Normally a Postgres tablespace is a symbolic link to a directory on some other filesystem. This change allows it to just be a plain directory. While this has no use for separating tables onto different filesystems, it is a convenient setup for testing. Moreover, it is necessary to support the
CREATE DATABASEreplay fix, which transiently creates a missing tablespace as an “in place” tablespace.Fix permissions checks in
CREATE INDEX(Nathan Bossart, Noah Misch)The fix for CVE-2022-1552 caused
CREATE INDEXto apply the table owner's permissions while performing lookups of operator classes and other objects, where formerly the calling user's permissions were used. This broke dump/restore scenarios, because pg_dump issuesCREATE INDEXbefore re-granting permissions.In extended query protocol, force an immediate commit after
CREATE DATABASEand other commands that can't run in a transaction block (Tom Lane)If the client does not send a Sync message immediately after such a command, but instead sends another command, any failure in that command would lead to rolling back the preceding command, typically leaving inconsistent state on-disk (such as a missing or extra database directory). The mechanisms intended to prevent that situation turn out to work for multiple commands in a simple-Query message, but not for a series of extended-protocol messages. To prevent inconsistency without breaking use-cases that work today, force an implicit commit after such commands.
Fix race condition when checking transaction visibility (Simon Riggs)
TransactionIdIsInProgresscould reportfalsebefore the subject transaction is considered visible, leading to various misbehaviors. The race condition window is normally very narrow, but use of synchronous replication makes it much wider, because the wait for a synchronous replica happens in that window.Fix queries in which a “whole-row variable” references the result of a function that returns a domain over composite type (Tom Lane)
Fix “variable not found in subplan target list” planner error when pulling up a sub-
SELECTthat's referenced in aGROUPINGfunction (Richard Guo)Fix
ALTER TABLE ... ENABLE/DISABLE TRIGGERto handle recursion correctly for triggers on partitioned tables (Álvaro Herrera, Amit Langote)In certain cases, a “trigger does not exist” failure would occur because the command would try to adjust the trigger on a child partition that doesn't have it.
Prevent
pg_stat_get_subscription()from possibly returning an extra row containing garbage values (Kuntal Ghosh)Ensure that
pg_stop_backup()cleans up session state properly (Fujii Masao)This omission could lead to assertion failures or crashes later in the session.
Fix join alias matching in
FOR [KEY] UPDATE/SHAREclauses (Dean Rasheed)In corner cases, a misleading error could be reported.
Avoid crashing if too many column aliases are attached to an
XMLTABLEorJSON_TABLEconstruct (Álvaro Herrera)Reject
ROW()expressions and functions inFROMthat have too many columns (Tom Lane)Cases with more than about 1600 columns are unsupported, and have always failed at execution. However, it emerges that some earlier code could be driven to assertion failures or crashes by queries with more than 32K columns. Add a parse-time check to prevent that.
When decompiling a view or rule, show a
SELECToutput column'sAS "?column?"alias clause if it could be referenced elsewhere (Tom Lane)Previously, this auto-generated alias was always hidden; but there are corner cases where doing so results in a non-restorable view or rule definition.
Fix dumping of a view using a function in
FROMthat returns a composite type, when column(s) of the composite type have been dropped since the view was made (Tom Lane)This oversight could lead to dump/reload or pg_upgrade failures, as the dumped view would have too many column aliases for the function.
Report implicitly-created operator families to event triggers (Masahiko Sawada)
If
CREATE OPERATOR CLASSresults in the implicit creation of an operator family, that object was not reported to event triggers that should capture such events.Fix control file updates made when a restartpoint is running during promotion of a standby server (Kyotaro Horiguchi)
Previously, when the restartpoint completed it could incorrectly update the last-checkpoint fields of the control file, potentially leading to PANIC and failure to restart if the server crashes before the next normal checkpoint completes.
Prevent triggering of standby's
wal_receiver_timeoutduring logical replication of large transactions (Wang Wei, Amit Kapila)If a large transaction on the primary server sends no data to the standby (perhaps because no table it changes is published), it was possible for the standby to timeout. Fix that by ensuring we send keepalive messages periodically in such situations.
Disallow nested backup operations in logical replication walsenders (Fujii Masao)
Fix memory leak in logical replication subscribers (Hou Zhijie)
Prevent open-file leak when reading an invalid timezone abbreviation file (Kyotaro Horiguchi)
Such cases could result in harmless warning messages.
Allow custom server parameters to have short descriptions that are NULL (Steve Chavez)
Previously, although extensions could choose to create such settings, some code paths would crash while processing them.
Fix WAL consistency checking logic to correctly handle
BRIN_EVACUATE_PAGEflags (Haiyang Wang)Fix erroneous assertion checks in shared hashtable management (Thomas Munro)
Arrange to clean up after commit-time errors within
SPI_commit(), rather than expecting callers to do that (Peter Eisentraut, Tom Lane)Proper cleanup is complicated and requires use of low-level facilities, so it's not surprising that no known caller got it right. This led to misbehaviors when a PL procedure issued
COMMITbut a failure occurred (such as a deferred constraint check). To improve matters, redefineSPI_commit()as starting a new transaction, so that it becomes equivalent toSPI_commit_and_chain()except that you get default transaction characteristics instead of preserving the prior transaction's characteristics. To make this somewhat transparent API-wise, redefineSPI_start_transaction()as a no-op. All known callers ofSPI_commit()immediately callSPI_start_transaction(), so they will not notice any change. Similar remarks apply toSPI_rollback().Also fix PL/Python, which omitted any handling of such errors at all, resulting in jumping out of the Python interpreter. This is reported to crash Python 3.11. Older Python releases leak some memory but seem okay with it otherwise.
Remove misguided SSL key file ownership check in libpq (Tom Lane)
In the previous minor releases, we copied the server's permission checking rules for SSL private key files into libpq. But we should not have also copied the server's file-ownership check. While that works in normal use-cases, it can result in an unexpected failure for clients running as root, and perhaps in other cases.
Ensure ecpg reports server connection loss sanely (Tom Lane)
Misprocessing of a libpq-generated error result, such as a report of lost connection, would lead to printing “(null)” instead of a useful error message; or in older releases it would lead to a crash.
Avoid core dump in ecpglib with unexpected orders of operations (Tom Lane)
Certain operations such as
EXEC SQL PREPAREwould crash (rather than reporting an error as expected) if called before establishing any database connection.In ecpglib, avoid redundant
newlocale()calls (Noah Misch)Allocate a C locale object once per process when first connecting, rather than creating and freeing locale objects once per query. This mitigates a libc memory leak on AIX, and may offer some performance benefit everywhere.
In psql's
\watchcommand, echo a newline after cancellation with control-C (Pavel Stehule)This prevents libedit (and possibly also libreadline) from becoming confused about which column the cursor is in.
Fix
contrib/pg_stat_statementsto avoid problems with very large query-text files on 32-bit platforms (Tom Lane)Ensure that
contrib/postgres_fdwsends constants ofregconfigand otherreg*types with proper schema qualification (Tom Lane)Block signals while allocating dynamic shared memory on Linux (Thomas Munro)
This avoids problems when a signal interrupts
posix_fallocate().Detect unexpected
EEXISTerror fromshm_open()(Thomas Munro)This avoids a possible crash on Solaris.
Adjust PL/Perl test case so it will work under Perl 5.36 (Dagfinn Ilmari Mannsåker)
Avoid incorrectly using an out-of-date libldap_r library when multiple OpenLDAP installations are present while building PostgreSQL (Tom Lane)