Суперсет ТА релиз 6.0.0

В конструкторе визуализаций появились переключатели, позволяющие отсортировать «Показатели» и «Столбцы» по их названиям.

По умолчанию столбцы и показатели располагаются в алфавитном порядке.

В предыдущих версиях Суперсет ТА восстановление пароля было доступно только через администратора. В версии 6.0.0 пользователи получили возможность восстановить доступ самостоятельно через страницу авторизации.

После нажатия кнопки «Забыли пароль?» необходимо указать актуальный логин или E-Mail, после чего на привязанный к профилю почтовый адрес будет отправлено письмо со ссылкой для восстановления пароля.

После установки нового пароля пользователь автоматически авторизуется в Суперсет ТА с текущего устройства, а все остальные активные сессии будут завершены.

Для упрощения настройки точного времени модальное окно упрощенного фильтра по времени было улучшено.

Теперь при нажатии на кнопку «Указать точное время» окно автоматически прокручивается к настройкам часов, минут и секунд. При сворачивании блока окно возвращается в исходное положение.Это позволяет быстрее переходить к нужным настройкам и упрощает работу с фильтром.

Улучшен функционал закрепления столбцов в таблицах на дашбордах.

Теперь состояние закрепленных столбцов сохраняется в браузере пользователя и не сбрасывается после обновления страницы или повторного открытия дашборда. Также появилась возможность полностью сбросить закрепление столбцов и вернуть отображение таблицы к исходному состоянию. Для этого в правом верхнем углу таблицы добавлена отдельная кнопка.

Настройки закрепления сохраняются индивидуально для каждого пользователя и не влияют на других пользователей дашборда!

Визуальная основа Суперсет подверглась глубинной переработке, затронувшей практически все элементы пользовательского интерфейса:

• Осуществлён перевод компонентов на AntDesign V5 со встроенной поддержкой кастомизации через CSS-in-JS;

• Введены различные цветовые темы, которые можно переключать динамически;

• Реализована возможность добавлять и редактировать темы через пользовательский интерфейс Суперсет в новом разделе «Темы»;
• Обеспечена возможность применения цветовых тем к отдельным дашбордам;
• Служебные разделы переведены с устаревшего интерфейса FAB (Flask AppBuilder) на React, благодаря чему они стали выглядеть единообразно с иными разделами;
• Актуализированы настройки конфигурации.

В Суперсет ТА теперь доступны новые визуализации::

• «Диаграмма Ганта (Apache)» – позволяет наглядно отображать временные интервалы задач, проектов, этапов или любых других процессов на горизонтальной оси времени. Обладает упрощённой функциональностью по сравнению с «Диаграммой Ганта в сводной таблице», уже присутствующей в Суперсет ТА

• «Ag Grid Таблица» (beta) – табличная визуализация, переведённая на библиотеку Ag Grid. Обладает визуальными улучшениями и большей интерактивностью по сравнению со стандартными табличными графиками.

В конструкторах визуализаций появилась новая вкладка под названием «Преобразовать в матрицу». В ней содержатся опции, позволяющие настроить вывод "клонов" визуализации, что позволяет отразить несколько метрик в едином срезе на различных чартах или представить группировки по разным аналитикам.

Активируется флагом MATRIXIFY

Дашборды получили функционал, позволяющий переключать изменять аналитику, по которой осуществляется группировка для всех чартов на даше. Для этого в панель фильтров можно добавить соответствующее поле.

Ранее подобный функционал был доступен только путем изменения столбцов в конструкторе каждого чарта и его созхранения.

• Добавлена кросс-фильтрация для картографических визуализаций, основанных на библиотеке deck.gl;
• Для визуализаций deck.gl, а также для «Двухслойной карты» подложка по умолчанию изменена с Mapbox на OpenStreetMap; в конструкторы визуализаций добавлена опция выбора подложки;
• Для графиков «Многослойной карты» реализована фильтрация по отдельным слоям;
• Для визуализаций deck.gl добавлена возможность задавать цвета для элементов на карте (точек, столбцов и т.д.) на основе соответствующих им значений (подобно условному форматированию)

Работа с графиками визуализации «Таблица» претерпела следующие улучшения:

• Лимит количества строк для постраничного отображения потенциально можно повысить до 500 000;

1. Лимит строк для обработки данных в браузере вынесен в отдельную переменную TABLE_VIZ_MAX_ROW_CLIENT;
2. Лимит строк для обработки данных при постраничном отображении вынесен в отдельную переменную TABLE_VIZ_MAX_ROW_SERVER;

• При активной опции «Постраничное отображение на сервере» сортировка и поиск осуществляются на сервере, а не на стороне браузера, что ускоряет данные операции;
• Улучшена выгрузка в EXCEL/CSV:

1. Вместо ZIP-архива теперь выгружается всего 1 файл;
2. Выгружаются все строки таблицы в рамках установленного лимита, а не только строки текущей страницы (при активном постраничном отображении);

• Рядом с полем поиска в таблице добавлен список, в котором можно выбрать столбец для поиска вводимого значения (только при постраничном отображении);

• Для кастомизации столбцов временного сдвига добавлены новые опции:

1. Переименование;
2. Сокрытие;

• Добавлена опция, позволяющая переключать режим расчёта процентов для значений из столбцов в области «Процентные показатели»: проценты могут подсчитываться как в рамках всех строк из результата SQL-запроса, так и в рамках набора строк, установленных в опции «Лимит кол-ва строк».

Создана возможность выбора функции агрегации для формирования числа на графике.Ранее число на графиках данной визуализации отображало лишь то значение, которое соответствовало самой поздней дате на оси времени. Теперь же в конструкторе появилась возможность выбрать, как именно следует определять число, которое в итоге будет выведено на график — теперь возможно отобразить итоговое, среднее, минимальное, максимальное, медианное значение за период

Добавлена возможность указать произвольный подзаголовок.

Парсинг SQL-запросов переведён с устаревшей библиотеки sqlparse на более мощную и точную библиотеку sqlglot, что, в частности, повлекло следующие эффекты:

• Автоматическая установка LIMIT в SQL-запросах теперь учитывает синтаксис СУБД;
• Уменьшена вероятность ошибок при работе с СУБД, не поддерживающими CTE (Common Table Expressions) внутри подзапросов;
• Повышена надёжность и безопасность работы механизмов:

1. RLS (Row-Level Security);
2. Создания таблиц и представлений;
3. Выполнения запросов в SQL-Лаборатории;
4. Обработки пользовательских SQL-выражений в показателях и фильтрах.

В число доработок, затрагивающих использование Jinja в Суперсет, вошли следующие:

• Добавлена макропеременная «current_user_roles()» для шаблонизатора Jinja, позволяющая подставить в SQL-запрос перечень ролей, которыми обладает текущий пользователь.

Данная переменная позволяет гибко управлять доступом к данным прямо внутри запроса в зависимости от роли пользователя. Кроме того, упрощается настройка Row-Level Security и интеграция с внешними семантическими слоями.

• Введён механизм рекурсивной обработки макросов до полного формирования конечного SQL-запроса.

Ранее, если вы создавали показатель, ссылавшийся на другой показатель с помощью макроса {{metric('название_показателя')}}, такая ссылка работала только на 1 уровень вглубь. И если вы пытались построить цепочку «Показатель А ссылается на показатель Б, а Б ссылается на показатель В», то на 3-м уровне подставлялся не готовый SQL-код, а сам неизменённый макрос {{metric(...)}}, что приводило к ошибке.

Теперь в подобных случаях возникновение ошибки не ожидается.

• Для фильтра «|where_in» добавлен новый параметр «default_to_none», благодаря которому при отсутствии релевантных значений в SQL-код будет передаваться псевдозначение NULL;

• Добавлен новый фильтр «to_datetime», который преобразует значения строчного типа в значения временного типа;
• Добавлен новый макрос {{ current_user_rls_rules() }}, подставляющий в SQL-запрос правила RLS, применяемые к текущему пользователю на текущем датасете;

• Нативные фильтры дашбордов типа «Значение» претерпели следующие усовершенствования:

1. В настройки добавлена опция, позволяющая отключить возможность ввода произвольного значения с клавиатуры в фильтр;
2. Добавлены кнопки «Выбрать все» и «Снять все» для видимых элементов выпадающего списка значений

• В настройки нативных фильтров добавлена опция, позволяющая вывести напротив фильтра переключатель отбора значений: включать ли выбранные значения в фильтрацию (оператор IN) или наоборот исключать их (оператор NOT IN).

• В модальное окно настроек существующего виртуального датасета добавлена возможность выполнить SQL-запрос и получить его результат без перехода в SQL Лабораторию;
• При использовании в графиках ECharts опции «Лимит кол-ва рядов данных» появляется чекбокс «Объединять в Прочие», при активации которого вышедшие за лимит ряды данных будут объединяться в ряд «Прочее»;
• В модальном окне, возникающем при использовании для графика опции «Сгенерированный запрос», появились кнопки для перехода в SQL Лабораторию и для просмотра неотформатированного кода SQL-запроса;
• При открытии графика в новой вкладке браузера его название будет транслироваться в название вкладки;
• Для визуализации Handlebars добавлен метод parseJson, позволяющий обрабатывать JSON-строку как JavaScript-массив;
• Добавлена поддержка баз данных TDengine;
• Добавлена поддержка импорта зашифрованных параметров подключения к базам данных (encrypted_extra);
• Добавлены стандартные порты для SSH-туннелей: PostgreSQL (5432), MySQL (3306), Oracle (1521), MsSQL (1433);
• Улучшено подключение к Google Sheets: упрощён UI и добавлена поддержка OAuth2;
• Синхронизация прав доступа к базам данных теперь работает в фоновом режиме;
• Добавлены новые форматы для числовых значений:

1. Единицы объёма памяти;
2. Скорость передачи единицы объёма памяти;

• Добавлены настройки кастомизации ячеек для графиков «Тепловой карты»;
• Добавлены поля для ручного ввода значений в фильтре «Числовой диапазон»;
• Возвращена возможность горизонтального расположения панели фильтров и скорректировано отображение действующих кросс-фильтров в этом положении;
• Исключено попадание технического столбца нумерации строк в выгружаемые CSV-файлы;
• Добавлена возможность взаимодействия с выпадающими меню в интерфейсе посредством клавиатуры;
• Для опции «Параметры усов/выбросов» в конструкторе «Коробчатой диаграммы» добавлены новые процентили: «10/90» и «5/95»;
• Добавлен формат «%d.%m.%Y» для значений времени;
• Оптимизирован процесс обработки SQL-запросов с учётом выставленного лимита строк;
• Обеспечено сохранение тегов при экспорте/импорте дашбордов и графиков;
• Оптимизирована синхронизация прав доступа для баз данных с поддержкой каталогов;
• Обновлены драйвер и диалект DuckDB, а также добавлена поддержка каталогов для MotherDuck DB;
• Добавлен вывод полного названия дашбордов во всплывающей подсказке по наведению указателя мыши;
• Добавлено автоматическое определение схемы таблицы при создании SQL-запросов к базе данных ClickHouse;
• В конструкторы осевых диаграмм ECharts добавлен переключатель, позволяющий отобразить на оси Х подписи для всех меток;
• В модальное окно редактирования источника добавлены следующие возможности:

1. Отобразить весь текст SQL-запроса без необходимости вертикальной прокрутки области, в которой он расположен;
2. Запустить SQL-запрос и получить результат его выполнения;

• Добавлен автофокус на поле ввода в модальном окне, появляющемся при удалении каких-либо объектов;
• Добавлен флаг SUPERSET_SECURITY_VIEW_MENU, при активации которого в контекстном меню «Настройки» будут скрыты следующие элементы:

1. Список пользователей;
2. Список ролей;
3. История авторизаций;
4. История моих авторизаций;
5. Журнал событий;

• В конструктор визуализации «Коробчатая диаграмма» добавлена опция «Лимит кол-ва строк»;
• Для графиков на дашборде, чьи SQL-запросы возвращают больше строк, чем установлено в лимите, выводится соответствующее предупреждение;
• Добавлено модальное окно, возникающее при попытке выйти из редактируемого дашборда или графика – оно предупреждает о потере внесённых изменений и требует либо подтвердить выход, либо остаться в редакторе и сохранить изменения;
• Добавлен флаг FILTERBAR_CLOSED_BY_DEFAULT, позволяющий по умолчанию скрывать панель фильтров во всех дашбордах;
• Для «Сводных таблиц» добавлена возможность выгрузки в сводную таблицу EXCEL;
• Обеспечена возможность добавления пользовательских шрифтов в Суперсет ТА через параметр CUSTOM_FONT_URLS в файле конфигурации без необходимости пересобирать Docker-образ;
• Реализован автоматический повтор запросов к серверу при получении ошибок 502, 503, 504 (количество запросов настраивается в файле конфигурации через переменную SUPERSET_CLIENT_RETRY_ATTEMPTS);
• Добавлена возможность создать датасет без автоматического перехода в конструктор визуализаций;
• В конструктор «Смешанной диаграммы» добавлена опция «Показать детали», при использовании которой во всплывающей подсказке на графике будет отображаться, к какому запросу относится маркер – к запросу А или запросу Б;
• Добавлена возможность проверить валидность SQL-выражения в модальном окне настройки показателя (в конструкторе визуализаций);
• Появилась возможность объединять пользователей в группы и назначать права на уровне этих групп;
• и пр.

С полным списком нововведений в версии Суперсет 6.0.0 вы можете ознакомиться здесь.

Командами Apache и Техаудит исправлено более 500 багов.

В ходе доработок Суперсет со стороны команды Apache были добавлены, удалены, изменены десятки флагов и переменных файла конфигурации. Команда ТехАудит BI, в свою очередь, привнесла в Суперсет следующие новые переменные:

• PASSWORD_RESET_TOKEN_MAX_AGE_SECONDS – Продолжительность «жизни» ссылки для сброса пароля;
• PASSWORD_RESET_TOKEN_SALT – Токен, обеспечивающий шифровку при сбросе пароля;
• PASSWORD_RESET_RATE_LIMIT_WINDOW_SECONDS – Продолжительность «жизни» модального окна сброса пароля;
• PASSWORD_RESET_RATE_LIMIT_MAX_ATTEMPTS – Максимальное количество попыток сброса пароля.

Функционал импорта/экспорта Суперсет ТА 6.0.0 совместим с версией Суперсет ТА 5.2.0.