BTБ продлил акцию и дальше выплачивает по 3ООО pублей за оставленный отзыв о работе банка! Акция действительна только для клиентов BTБ.
Официальный сайт акции - просто нажимайте на этот текст
- 01 November 2022 (221 messages)
-
-
Это было оно, спасибо.
нагрузка упала в разы.
Причем я по новостям о клауд решениях прям подозревал что-то подобное - видимо был прав.
Интересно, есть ли еще подобные оптимизации? -
Всем привет, подскажите что такое реплика в топологии кластера и где она физически лежит? -
клауд тут ни при чем. Скорее проблема в старом линукс ядре или системе виртуализации.
Алексей Миловидов утверждает что pread_threadpool всегда лучше, на любых дисках и любых профилях нагрузки. Все пользователи у которых стало хуже, имеют странные сетапы.
Для S3 используется вообще другой параметр remote_filesystem_read_method -
> клауд тут ни при чем. Скорее проблема в старом линукс ядре или системе виртуализации.
20.04, большие диски в аппаратном raid5 -
Подскажите пожалуйста с чем может быть связана такая ситуация - прогружаю данные в null -> mv -> table. Вижу что она весит 6.5 кб, count.txt показывает что там 23 строки, захожу в дибивер пусто. Уже перезагружал и пересоздавал таблицы несколько раз -
Ядро какое?
-
В system.parts что?
Либо смотрите не в ту бд, либо есть row policy -
GNU/Linux 5.4.0-124-generic x86_64
-
А как посмотреть есть ли row policy на таблицу?
-
Show row policies
-
Спасибо)
-
Всем привет, в системной таблице system.replication_queue
Очередь на репликацию не существующих партиций, не пойму откуда берутся эти задачи. Все они не выполняются по причине:
Not executing log entry queue-0000045957 of type DROP_RANGE for part 20220828-18_29_29_1 because another DROP_RANGE or REPLACE_RANGE entry are currently executing. -
На двух репликах TTL этой таблицы 3 дня
-
И если смотерть system.parts то там нет таких старых партиций на обоих серверах.
-
https://kb.altinity.com/altinity-kb-useful-queries/parts-consistency/#compare-the-list-of-parts-in-zookeeper-with-the-list-of-parts-on-disk
https://kb.altinity.com/upgrade/removing-lost-parts/Parts consistencyCheck if there are blocks missing SELECT database, table, partition_id, ranges.1 AS previous_part, ranges.2 AS next_part, ranges.3 AS previous_block_number, ranges.4 AS next_block_number, range(toUInt64(previous_block_number + 1), toUInt64(next_block_number)) AS missing_block_numbers FROM ( WITH arrayPopFront(groupArray(min_block_number) AS min) AS min_adj, arrayPopBack(groupArray(max_block_number) AS max) AS max_adj, arrayFilter((x, y, z) -> (y != (z + 1)), arrayZip(arrayPopBack(groupArray(name) AS name_arr), arrayPopFront(name_arr), max_adj, min_adj), min_adj, max_adj) AS missing_ranges SELECT database, table, partition_id, missing_ranges FROM ( SELECT * FROM system.
-
скорее всего это слишком старое ядро и проблема в этом
-
Август этого года. Нихуа себе старое -
Спасибо, кажется то что надо. Копаю
-
всем привет
хочу уточнить один момент
правильно ли я понимаю, что до выполнения запроса невозможно узнать, сколько памяти ему потребуется? -
Всем добрый день! Подскажите, может есть возможность как-то ускорить выполнение запросов. Есть таблица ReplacingMergeTree с PARTITION BY toYYYYMM(date) и ORDER BY (сard_id, date), за каждый день около 50млн записей. Нужно делать выборки из основной таблицы за разные периоды + джойнить таблицы для доп фильтрации и полей. Пример в прикрепленном файле. Добавить индекс дополнительный - в ключе сортировки уже есть поля, по которым в основном идет фильтрация. Поиграть с гранулярностью? Может есть нюансы при агрегации?(т.к. добавление агрегационных функций увеличивает время на порядки). Может что-то еще?
-
1. ускорить относительного чего?
2. сколько времени выполняется каждая часть запроса по отдельности? какую работает медленно?
3. положите cards_info в словарь -
3 года назад https://www.opennet.ru/opennews/art.shtml?num=51881Релиз ядра Linux 5.4После двух месяцев разработки Линус Торвальдс представил релиз ядра Linux 5.4. Среди наиболее заметных изменений: экспериментальный драйвер exFAT, режим "lockdown" для ограничения доступа пользователя root к ядру, механизм fs-verity для контроля целостности файлов, возможность использования CIFS для корневого раздела, контроллер ввода/вывода iocost, ФС EROFS, модуль dm-clone для репликации внешних устройств, новая ФС virtiofs для экспорта каталогов в гостевые системы, поддержка GPU AMD Navi 12/14, AMD Arcturus, AMD Renoir и Intel Tiger Lake.
-
-
Там внезапно дальше циферки есть
-
У rhel'овцев наверно вообще волосы на заднице дыбом встали, учитывая 3/4е ядра, если судить только по первым циферкам :)
-
Добрый день, господа.
Вопрос такой - у меня есть инстанс с подключенной внутрь бд sqlite3. Я создал юзверя и выдал ему доступы на SELECT
(GRANT SELECT on sqlite_db.* TO clickuser;)
Выполнение запроса ОК, но при выполнения селекта из таблицы, на которую я дал права вылетает ошибка 497:
Code: 497. DB::Exception: Received from 127.0.0.1:9000. DB::Exception: clickuser: Not enough privileges. To execute this query it's necessary to have grant SELECT(id, requestor, until_expired, date_start, announce, limits, object, admins, moderators, monitor, regions, doctors, form, name, analyst, status, owner, formslimit, pc, rr, files) ON SQLite.researches. (ACCESS_DENIED)
Подскажите, пожалуйста, что я сделал не так? Нельзя указать все таблицы?
При этом таблицы из под этого пользователя я вижу. -
Вдруг кто-то понимает, как сделать так, чтобы в поле добавлялось значение ближайшего непустого поля (есть цена за 10-03 и 10-05, тогда 10-04 должно получить значение от 10-03), при чем должен учитываться вариант, когда пропусков дней может быть несколько, то есть просто оконку за предущий день взять нельзя. Вот тут надо, чтобы вместо 0 появилась цена https://fiddle.clickhouse.com/d1d84ba2-0a94-4438-8292-a740ef2e94a6 -
-
воу, спасибо
-
дважды спасибо)
-
Подскажите пожалуйста с чем может быть связано что ttl настройка не перетирает данные? Может ли это быть связано с тем что данные вносятся из будущего - т.е. TTL 2122-10-22 + toIntervalDay(7)
-
В таком случае TTL будет сравнивать с текущей датой?
-
Не совсем понятно что значит "настройка не перетирает данные".
TTL - это же по сути дата, при наступлении которой КХ удаляет\перемещает\сжимает данные либо для конкретных записей, либо для парта. -
Всем привет, может кто-то подсказать из-за чего ошибка аутентификации валится, валится она только на запросе где я пытаюсь вытащить что-то из словаря -
Ну, при такой конструкции TTL 2122-10-22 + toIntervalDay(7) данные будут удалены 2122-10-29?
-
да
-
А если не удаляются в чем может быть проблема? Обязательно ли делать optimize final?
-
Как вариант если включена настройка ttl_only_drop_parts, а парт содержит как записи с наступившей датой, так и с не наступившей, то они так и останутся висеть.
-
в контексте pread_threadpool очень старое
-
Понял спасибо)
-
Всем привет,
подскажите, пожалуйста,
каким образом в клике можно группировать данные по временным интервалам?
Предрекая, я знаю о существовании функций toStartOf...
пример с приведением таймстампа к интервалу:
select
toDateTime(1661893200) as dt1,
toDateTime(1661896800) as dt11,
toStartOfInterval(dt1, INTERVAL 6 hour) as inrvl_dt1,
toStartOfInterval(dt11, INTERVAL 6 hour) as inrvl_dt11
Результат:
┌─────────────────dt1─┬────────────────dt11─┬───────────inrvl_dt1─┬──────────inrvl_dt11─┐
│ 2022-08-31 00:00:00 │ 2022-08-31 01:00:00 │ 2022-08-31 00:00:00 │ 2022-08-31 00:00:00 │
└─────────────────────┴─────────────────────┴─────────────────────┴─────────────────────┘
Другой пример:
SELECT
wb_id as id,
data data,
toStartOfInterval(toDateTime(created_at_hour), INTERVAL 6 hour) as ts,
toDateTime(created_at_hour)
FROM
(
SELECT
id,
groupArray(data) as data,
created_at_hour
from table
WHERE wb_id IN (115222090) AND created_at_hour BETWEEN 1661893200 and 1661979600
group by wb_id, created_at_hour
)
group by wb_id, data, created_at_hour
order by wb_id, created_at_hour
Ответ:
id |data |ts |toDateTime(created_at_hour)|
---------+--------+-------------------+---------------------------+
115222090|[299900]|2022-08-31 15:00:00| 2022-08-31 16:00:00|
115222090|[599900]|2022-08-31 15:00:00| 2022-08-31 17:00:00|
115222090|[299900]|2022-08-31 15:00:00| 2022-08-31 18:00:00|
Суть в том, что результат ожидается подобного вида:
```
id |data |ts |
---------+--------+-------------------+
id |[data] |2022-08-31 00:00:00|
id |[data] |2022-08-31 06:00:00|
id |[data] |2022-08-31 12:00:00|
id |[data] |2022-08-31 18:00:00|
id |[data] |2022-09-01 00:00:00| -
Есть ли какие-то предметные вещи в ядре касательно этой штуки которые не бекпортировали в версию трёхмесячной давности?
Ну и, может, тогда в коде переключатель сделать в зависимости от версии ядра, раз такая беда? Потому что как я уже заметил выше, rhelоводы поседеют -
Я буду очень рад если кто-нибудь ответит или укажет направление куда копать
-
Храню в ReplacingMT актуальный статус заявок. Т.к. решённые заявки не нужны, появилась идея чистить эту таблицу при помощи TTL на дату решения (открытым заполнять её условным 2100 годом, при решении ставить текущую дату).
Правильно я понимаю, что в этой схеме вполне вероятны ситуации, когда удаление по TTL будет срабатывать раньше мерджа и в таблице будут оставаться предпоследние версии заявок с датой решения в будущем, а последние ещё не схлопнутые версии записей с наступившей датой решения будут удалены? -
ну вот например в 5.9 и 5.10 pread_threadpool вообще сломано и ничено никуда не бекпортировано.
https://manpages.debian.org/testing/manpages-dev/preadv2.2.en.html#BUGS -
про переключатель это не ко мне. Я бы просто в доку дописал что поддерживается ядро не ниже xxx.
-
проблема в джойнить таблицы
-
так 2122 через 100 лет наступит
-
Из-за этого и спрашиваю при такой конструкции будут данные удалены или нет? По моей логике нет
-
будут удалены через 100 лет
-
arrayCount -> groupArray на самом деле вы хотели countIf(quontity <> 0)
-
изменение гранулярности сделает хуже
-
date >= у вас точно строки фильтрует? У вас date в partition by таблицы?
-
Спасибо)
-
cards_array у вас выполняется несколько раз, сделайте временную таблицу
-
в смысле начинается интервал не с минимальной даты в выборке?
-
я не пойму, почему в первом примере
2022-08-31 01:00:00, 2022-08-31 05:00:00 преобразуется = > 2022-08-31 00:00:00, 2022-08-31 00:00:00
в то время как во втором:
2022-08-31 16:00:00, 2022-08-31 17:00:00 => 2022-08-31 15:00:00, 2022-08-31 15:00:00
каким образом определяется эта граница начала интервала?
я так понимаю, что для моей задачи необходимо комбинировать результат функции toStartOfInterval с некой другой.
может быть сплитить сутки на четыре интервала и уже после работать с ними в отдельности -
добрый день,
нужно ли при использовании распределенной таблицы над ReplicatedSummingMergeTree переопределять ключ шардирования, чтобы записи с одинаковым ключом попадали на один шард и схлопывались? -
ну это позволит уменьшить кол-во строк/данных на дисках, ускорит запросы, но необязательно
-
спасибо
-
потому что там деление нацело используется, для выделения бакетов, т.е. запрос выполняется параллельно во многих тредах и на многих серверах, в момент выполнения начало интервала просто неизвестно.
если хочется поделить на бакеты и чтобы первый бакет начинался с минимальной даты в текущей выборке, надо делать все по другому, например через массивы либо через window functions, но это конечно будет медленнее и возможно посчитать только на инициаторе запроса -
мне кажется, что использование window functions в данном кейсе нерешаемо на больших данных.
что вы имеете в виду под через массивы? группировать каждую выборку? -
я недавно делал пример но не могу найти (не помню то ли в слаке то ли на stackoverlflow)
в общем идея агрегируем до минимально возможной грануляронсти на шардах во внутреннем запросе, например до дня. Далее во внешнем запросе (у нас уже мало строк), делаем произвольные бакеты которые начинаются с минимальной даты -
попробую найти на стаке, интересно)
-
так не будет работать.
вот например https://fiddle.clickhouse.com/e367f547-1c80-4049-b6d6-3dbc33184cf5
сделайте чтобы недельные бакеты начинались сегодня.
типа
7 2022-11-01
7 2022-11-08
7 2022-11-15
типа https://fiddle.clickhouse.com/cb707784-1cf5-478a-842d-e334dcd50b7a -
Добрый день, правильно понимаю что send_timeout и receive_timeout влияют на то жив/цел TCP connection, а сам запрос на сервере при этом может остаться бежать, даже несмотря на эти таймауты? -
типа да, есть max_execution_time
и есть большая путаница, send_timeout и receive_timeout есть на сервере, когда сервер подключается к другому серверу и есть на клиенте. Ну и в http все вообще не так. -
круто, это работает, спасибо!
-
а ещё вопросик по ReplicatedSummingMergeTree
не будет ли проблем, если набор столбцов в ORDER BY и в columns не совпадает
хочу убрать timestamp из сортировки, но он нужен в ключе суммирования -
ключ суммирования ???
там наоборот определяются колонки которые надо суммировать, и лучше их никогда не определять, эту секцию нельзя поменять -
а, да, это я слепой, спасибо
-
Как удалить большие файлы (больше 50 ГБ)? Выдает ошибку -
взять параметр который указан в ошибке и выставить в нужное значение
-
а что КХ позволяет удалять файлы?
-
-
Имел ввиду таблички.
-
в ошибке все написано, есть два способа чтобы убрать это ограничение
-
Ок, спасибо
-
Друзья, подскажите, пожалуйста, почему может не отображаться параметр через select: SELECT * FROM system.settings WHERE name LIKE '%default_replica_path%' -
потому что в system.settings там profile settings
а default_replica_path это server level settings
они к сожалению не отображаются через SQL ;( -
т.е. текущий default_replica_path никак не узнать у запущенного инстанса? Пытался дебажить почему оно не тот путь указывает при создании таблицы
-
grep default_replica_path -r /var/lib/clickhouse/preprocessed_configs/
-
О как можно, оказывается! Спасибо огромное!
-
Коллеги, добрый вечер всем. Ситуация - есть скрипт, который через clickhouse-client загружает данные в КХ из другой БД. В скрипте установлен LOGFILE. Проблема в том, что в случае ошибок КХ в процессе загрузки они не выводятся в этот лог. Подскажите, пожалуйста, кто знает - как сделать так чтобы они там сохранялись? -
если там нет тогда дефолтное значение из доки
https://clickhouse.com/docs/en/operations/server-configuration-parameters/settings/#default_replica_path
clickhouse/tables/{uuid}/{shard}Server Settings | ClickHouse Docsbuiltindictionariesreload_interval
-
там есть, но обратил внимание что почему-то в preprocessed_configs нет конфигов из config.d
-
они мержатся в два файла в users.xml и config.xml
-
Апну вот этот вопрос.
Может ли для ReplacingMT с TTL удаление по TTL срабатывать для новой записи раньше, чем она смерджится со старой? -
Да, нашел там все параметры и в итоге заработало. Можете подсказать, пожалуйста, почему только часть параметров из default_replica_path
при создании таблицы разворачиваются в значения, а часть нет? из /clickhouse/tables/{shard}/{database}/{table} получилось '/clickhouse/tables/{shard}/test/move6', т.е. шард остался макросом как и replicaServer Settings | ClickHouse Docsbuiltindictionariesreload_interval
-
правильно
может -
посмотрите в system.macros
shard это макрос
задается через
<macros>
https://clickhouse.com/docs/en/operations/server-configuration-parameters/settings/#macros
https://clickhouse.com/docs/en/engines/table-engines/mergetree-family/replication#replicatedmergetree-parametersServer Settings | ClickHouse Docsbuiltindictionariesreload_interval
-
да, там есть, я просто думал что оно должно подставляться при создании а не потом каждый раз
-
ну вообще {database} и {table} и еще {uuid}
кстати правильно сделали что отказались от {uuid}
такие таблицы можно только через ON CLUSTER создавать
чтобы одинаковый был uuid На всех -
Воспользуйтесь ODBC -
CA пропишите
https://kb.altinity.com/altinity-kb-integrations/clickhouse-odbc/ -
если задать кодек сжатия для колонки, то вновь добавляемые данные будут сжиматься? нормален ли такой режим работы? -
Да,
Старые данные можно пережать ALTER TABLE xxx UPDATE col=col WHERE 1 -
забыл написать, для колонок которые в составе order by
-
Ну тогда только OPTIMIZE TABLE FINAL поможет, или мержи
-
Есть еще TTL RECOMPRESS но у него мало пользователей, хз как он работает
-
но это нормально будет работать до оптимайза? случайно не получу битые данные
-
Нет, у каждого парта-колонки может быть свой кодек сжатия и это нормально
-
Даже тип колонки может быть разным в разных партах на самом деле
-
https://kb.altinity.com/altinity-kb-queries-and-syntax/altinity-kb-alter-modify-column-is-stuck-the-column-is-inaccessible/
https://kb.altinity.com/altinity-kb-queries-and-syntax/ttl/ttl-recompress-example/ -
над прояснить походу
есть табличка с лярдом записей например, надо пожать одну колонку, которая в составе order by -
судя по всему новые записи пойдут пожатые по новому, старые останутся как есть до оптимайза файнал на каждой из партиций
-
Да
-
Правильно понимаю что через альтер mv не поменять? Там танцы с attach/detach? Без них никак?
-
неправильно
-
Но там modify_query тоже не работает
-
где там? УМВР
есть MV с TO и без TO и поэтому разные стратегии -
MV без TO использовать бессмысленно и надо просто конвертить в MV с TO
-
Пока не УМВР. mv с to
-
Пока дропнул и пересоздал(
-
Но так наверное лучше не делать
-
-
Тут ищу пока
-
-
ядро линукса какое? uname -a ?
-
Спасибо 🫶
-
https://github.com/ClickHouse/ClickHouse/issues/42596#issuecomment-1288860266
local_filesystem_read_method=preadDegrading performance queries of type select when updating CH version to 22.8 LTS · Issue #42596 · ClickHouse/ClickHouse(you don't have to strictly follow this form) Describe the situation What exactly works slower than expected? We have a cluster consisting of 6 shards and a Distributed Table on which selec...
-
Это вам
-
ребят сорян а в чем прикол
begin_at < toDate32('2022-09-05') - не работает
begin_at > toDate32('2022-09-05') - работает
begin_at = DateTime64(3, \"Europe/Moscow\") NOT NULL -
мы как-то обновились, у нас все селекты в 3 раза хуже на нагрузке стали )
правда не в этой версии, что у тебя. Так что бывает такое, да 🙁
потом ишью нашли от Леши, что плохой релиз -
чорт... стремный вопрос ( щас
-
print(ch_server_ver >= '22.3.8.39') -> True
-
22.3.8.39
-
сегодня обсуждали, читайте отсюда https://t.me/clickhouse_ru/296408Denny [Altinity] in ClickHouse не тормозит
https://github.com/ClickHouse/ClickHouse/issues/42596#issuecomment-1288860266 local_filesystem_read_method=pread
-
client.execute("Select toDate(begin_at), count(*) from sessions where begin_at < toDate('2022-09-05') group by toDate(begin_at)")
-
я не думаю что запрос с группировкой может вести себя как то иначе
-
мне диапазон надо задать. а битвин не работает. начал в больше меньше играть и выяснил что меньше тупо не работает
-
да не доделан Date32
вам надо сравнивать с toDateTime64 -
фуф я думал что всё... рехнулся )
-
скорее всего нужны order by / partition by c колонкой d
-
там скорее всего число микросекунд DateTime64 сравнивается с кол-вом дней Date32
-
Всем привет.
А есть какая-то организация которая продает кликхаус?
Или что на http://Clickhouse.com ?Fast Open-Source OLAP DBMS - ClickHouseClickHouse is a fast open-source column-oriented database management system that allows generating analytical data reports in real-time using SQL queries
-
Есть много компаний что продают свои решения облачные и не очень на базе кликхауса
-
А clickhouse.com были самые быстрые на регистрацию домена?
Или кто-то из оригинальных авторов основал? -
Это компания, которую выделили из яндекса и дали несколько раундов денег, фактически кор тима разрабов
-
FINAL используете?
-
если что сравнение с DТ64 помогло. спасибо!
ждем заплатку ) -
Без FINAL должно работать, с FINAL скорее всего не сделали, да
-
А что за дисковая? HDD? Raid?
-
Поиск в гитхабе
-
Я думаю вы неправильно что то пишете. Покажите запрос и order by таблицы
-
подскажите а влияет порядок сортировки в таблице на скорость выборки?
-
да -
Спасибо!
-
можно попробовать увеличить https://clickhouse.com/docs/en/operations/settings/settings/#settings-max_insert_block_size. Я бы не заливал все таким одиночным селектом, лучше написать скрипт, который выполняет такие инсерт-селекты каждого файла по отдельности и посмотреть как быстро оно будет переваривать файл в рамках одной партиции, заодно и max_partitions_per_insert_block можно не увеличиватьSettings | ClickHouse Docs
allownondeterministicmutations
-
>toYYYYMM(data_time)
>ставлю default 100 - ругается
это значит что данные размазаны по более чем 100 месяцам, т.е. данные за >10 лет?
>1384686 партов размером
вы точно активные парты смотрите? -
не могу понять, а TTL RECOMPRES работает только на уровне таблицы а на колонке не настроить?
-
да, только на уровне таблицы.
зачем вам на колонку? -
это странно, т.к. кодеки задаются по колонками при создании, но при перекодировании только для таблицы.
плюс для отдельных колонок надо указывать несколько кодеков (тот же DD для даты). А по некоторым колонкам сразу максимальный уровень сжатия zstd указывать -
зачем вам на колонку?
И что вы пытатесь достичь? -
гранулированных настроек сжатия, часть данных нужны оперативно и через неделю можно жать максимально ибо не нужны, часть нужны полгода, но в целом могут понадобитсья позже с нормальной сокростью доступа и надо указать средний уровень сжатия, часть нужны всегда.
Плюс есть ощущение, что для части колонок возможно будет корректироваться выбранный набор кодеков по факту использования -
ttl recompress меняет только default кодек.
максимально жать плохо, мержи потребляют много ресурсов.
ttl recompress сделан не для этого
ничего вы не выйграете из-за recompress
забейте и жмите всегда все zstd1
doubledelta супермедленный, я не рекомендую его использовать, профита нет -
5Gb в LZ4 vs 9Mb DD+LZ4. ЧТото думаю выигрыш от DD будет
-
что не так в слудующих мыслях?
ставим по дефолту dd+LZ4, со временем (через полгода) понимаем что возможно дд работает медленно и хотим сменить его на просто zstd на старых данных чтобы поиграться (с отчетами например). Как вижу это я - делаем ttl индекс по одной колонке с рекомпрессией условно для данных старше 5 месяцев. И таким образом избавляемся от установки нового кодека на приемные данные, на случай если выигрыша не будет на наших данных. И потом так же меняем у ттл на первоначальный кодек, после отрабатывания удаляем ттк с колонки и живем дальше -
ну нет такой фичи и не планируется
-
ну то что не планируется не говорит о том что надо говорить что у меня такой потребности быть не может
-
ладно, пойду ишью создам, может и запилят
-
создайте. Я вот оператор <=> попросил 5 лет назад (во всех базах есть, в КХ нету), до сих пор жду.
-
собсна сейчас как раз у меня ситуация, когда уже ест ькуча данных и надо только один кусок попробовать поменять без даунтаймов чтобы проверить теорию
-
тоже напарывался на многое, часть фиксилось/менялось, поэтому будут оптимистом)
-
none: 5.00 Gb
lz4: 5.01 Gb
zstd(1): 3.33 Gb
dd+lz4: 8 Mb
записей 1.3млрд, Datetime, один месяц -
А что если delta? -
дельта + lz4?
-
Delta + LZ4HC например.
-
чекну
-
Ну и скорость чтения заодно https://kb.altinity.com/altinity-kb-schema-design/codecs/codecs-speed/
- 02 November 2022 (258 messages)
-
delta+lz4 - 29Mb, кстати почемуто в первых тестах дельта себя показала плохо, может и не по дате это делал даже. Неплохая замена dd
-
А что по скорости чтения?
-
Дельта против дд.
-
20ms, но это не имет смысла на max запросе
-
ибо индекс
-
Почему же?
-
А, тогда да.
-
А если обернуть в identity?
-
на count(distinct datetime)
delta+lz4:
Elapsed: 8.701 sec. Processed 1.34 billion rows, 5.36 GB (154.10 million rows/s., 616.40 MB/s.)
dd+lz4
Elapsed: 9.600 sec. Processed 1.34 billion rows, 5.36 GB (139.67 million rows/s., 558.67 MB/s.) -
select max(identity(date)) from yoba
-
10%
-
тут заметнее
max(identity(datetime))
delta+lz4:
Elapsed: 0.552 sec. Processed 1.34 billion rows, 5.36 GB (2.43 billion rows/s., 9.71 GB/s.)
dd+lz4
Elapsed: 2.161 sec. Processed 1.34 billion rows, 5.36 GB (620.51 million rows/s., 2.48 GB/s.) -
@den_crane правильная ли методика тестирования?
-
нет конечно)) тестировать в неконтролируемом окружении без средних замеров запросами которые никогда напроде не появятся)
-
Почему неконтролируемое окружение?
-
Я думал мы тут все джентельмены.
-
Судя по всему для дат лучше использовать дельту и не париться. А дд не использовать.
-
потому что проще сразу на проде тестить некоторые вещи)
-
дд немного оверкил, согласен
-
вы путаете ignore с identity, но в этом случае ignore не нужен.
тестить надо с max_threads=1 -
👍Реакции забыли включить в этом канале. Спасибо, иногда забываю про max_threads=1.
-
select max(identity(datetime)) SETTINGS max_threads=1;
delta+lz4:
Elapsed: 2.451 sec. Processed 1.34 billion rows, 5.36 GB (547.12 million rows/s., 2.19 GB/s.)
dd+lz4:
Elapsed: 8.524 sec. Processed 1.34 billion rows, 5.36 GB (157.31 million rows/s., 629.23 MB/s.)
no comp (none):
Elapsed: 2.711 sec. Processed 1.34 billion rows, 5.36 GB (494.66 million rows/s., 1.98 GB/s.)
default (lz4):
Elapsed: 2.904 sec. Processed 1.34 billion rows, 5.36 GB (461.78 million rows/s., 1.85 GB/s.)
по сути тоже самое соотношение получилось -
Я так понимаю идея в том что max_threads=1 стабильнее и меньше зависит от нагрузки на сервер.
-
в любом случае это просто попугаи, которые к реальному использованию будут иметь некое опосредованное отношение
-
Почему?
-
ну я ж например не буду выставлять 1 поток, не буду собирать даты, они нужны для индекса и там по сути хоть чем жми большая часть будет отброшена даже без чтения с диска. так же у меня не будет такого же сетапа, т.к. на ноуте тесты гоняю. Скорее всего версия клика будет другая.
-
Тогда почему бы не убрать кодек и компрессию?)
-
из этого всего разве что понимание сложится об общем влиянии и не более того
-
место не резиновое
-
Добрый день!
Никто не сталкивался с утечкой памяти при использовании kafka engine таблиц в версии 22.8?
При выполнении detach всех таблиц в БД память не возвращается но утечка прекращается.
Также заметил что утечка происходит значительно быстрее в dev окрудении где поток данных в кафку значительно меньше чем в проде. -
Так был же баг с утечкой памяти в Кафка таблицах после 22.3 и его поправили. Попробуйте последнюю 22.8.
-
Добрый день, господа.
Вопрос такой - у меня есть инстанс с подключенной внутрь бд sqlite3. Я создал юзверя и выдал ему доступы на SELECT
(GRANT SELECT on sqlite_db.* TO clickuser;)
Выполнение запроса ОК, но при выполнения селекта из таблицы, на которую я дал права вылетает ошибка 497:
Code: 497. DB::Exception: Received from 127.0.0.1:9000. DB::Exception: clickuser: Not enough privileges. To execute this query it's necessary to have grant SELECT(id, requestor, until_expired, date_start, announce, limits, object, admins, moderators, monitor, regions, doctors, form, name, analyst, status, owner, formslimit, pc, rr, files) ON SQLite.researches. (ACCESS_DENIED)
Подскажите, пожалуйста, что я сделал не так? Нельзя указать все таблицы?
При этом таблицы из под этого пользователя я вижу. -
Слабо представляю как я в туда залью 60гб данных)
-
а можно как то посмотреть desugared SQL который CH будет исполнять — с distributed tables замененными на локальные и прочее (в присутствии distributed_product_mode настроек) -
explain syntax ...
-
Там не на что смотреть. Но его видно system.query_log
Там просто будет заменено имя левой дистрибьютид таблицы на имя недистрибьютид -
-
как раз вижу что правая заменяется при distributed_product_mode=local
-
Привет, есть ли в КХ возможность распарсить jsone, без указания ключей ?
пример :
'{"1": "one", "2": "two", "3": "three"}'
ожидаю получить
column1 | column2
1 | one
2 | two
3 | three -
Ну при local да, я думал вы про allow
-
меняю только на datetime для экпериментов. Для остальные пробовал, но так играться не с чем т.к. специфика данных дает схлопывание и lz4 дефолтное жмет достаточно. Размер поколоночный стандартным скриптом
select name,
formatReadableSize(sum(data_uncompressed_bytes)) AS uncompressed_size,
formatReadableSize(sum(data_compressed_bytes)) AS compressed_size,
toDecimal64(sum(data_compressed_bytes) / sum(data_uncompressed_bytes), 6) AS ratio,
any(compression_codec) AS codec
from system.columns where database = 'default' and table = 'exp_1'
group by name
order by ratio desc
; -
Ошибка: It does not make sense to have codec NONE along with other compression codecs: DoubleDelta, NONE
-
Всем привет! Подскажите пожалуйста есть ли в CH партиции по хешу или по ренджу? Необходимо сделать партицирование по user_id, но пользователей слишком много и надо как то их объединить в группы. Использую engine MergeTree() -
дык объедини в группы ) По какому признаку - сам придумай. И делай партиции.
А лучше возьми какой то существующй параметр типа даты добавления пользователя или последней активности. В общем что то боле менее адекватное. -
Спасибо!)
-
https://fiddle.clickhouse.com/a5397b8d-b8dc-4f05-8e61-c2e7cbc28426 - подскажите, пожалуйста, как при указании массива в range(21) вместо 21 динамически вписать количество дней между первой датой и последней (точнее кол-во недель*7) - пробовал селекты, но кх ругается
-
Partition by userid%100
Partition by intDiv (userid, 100000) -
БД КХ содержит данные 2-х партнеров. Данные в таблицах имеют одинаковую структуру , и на таблицы настроен row level Security (row policy) - для разграничения прав доступа на уровне строк. И это работает. Существует ли способ настройки RLS на словарях ? Сейчас ключ словаря - это хеш от идентификатора сущности и идентификатора партнера. Это тоже работает - но не секьюрно как-то. Версия 21.10& Спасибо -
Это ошибка jdbc драйвера, вам в dbevaer надо скачать другой более новый драйвер
-
А если user_id string формата: «24нт4ou99». Есть какой то способ?
-
Partition by cityHash64(userid)%100
-
🙏
-
Это очень медленно будет работать. Задавайте все явно и числами
-
Ошибка кх начинается со слова dbexception нету dbexception - проблема в клиенте
-
Добрый день, есть проблема в оптимизации таблиц с товарами, у которого большой опыт по клику пишите в лс ))стоимость работы обсудим ) -
Какая ошибка-то? Наверное надо скастить в не nullable тип
-
да, ругается на nullable, его обернуть во что-то?
-
Не понял идею- простите. RLS на таблицах уже работает - и достаточно шустро. Вопрос был про разграничение доступа на записях в словаре. Сейчас на версии 21.10 при >ch$ create row policy pol_dict on my_dict for select using partner_id = 1 to my_user - КХ никак не ругается , но и RLS не работает. Обращение к словарю разрешено только через dictGet
-
Коллеги, а тип Map(key, value) гарантирует сохранение порядка? -
Всем привет.
Подскажите как добиться чего-то подобного?
with t1 as (
select
number%2 as c1,
number*10 as c2
from numbers (5)
)
select
number as c1,
t1.c2
from numbers(2) as t2
left join t1
using (c1) -
Добрый день! Подскажите, можно как-то получить валидный json без использования replaceAll?
select isValidJSON('{"a": "hello", "b": "axy/\"\u001d9\u001"}'); -
Привет, после обновления с 22.3 до 22.8.8.3 - вылезли такие ошибки от Prometheus INSERT-ов:
[('ExceptionWhileProcessing',
'INSERT INTO prometheus.metrics (date, name, tags, val, ts) VALUES ',
'Code: 48. DB::Exception: Method getDataAt is not supported for Array(String). (NOT_IMPLEMENTED) (version 22.8.8.3 (official build))',
'Insert')]
В какую сторону смотреть? -
create table tab (id Int8, value String, partner_id Int8, partner_hash UInt64 materialized cityHash64(id, partner_id)) engine=...;
insert into tab(id, value, partner_id) values (1, 'val1', 1), (1, 'val2', 2);
create row policy policy on tab for select using partner_id = 1 to user1;
create row policy policy on tab for select using partner_id = 2 to user2;
create dictionary my_dict (partner_hash UInt64, value String)
primary key partner_hash
source(CLICKHOUSE(... TABLE 'tab'))
LAYOUT(SPARSE_HASHED());
> user1 > select dictGet('my_dict', 'value', cityHash64(1, 2)) -- не должен получить результат
> user2 > select dictGet('my_dict', 'value', cityHash64(1, 1)) -- не должен получить результат -
Это понятно что можно солить хэш идентификатора - а соль держать в секрете )) Может быть есть более остроумное решение ?
-
похоже на это? https://github.com/ClickHouse/ClickHouse/issues/42851`GraphiteMergeTree` behaves differently between `22.3.13` and `22.3.7` · Issue #42851 · ClickHouse/ClickHouse
Describe the issue GraphiteMergeTree behaves differently between 22.3.13 and 22.3.7 This problem was found in cluster, and I suspect that standalone machines will have the same problem How to repro...
-
ну нет, мне нужно воспользоваться join-ом и присоединить все экземпляры из правой таблицы в массив. По факту только одна колонка с массивом добавится.
То чт овы предлагаете - это только через группировку, тогда бы мне нужно было делать группировку по всем колонкам -
dd: 165 MB
delta: 5Gb (как и исходные) -
я что-то не понимаю или это баг кликхауса ? почему order_id повторяется если я хочу просто вытащить первое и последнее значение? -
?
-
движок mergetree final пишет что не поддерживает
-
повторяется
-
Попробуйте сделать в with отбор данных с order by, а потом из результата взять last_value... Возможно, сортировка не применяется. -
я просто ожидал увидеть не такое поведение.
-
а вот такое
-
не совсем корректно объяснился видимо
-
подскажите пожалуйста, можно ли в MATERIALIZED выражении стобца ссылаться на EPHEMERAL столбец. Проблема такая: внешний процесс вставляет строки со временем, которые не разбирает parseDateTime, поэтому просто сделать тип столбца DateTime и использовать неявное преобразование строки во время не получится. parseDateTimeBestEffort разбирает и охота сделать timestamp_string String EPHEMERAL, timestamp DateTime MATERIALIZED parseDateTimeBestEffort(timestamp_string). Это будет работать? -
да
-
кто понимает почему Table default.range doesn't exist, когда она прописана в CTE и даже отрабатывается запрос к ней: https://fiddle.clickhouse.com/66f3d3d7-1c8d-46d8-baa2-b9126c9c2630
-
почему
select count() from numbers(100) limit 8
возвращает 100 а не 8? это какаето магия LIMIT? или как то надо агрегировать -
@orantius бан господину выше
-
count же возвращает одну строку, хоть limit 1 пиши
-
спасибо
-
как последние 5 тогда получить ?
-
хмм, звучит как план
-
откуда такая информация? у меня запросы всегда видели другие cte и селектили из них, в этом смысл cte во многом, разве нет? даже cte видят друг друга, не говоря об основном запросе
-
ch version 22.2.2.1
-
-
Зачем нужны сte, если их нельзя вставлять в основной запрос?
-
чет с разных впн проверил не работает
-
ага, редиректа нет
-
так работает
-
-
-
в чем разница?
-
В sql server, да и в других бд (насколько я встречал) CTE , это всего лишь удобоваримая обёртка для FROM. Грубо говоря кусок из CTE вставляется внутрь from. Если используется несколько CTE, происходит тоже самое. Т е нижестоящее cte видит вышестоящее. Т.е. конструкция
With cte1
As
(Select a from b),
Cte2
As
(Select a*a from cte1)
Select * from cte2
Left join cte1 on (1=1)
работает во всех языках -
подскажите пожалуйста фича с EPHEMERAL для колонок в варианте без указания выражения с какой версии поддержана?
-
"from a left join b" и "from b right join a" должны же дать эквивалентные результаты? или есть какие то подводные камни?
-
-
в КХ нет в общем случае
если a и b distributed то не должны -
Добавлю также, что в SQL сервер cte не работает толком в силу работы оптимизатора - результаты подзапросов не используют индексы при джойнах. В CH все наоборот.
-
а есть где то в доке про это?
-
в моем случае "a" это подзапрос в котором есть выборка из distributed
-
да
-
где-то есть
-
вот так подправил https://fiddle.clickhouse.com/d9293a03-e6b8-4839-8e6a-c86599a9d2e5
-
ну вот не нашел ничего кроме кейса с distributed X distributed (что в принципе понятно)
-
а зачем вам right join ? потребление памяти вы не измените таким образом
-
кардинальность правой таблицы меньше, идея была что CH из нее hash table построит сначала
-
1) создать и заполнить таблицу распределенную
2) создать dictionary on cluster
3) сделать system reload dictionary on cluster , чтобы он заполнился на всех нодах -
cte просто заново выполняется каждый раз, но обращаться к нему можно
-
флажок для чего?
-
нет, так КХ не обмануть
-
я создаю Replicated таблицу опуская макрос shard, таким образом таблица получается с 1м шардом и n реплками
-
получилось, но я так и не понял почему нельзя все, что в cast, вынести в cte в данном конкретном случае
-
в каком данном? о чем вы?
-
https://fiddle.clickhouse.com/ce2c6940-bfe3-4faf-9cc4-32e7d25b6515
вы знаете что есть 2 with? один для констант, другой для CTE -
неожиданно заработало))
-
такого функционала нет, мне кажется, получите ошибку что словаря нет на ноде, на которой его нет
-
может проще переписать запрос чтобы джойн был на инициаторе?
-
можно и без репликации - словарь может смотреть на конкретную ноду, там же можно явно хост задать в источнике , вместо localhost
-
вот в чем было дело)))
-
Total messages: 296924 -
если OOM-killer системы решит убить его, то может. Смотрите логи dmesg - там будет написано , если это произошло
-
Коллеги, добрый день! У меня нубский вопрос, но я замучилась гуглить без результата( хочу поставить скрипт на выполнение в cron. В скрипте команда на создание таблицы
Пишу такое
* * * * * clickhouse-client -u [username] --password [password] [dbname] /etc/create.sql >> /var/log/cronlog.log 2>&1
В cronlog.log написано "Code 36. DB Exception: Positional options are not supported. (Bad arguments)
В query_log базы пусто. Что не нравится клиенту в этом случае? -
Вы хотите запрос из файла выполнить?
Я делала так:
cat file.sql | clickhouse-client -h host -u user > outputfile -
Спасибо! Сейчас попробую как у вас сделать
-
можно внутри сессии сделать \i file.sql -
а чего там идеального, данные с датчиков раз в секунду с высокой стабильностью. Расширение до мс думаю эту красивую картинку разрушат)
-
а без haproxy , прямо на 127.0.0.1:9440 работает? Может у вас клиент не понимает что ssl надо делать?
-
не знаю, гуглите сами HAProxy with SSL passthrough
-
Подскажите пожалуйста, можно ли с json убрать необходимые пары , ключ-значения ?
например
'{"1": "one", "2": "two", "3": "three"}'
хочу убрать "2": "two" по ключу 2, ожидаю
'{"1": "one","3": "three"}'
? -
Всем привет! Не могу к пустой таблице присоединить парт - получаю 233 BAD_DATA_PART_NAME. Парт точно есть, имя из detached_parts получаю. Версия клика 22.8.4, а данные с 21.11.5. Могла ли повлиять смена синтаксиса создания таблицы с ENGINE = MergeTree(date,(sid, uid),8192) на ENGINE = MergeTree()
PARTITION BY date
PRIMARY KEY (sid, uid)
SETTINGS index_granularity=8192
? -
>Могла ли повлиять смена синтаксиса
конечно, парты не совместимы, там в партах разная структура и разный способ именования
только insert select -
DB::Exception: This syntax for *MergeTree engine is deprecated. Use extended storage definition syntax with ORDER BY/PRIMARY KEY clause.See also allow_deprecated_syntax_for_merge_tree setting. (BAD_ARGUMENTS) (version 22.8.4.7 (official build)) А эта опция allow_deprecated_syntax_for_merge_tree может помочь?
-
да, она для этого и сделана
-
просто инфы по ней не нашел, куда ее прописывать. В config.xml в <merge_tree>?
-
странная у вас задача. КХ не средство редактирования json
-
вам разово?
set allow_deprecated_syntax_for_merge_tree=1 -
Какая есть :(
-
нет сделать-то можно, просто это странный вопрос.
Зачем это надо-то? (в смысле может есть проще вариант) -
Цель - убрать те данные, которые нельзя видеть пользователю, согласно нормам компании, они хранятся в определённых ключах json, поэтому я пытаюсь его распарсить:)
-
Спасибо! Пересоздал таблицу и парты присоединились.
-
-
Спасибо!!!!!
-
Попробуй сделать alter table … in partition … delete where … -
Типо точечно сделать мутацию по партишенам
-
Так же нет ли чего в дирах detached?
А так же: есть ли что-нибудь в shadow? -
Можно попробовать мутацию точечно по партициям начиная с самой жирной
-
А что получается надо иметь минимум 51% запаса по месту для отработки мутаций?
-
От диска свободным должно оставаться хотя бы 20% на случай маневра (чтобы было время для решения вопроса заканчивающегося места)
Абсолютный минимум свободного места: 100% от самой жирной партиции (select max(total_bytes_on_disk) from (select partition, sum(bytes_on_disk) as total_bytes_on_disk from system.parts group by partition) as t) -
К этому в практике пришел - дает возможность для маневра и время для решения вопроса заканчивающегося места
-
Немного лучше
-
Вообще подобный вопрос должны решать Ваши админы/девопсы. Но в целом выглядит +- так. В зависимости от специфики проекта
-
нет, нету никакого дерева.
Просто КХ пытается делать как можно меньше мержей и при этом чтобы кол-во партов в партиции было не очень большим, там хитрая формула с кучей параметров, с экспонентами и учетом загрузки пула мержей. Т.е. если вы постоянно вставляете в таблицу A то она мержится, при этом в таблице B мержей не будет если вы туда не делаете инсертов, хотя там скажем 50 партов в партиции. И зачем-то мержер планирует в мерж парты примерно одинакового размера, зачем?, никто уже не знает, и при этом парты должны мержится в строгом порядке, чтобы не ломать логику replacing, collapsing. -
А зачем вам нагружать пул мерджей? У кх есть отдельный планировщик мерджей. Форсировать его можно через optimize table (не советую)
-
Optimize table … in partition …
Но будьте очень аккуратны -
Оптимайз - тяжелая операция и может поставить все раком.
Аккуратно пользуйтесь ею -
Посмотрите настройку max_replicated_merges_in_queue
-
KILL MUTATION WHERE …
-
Они не сразу стопаются. А спустя время, когда закончатся атомарные операции
-
Mutate_part относится к конкретному парту. Нужно время пока kill пройдёт
-
Хай, а есть кто rust использует для работы с базой? Загрузку стрима нужно переписать, сейчас у меня на aws buckets льётся. -
Попробовал пятью способами подключиться, пишет “connection reset by peer” при любых таймаутах. Может ли это быть из-за того, что я на trial периоде пытаюсь взаимодействовать?
-
Всем привет, подскажите, кто как делает резервное копирование в кликхаус?
-
Можут глупый вопрос, но как эффективно объединить внесколько таблиц в одну с общим ключем сортировки эффективно. в каждой таблице свой набор атрибутов. Через union муторно как то получается) -
Клауд?
Ну потыкайте их саппорт, в целом должно работать -
Merge table engine, но ключ сортировки у каждой таблицы будет свой
-
Ну, кмк pushdown должен работать, но он дюже хрупкий, так что не всегда и это еще не исправили)
-
Клауд
-
CounterID у вас в первой позиции, так что кх по PRIMARY KEY может понять максимальное и минимальное значение CounterID для каждого парта, и если ваше значение находится за пределами данных границ, кх не будет читать данный парт.
-
Да,
Причем в некоторых случаях анализ индекса может занимать значительное время от всего времени запроса, поэтому есть некоторые хаки
https://kb.altinity.com/altinity-kb-queries-and-syntax/multiple-date-column-in-partition-key/Multiple aligned date columns in PARTITION BY expressionHow to put multiple correlated date-like columns in partition key without generating a lot of partitions in case not exact match between them.
-
Не совсем.
В приведенном примере:
у нас есть два набора колонок в PARTITION BY
1. выражение от которых задает партицию: date
2. значения которых кх используют для создания minmax индекса: date, created_at, inserted_at -
Она упоминает данные колонки в PARTITION BY выражении, а следовательно кх посчитает для них minmax индекс (не путать с minmax skip index) для них.
ignore же нужно, что бы для всегда вернуть 0, что бы значения в данных колонках не влияли на ключ партиционирования -
Хак короче
-
Нет, но minmax индекс обычно имеет смысл только для инкрементальных значений. (числа, даты, время)
- 03 November 2022 (195 messages)
-
Акция от BTБ банка все ещё действует, каждый клиент получит выплату 7ООО рублей за пройденный опрос на официальном сайте.
Официальный сайт акции (нажимайте на текст) -
Всем привет! Ставлю скрипт на расчет через Airflow. У меня падает запрос по памяти, решил считать в цикле по партициям с обращением к каждой отдельной партиции. Может у кого нибудь есть пример такого расчета? Или подскажете как правильнее сделать?
p.s. ограничение по дате сделать нельзя, тк партиции по хешу от uid -
Привет Всем. Хочу удалить но мне выдает ошибку DB::Exception: WRITE locking attempt on "system.query_thread_log" has timed out! (120000ms) Possible deadlock avoided. Client should retry. -
Where hash(uid)=hash('xxx') и так перебираете все свои уиды.
Но интуитивно кажется что у вас уже проблемы раз парты по уидам. -
около 60, таблица несколько раз обращается к самой себе по user_id, по этому самым оптимальным решением на мой взгляд было партицировать по user_id, и считать по партиции с группой пользователей
-
Возможно в этом тоже проблема, не хотите показать структуру данных и запрос? Вдруг найдётся более оптимальное решение задачи, а не последствий проектирования?
-
Всем приввет
Types of column 1 in section IN don't match: FixedString(512) on the left, String on the right.
То есть мне fixedString напдо к стринге приводить в обязательном подяке чтобы сджойнить?
а чего так жостко то? ) -
ну можете стрингу привести к fixedString
-
моч то могу но не очень понятно зачем строку к строке приводить
-
потому что это не строка к строке
-
надеюсь станет понятнее:
SELECT
toFixedString('hello', 10) AS f_string,
length(f_string) AS f_s_len,
'hello' AS n_string,
length(n_string) AS n_s_len
┌─f_string─┬─f_s_len─┬─n_string─┬─n_s_len─┐
│ hello │ 10 │ hello │ 5 │
└──────────┴─────────┴──────────┴─────────┘ -
по размерности понятно
но когдам ысравниваем слова МИР и Труд то они тоже имеют разную размерность ) -
и под капотом (если я не ошибаюсь) так же являются char[]
-
я не очень понимаю к чему эта дискуссия, считаете, что текущая реализация ошибочна - можно завести issue или даже сделать PR который позволит сравнивать без преобразования типов
-
Добрый день! Подскажите пожалуйста, с чем может быть связана ошибка:
Code: 1001, type: pqxx::broken_connection, e.what() = Lost connection to the database server. (version 21.11.4.14 (official build))?
Ранее запросы на несколько джоинов работали нормально, сейчас начали выдавать эту ошибку. Если писать запрос на одну таблицу, то ошибки нет.
Подключение идет через ENGINE = PostgreSQL -
Всем привет! подскажите какие могут быть подводные камни в загрузке данных из кафки через MATERIALIZED VIEW? Выполняю все как прописано в доках, но таблица остается пустой
-
CREATE TABLE IF NOT EXISTS default.kafka ("startLTime" UInt64, "changes" String)
ENGINE = MergeTree()
ORDER BY "startLTime";
CREATE TABLE default.queue_test ("startLTime" UInt64, "changes" String)
ENGINE = Kafka('kafka-host:9092','system', 'hd', 'JSONEachRow') settings kafka_thread_per_consumer = 0, kafka_num_consumers = 1;
CREATE MATERIALIZED VIEW default.test_view TO default.kafka AS
SELECT *
FROM default.queue_test;
SELECT count() FROM default.test_view; -
а как ее сделать? было бы отлично увидеть какие ошибки возникают
-
<yandex>
<kafka>
<security_protocol>...</security_protocol>
<sasl_mechanism>...</sasl_mechanism>
<sasl_username>...</sasl_username>
<sasl_password>...</sasl_password>
<debug>all</debug>
tail -f /var/log/clickhouse/server.log -
Нет, насколько знаю. Но не могу утверждать это уверенно
-
Правда -
как найти записи в таблице, которых нет в другой таблице, что-то вроде:
SELECT * FROM TABLE_1 T1 WHERE NOT EXISTS (SELECT * FROM TABLE_2 T2 WHERE T2.ID = T1.ID)
пробую так:
SELECT T1.ID FROM TABLE_1 T1 LEFT OUTER JOIN TABLE_2 T2 ON T2.ID = T1.ID WHERE T2.ID IS NULL
не работает... -
хм. попробовал, не работает. данные точно различаются.
-
вот и мне интересно )
-
да. но не ищет. ни через OUTER JOIN ни через NOT IN
-
все разобрался )
-
Понятно, что чудо СУБД могла сама как нить организовываться и привести одно к другому. Но подобного добра в Click навалом. Например на if оба результата тоже должны быть приведены, и decimal с int-ом не прокатят. А вот операция сравнения между ними - вполне. С ключами джойнов такая же беда. С другой стороны вкатить команду приведения не долго и совсем не в напряг, по факту времени на подобную отладку не шибко много уходит. Хотя обезьяний труд немного. -
изначально в КХ была суперстрикт типизация, т.е. надо было писать x = toUInt64(1) и это было прекрасно, жаль что это убрали
-
Жень я без наездов за отсуствие автоприведения. просто хотел выяснить может есть в этом какой то великий замысел.
-
left outer join не продюсит null если не установлен параметр join_use_nulls
-
Полагаю влом такую мелочь дописывать. Хотя код ведь открыт в Гите и вероятно можно и самому заплатки раскачать....
-
вообще 40 лет назад предполгалось что в бд будут домены и кол-во яблок нельзя будет сравнивать с весом носков, жаль что нигде этого нет
-
По-настоящему жосткая СУБД вообще бы разрешала такую операцию только для целых чисел ;) -
замысел в том что типы без преобразования сравниваются быстрее. Вызов кастинга добавляет работы, поэтому строгая типизация вынуждает вас делать нормальные одинаковые типы,
я гарантирую что FixedString(512) -- это выстрел в ногу, ошибка, там должен быть String -
а зачем тогда фиксед стринг если это выстрел в ногу? у меня там реально строго фиксированное значение.
получается в топку это Fixed ? переделываем на строки и не парим мозги? -
всегда всегда 512 ? рили?
Почему тогда в другой таблице String ? -
я как-то замерял, и FixedString(512) по перформансу ничем не отличается от String, разница заметна до FixedString(10)
-
Да есть и ошибки, к примеру в одной таблице код склада uint16, а в следующих уже uint32 вкачал для унификации с кодом товара. И джойнить подобные вещи всегда нужно через приведение. Ну а как быть с приведением констант типа toDecimal(0,3)? Здесь то явно замысла нету.
-
зуб даю да. в другой таблице просто не досмотрел )
-
ну я бы исправил uint16 на unint32
>Ну а как быть с приведением констант типа toDecimal(0,3)? Здесь то явно замысла нету.
что? я не понял -
В конструкции
if(kol > 2, toDecimal32(0,3), kol)
Если kol decimal с тремя знаками после запятой то и ноль привести туда же придётся -
А исправить уже в бэклоге уж год отвисает, все руки не дойдут...
-
номер строки в выборке можно только через row_number получить?
-
да, изначально было можно для каждого топика задать свой конфиг через <kafka_topicname>
сейчас появился более удобный путь named_collections https://github.com/ClickHouse/ClickHouse/issues/28703#issuecomment-1241852550How can I provide specific settings for kafka topic with dots in name? · Issue #28703 · ClickHouse/ClickHouseI tried provide sass configuration for topic with name like 'team.topic', but unsuccessfully I also tried replace dot with underscore. broker,cgrp <auto_offset_reset>e...
-
вообще нормального варианта нету, я всегда делаю на клиенте
-
это не доделано
-
-
подскажите а тут тоже какая то приколюха с приведением?
toTimeZone(begin_date,'Europe/Moscow') > toDateTime64('2022-09-01 00:00:00.000', 3)
begin_date - DateTime64(3) там лежит время в UTC (хотя странно, я думал что при инсерте timstamp приведется к +3) -
Не работает условие по приведенной к нужной тамзоне дате
-
или не toDateTime64 еще обернуть в toTimeZone надо?
-
toTimezone делает не то что вы думаете
Она меняет не время, а метаданные колонки, что бы рендерить в строку -
Нет такой фичи
-
Добрый день! Из Метрики массив прилетает как [‘sdfsdf’,’sdfsdfsd’] и в одном из значений есть апостроф в значении, есть настройка для учета такого, чтобы insert не ломался? -
Экранировать например при вводе данных?
-
надо регулярку придумать, которая не будет трогать окружающие апострафы ….
-
Нет, почему? У вас как вставляются данные?
-
requests.post(host, data=content, params=query_dict, verify=SSL_VERIFY)
где
query_dict = {
'query': 'INSERT INTO ' + table + ' FORMAT TabSeparatedWithNames ' -
А TSV вы промежуточно обрабатывать можете?
-
да
-
Тогда регулярка и вперед, символы табуляции как начало и конец и погнал
-
ну я так и сказал регулярку писать ))) но вдруг есть настройка )
-
все же верится что КХ должен уметь такое переваривать
-
не очень понятно каким образом? Искусственный интелект применять?
-
))) согласен был не прав.
но кажется дважды, ибо в чистом виде апостраф экранирован Harry\'s -
скорее всего у вас питон слеш съедает
-
да-да, найду и накажу ))
-
Коллеги а почему могут возникать дубликаты при вставке в distributed таблицу и дубликаты попадают в одну и ту же шарду -
В чем может быть причина?
-
Причем дубликаты не на разных шардах а в одной и той же шарде всегда
-
Просто как гипотеза. возможно у вас всегда задваивается вставка, только на одном шарде insert_deduplicate=0 а на другом insert_deduplicate=1.
Посмотрите квери лог на предмет количества инсертов -
Инсерт всегда 1
-
Ошибка в рамках двух кластеров воспроизводится и в рамках однго не воспроизводится
-
конфиги одинаковые
-
Дедупликация не включена в кластере
-
Ребят а как правильно изобразить
select COLUMNS('data') APPLY( countIf(data > 0)) ?
Если sum то работает олично. суммирует значение в ячейке для каждой колонки. А мне надо тупо +1 если не ноль в колонке. -
Хз как диагностировать) Проблема есть если вставлять через кх клиент?
-
jdbc драйвер для клика используется
-
Вот интересно услышать варианты как бы это подебажить
-
Ну сначала проверить есть ли проблема с теми же данными через кх клиент
-
Ну и заодно вставить в обычную таблицу с движком МТ или лог на одном шарде и посмотреть будут ли в ней дубли
-
у меня 50 колонок начинающихся со слов data
в этом весь прикол ) -
спасибо огромное! выручил очень )
-
Подскажите пожалуйста как в CH можно оптимизировать многократное использование повторяющегося подзапроса?
Я 6 раз использую …where id in (select distinct id)…
Например в Oracle можно было сделать with(+ materialized) -
Можно попробовать запихать его в скаляр, скаляры кешируются
-
Это как? Я просто в CH совсем новичок
-
WITH (SELECT groupUniqArray(id) FROM ...) as arr
SELECT * FROM WHERE id IN (SELECT arrayJoin(arr)) -
Спасибо)
-
named collections
-
named collections
-
Только xml.
Можете попробовать потыкать поддержку облака, вдруг зальют ваш XML, но хз. -
Можете еще сделать VIEW в другой БД и натравить ваш словарь уже на это VIEW
-
Коллеги, добрый вечер.
У CH есть возможность анализировать запросы "explain estimate".
Но такая конструкция не работает, если запрос написан на distributed таблицах.
Может есть какая-то инструкция, чтобы explain работал и с distributed таблицами? -
Добрый, как опитимзировать запрос with. Несколько позапросов забивают всю оперативку в процессе просчетов. Я уже раздробил на несколько стедж таблиц, но все равно не хватает. Делил по справочнику. Т.е. у меня 10000 позиций я поделил по 1000 и все равно не хватает.
-
На всех кусках
Memory limit (total) exceeded: would use 65.77 GiB (attempt to allocate chunk of 8589836288 bytes), maximum: 56.54 GiB. (MEMORY_LIMIT_EXCEEDED) (version 22.4.5.9 (official build)) -
Добрый вечер! Если массив с датами прилетает в таком виде с этим можно что-то сделать при вставке
[\'2022-09-14 23:48:48\',\'2022-09-14 23:51:15\'] -
или только реплейс?
-
SAMPLE BY Id позволяет выбрать часть дданных, а поттом умнощить на коэф. сэмплирования чтобы получить результат. Это сделано для того чтобы быстрее и меньше читать
-
Ну чтобы юзать в select, надо его в таблице определить
-
в чем может быть причина когда клика не мержит записи
например
ENGINE = ReplacingMergeTree(Changed)
PARTITION BY toYYYYMM(toDate(DayDate - 25567))
PRIMARY KEY Id
ORDER BY (Id,
DayDate)
SAMPLE BY Id
SETTINGS index_granularity = 8192;
и при этом -
Зато не тормозит
-
-
Вообще вот эта тема с схлопыванием асинхронным которое происходит не всегда меня жутко напрягает
-
практика показала, что если требуется гарантия удаление дублей, значит что то делаешь не правильно изначально. финал нужно юзать только если в историческиз данных что то исправить надо
-
ничего странного, все как в жизни
-
Надо просто уметь его готовить.
-
я у себя такие данные сначала коллекчу в постгрес, потом мержу как мне надо и пачкой отправляю в клик уже готовыми
-
Есть понимание того, как работают мержи, FINAL и особенности данных и их вставки в базу.
-
Ну то есть деву нет варика это пользовать пока не станет DBA?
-
Ну почему, множество людей начинают пользоваться кх без всяких ДБА со знанием.
Порог входа довольно низкий.
Плюс можно обратиться к нам в altinity.com например, мы можем проконсультировать -
У нас не такие объемы, но спасибо. Как бы перед выбором инструмента мы изучали документацию, и как-то в документации все было намного лучше
-
Ну а кб нашу смотрели?
kb.altinity.com? -
Разве что в процессе гугленья
-
я смотрел офдоку в основном
-
Ну опенсорс, документация долгое время писалась во многом разрабами и в основном в добровольно-принудительном порядке.
-
а у вас получается просто в принудительном? )
-
Нас скорее принуждает нежелание писать одно и тоже много раз)
Проще в ссылку ткнуть -
Почитаю вашу, спасибо.
-
На самом деле щас довольно много компаний/людей занимаются улучшением UX в контексте использования ReplacingMergeTree (мы в том числе, например делаем sink коннектор для репликации из mysql в кх с помощью Debezium) Так что возможно частично ваша боль будет поправлена в ближайшем будущем.
Например вот небезынтересный коммент к PR
https://github.com/ClickHouse/ClickHouse/pull/41005#issuecomment-1300624243[RFC] Replacing merge tree new engine by youennL-cs · Pull Request #41005 · ClickHouse/ClickHouseChangelog category (leave one): New Feature Changelog entry (a user-readable short description of the changes that goes to CHANGELOG.md): Enrichment of the existing ReplacingMergeTree engine to a...
-
Ну например, если включит настройку не мержить между партициями, и у вас в партиции только 1 парт
-
Щас под дефолту кх делает мерж optimize_on_insert настройка
-
Ну если отключите ССЗБ
-
Вы ведь таким образом можете и просто сделать ATTACH PART FROM TABLE
-
В одном инсерте могут быть
-
https://github.com/ClickHouse/ClickHouse/pull/19375/files#diff-a2e0909d75f772d3b9b704923917d686f10aa2167547e7ce8c5cec5f54c11f5dR1392
Ну вообще тут кстати стоит данное ограничение, хотя с учетом optimize_on_insert оно не так критичноImprove do_not_merge_across_partitions_select_final optimization. by Avogar · Pull Request #19375 · ClickHouse/ClickHouseI hereby agree to the terms of the CLA available at: https://yandex.ru/legal/cla/?lang=en Changelog category (leave one): Performance Improvement Changelog entry (a user-readable short descriptio...
-
Я писал не в этом контексте. На самом деле это сто раз уже тут обсуждали, если в партиции один парт и его level >0 то final как бы можно не делать. Но разработчики кх думают что это плохая идея. Я так понимаю что на том уровне абстракции невозможно это понять.
-
Мы в Альтинити предлагаем выключать эту настройку потому что инсерты намного медленнее работают.
В любом случае фичи с автоматическим выключением final нет и не планируется. -
Особенно смешно получается в мат.вью - сделали group by, и теперь затормозим инсерт чтобы помержить то что только что помержили в groupby
-
Хм, можно ли в определение MAT VIEW дописать эту настройку и сработает ли она так тогда
-
Нельзя. Кажется Алексей хотел на уровне кода выключать для случая мат.вью, но так и не сделали.
Я вообще не видел чтобы эта штука помогала. Это ж сколько дубликатов надо в инсерте послать? Типа заинсертить 100% дублей? -
> Нельзя. Кажется Алексей хотел на уровне кода выключать для случая мат.вью, но так и не сделали.
Мне кажется на эту тему даже issue нет -
optimize_on_insert should be disabled by default · Issue #25724 · ClickHouse/ClickHouse
optimize_on_insert=1 \ insert Elapsed: 14.278 sec. optimize_on_insert=0 \ insert Elapsed: 5.833 sec. create table SMT(A Int64, B Int64, C Int64, D Int64, E Int64, F Int64) Engine=SummingMergeTree o...
- 04 November 2022 (80 messages)
-
Всем привет!
Подскажите, после обновления кликхауса до версии 21.8.15.7 в одной из таблиц начала теряться часть данных за предыдущие два дня. Причём за сегодняшний день они не теряются, но как только наступает следующий день, то за прошедший данные по немногу на разных шардах начинают исчезать. До обновления всё работало отлично. Если данные восстановить, то они через 10-20 минут опять пропадают. -
Мне уже не особо смешно. )
-
У вас ттл есть ?
-
Какой движок у таблицы
-
TTL нету
-
Движок ReplicatedSummingMergeTree. Отрицательные числа туда не попадают, так что значения могут только увеличиваться. И повторю: до обновления проблем не было
-
Не смотрел туда, проверю
-
Смотрите фоновые процессы - мержи (select * from system.merges ), мутации (select * from system.mutations where not is_done ) - что то кушает неслабо.
-
Версия кх? 22.4?
-
В смысле в портах? Типа freebsd?
-
Никто не знает, как побороть проблему с тем, что последовательные HTTP запросы из одной сессии кидают “Session is locked”?
Вот нашёл такой issue https://github.com/ClickHouse/ClickHouse/issues/4003
Но как будто он не до конца пофикшенSequential HTTP requests can lead to "Session is locked" error · Issue #4003 · ClickHouse/ClickHouseHi, I'm getting a (373) DB::Exception: Session is locked by a concurrent client. error sometimes upon executing two sequential HTTP requests with the same session_id. Below you can see an e...
-
Можете в user. xml прописать
-
не пользоваться freebsd (я серьезно)
-
Всем привет
подскажите плз, вот у меня есть таблица с логом сервиса в виде CSV
можно ли как-то средствам КХ разгребать этот CSV текст в отдельную таблицу чтобы данные были по столбцам .... и так чтобы это не VIEW таблица была, а самостоятельная таблица чтобы можно было нормально индексы использовать ? -
КХ freebsd билд не тестируется и никем не используется и там вечные проблемы с памятью.
взамен? использовать КХ под линуксом (ubuntu) и только с самыми свежими ядрами. -
КХ не умеет автоматически загружать данные из файлов.
Используйте vector.dev -- это очень быстрая прога, отдельный бинарник, и он умеет читать логи (файлы) , понимает ротацию, умеет буферизовать запись в КХ, очень просто конфигурится
https://vector.dev/LinkA lightweight, ultra-fast tool for building observability pipelines
-
Integrating Vector with ClickHouse | ClickHouse Docs
How to tail a log file into ClickHouse using Vector
-
не тут вопрос не в загрузке из файлов .... у меня в КХ в строке тест в формате CSV ну типа "112312", "234234", "2345234"
мне нужно создать паралельно таблицу где эти данные будут по столбцам ...
Первая идея была сделать скрипт по крону который бы читал новые данные и пихал бы их в отдельную таблицу, но хочется чтобы не было лишнего и был бы онлайн режим -
КХ умеет выводить типы и названия столбцов из CSV
вы хотите чтобы каждый файл был в отдельной таблице? (структура у файлов одинаковая?) -
-
Если я потерял пароль от юзера default, можно новый указать в user.xml, так? -
Через IAM роль умеет
use_environment_credentials -
https://clickhouse.com/docs/en/engines/table-engines/mergetree-family/mergetree/#table_engine-mergetree-s3
use_environment_credentialsMergeTree | ClickHouse DocsThe MergeTree engine and other engines of this family (*MergeTree) are the most robust ClickHouse table engines.
-
И надо задать use_environment_credentials
-
да нету у меня файлов )))
у меня есть таблица в столбце типа Text хранятся данные в виде "sdfsdfsd", "sdfsdfsdf", "sdfsdfsdf"
кол-во столбцов одинаовое
мне нужно создать таблицу отдельную куда должны писаться эти данные в отдельные 3 столбца -
т.е. по сути мне нужно смапить как-то по regex или еще как-то данные в отдельные столбцы и сделать так чтобы КХ это делал сам по мере поступления данных в исходную таблицу
-
на сколько я понимаю это материализованное представление ....
-
да, до удаления данных был 1 активный кусок с 15892 строками, а после удаления остался тоже один кусок с 8192 строками. Странно четкое число
-
Ребята из команды клика! вы бест. облачная версия клика просто спасает:) теперь удобно кандидатам в инженеры давать тестовые просто пипец кайф -
Это о какой фиче речь? И таймстампы автоматом распарсит? -
Видимо телега лаганула 😳😅
-
а делал кто декларативный сервис управлением политик доступа? Чтобы чисто ямлик описал и оно его применяло -
Так кажется, что нормально не файлики писать, а сикуле-команды слать. По крайней мере, так в остальных бд ) -
ну декларативно хочется типа
-
Возьми в руку питон (он круто yaml парсит), и три часа времени )
-
ГОТОВОЕ хочется
-
Декларативное в ямлике не помню, но был доклад у Deutsche Bank, как они делали сервис, что им abac реализовал
-
Нy чтo, пoлeтeли?
В нaличиe ocобыe, нeблoкиpyeмыe Google aккayнты!
Oткpывaeтe aкк и cхoдy зaливaeтe тpаф на любyю вepтикaль, вce acпeкты нacтpoeны пpeдвapитeльнo.
Этo ТOП aккayнты oт БЦ (МCC)
1) Oплaтa в usdt
2) 15% кoмиccия oт пoпoлнeния
3) Минимальнaя cyммa попoлнeния 500$ -
Ого скам
-
input | ClickHouse Docs
input(structure) - table function that allows effectively convert and insert data sent to the
-
sudo echo '"sdfsdfsd", "sdfsdfsdf", "sdfsdfsdf"' > /var/lib/clickhouse/user_files/file.csv
select * from file('file.csv');
┌─c1───────┬─c2────────┬─c3────────┐
│ sdfsdfsd │ sdfsdfsdf │ sdfsdfsdf │
└──────────┴───────────┴───────────┘
create table A Engine Memory as select * from file('file.csv');
select * from A;
┌─c1───────┬─c2────────┬─c3────────┐
│ sdfsdfsd │ sdfsdfsdf │ sdfsdfsdf │
└──────────┴───────────┴───────────┘ -
в profile секции
cat /etc/clickhouse-server/users.d/allow_experimental_object_type.xml
<?xml version="1.0" ?>
<clickhouse>
<profiles>
<default>
<allow_experimental_object_type>1</allow_experimental_object_type>
</default>
</profiles>
</clickhouse> -
А * :) почему не подходит?
-
select * from system.replica where is_readonly format Vertical
там смотри поле zookeeper_exception
ну и в логе КХ ретроспективно все есть
/var/log/clickhouse-server/clickhouse-server.err.log
/var/log/clickhouse-server/clickhouse-server.log -
а что значит limir 1,2 by id
-
никогда такого синтаксиса не видел. https://clickhouse.com/docs/en/sql-reference/statements/select/limit-by/LIMIT BY Clause | ClickHouse Docs
A query with the LIMIT n BY expressions clause selects the first n rows for each distinct value of expressions. The key for LIMIT BY can contain any number of expressions.
-
Ничего себе
- 05 November 2022 (51 messages)
-
всем привет! я знаю, что кликхаус это не про обновление
но есть задача - вставить новую колонку, сделать расчеты значений из других колонок и забить эти данные в новую колонку. в таблице 220 млн строк
и периодически будет нужда вставлять новые колонки
можете подсказать решение? я пока вижу только создание новых таблиц вместо колонок -
Что значит просчет? можно типа рассчитать из зпачений других колонок в каждй строке?
-
да, все верно. надо произвести расчеты из других колонок и результат забить в новую
-
Ну так создавайте новую колонку с дефаулт
Alter table t add column new Int64 default old1*2+old2 -
там сложные расчеты индикаторов для трейдинга. их вряд ли получится посчитать таким способом :(
-
-
В общем-то можно сделать словарь с source executable и считать кодом на чем угодно
-
спасибо, сейчас гляну эту фичу
-
Всем привет! Подскажите пожалуйста, есть ли у КХ, что нибудь на подобии Hardening -
-
добрый день! господа, помогите разобраться с тремя связанными вопросами:
1. повесил на обычную MT-таблицу TTL, в списке мутаций появилась MATERIALIZE TTL, которая подозрительно долго работала, забивая все ядра на 100%. при этом аналогичный по сути запрос ALTER TABLE t DELETE WHERE timestamp < now() - INTERVAL отрабатывает в десятки, если не сотни раз быстрее. почему так?
2. после завершения этой мутации SELECT min(timestamp) FROM t выдает нулевое время 1970-01-01 00:00:00 - но записей с такой временной меткой в таблице нет и быть не могло. как такое возможно, это же баг?
3. после добавления TTL таблицы элементарный запрос SELECT timestamp FROM t ORDER BY timestamp LIMIT 1 явно приводит к линейному чтению всей таблицы и занимает минуты, когда раньше отрабатывал мгновенно. опять же, почему так, разве таблицы MT не проиндексированы по времени тем или иным образом?
спасибо! -
Привет. Имеется кластер, в нём 2 шарда, в каждом по 2 реплики (в итоге 4 ноды). Создаю replicated таблицу events_local в кластере, а затем distributed таблицу events_distributed тоже в кластере. Это нормально, что в distributed таблицах данных дублированы?
CREATE TABLE default.events_local ON CLUSTER mycluster
(
`event_type` UInt32,
`date` Date
)
ENGINE = ReplicatedMergeTree('/clickhouse/{cluster}/tables/events_local', '{replica}')
PARTITION BY date
ORDER BY event_type
CREATE TABLE default.events_distributed ON CLUSTER mycluster
(
`event_type` UInt32,
`date` Date
)
ENGINE = Distributed('{cluster}', 'default', 'events_local', rand()) -
-
В смысле задублированы?
У вас половина данных на одном шарде, а вторая половина на другом. Когда вы обращаетесь к локал таблице то видите только 50% данных, а дистриб ходит в оба шарда и возвращает 100% -
Без DDL тут гадать можно долго
-
create table или что-то еще?
-
Да
-
Делал insert в replicated таблицу, 2 элемента. В replicated таблицах по 2 элемента, в distributed таблицах по 4 элемента
-
-
Я вижу что у вас одни и те-же данные на 4 репликах. На какие сервера вы делаете вставку?
-
Что в select * from system.clusters ?
-
Дак над репликейтед таблицами не нужна distribution
-
-
Я понял, у вас в ддл локальных таблиц не указан макрос шарда
-
Конечно же нужна если шардов>1, иначе как запрос соберёт все данные?
-
обновление через словарь работает, спасибо! по этой статье затестил - https://kb.altinity.com/altinity-kb-queries-and-syntax/update-via-dictionary/
но тут еще один вопрос возникает, насколько тяжело базе будет обновить ~250 млн строк данным способом? или намного эффективнее все же будет вместо колонки, создать новую таблицу ? -
Тут непонятно, вы говорите про рассчет из других колонок.
Если все эти значения которые нужны принадлежат одной и той же строки (те все происходит в контексте строки) вам словаоь вообще не нужнн -
нет, нужные значения будут не всегда в одной строке
есть случаи, когда для расчета одной строки необходимо будет использовать данные из двух или более строк -
можете подсказать по словарю? в документации написано, что ключ может быть только UInt64
но в основной таблице ключ у меня UUID . и как составить словарь в этом случае? -
Complex key layoutы смотрите
-
вроде разобрался, спасибо :)
CREATE DICTIONARY update_dict
(
`id` UUID,
`value` Float32
)
PRIMARY KEY id
SOURCE(CLICKHOUSE(TABLE 'test_update_source'))
LIFETIME(MIN 0 MAX 10000)
LAYOUT(COMPLEX_KEY_HASHED());
теперь словарь с UUID
апдейт колонки сделал так:
ALTER TABLE binance_futures_candles
UPDATE value = dictGet('default.update_dict', 'value', toUUID(id)) WHERE dictHas('default.update_dict', toUUID(id)); -
а почему вдруг Update и зачем? Вам же новый столбец надо было сделать. Я бы сделал alter table table add column value String default dictGet('default.update_dict', 'value', id); А потом modify column чтобы отвязать словарь. -
да, получилось - так намного проще, спасибо
а можно чуть подробнее насчет отвязки словаря? про это не в курсе был -
после отвязки колонка обнуляется
-
-
да
ALTER TABLE binance_futures_candles ADD COLUMN value4 Float32 default dictGet('default.update_dict2', 'value', id)
именно через этот способ такая проблема появилась. через UPDATE вроде все ок
про материализацию не в курсе еще -
все ок, данные остаются после отвязки. но теперь словарь не дропается(
DROP DICTIONARY update_dict3
выдает ошибку
SQL Error [630] [07000]: Code: 630. DB::Exception: Cannot drop or rename default.update_dict3, because some tables depend on it: default.binance_futures_candles. (HAVE_DEPENDENT_OBJECTS) (version 22.1.3.7 (official build))
, server ClickHouseNode(addr=http:localhost:8123, db=default)@1293127517
никак не получается избавиться от словаря
через UPDATE все ок было. или он медленнее справляется с этим? -
да. вот создаю словарь новый:
CREATE DICTIONARY update_dict6
(
`id` UUID,
`value` Float32
)
PRIMARY KEY id
SOURCE(CLICKHOUSE(TABLE 'test_update_source'))
LIFETIME(MIN 0 MAX 10000)
LAYOUT(COMPLEX_KEY_HASHED());
потом добавляю столбец:
ALTER TABLE binance_futures_candles ADD COLUMN value6 Float32 default dictGet('default.update_dict6', 'value', id)
материализую:
ALTER TABLE binance_futures_candles MATERIALIZE COLUMN value6;
дожидаюсь пока мутация сработает и отвязываю словарь:
ALTER TABLE binance_futures_candles MODIFY COLUMN value6 REMOVE DEFAULT;
словарь точно отвязался, потому что при повторном выполнении этого запроса вылезает ошибка:
DB::Exception: Column `value6` doesn't have DEFAULT, cannot remove it. (BAD_ARGUMENTS)
далее пробую дропнуть словарь:
DROP DICTIONARY update_dict6
и ошибка:
SQL Error [630] [07000]: Code: 630. DB::Exception: Cannot drop or rename default.update_dict6, because some tables depend on it: default.binance_futures_candles. (HAVE_DEPENDENT_OBJECTS) (version 22.1.3.7 (official build))
, server ClickHouseNode(addr=http:localhost:8123, db=default)@1293127517 - 06 November 2022 (14 messages)
-
Всё новое - хорошо забытое старое )
-
Добрый вечер! Кто-то может подсказать по параллельному обращению к кликхаус серверу через питоновскую библиотеку clickhouse-driver?
При подключении передаю sll crt файл. При попытке обращения разными тредами к одному и тому же коннекту, получаю следующую ошибку (лог прикладываю) при параллельном выполнении запросов. Если перед любым запросом принудительно создавать новый коннект, то ошибки нет, но хочется не создавать много лишних коннектов, если возможно.
Запускаюсь примерно так:
with concurrent.futures.ThreadPoolExecutor(max_workers=10) as executor:
for cred in creds:
executor.submit(functions, params)
коннекчусь
ch_client = Client(
host=...,
port=...,
database=...,
user=clickhouse_user,
password=clickhouse_password,
secure=True,
ca_certs=os.path.join(os.getcwd(), 'YandexInternalRootCA.crt')
) -
-
Вопрос в том как асинхронно ходить в clickhouse ? Поможет вот это https://github.com/mymarilyn/aiochGitHub - mymarilyn/aioch: aioch - is a library for accessing a ClickHouse database over native interface from the asyncio
aioch - is a library for accessing a ClickHouse database over native interface from the asyncio - GitHub - mymarilyn/aioch: aioch - is a library for accessing a ClickHouse database over native int...
-
Алексей, Константин. спасибо! Попробую
-
В𝚎ч𝚎poчeк🧕🌸. 𝖮тⲕрылся новый обменниⲕ криптоⲃaлюты 🤩FixingFloat🤩, сейчaс тaм xоpoшие кypc у мoн𝚎т, а по мо𝚎мy промoκoдy вы получите +1.5% ⲕ любoй операции😘🤑.
❤️💜💖💜❤️
fixingfloat.com/?ref=4bda6738 -
привет. можно ли сделать insert синхронно? нужно сперва вставить одни данные, а затем вставить другие через insert select, которые могут зависеть от наличия данных первой вставки в таблице.
- 07 November 2022 (133 messages)
-
Спасибо
-
/report
-
если у вас обычная (non Replicated) MergeTree, то проблем нет. Так оно и будет (для обычных инсертов). Если же вы построили кластер, то становится интереснее:
> By default, an INSERT query waits for confirmation of writing the data from only one replica. If the data was successfully written to only one replica and the server with this replica ceases to exist, the stored data will be lost. To enable getting confirmation of data writes from multiple replicas, use the insert_quorum option. -
50 млн это пренебрежительно мало (если конечно у вас там не пара тысяч колонок). просто сделайте truncate и вставьте данные через insert/select
-
ДУблирую еще раз свой вопрос - может у кого-то будут свежие мысли:
Коллеги а почему могут возникать дубликаты при вставке в distributed таблицу и дубликаты попадают в одну и ту же шарду
В чем может быть причина?
Причем дубликаты не на разных шардах а в одной и той же шарде всегда. Ошибка в рамках двух кластеров воспроизводится и в рамках однго не воспроизводится, конфиги одинаковые -
Можно как то ограничить время хранения данных в базе данных ? либо как то ограничить место занимаемое базой данных ?
-
https://clickhouse.com/docs/ru/sql-reference/statements/alter/ttl/
Возможно поможетМанипуляции с TTL таблицы | ClickHouse Docsmanipuliatsii-s-ttl-tablitsy}
-
Да не, я хотел просто дать доступ пользователям создавать в отдельной базе данных создавать самим таблицы, и как то всё это ограничить
-
раз в сутки ходим кроном по system.tables, находим все юзерские таблицы без TTL, делаем alter table modify TTL :)
-
Всем привет. В чем причина такой ошибки?
Code: 49. DB::Exception: Invalid number of rows in Chunk column ColumnLowCardinality position 1: expected 1, got 2: While executing TTL. -
Вопрос к тем, кто работает в связке Clickhouse+Superset: кто-нибудь пробовал использовать TEMPORARY TABLE в виртуальных датасетах? Superset ругается “Virtual dataset query cannot consist of multiple statements” - как это обойти?
-
Подскажите, вдруг кто уже подумал и собрал таблицу для хранения в ней логов от aws cloudfront?
Хочется сэкономить время с подбором размерностей всех типов -
Склеить 3 числа из random функции.
-
select today() + interval rand(123) % 10 day ;
-
В SQL вобще и в КХ в частности довольно прилично сделана работа с датой-временем. Надо этим пользоваться, тут-же не plain C :)
-
Привет! Подскажите пожалуйста есть ли более эффективные способы поиска дублей по 1 колонке / нескольким колонкам / всем колонкам в CH чем обычный distinct?
-
Вопрос не имеет смысла без контекста. Любой такой поиск основан на группировке. Но важны оптимизации. А они зависят от того что вы делаете. Почитайте тут для начала - https://kb.altinity.com/altinity-kb-queries-and-syntax/distinct-vs-group-by-vs-limit-by/DISTINCT & GROUP BY & LIMIT 1 BY what the difference
Page description for heading and indexes.
-
Какой коннектор используете ? Есть коннектор 2.0
-
День добрый. а BACKUP TABLE умеет бэкапить distributed таблицы? или надо бэкапить replicated что под ней? -
Оптимизировать - можно (всегда). Но там миллион вариантов. Вы бы чего-нибудь сказали полезного про таблицу и про данные.....
-
order by date, при этом WHERE ( t_stamp > $__fromTime ) AND ( t_stamp <= $__toTime ) AND success = '1' - у вас идет full scan
-
Даю связки под %
«Арбитраж криптовалюты»
Пишите в личку -
добрый день. подскажите пж инфу про схемы данных в клике и как ее создавать. не пойму чем она отличается от базы данных, как ее создавать? -
Короче у колонки t_stamp надо индекс сделать и будет летать :) -
Здравствуйте, подскажите плз работал ли кто на dbt с шардированным кликхаусом? Не очень понимаю как их подружить после перехода с синг инстанса -
А что за метеданные? -
Я думаю вам сюда https://t.me/dbt_usersdbt & modern data stack
DBT users group Взаимное уважение и без спама. Для вакансий тег #job Dual language: russian/english
-
Спасибо
-
Всем привет, а есть ли в КХ что-то типа
https://docs.oracle.com/database/121/ARPLS/d_appinf.htm#ARPLS65237
Суть вопроса - приложение ходит через connection pool и хочется персонализировать как то запросы. Минимально - прокидывать как то информацию о том, какой пользак инициировал запрос -
уточню - приложение ходит под 1 технологическим аккаунтом, а что за пользователь дернул API который пошел в БД - вот эту инфу хочется как то добавлять в запрос
-
Вы можете в запрос в первую строчку добавить комментарий, что был за пользователь
-
И потом в query_log будете видеть его
-
ну это самый примитивный вариант, да. Но хотелось бы как то более интеллектаульно =) я уже так делал когда с airflow трекал запросы (json с нужными полями в первую строку добавлял). Но вроде как есть поля типа log_comment и всякие Settings & ProfileEvents - думал может есть какой то провославный способ это сделать
-
Добрый вечер!
У нас КХ с ЛДАП
НО
для вручную определёных юзеров нельзя определить роль :(
GRANT dwh_role TO lakehouse_engine;
Code: 495. DB::Exception: Cannot update user lakehouse_engine in users.xml because this storage is readonly: Couldn't update user lakehouse_engine. Successfully updated: none. (ACCESS_STORAGE_READONLY) (version 21.12.3.32 (official build))
это можно как то поправить? -
к сожалению не прокатило )
-
откуда нам знать? вам виднее какие там ограничения. Можно skip index сделать - он должен неплохо работать в вашем случае, но займет сколько-то памяти сервера. Можете в where добавить интервал дату (не убирая интервал времен), но может это вам неудобно. В принципе можно и order by таблицы поменять, но это уже экстремально и скорее всего не ваш случай.
-
-
Почитайте для развития https://clickhouse.com/blog/clickhouse-grafana-plugin-2.0ClickHouse Plugin for Grafana - 2.0 Release
The 2.0 release of the ClickHouse plugin for Grafana improves filtering while adding support for HTTP and JSON.
-
всем привет. использую ClickHouseHTTP() для подключения R+Clickhouse при вызове dbGetQuery(con, "SHOW DATABASES") - отображается список, а при запросе dbListTables(con) - не отображает список таблиц. хотя если запросить данные из конкретной таблицы - то они возвращаются: dbGetQuery(con, "SELECT * from metrika_to_datalens.hits LIMIT 10"). почему не могу увидеть список таблиц? Так же не получается загрузить таблицу в clickhouse... -
В таблице query_log есть колонка http_user_agent, которую можно попробовать переиспользовать.
Подробнее про настройку этих параметров можно найти тут : https://github.com/ClickHouse/clickhouse-jdbc/issues/691Implement setClientInfo · Issue #691 · ClickHouse/clickhouse-jdbcFeature request: implement java.sql.Connection#setClientInfo (and ClickHouseDatabaseMetaData#getClientInfoProperties) That would allow to pass some useful metadata to database, eg. frontend user th...
-
log_comment колонку посмотрите, ее можно через настройку задать
https://github.com/ClickHouse/ClickHouse/blob/c05c1f7a34a2d5b9d0ace78df986585f125aa61d/tests/queries/0_stateless/01670_log_comment.sqlClickHouse/01670_log_comment.sql at c05c1f7a34a2d5b9d0ace78df986585f125aa61d · ClickHouse/ClickHouseClickHouse® is a free analytics DBMS for big data. Contribute to ClickHouse/ClickHouse development by creating an account on GitHub.
-
@unamedrus @mrkandreev @dj_mixer спасибо за ответы, думаю что приведённых примеров хватит :)
-
подскажите пожалуйста как и где исправить ошибку Error in .local(conn, statement, ...) :
Code: 497. DB::Exception: user: Not enough privileges. To execute this query it's necessary to have grant CREATE TABLE ON default.mtcars доступ к кликхаусу есть. но видимо. не полный - таблицы в БД не показывает, хотя к ним можно обращаться если знать названия, новую таблицу добавить не получается (возможно. сертификат не установлен или права неверно выставлены?) -
Можно попробовать Replicated DB engine, возможно в этом случае на диске меньше метаданных хранится
-
Всем добрый вечер. Вопрос такой, требуется сделать регулярный ETL с одного кликхауса на другой (разные кластеры, разные подсети, связность есть). Данные - 1 таблица примерно на 100-200 млн. записей в сутки. Можете рекомендовать вариант непосредственно и клика в клик без использования промежуточных инструментов? Есть варианты эффективные для данного объема? Имеет ли смысл приладить к этому копир или он все же для разовых переносов/бэкапов? Спасибо -
-
Спасибо!
-
-
Всем привет!
Пытаюсь обойти то что в toTimezone используется константа в часовом поясе
multiIf(
time_zone_code = 'Europe/Moscow', toTimezone(utc_dttm, 'Europe/Moscow'),
time_zone_code = 'Asia/Yekaterinburg', toTimezone(utc_dttm, 'Asia/Yekaterinburg'),
time_zone_code = 'Europe/Samara', toTimezone(utc_dttm, 'Europe/Samara'),
utc_dttm
) as lcl_dttm
но всё равно выдаёт московскую зону ) как мне в одном столбце поиметь разные часовые пояса? -
Разложить по разным столбцам ?
-
Думал сегодня об этом же. Пока в голове - создать словарь по ключу timezone_name, а в значение положить офсет в секундах
-
Вариант, но это плохо работает если таймзона меняет свой оффсет. А они меняют
-
Коллеги подскажите пожалуйста. У меня есть таблица mysql enginge в mysql миграцией добавили новую колонку, есть возможность миграцией добавить колонку в clickhouse или мне ее только дропать и заново создавать? -
пугающе много столбцов
-
Создать range key в словаре и проверять вхождение времени в интервалы летнего/зимнего времени
-
Или хранить в словаре время смены летнего/зимнего времени
-
как заставить работать remote? нужно чтото специально где скофигурировать для подключению к другому кластеру клика?
Code: 519. DB::NetException: All attempts to get table structure failed. Log: . (NO_REMOTE_SHARD_AVAILABLE) (version 22.10.2.11 (official build)) -
зависит от того что написано в этом remote. и в system.clusters например
-
кластер левый, надо перекинуть данные
сетевая доступность до 9000 порта есть -
WITH
toDateTime('2022-01-01 00:00:00','UTC') as utc_dttm,
'Europe/Moscow' as time_zone_code
SELECT multiIf(
time_zone_code = 'Europe/Moscow', timeZoneOffset(toTimeZone(now(), 'Europe/Moscow')),
time_zone_code = 'Asia/Yekaterinburg', timeZoneOffset(toTimeZone(now(), 'Asia/Yekaterinburg')),
time_zone_code = 'Europe/Berlin', timeZoneOffset(toTimeZone(now(), 'Europe/Berlin')),
0
) as lcl_offset, utc_dttm + INTERVAL lcl_offset SECOND as lcl_dttm -
Нет, именно движок баз данных
-
Он экспериментальный, но думаю его допилят. (им clickhouse.cloud в своем облаке пользуется)
-
Есть план сделать shared metadata сторадж, причем в опен сорс роадмапе, но без каких либо сроков
-
перефразирую вопрос, как добавить сервер в remote_servers без перезапуска клика и при том что он с ридонли конфигами?
-
У вас так и не работает remote ?
-
а как он заработает? нигде нет никакого описания как сделать чтоб он заработал кроме как обращаться к серверам кластера
-
remote работает не только с серверами в рамках кластера
-
отлично, как это сделать?
-
так из коробки работает
-
хост+порт, бд+таблица, юзер, пароль - и тишина
-
До друг друга могут ходить ?
-
да
-
может проблема в файрволлах или secure/не secure ?
-
telnet работает прекрасно
-
может в вашем случае remoteSecure нужна?
-
или 9000 порт тестили?
-
порт хардкодить пробовали ?
-
порт 9000, зардкодить пробовал, ip:port явно указываю
-
Он ошибку выдает или весит вечно ?
-
ошибка стабильно выдается сразу
All attempts to get table structure failed. Log: . (NO_REMOTE_SHARD_AVAILABLE) -
-
я не таймаут получаю
-
клик почемуто хочет получить инфу о таблице якобы она должна быть в шарде
-
но это не вяжется с "из коробки работает с внешними кластерами"
-
работает)
-
Дак может нету такой таблицы ?
-
из финляндии в россию переливали данные через неё без проблем, терабайты)
-
Попробуйте к system.parts например
-
спасибо за наводку, систем партс он удаленно прочитал. В итоге да опечатка в названии таблицы. Описание ошибки такое понятное что не понятно что он просто не смог найти такую таблицу на удаленном сервере.
-
В issue напишите, чтобы более понятную ошибку сделали
-
уже
-
это было реально не очевидно по сравнению с обычным
Table default.asdasd doesn't exist. (UNKNOWN_TABLE) -
Даже то что в настройки передаются фильтры и клик их сам применяет ?
- 08 November 2022 (137 messages)
-
"дерьмо с пошлой базы" :)) -
Есть способы быстро получать последнюю запись? Не делая каждый раз сорт -
привет! делаю инсерт селекта из таблицы, в которой есть полностью одинаковые строки, а Кликхаус каждый раз срезает какое-то количество из дублирующихся строк, т.е. в итоге вставляет меньше строк, чем было в таблице-источнике. подскажите, пожалуйста, так может быть, я не ошибся с интерпретацией? -
replacing - не подумал про такое, спасибо за подсказку
-
Классно, спасибо !
-
Подскажите, какой движок выбрать для таблицы, если я считаю в ней всего два агрегата? То есть нет какого-либо dimension, просто два числа получаются -
Summingmt? Придется сделать доп поле с materialized 1 и сделать orderby по этому полю
-
Что-то вроде такого?
CREATE MATERIALIZED VIEW table_mv
ENGINE = SummingMergeTree() POPULATE
AS
select 1 as temp_col
sum(a) as users_with_conv,
sum(b) as users_without_conv
from table1
order by temp_col; -
Нет
Вот так
CREATE MATERIALIZED VIEW table_mv
ENGINE = SummingMergeTree() order by temp_col POPULATE
AS
select 1 as temp_col
sum(a) as users_with_conv,
sum(b) as users_without_conv
from table1
Group by temp_col
; -
-
Я понял! Спасибо большое!
Необычное чувство: час назад смотрел доклад по mv с вашим участием, а сейчас напрямую получаю ответ от вас)) -
Всем привет, столкнулся со сложностью
Таблица содержит записи о товарах относящихся к заказу, полностью уникальных полей нет. Есть только идентификатор заказа к которому относятся много товаров.
Задача состоит в том чтобы данные в таблице могли обновляться на произвольную глубину, т.е. у некоторых товаров изменился статус, это пришло с бэкенда - и это нужно заменить в таблице. Как я понимаю Replacing и его модификации тут не очень подходят из-за того что может быть множество полей с одинаковыми ключами, и заменить множество полей на множество не получится.
Как эту задачу адекватнее всего решить в кликхаусе? -
))
-
И сколько товаров всего? Похоже нужен словарь с товарами. И в таблице хранить Id заказа и Id товара
-
id и заказа и товара уже есть в таблице, вариантов товаров порядка 70 тысяч артиклей
-
Может проблема в том, что concat ждёт строки, а вы int даете ?
-
-
Привет чат, подскажите пожалуйста как переписать запрос через < case when ... then ... > ?
Запрос такой:
select count(distinct card_id) as cards_count from stats.appointmentstats
Я хочу в одном запросе несколько distinct подсчётов засунуть:
select count(case when stat_type = ‘new' then distinct card_id end) as cards_count_new, count(case when stat_type = ‘old’ then distinct card_id end) as cards_count_old from stats.appointmentstats
Но так оно не работает: then distinct card_id end
Если просто then card_id end то всё работает, но я хочу distinct -
Всем привет, новичок в CH, может кто-то подсказать как загрузить словарь? Создаю через createDictionary, инфу по нему смотрю через SELECT * from system.dictionaries. Есть возможность его как-то загрузить? Загружаю его с помощью обычного select'a и dictGet, может есть какой нибудь получше способ?
Словарь берет данные из таблицы -
о, спасибо!
-
стоп, так там же нет такой функции countDistinctIf
-
uniqExactIf(card_id,stat_type='new')
-
спасибо, сейчас попробую
-
DB::Exception Aggregate function is found inside another aggregate function in query
-
комбинаторы позволяют на ходу создавать новые функции
-
вот такой запрос SELECT count(uniqExactIf(card_id, stat_type = 'new'))
-
uniqExact уже возвращает count
-
оу..
-
действительно
-
спасибо большое)) проблема решилась
-
попробуйте еще uniqIf он намного быстрее, но дает небольшую ошибку
-
да, вы правы
спасибо)) -
возьму на заметку) но я тут скоро финансы буду считать, ошибку мне не простят😅
-
а зачем?
словари загружаются лениво
это отключаемо
и есть system reload dictionary -
uniqExactIf vs uniqIf
765058 vs 762711
интересно, а почему он даёт ошибку? -
Приближенные вычисления потому что
-
потому алгоритм используется для приблизительных вычислений, на биг дата этот алгоритм использует памяти в 1000 раз меньше
https://en.wikipedia.org/wiki/HyperLogLogHyperLogLogHyperLogLog is an algorithm for the count-distinct problem, approximating the number of distinct elements in a multiset. Calculating the exact cardinality of the unique elements of a multiset requires an amount of memory proportional to the cardinality, which is impractical for very large data sets. Probabilistic cardinality estimators, such as the HyperLogLog algorithm, use significantly less memory than this, at the cost of obtaining only an approximation of the cardinality. The HyperLogLog algorithm is able to estimate cardinalities of > 109 with a typical accuracy (standard error) of 2%, using 1.5 kB of memory. HyperLogLog is an extension of the earlier LogLog algorithm, itself deriving from the 1984 Flajolet–Martin algorithm.
-
что-то вроде блум фильтров наверное
-
спасибо) почитаю
-
>но в этой директории быстро накопилось много маленьких файлов, так что HDFS падает с лимитом по файлам на папку
а что это за лимит такой? никогда не слышал, можете ссылкой поделится?
(естественно никаких папок в hdfs и s3 нету, там плоское хранение, все объекты в одной таблице, имена можно фильтровать по префиксу)
файлы мелкие скорее из партиционирования -
dfs.namenode.fs-limits.max-directory-items 0 Defines the maximum number of items that a directory may contain. A value of 0 will disable the check.
https://hadoop.apache.org/docs/r0.23.11/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
по умолчанию выключено -
ИЗ СЛОВАРЯ НЕЛЬЗЯ ЗАБИРАТЬ ДАННЫЕ SELECT-М. это очень медленно
PrimaryKey в словаре определяет как вы будете данные из словаря доставать при использовании dictGet , поэтому ваш вопрос не имеет смысла. -
Привет, у кого есть опыт мульти-дата центрового примирения КХ? Какие особенности стоит учитывать при сетапе для высокой доступности? Для зукипера, как я понимаю, надо минимум 3 ДЦ, с минимальной latency между ними и нодами КХ.
-
Кажется что dfs.namenode.fs-limits.max-directory-items искусственное ограничение, оно убрано в современных hdfs
dfs.namenode.fs-limits.max-directory-items 0 Defines the maximum number of items that a directory may contain. A value of 0 will disable the check.
https://hadoop.apache.org/docs/r0.23.11/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
по умолчанию выключено -
partition by какой у таблицы?
-
сколько КМ (сколько летенси) между DC ?
-
вы говорите странное.
Словарь это способ достать значение по ключу. Вы рассказываете что у вас ключи повторяются, что несколько странно в разрезе K/V -
господа, скажите такое
если у меня mv с набором materialized полей, и я хочу на него навесить еще один mv
как мне кажется навскидку, вторая вьюха будет получать поля кроме материализованных, и для соответствия структур мне во второй view надо будет их задублировать (что приведет к повторному их вычислению)
прав ли я, и обходимое ли сие? -
хм, наверное, если я их явно выберу в select второй view - будет ок
-
подскажите пожалуйста можно ли в CH одну таблицу партицировать и шардировать одновременно? -
Спасибо! 👍
-
-
Бредовая идея - это словарь с одинаковыми ключами разных строк. А вот сложная структура строк - вполне себе рабочая тема.
create dictionary test ( id UInt64, d1 Array(String), d2 Array(Map(String,UInt16)) ) ... -
Есть ли вариант создать mv, который бы обновлялся при джойне двух таблиц? Имеется ввиду по инсерту не только в левую таблицу, но и в правую?
-
Всем привет, вопрос по словарям, я заполняю таблицу из данных словаря, словарь нужно ли как-то заранее подгружать или можно просто сразу данные из него брать и он во время мутации подгрузится?
-
Привет! Есть у кого нибудь на примете толковая статья про Date / Datetime / TS? Когда ввожу дату хардкодом он делает от нее -3 часа, а когда выводит в интерфейс делает +3 часа. Когда преобразую datetime в date 2022-10-01 21:00:00 он преобразует его в 2022-10-02. Возникла небольшая путанница хочу разобраться.
-
Народ для CH кто какими балансерами пользовался? Какой лучше? -
У DateTime под капотом UInt32 - число секунд от 1970-01-01 00:00:00 в UTC.
Таймзона влияет только на парсинг из строки в DateTime и при отображении значения. При парсинге используется либо таймзона сервера, либо таймзона клиента (в зависимости от настройки), так что во избежание неоднозначностей лучше всегда указывать её явным образом. -
Спасибо!
-
https://www.chproxy.org/ вот этим, для тех учетокLinkChproxy is an HTTP proxy and load balancer for ClickHouse
-
Ну и если вам надо сконвертировать DateTime в Date, то тут таймзона тоже важна, ибо одно и то же время в разных таймзонах может быть разной датой. Так что тут совет тот же - указывайте таймзону явным образом.
-
Спасибо, разобрался!
-
Я бы сказал спам чистой воды
-
Можно сделать два MV (обязательно с TO). Но тут вопрос с самим джойном - вы сможете заставить его работать в обе стороны быстро?
-
Привет всем! Подскажите пожалуйста, может кто сталкивался: CH при использовании collation "en/en_US" считает что кириллические буквы "е" и "ё" одинаковые между собой. Можно ли как то заставить его их различать с помощью дефолтных механизмов? -
Поскажите, можно ли в ch создать таблицу в режиме on cluster?
-
можно -
Она будет реплицироватся на все узлы? Можно ли ее потом шардировать?
-
будет ли схема реплицироваться?
-
Данные
-
как настроите - так и будет
-
создадите без репликации - не будет реплицироваться
создадите с - будет -
Ок, спасибо. Еще один глупый вопрос. Какая вообще технология работы приложений с кластером ch? Обращения идут к одному узлу и далее маршрутеризуются? Используется какой - либо балансер. Или в коде должно быть жестко прописаны конкретные узлы с базами?
-
Сами по себе инстансы кликхауса ничего не знаю о друг друге. Их связывает Zookeeper и Distributed таблицы в один так называемый кластер
-
Благодарю!
-
Привет всем.
Никак не могу уловить в чем разница между ReplacingMergeTree и CollapsingMergeTree?
Подскажите пожалуйста, какую из них лучше использовать для удаления дублей? -
Арбитражные сигналы под %
Пишите в личку -
CollapsingMergeTree хороша если вы сверху на нее вешаете MV, которое аггрегирует данные (скорее даже суммирует). Это MV тоже получит дубликаты, и чтобы аггрегаты были правильные надо делать вычитание "удаляемых" строк. Вот ради этого и придумана вся эта чехарда с sign=-1. Только есть вопрос - у вас есть под руками источник "предыдущих" значений?
Если же у вас одинокая табличка и надо по простому удалять дубликаты - берите ReplacingMT/final со всеми последними оптимизациями типа do_not_merge_across_partitions_select_final -
Привет! Пытаюсь написать запрос, который будет считать MAU для каждого дня (относительно 30 предыдущих дней). Нашла только одну старую статью на stackoverflow:
https://stackoverflow.com/questions/55932717/monthly-active-users-in-clickhouse
Сейчас в clickhouse уже есть with.
Пишу следующий запрос:
with date_ranges as(
select distinct event_date as my_date from events
WHERE event_date >= '{{ start_date }}'
AND event_date <= '{{ end_date }}'
)
SELECT date_ranges.my_date,
(SELECT uniqExact(user_id)
FROM (select * FROM events
WHERE ...
AND event_date >= toDate('{{ start_date }}') - INTERVAL 30 day
AND event_date <= '{{ end_date }}'
) as events
WHERE events.event_date BETWEEN date_ranges.my_date-30 AND date_ranges.my_date) AS mau
from date_ranges
Выдает ошибку Missing columns: 'date_ranges.my_date'.
Подскажите, как решить такую задачу?Monthly active users in ClickHouseSince ClickHouse doesn't support WITH clause for queries, I'm having troubles implementing a query for calculating MAU (Monthly active users calculated day by day and the 30 days range is moving da...
-
В between нельзя обратиться к date_ranges, так как это по сути подзапрос. Попробуйте перенести where в самый конец -
Тогда смысл другой становится. И date_ranges вообще нигде не определен тогда
-
за каждый день есть
-
вы бы сделали поиск по чату. недавно обсуждалось и реализовывалось вполне себе в виде clickhouse-way with uniqState/uniqMerge
-
WITH events AS
(
SELECT
toDate(number % 90) AS date,
number % 4 AS user_id
FROM numbers(180)
ORDER BY
date ASC,
user_id ASC
)
SELECT DISTINCT
date,
countDistinct(user_id) OVER (ORDER BY date ASC RANGE BETWEEN 30 PRECEDING AND CURRENT ROW) AS mau
FROM events
ORDER BY date ASC -
% 90 / % 4 / numbers(180) можно покрутить повертеть, но вроде то что вы хотите
-
Спасибо большое.
Воспользуюсь вашим советом. -
круто кстати. в 30 раз быстрее чем мой вариант, надо взять на заметку
-
The projection does not allow to execute query · Issue #40512 · ClickHouse/ClickHouse
Describe what's wrong When the allow_experimental_projection_optimization function is enabled, it is not possible to execute a query. The following is an example that will accurately reprod...
-
Всем большое спасибо :)
получилось посчитать -
-
всем привет
ни как не могу найти в доках, есть ли какой-то способ замерить размер строки в байтах при вставке или селекте ? -
and length(action) < 20
-
мне нужен размер в байтах всех столбцов в строке которые вставляются или селектятся
-
у меня обработка через материализацию ... и в теории при селекте в материализации мне нужно посчитать размер строки и записать или как-то при инсерте
-
byteSize(col)
-
ооо .... буду копать .... снкс
-
то что нужно !! большое спасибо !
-
Подскажите, пожалуйста, какие есть варианты смигрировать данные в уже существующую таблицу клика? Добавили новую колонку в таблицу и теперь требуется исторические записи по этой колонке апдейтнуть. Движок таблицы replacingmergetree, могу в теории кидать те же запись кусками с обновленным значением, но может ещё варианты есть (типа alter table update where id in и длинные списки айдишек добавлять) -
-
Дмитрий, спасибо большущее!
-
Набираю людей в команду по арбитражу , лс
-
Добрый, в каких логах модно мониторить работу матьвью? У меня таблица пишет в null а на неё натравлена матвью для загрузки в целевую. Заранее спасибо
- 09 November 2022 (192 messages)
-
Что значит мониторить? system.part_log неплоха для понимания что там происходит при вставках.
-
Спасибо! Понимать что она работает.
-
Всем привет. Посоветуйте асинхронную библиотеку для python? Для редких агрегационных запросов из api.
Пока тестирую aiochclient, работает. Но смущает что она использует http, хотя не уверен что почувствую разницу. -
aioch вроде так называется, но можно просто http запросы слать и все
-
Для "редких агрегационных запросов" из python http это ок.
-
вы создайте лучше гитхаб ишью, иначе разработчики КХ не узнают об этом
-
query_view_log ?
-
Коллеги подскажите как у clickhouse с подиском текста в текстовых полях? может есть где почитать или сравнить его с elastic? -
Добрый день,
Хотел вернуться к вашему примеру:
Каким образом можно сделать так, чтобы временной бакет начинался и заканчивался относительно аргументов в Where?
toStartOfInterval(?, interval 1 week) может "передвинуть" начало бакета к ближайшему понедельнику, в то время как ~"timeFrom" в Where может относиться ко вторнику, четвергу или любому другому дню недели.
В примере вы используете number() для генерации случайных чисел и today() для старта недельного бакета с текущего дня.
Имеет смысл использовать конструкцию with ? (with timeFrom, timeTo ) и уже в последствии использовать переменные как для подсчета точки отсчета бакета, так и в качестве аргументов для конструкции where time between timeFrom and timeTo?
Не нашел адекватных примеров в сети или в документации -
У вас вопрос некорректный, а что с ним ? Ну хотите сделайте, я не эксперт в поиске, ну есть какие то нграммы и т.д. Кто то пытался делать поиск на Clickhouse, есть в интернете статьи
-
Нормальный вопрос
-
ClickHouse vs. Elasticsearch
This article describes the advantages and disadvantages of ClickHouse and Elasticsearch by analyzing their kernel architectures.
-
Ребят а подскажите как можно удалить этот парт?
Found parts with the same min block and with the same max block as the missing part 202208_602789_604707_1288. Hoping that it will eventually appear as a result of a merge. -
Во. Спасибо!!
-
нельзя сравнить с эластиком. Тут пока конструктор сделай сам. Основные варианты из старых - ngram skip индекс или же обратный индекс в виде отдельной таблички. Придется сделать свой токенизатор, а так-же выбрать и применить тот или иной леммаризатор.
В последней версии КХ появился векторный поиск. Наверное его тоже можно применить для полнотекста. Ну или дождаться пока команда разработчиков соберет все запчасти в прекрасную C++ функцию доступную в SQL.
Тогда можно будет сравнить с эластиком и прочими. Мне издалека нравится мантикора (в проде не запускал, но на тестах весьма неплоха). -
ищите в доке async insert и в change log тоже. Все там есть
-
нда непростой выбор. у меня просто есть поиск по 5-10млн записей и некоторые поля именно текст (там фамилии) и таких полней не очень много. но поиск по ним тяжеловат. сейчас mvp на es справляется но мне непонятно как будет кх
-
5-10M - немного. Попробуйте bloom_filter skip index. Возможно стоит разбить предложения на токены и хранить как словарь
-
спасибо попробую
-
у меня получалось только по номерам позиции в туплах. Типа такого - SELECT (tuple(* APPLY(sum)) as t).1 as с1_sum, t.2 as с2_sum.... но может кто знает что-то получше.
-
В блоге Альтинити ищите materialized view
-
Кстати, хотел спросить, а вы консалтинг предоставляете проектный?
-
нет. Оплачиваете годовой саппорт на разработку или поддержку и получаете полный доступ, неограниченное кол-во митингов / консультаций / слак с моментальными ответами 24*7
(из России конечно деньги не принимаем) -
Какой бюджет этого мероприятия?
-
А
-
Пардон, вопрос снят
-
да копейки на самом деле
-
скажем все начинается за сумму (год) меньше чем ваша годовая зарплата
поддержка разработки, без поддержки серверов (emergency починок в zoom) -
К чему туман, назовите сумму, это возможно повлияет на какого-нить инженера, предложит руководству
-
вы думаете что я продаван что-ли?
сумма разная для каждого клиента, зависит от ваших аппетитов.
ну давайте я назову $25.000 в год, а потом вы сторуетесь на $10.000 или на $500.000 -
Нет, почему? Но общий порядок цен "средний по больнице" обычно сотрудники компании знают)
-
Ну если у вас такой разброс - прошу прощения, я предполагал что услуга более-менее формализована.
-
есть 2 типа поддержки они отличаются по цене в 10 раз.
-
create dictionary ab.dict_test_variants_of_last_2_years (
test_variant String
)
primary key test_variant
source (CLICKHOUSE(
HOST hostName()
PORT tcpPort()
USER :username
PASSWORD :password
DATABASE 'ab'
TABLE 'view_test_variants_of_last_2_years'
))
layout(COMPLEX_KEY_HASHED())
lifetime(MIN 3000 MAX 4000);
Создаю словарь по вью чтоб кешировать запрос
Во вью даные есть в словаре нет
select * from ab.view_test_variants_of_last_2_years;--Показывает данные
select * from ab.dict_test_variants_of_last_2_years;--НЕ показывает данные
Каких прав не хватает? -
а словарь то заполнен?
-
system reload dictionary ab.dict_test_variants_of_last_2_years
-
Интервал обновления для полностью загружаемых словарей и интервал инвалидации для кэшируемых словарей определяется в теге <lifetime> в секундах. То есть первое наполнение автоматом произойдет через 50 минут только, если reload не сделать вручную
-
Подскажите пожалуйста по работе ReplacingMergeTree
Убираю дубли с помощью OPTIMIZE TABLE schema.table FINAL DEDUPLICATE
У меня есть таблица в CH условно с 1 января по 10 ноября с данными которые вставляю из mysql, я ей делаю optimaze, потом закидываю те же данные с MySQL только с 7 по 10 ноября (получилось 4 дня с дублями) и когда делаю еще раз optimaze он мне схлопывает строки не только по этим 4 дням а по всему году. Хотя по логике должен сжать только эти 4 дня.
Может еще есть какой нибудь подход чтобы решить поставленную задачу?
Надо из MySQL переливать данные в CH исключая дубли, включая те строки которые уже есть в CH -
Делать оптимайз по партициям
-
Не уверен, что получится, в таблице нет партиций и дат как таковых, там надо собирать уникальные связки пользователей
-
Спасибо, радует
-
А что по полям order by? Схлопывание идет по ним, как по кортежу уникальных данных. Похоже, там маловато полей и данные схлопываются.
-
https://clickhouse.com/docs/ru/engines/table-engines/mergetree-family/replacingmergetree/
Движок отличается от MergeTree тем, что выполняет удаление дублирующихся записей с одинаковым значением ключа сортировки (секция ORDER BY, не PRIMARY KEY).ReplacingMergeTree | ClickHouse Docsreplacingmergetree}
-
Видимо да, из 3 ключевых полей parent_id, child_id, action только по parent_id есть order by
-
ну вот и ответ )
-
Спасибо!
-
Делаю select dt, count(*) group by dt
И примерно за 2 месяца данные схлопываются (уменьшается count), хотя я ожидаю схлопку только за 4 дня -
Коллеги, привет! Столкнулся с проблемой при попытке удалить ошибочно созданную таблицу из кликхаус кипера. При попытке удаления "SYSTEM DROP REPLICA 'имяреплики' FROM ZKPATH 'clickhouse/tables/01/logs/имятаблицы';" получил ошибку Code: 999. DB::Exception: Received from localhost:9000. DB::Exception: Session expired, path: clickhouse/tables/01/logs/имятаблицы/replicas. (KEEPER_EXCEPTION). Но интереснее другое, то что при этом у меня в фоне в replicatedmergetree таблицы наливались данные и они поотваливались с ошибками как на скрине. Это вообще нормальное поведение?
-
подскажите пожалуйста в чем может быть дело:
словарь с внешним источником возвращает пустоту https://fiddle.clickhouse.com/738c9658-20e4-42ce-9e4d-5de904950489
при этом в этой версии сервера результат непустой https://fiddle.clickhouse.com/c5c26d7b-eee3-4fd1-a90c-a4b9ebb414e7
в changelog что то не нахожу по этому поводу информации -
и отдельный вопрос что прилетит в реплики, которые я планирую добавить позже в таком кейсе. Для восставновления данных я дропнул партиции и наливаю куски данных соответствюущих месяцев заново
-
Народ, привет, может кто подсказать, что тут вообще происходит / как читать подобный лог (отформатировал максимально читаемо) -
22.1.4 плохая версия, и в начале года были проблемы с багами
-
ну у нас вообще 21.12.3.32 на ней такой же результат, путем перебора выяснил что словарь начинает работать как надо начиная с версии 22.2
-
system.query_log должно чуть больше сказать
-
какую версию посоветуете :))
-
22.3 хотя бы или 22.8
-
If you specify DEDUPLICATE, then completely identical rows (unless by-clause is specified) will be deduplicated (all columns are compared), it makes sense only for the MergeTree engine.
И вобще эта задача "из MySQL переливать данные в CH исключая дубли, включая те строки которые уже есть в CH" конечно же не решается через optimize. Optimize - это сервисная процедура, чтобы место почистить. Ни для чего другого ее использовать не стоит.
Хорошая статья на алтинити - https://kb.altinity.com/altinity-kb-schema-design/row-level-deduplication/
Если не хочется использовать final и при этом не очень все наворочено (меньше миллиарда в строк в час и без кластеров), то возможно вам будет интересен вариант 6.ClickHouse row-level deduplicationClickHouse row-level deduplication.
-
22,8 - криво работают окна, точнее не работают, на 22.10 вроде полет нормальный
-
А есть issue почитать про проблемы с окнами в 22.8?
-
1
-
Спасибо!
-
а 22.10.1.1877 норм версия?
-
решаем до какой версии обновляться и хотелось бы не напороться на известные проблемы если они есть
-
Не стоит
-
Broken compatibility between 22.8.5.29 and 22.8.6.71 · Issue #42916 · ClickHouse/ClickHouse
Steps to reproduce: Setup a DB with 22.8.5.29. Create an argMax state with a string of 32 chars. (any size seems to be affected) Update to 22.8.6.71. Select argMaxMerge of that status. An extra NUL...
-
Коллеги, удалил около четверти размера БД с помощью delete на основной таблице, место на диске всё еще занято, и уменьшается от текущих инсертов с обычной скоростью, репортит мне df уже несколько часов. Что предпринять чтобы не вылететь по нет места на диске? -
У вас там случаем бекапов нет на диске?
-
отдельный партишн для базы, больше ничо там нет
-
ща проверю
-
не, висят
-
чота долго
-
parts_to_do не уменьшается
-
вот ^^^
-
Извините за любопытство (не совсем праздное)
1. "много" - это сколько?
2. много партов из-за партиций, это такой сознательный выбор, или дело в чем-то другом?
3. clickhouse-keeper не пробовали? -
Привет всем! Подскажите пожалуйста, может кто то сталкивался. Как я понял, CH использует для сортировки либу ICU, можно ли как то заставить его использовать LIBC?
-
Спасибо.
Вроде 20 тыс не так и много ...
Бенчмарка нет, я как-то даже не думал, если честно. -
Лучше этот вопрос задайте через Issue на github'e
-
на всякий случай: думаю человек ответил про число таблиц, а не партов -
1. clickhouse-copier
2. если таблица реплицированная, добавьте реплику. Если не реплицированная, сначала сделайте реплицированной. [На самом деле, я так никогда не делал, но вроде должно работать] -
Что такое LIBC? Стандартная библиотека?
-
20 тыс чего? Таблиц?
Тогда много, да.
В оригинале было "много много таблиц и партов", я понял, что это общее число партов. -
ReplicatedMT парты копирует целиком по командам из ZK. Без декомпрессии/компрессии. copier на самом деле делает тоже самое, но используя свой конфиг для понимания что куда. Так что если у вас не 100 нод, то присоединяюсь к предыдущему оратору - просто сделайте реплику.
-
Библиотека сравнения/сортировки строк в юникоде, если не путаю
-
Думаю, что путаете. Это было бы странным именем для библиотеки.
С другой стороны, glibc конечно же содержит некоторые функции для collation. -
Not enough idle threads to apply mutations at the moment. See settings 'number_of_free_entries_in_pool_to_execute_mutation' and 'background_pool_size'
-
где прописать настройку number_of_free_entries_in_pool_to_execute_mutation ?
-
при этом background_pool_size написано что obsolete, но упоминается в ошибке
-
Not enough idle threads to apply mutations at the moment. See settings 'number_of_free_entries_in_pool_to_execute_mutation' and 'background_pool_size'
>>> select from settings etc:
number_of_free_entries_in_pool_to_execute_mutation │ 5
background_pool_size │ 32 -
все мутации прошли, а места нет и нет.
-
0 lines
-
я снял всю нагрузку, все инсерты. С инсертами оно вообще стояло на месте с мутациями, несмотря на настройки выше. НО сейчас оно шото делает с s3 bucket, который я подключил, а именно, мёржит его, суда по логам. Также пишет что удаляет какие-то парты не с S3, а с filesystem, но на свободном месте оно не отражается.
-
чем занято место можно посмотреть:
попереключайте active = 1 , active = 0
SELECT
database,
table,
formatReadableSize(sum(data_compressed_bytes) AS size) AS compressed,
formatReadableSize(sum(data_uncompressed_bytes) AS usize) AS uncompressed,
round(usize / size, 2) AS compr_rate,
sum(rows) AS rows,
count() AS part_count
FROM system.parts
WHERE (active = 1) AND (database LIKE '%') AND (table LIKE '%')
GROUP BY
database,
table
ORDER BY size DESC; -
единственно что я могу предположить, все треды были заняты s3, потому что оно, натурально, тормозит
-
пишет что всё активное, всё занято
-
занято чем? system таблицами?
-
у меня одна таблица, там ts на третьем уровне индекса. Занимает 2 месяца. Я удалил 15 дней.
-
ключей 1 и 2 уровня УМЕРЕННО
-
ни слова не понятно. Место занято вашей таблицей, ОК. Причем тут ts и что за уровни еще?
-
можно копировать rsync-м
-
место занято моей таблицей, там order by (key1, key2, ts)
-
удалил 19 billion records, осталось 29 billion
-
место не освободилось.
-
удалял where ts between (... 15 days of 45 days ... )
-
значит что-то не так. Либо не удалилось, либо неактивные парты есть, либо у вас в shadow лежит бекап
-
что такое shadow, и что такое бэкап?
-
(кроме меня этот инстанс никто не трогал)
-
/var/lib/clickhouse/shadow
alter table ... freeze -
нету
-
в /var/lib/clickhouse/data/база/таблица/detached что-нибудь есть?
если смотреть мой запрос размер таблицы из system.parts совпадает с тем что df -h показывает? -
да, совпадает
-
(я и написал что пишут вся активная)
-
а оно точно удалилось?
-
да, count сильно поредел
-
делаю селект count(), min(ts), max(ts), сканирует СТАРЫЙ РАЗМЕР записей, то есть 44, возвращает каунт 29
-
ну смотрите по партициям
SELECT
database,
table,
partition,
formatReadableSize(sum(data_compressed_bytes) AS size) AS compressed,
formatReadableSize(sum(data_uncompressed_bytes) AS usize) AS uncompressed,
round(usize / size, 2) AS compr_rate,
sum(rows) AS rows,
count() AS part_count
FROM system.parts
WHERE (active = 1) AND (database LIKE '%') AND (table LIKE '%')
GROUP BY
database,
table,
partition
ORDER BY size DESC; -
processed 54 billion records
-
хороший запрос, спасибо
-
обождите а вы удяляли delete ? или alter table .. delete ?
-
delete
-
хахаха, delete не удаляет, просто помечает что удалено
-
а написано было что оно потом удалится
-
я понимаю про псевдо-колонку итд
-
потом, при мержах, когда-нибудь или никогда
-
плохо дело.
-
это вообще highly experimental, ломает таблицы направо и налево
-
ну в whats new было подано с помпою.
-
окей, будем потихоньку ковырять дальше
-
спасибо
-
known issues / limitations of lightweight deletes · Issue #39870 · ClickHouse/ClickHouse
they will be delayed, then there are a lot of merges happening (=when there is a high inserts pressure, and the pool is busy) they 'touch' all the parts - so if the list of parts is...
-
ну слава богу, а то я думал шо совсем пц
-
щас вот например инсертов нет, но ковырёж в s3, наверное все треды этим заняты и до filesystem руки не дошли, не знаю.
-
А МОГЛИ БЫ
-
select * from system.distribution_queue
-
вариантов много:
записи удаляются TTL: 2021-02-05
зависают в дистрибьютед
insert_deduplicate
row policy (читающий не имеет прав видеть записи) -
Привет! Я тоже про Distributed таблицы. Насколько вообще нормальная практика вставлять все данные в Distributed на кластере, например, в 4 шарда по 2 реплики с довольно большим потоком вставляемых данных, которые заранее собираются в небольшие батчи? Как лучше всего отслеживать, что такая схема плохо работает, данные при пересылках через Distributed застревают/теряются? Видел только что-то вроде DistributedConnectionFailTry, DistributedConnectionFailAtAll в system.events, но тяжело по ним что-то понять. И правда ли, что при большой нагрузке в моменте можно потерять данные? -
rule of thumb - при большой нагрузке надо вставлять строго в Replicated-таблицы
-
где допустимо/нужно - через Buffer
-
А при вставке в буфер тоже возможны редкие потери данных? Или только зависнуть там могут?
-
Да
-
читайте доку.
buffer хранит в памяти, если КХ упадет (или убит OOM) или если железка рестартует, буффер потерян, если КХ не сможет остановится и убьется, уффер потерян. -
спасибо!
-
А всё-таки как-то отследить потери при вставках через Distributed можно? Хотя бы их наличие
-
Почитайте про insert_distributed_sync, fsync_after_insert и про системную таблицу distribution_queue
-
Но ответа на ваш вопрос я не знаю ;)
-
Чтобы вот прямо гарантировать, что нигде нет места, где может что-то потеряться, нужно полностью понимать механизм.
-
Обычно не теряются. Т.е. могут застрять там потому что поле добавили или удалили в неправильном порядке. Это можно мониторить через system.distribution_queue
-
Понял, спасибо!
-
Да как обычно. Realtime это стеновое walltime. Usertime это процессорное время в юзерспейсе. Systemtime процессорное время в ядре
-
всем привет
подскажите плз .... хочется сэкономить время на зпросах к КХ
возможно ли посчитать count без группировки
например
select vals, count(), countALL() from test group by vals limit 0, 5
где countALL() был бы подсчет всех строк в таблице
задача по сути тривиальная, посчитать процент значений в топ 5 самых частых -
или все-таки делать отдельным запросом подсчет кол-ва строк в таблице ?
-
прочитайте в документации про новомодные модифаеры group by - ROLLUP, CUBE, WITH TOTALS и даже GROUPING SETS - https://clickhouse.com/docs/en/sql-reference/statements/select/group-byGROUP BY Clause | ClickHouse Docs
GROUP BY clause switches the SELECT query into an aggregation mode, which works as follows:
-
Привет
А ткните плз в меня ссылкой, где можно почитать про все метрики профайлинга, которые ловятся в листинге процессов show processlist.
ProfileEvents: {'Query':1,'SelectQuery':1,'Seek':15,'ReadBufferFromFileDescriptorRead':19,'ReadBufferFromFileDescriptorReadBytes':1770302,'ReadCompressedBytes':1596666,'CompressedReadBufferBlocks':40,'CompressedReadBufferBytes':5815549,'OpenedFileCacheHits':17,'IOBufferAllocs':40,'IOBufferAllocBytes':6425681,
'ArenaAllocChunks':1,'ArenaAllocBytes':4096,'FunctionExecute':192,'MarkCacheHits':17,'CreatedReadBufferOrdinary':17,'DiskReadElapsedMicroseconds':7998,'NetworkReceiveElapsedMicroseconds':550,'NetworkSendElapsedMicroseconds':94,'NetworkReceiveBytes':200,'NetworkSendBytes':1776,'SelectedParts':5,'SelectedRanges':5,'Se
lectedMarks':10,'SelectedRows':60252,'SelectedBytes':5476967,'ContextLock':74,'RWLockAcquiredReadLocks':5,'RealTimeMicroseconds':10027,'UserTimeMicroseconds':594,'SystemTimeMicroseconds':1020,'SoftPageFaults':33,'OSCPUWaitMicroseconds':632,'OSCPUVirtualTimeMicroseconds':1555,'OSReadChars':614651} -
КХ умеет select count() from table вычислять из метаданных, очень быстро.
в этом случае лучше без window functions (запрос выполнится один раз для всех строк).
select vals, count(),
(select count() from test) countALL
from test group by vals limit 0, 5 -
кибаны нет.
Пока у вас все работает на ELK оставайтесь на ELK.
С КХ этот все очень заморочно, КХ имеет смысл если у вас >10 TB логов в день, когда ELK стал уже сплошным геморроем. -
Мне кажется не обязательно именно в день иметь, ELK и с намного меньшим потоком справляется не так уж хорошо -
ClickHouse/ProfileEvents.cpp at master · ClickHouse/ClickHouse
ClickHouse® is a free analytics DBMS for big data. Contribute to ClickHouse/ClickHouse development by creating an account on GitHub.
-
Спасибо большое
-
нашел функционал WITH TOTALS
-
Народ, внимательно прочитайте, если собираетесь апгрейдиться на один из недавних релизов в ближайшее время. Детали тут: https://altinity.com/blog/possible-clickhouse-data-corruption-advisoryPossible ClickHouse data corruption advisoryThis is an advisory message that ClickHouse versions 22.10+. 22.9+. 22.8.6.71+. 22.7.6.74+. 22.3.13.80+ have a backward incompatible change that may corrupt user data if you use certain aggregation functions. Altinity.Stable versions are not affected.
- 10 November 2022 (265 messages)
-
хотите этот discover переписать на основе clickhouse? Какое время ответа на поисковый запрос считаете допустимым? Насколько важна точность в ранжировании результатов поиска? Или достаточно "просто найти хоть что-то более-менее подходящее и отсортировать по колонке со временем"?
-
всем привет
подскажите плз, хранится в КХ в столбце типа ipv6 вот такое
::ffff:127.0.0.1
как узнать что это ipv4 и если это оно то конвертировать в ipv4 ? -
смотрю функции .... и ни одна под это не подходит (
-
так он не string .... а уже в ipv6 а конструкция select isIPv4String(toString(toIPv6('127.0.0.1'))) не работает
-
В доке написано что
IPv6 is a domain based on FixedString(16) type and serves as a typed replacement for storing IPv6 values. It provides compact storage with the human-friendly input-output format and column type information on inspection.
Поэтому я бы двигался примерно в эту сторону:
with toIPv6('::ffff:127.0.0.1') as d, reinterpret(d,'FixedString(16)') as d1
select reinterpret(reverse(substr(d1,9,8)),'IPv4') -
ооо большое спасибо ... ща буду думать че к чему
-
я по приколу делал полнотекстовый поиск по википедии. Укладывался в 1 секунду с ранжированием. Меня это разочаровало. Без ранжирования (это по сути большой group by по хитрым коэффициентам) получалось найти "хоть что-то" за 100-200мс. Так что если у вас сейчас на ELK запрос больше 2сек, то есть шанс сделать лучше.
-
есть - называется SQL :) Другого нет - пишите сами. Я же предупреждал, что это конструктор сделай сам. Нельзя сравнивать с ELK
-
веб морда с sql -
-
в даталенз можно поддрубить легко
-
и там готовые датасеты готовить
-
Возможно, что вам поможет
https://clickhouse.com/docs/en/interfaces/third-party/gui/ -
Скорее всего вы правы, я рассматривал ее в контексте именно сортировки, так оно скорее всего шире. Так же как и ICU содержит много библиотек в себе.
Прошу прощения за несвоевременный ответ. Изначальной целью было сделать одинаковую сортировку строк между Postgres и CH. В Postgres используется libc collate и заменить на ICU пока не получится. -
Когда-то я делал сборку PostgreSQL для 1C.
В ней использовался ICU. -
Postgres с 10й версии вроде полностью поддерживает ICU, теоретически перейти не сложно. Но изменение повредит индексы на десятке огромных инстансов PG.
-
Использовать вместо postgres, greenplum
-
Привет. Подскажите пожалуйста как получить аналог create_table_query для всех матвью в системе?
-
охота таким запросом найти все CREATE MATERIALIZED VIEW ... TO event_log
SELECT * FROM system.tables WHERE create_table_query LIKE 'event_log' \G -
а в чем трудность?
SELECT create_table_query FROM system.tables where engine='MaterializedView' -
спасибо! Трудность в том, что надо знать, что такие объекты лежат в этой таблице и имеют специфический движок
-
привет всем! -
у меня есть проблема и я не знаю как решить, помогите пожалуйста!
есть таблица в кторой содержаться поля managerId, webmasterId, param
есть запрос, в котором группировка идет по managerId.
стоит задача сделать флаг, что если у менеджера есть вэб, у которого param >=100 , то флаг = 1 иначе, флаг равен 0.
(на самом деле тело запроса большое, упростил для наглядности)
SELECT managerId as manager
FROM events
WHERE eventCreatedAt >= '2022-11-07 21:00:00'
AND eventCreatedAt <= '2022-12-01 20:59:59'
GROUP BY managerId
ORDER BY managerId DESC
как мне посчитать - что если у менеджера есть вэб, у которого param >=100 , то флаг = 1 иначе, флаг равен 0. если группировку по managerId нельзя трогать. Знаю что вроде как можно воспользоваться агрегатными функциями, но как ? ведь по вэбам нет группировки ... -
How to import JSON into ClickHouse? | ClickHouse Docs
how-to-import-json-into-clickhouse}
-
не очень понятно что за флаг и куда его пихать, но я предполагаю что вам нужны aggregate function combinators, а именно -If - https://clickhouse.com/docs/en/sql-reference/aggregate-functions/combinators
что-то типа select countIf( param >=100) ......Aggregate Function Combinators | ClickHouse DocsThe name of an aggregate function can have a suffix appended to it. This changes the way the aggregate function works.
-
Раз ваше хранилище построено по методологии data vault, никаких вьюх у вас нет, у вас есть Data Marts. Вот их и нужно переносить в ClickHouse.
-
флаг - как select аргумент, чтото типа
select
sum(param) as param1
... -
в таблицы строки следующего толка:
manager1, webmaster1, 0;
manager1, webmaster1, 1;
manager1, webmaster1, 1;
manager1, webmaster2, 0;
поле paramнадо еще подсчитать, чтобы по вэбу можно было понять кто из них перевалил за 100 по этому параметру -
Это вопрос предпочтений ваших архитекторов.
В список вариантов можно включить https://clickhouse.com/docs/en/engines/table-engines/integrations/materialized-postgresql/MaterializedPostgreSQL | ClickHouse DocsCreates ClickHouse table with an initial data dump of PostgreSQL table and starts replication process, i.e. executes background job to apply new changes as they happen on PostgreSQL table in the remote PostgreSQL database.
-
в таблицы строки следующего толка:
manager , webmaster, param - столбцы
manager1, webmaster1, 0;
manager1, webmaster1, 1;
manager1, webmaster1, 1;
manager1, webmaster2, 0;
select countIf( sum(param) ) as flag - две агрегатные функции не получится использовать... -
да...
-
у селекта с алиасом "flag" = 1 если хотя бы один вэб имеет суммму param >= 100
-
привет, подскажите, рассматриваем варианты шардирования с применением движка Distributed, правильно понимаю, что бест практис читать через него, а писать напрямую в таблицы, а не писать в Distributed таблицу? какие минусы записи через Distributed, оверхед по ресурсам кликхауса? -
1. да
2. да + некоторые сложности в доказательстве самому себе и окружающим, что Distributed не может ничего потерять. -
а если у разработки аргемент - неохота реализовывать лишнюю логику в апликухе, какой довод в пользу шардирования на клиенте? запись через дистрибьютед таблицы на бд даст какой то значимый оверхед по ресурсам? возможные потери данных?
-
если вы пишите в Distibuted таблицу то вы прогоняете все данные через одну ноду, лучше писать сразу на нужный шард в локальную таблицу
-
аргумент, спасибо
-
есть еще минусы записи через дистрибьютед таблицу?
-
Это слабый аргумент. Если у вас один insert в каждый момент времени, то через distributed м.б. даже быстрее.
Если insert'ы параллельны, можно сделать distributed на каждом узле и выбирать между ними каким-то образом. -
В целом - если неохота возиться, пишите через distributed.
-
если делать дистрибьютед на каждом узле, то получается опять реализовывать логику шардирования в апликативе
-
Это не совсем логика шардирования, но близко.
Если совсем неохота возиться, поставьте прокси. -
точка отказа))
-
Ну да, а одна distributed таблица - это ок.
-
спасибо!
-
если у вас ключ шардирования rand() то вы можете просто вставлять в рандомную ноду в replicated/mergetree
на бесконечности все будет равномерно -
тут появится вопрос при добавлении ресурсов
-
чта?
-
если добавим еще хостов, то запись уже будет неравномерно распределена
-
хахаха, у КХ нет решардинга, чем вам Distributed поможет? weight ?
-
Вопрос решардинга появится в любом случае, но это не прямо про distributed vs. direct write.
-
тут не потребуется манипуляция на клиенте, а так да, это не как редис со слотами, ровно не получится
-
это решается банальным DNS или балансером nginx/haproxy
-
Подскажите, используется ли зукипер при/для выполнении селектов над реплицирумыми таблицами?
-
нет
-
вариант, но +доп точка отказа
-
т.е. вы что собираетесь один сервер с distributed таблицей захардкодить в клиенте и думаете это хорошее решение? Нет, это отвратительное решение.
-
на чтение же тоже будет один с дистрибьютед?
-
С чтением в некоторых ситуациях бывает еще хуже, вся нагрузка ложится на distributed.
Но такое не часто. -
у вас этот сервер будет перегружен по диску и cpu, вам в любом случае надо обращаться и для инсертов и для селектов во все сервера КХ как к точкам входа.
-
спасибо за замечание
-
а количество вэбмастеров с param > 100 можно так посчитать за период времени?
-
сервер куда коннектится клиент становится инициатором распределенных запросов, он делает финализацию запроса, и на это требуется много ресурсов.
-
да, похоже надо на НТ посмореть разницу
-
Привет чат,
Пользуюсь MaterializedPostgresql:
CREATE DATABASE stats_pg
ENGINE = MaterializedPostgreSQL(‘my_postgres:5432’, 'mydb', ‘my_user’, ‘my_password’)
SETTINGS materialized_postgresql_allow_automatic_update = 1, materialized_postgresql_tables_list = ...
В постгресе используется table partitioning по месяцам, получаю куча таблиц вида: TABLE_year_month (типа stats_2022_jul)
Столкнулся с багом когда КХ ругается что определённый столбец отсутствует в пустой таблице одного из partition:
select "appointment_created_at_date" from stats_pg.clickhouse_stats_appointmentstats_2022_nov
SELECT appointment_created_at_date
FROM stats_pg.clickhouse_stats_appointmentstats_2022_nov
Query id: b6aa9459-c282-4b14-b856-4e56f7cbfee5
0 rows in set. Elapsed: 0.002 sec.
Received exception from server (version 22.9.3):
Code: 47. DB::Exception: Received from localhost:9000. DB::Exception: Missing columns: 'appointment_created_at_date' while processing query: 'SELECT appointment_created_at_date FROM stats_pg.clickhouse_stats_appointmentstats_2022_nov', required columns: 'appointment_created_at_date'. (UNKNOWN_IDENTIFIER)
При том что SHOW CREATE TABLE явно указывает что стобец существует -
При этом этот столбец с самым длинным названием и он единственный не ищется в таблице
-
-
Господа, подскажите пожалуйста, настройки mutations_sync в какую ноду засунуть на одиночном инстансе? не могу найти в интернете
-
Это у нас на тестовом сервер такое происходит
На продакшн сервере все нормально, но предполагалось что конфигурация у нас везде одинаковая 🙂
И я даже не знаю стоит ли заводить issue на гитхабе, так как воспроизводимость такого бага под вопросом... -
в гитхабе есть разработчик MaterializedPostgreSQL и он может ответить, тут разработчика нет и пользователей MaterializedPostgreSQL тоже нет, соотвенвенно тут вам никто не ответит.
-
в смысле "в какую ноду", что под нодой понимается? XML ?
-
А я нашел уже
-
в профиль
-
Ага, узел типа xml
-
ну невозможно же это читать, вы сами этого не понимаете что-ли?
SELECT * FROM system.merges format Vertical
результат вставьте в https://pastila.nl/
ссылку сюда. -
а не могли бы помочь с его написанием, там надо агрегатную функцию
-
спасибо!
-
А можете пожалуйста подсказать по поводу того как заставить MaterializedPostgreSQL использовать Date32 по умолчанию? Или лучше в гитхаб писать на эту тему тоже?
-
вроде как оно, спасибо за наводку !!
arrayCount(x -> x>=100, mapValues(sumMap(webmasterAcceptLeads))) as countActiveWebs -
Добрый день!
Делаю материализованное представление с POPULATE (если это важно)
и в него не едут новые записи
где искать причину? -
Xml удаляются простым удалением xml. Перезапуск не нужен
-
А Никак. Нету такой фичи
-
Але. Вы вообще мое сообщение читали? Format Vertical
Format Vertical
Format Vertical -
Столкнулся с интересной (на мой взгляд) ситуацией. Есть две таблицы, +- одной структуры, различаются 400 столбцами.
Таблицы по структуре практически одинаковые, 400 колонок - это данные string.
И альтерниг одной таблицы отличается от другой в 500 раз -
Как можно выяснить причины такого расхождения?
-
Alter table Add column?
-
ALTER TABLE mnemohuman.a597402d5b75c40ea86c53943706aebf2 UPDATE "ts" = 1668081078 WHERE "id" = 'd3eacb72-5767-4426-8149-2e38635c39c2';
-
Включены синхронные мутации
-
Wide parts vs compact part
-
таблица и представление находятся в разных схемах
-
тесты в одной проходят нормально
-
В system.parts смотри колонку part type
-
Это такая колоссальная разница получается? Офигеть. Сменить как-то принудительно можно?
-
Невозможно ответить не видя кода. В прошлый раз у пациента был TTL на таблице в которую писало mv и TTL сносил все при вставке. Я могу 29 возможных причин назвать. Например summingmergetree не хранит строки с 0 в метрике
-
код представления
-
CREATE MATERIALIZED VIEW db1.users_statuses_mat_v
(
`u_id` Int32,
`u_created_at` Nullable(DateTime('UTC')),
`u_phone` Nullable(String),
`up_id` Nullable(Int32),
`up_created_at` Nullable(DateTime('UTC')),
`ua_id` Nullable(Int32),
`ua_created_at` Nullable(DateTime('UTC')),
`tv2_id` Nullable(Int32),
`tv2_created_at` Nullable(DateTime('UTC')),
`tv2_source_type` Nullable(String),
`tv2_amount` Nullable(Float64),
`shv2_id` Nullable(Int32),
`tv2_shv2_created_at` Nullable(DateTime('UTC')),
`shv2_status_id` Nullable(String),
`shv2_description` Nullable(String),
`shv2_error_code` Nullable(String)
)
ENGINE = MergeTree
ORDER BY u_id
SETTINGS index_granularity = 8192 AS
SELECT
coalesce(u.id, 0) AS u_id,
parseDateTimeBestEffortOrNull(u.created_at, 'UTC') AS u_created_at,
u.phone AS u_phone,
up.id AS up_id,
parseDateTimeBestEffortOrNull(up.created_at, 'UTC') AS up_created_at,
ua.id AS ua_id,
parseDateTimeBestEffortOrNull(ua.created_at, 'UTC') AS ua_created_at,
tv2.id AS tv2_id,
parseDateTimeBestEffortOrNull(tv2.created_at, 'UTC') AS tv2_created_at,
tv2.source_type AS tv2_source_type,
tv2.amount AS tv2_amount,
shv2.id AS shv2_id,
parseDateTimeBestEffortOrNull(shv2.created_at, 'UTC') AS tv2_shv2_created_at,
shv2.status_id AS shv2_status_id,
shv2.description AS shv2_description,
shv2.error_code AS shv2_error_code
FROM logs.users AS u
LEFT JOIN logs.user_profiles AS up ON u.id = up.user_id
LEFT JOIN logs.user_accounts AS ua ON up.id = ua.user_profile_id
LEFT JOIN logs.transactions_v2 AS tv2 ON tv2.account_id = ua.id
LEFT JOIN logs.status_history_v2 AS shv2 ON shv2.transaction_id = tv2.id
WHERE (u.id IS NOT NULL) AND (u.phone != '79164453519') -
Можно. Параметр таблицы как-то типа minwidepartsbytes
-
min_bytes_for_wide_part. Через альтер?
-
Pastila.nl
-
код одной из исходных таблиц
-
CREATE TABLE logs.transactions_v2
(
`id` Nullable(Int32),
`transaction_id` Nullable(Int32),
`account_id` Nullable(Int32),
`source_id` Nullable(Int32),
`source_type` Nullable(String),
`amount` Nullable(Float64),
`updated_at` Nullable(String),
`created_at` Nullable(String),
`device_id` Nullable(Int32),
`legal_entity_account_id` Nullable(Int32),
`bank_id` Nullable(Int32),
`__data_transfer_commit_time` UInt64,
`__data_transfer_delete_time` UInt64
)
ENGINE = ReplacingMergeTree(__data_transfer_commit_time)
ORDER BY id
SETTINGS allow_nullable_key = 1, index_granularity = 8192 -
Да
-
???
-
Вы не в первый раз уже подсказываете, спасибо большое.
-
Туда свои данные залейте
-
не знаком с сервисом. Где прочитать как?
И, наверное, надо сделать тогда кусок, чтобы не разбираться со всей развесистой клюквой -
Просто вставьте туда пасту и скопируйте URL
-
Это грустно:(
-
вот понятнее совсем не стало ))
-
Откройте сайт. Вставьте туда ваш запрос, скопируйте URL из адресной строки и отправьте сюда
-
-
спасибо
-
Прошу прощения
ALTER TABLE mnemohuman.a597402d5b75c40ea86c53943706aebf2 MODIFY SETTING min_bytes_for_wide_part = 0;
Выполняется, статус ок, но в партициях описание не изменилось. Это какая-то теневая операция? -
-
одна из используемых таблиц
https://pastila.nl/?02936292/9453fe747094d73f647ac8c4b198a11b -
https://den-crane.github.io/Everything_you_should_know_about_materialized_views_commented.pdf https://youtu.be/1LVJ_WcLgF8?list=PLO3lfQbpDVI-hyw4MyqxEk3rDHw95SzxJ&t=7597
Мат.вью срабатывает только на вставку в самую левую таблицу -
Это влияет только на новые парты. Т.е. вам надо выполнить например optimize table t final. Сколько размер таблички в байтах
-
Копейки, там 150 строк
-
Optimize final
-
ох, в доке такого не видел…
Надо думать как выкрутиться с учетом того, что в представлении слева то как раз справочник, редко изменяемый, а факты левым соединением справа -
Большое спасибо
-
Например так:
with right as (select * from big where id in (select id from small)
select * from small join right using id; -
Такой синтаксис я ещё не использовал. С наскока не понял :)
Но спасибо, разберусь
У меняпросто соответствий справочнику может и не быть в транзакциях. Более того, может быть или не быть в зависимых справочниках
Базовые идентификаторы - идентификаторы счетов - транзакции по счетам -
Это выходит такая запись рекуррентного подзапроса?
-
Здравствуйте! Может кто-то помочь понять как при создании таблицы в ClickHouse добавить столбец inserted_into_db , в котором будет отражаться datetime добавления данных в БД?
Аналогичная задача на Постреле решалась :
CREATE TABLE schema.table_name}
(col1 <type>, inserted_into_db_msk timestamp
DEFAULT (current_timestamp AT TIME ZONE 'Europe/Moscow')) -
Всем привет, заранее извиняюсь за нубский вопрос.
Есть 2 сервера, между ними 10гбит, на одном есть Distributed таблица, на втором MergeTree, когда мы пишем в Distributed, то данные идут со скоростью 40-50мбит, из за этого диск, на котором Distributed начинает забиваться. В какую сторону копать, чтобы ускорить передачу из Distributed в MergeTree? -
Коллеги всем привет! Подскажите как понять сколько Гб нужно для базы -
записать в нее данные
-
default now()?
-
спасибо, ещё идеи
-
сколько строк в инсерте передается?
-
а сколько сырых данных? Сжатие будет от 10 до 10000 раз (в зависимости от данных)
-
ну для простоты одна таблица mergetree и два поля Int32 и String, как понять сколько это будит весить если там будет 100 миллионов записей
-
ALTER TABLE ... UPDATE column = '' where column =''
-
100 000
-
ну например:
create table test ( A Int32, B String ) Engine=MergeTree order by A as select number+rand()%111, toString( number + rand() % 11111) from numbers(100000000);
┌─database─┬─table─┬─compressed─┬─uncompressed─┬─compr_rate─┬──────rows─┬─part_count─┐
│ default │ test │ 680.58 MiB │ 1.20 GiB │ 1.81 │ 100000000 │ 9 │
└──────────┴───────┴────────────┴──────────────┴────────────┴───────────┴────────────┘
700 MB -
подскажите пожалуйста как сделать такое:
SELECT
CASE
WHEN true THEN (select groupUniqArray(col1) from deafult.table)
ELSE ('str1', 'str2')
END; -
что за хрень ('str1', 'str2') ?
тупл? -
не если быть точным, то это то что графана подставит вместо переменной
-
хотя сейчас проверю - точно ли она тупл ставит
-
я бы смотрел лог кх на сервере с distributed, возможно есть ошибки, возможно инсерты очень медленно работают в mergeTree
сколько шардов? -
афигеть спасибо , ты лучший , а как такую табличку вывести )
-
-
Ошибок никаких нет, шард 1
-
да работает. но выдает UTC. а можно как-то по МСК сделать?
-
на шардах посмотрите в system.query_log во что вырождаются ваши инсерты в *MergeTree , там видно сколько строк и сколько секунд.
а зачем вы вставляете в Distributed если у вас один шард? или вы планируете увеличить кол-во шардов? -
на самом деле в КХ все в UTC, и лучше так и оставить и разбираться на клиенте.
но если очень хочется проблем в жизни то можно сделать
xxxx DateTime('Europe/Moscow') default now() -
Подтверждаю, меняйте таймзону сервера/контейнера а не в клике
-
Да ещё раз спасибо огромное, хоть какието данные, а всё таки может быть есть формула или метода расчёта
-
Вы можете разобрать механизм хранения из исходников, я полагаю :)
-
спасибо это да, можно ещё свой домкликов написать
-
вы не понимаете. Компрессиия очень зависит от локальности данных
https://kb.altinity.com/engines/mergetree-table-engine-family/pick-keys/How to pick an ORDER BY / PRIMARY KEY / PARTITION BY for the MergeTree-family tableHow to pick an ORDER BY / PRIMARY KEY / PARTITION BY for the MergeTree table.
-
Спасибо за ответ, я сделал так, но теперь стало выдавать такую ошибку, что с этим делать?
-
-
-
да это мне понятно, и точность до мб и не нужно, мне нужен прогноз, и в принципе такая реализация что ВЫ порекомендовали меня устраивает
-
так в 7-й строке опечатка
-
┌─event_date─┬────query_start_time─┬─written_rows─┬─written_bytes─┬─query_duration_ms─┐
│ 2022-11-10 │ 2022-11-10 14:26:15 │ 800000 │ 78789778 │ 2963 │
└────────────┴─────────────────────┴──────────────┴───────────────┴───────────────────┘ -
а покажите
select shard_num, replica_num, is_local from system.clusters where cluster = 'вашкластер' -
А при срабатывании по левой стороне загрузится все свежее справа?
-
┌─shard_num─┬─replica_num─┬─is_local─┐
│ 1 │ 1 │ 0 │
└───────────┴─────────────┴──────────┘ -
Варианта по таймеру нет?
-
Так то да? Но почему только по левой не понятно
Но раз уж так, то может таймер -
я не понимаю, у вас 2 сервера, тут только один и is_local=0
-
Это с сервера, где Distributed таблица, на сервере, где MergeTree там пусто
-
а зачем все так сложно?
я бы попробовал включить insert_distributed_sync=1 чтобы ничего не писать на диск в Distributed, тогда инсерты будут работать в несколько потоков -
Всем привет! Подскажите пжл.
Есть мат. представление, которое заполняет таблицу данными из запроса, в которой участвует сама эта таблица.
https://pastila.nl/?073f8b2e/9a1ca8b437b2b929af5353d4c814c0cf
Насколько понимаю, если шардов в кластере будет больше 1, такое МП может работать некорректно, т.к. left join может не увидеть данные, которые были вставлены малое время назад из за того, что таблицы distributed.
Насколько плох вариант в таком случае вставку делать в нераспределённую таблицу (...to db.table_2...), а в left join оставить распределённую. В этом случае будет ли гарантированно наличие данных в ней? -
Спасибо, попробую так сделать
-
так а select replaceRegexpOne(v.name, '/[?]+/g', '') показывает правильный результат?
-
какой код у такого символа? дайте пример что-ли строки
-
сработало, спасибо! А можно как-то в явном формате выводить inserted_into_db без +03:00? Когда делаю скачивание данных с БД в Питон - выдает в UTC все равно (не видит)
-
select char(0xFFFD) || 'Менеджер по продажам в фирменный салон WestStyle' s, replace(s, char(0xFFFD), '');
-
вы все время говорите про отображение на клиенте -- это делают приложения, вот этот скрин это что? dbgrip ? там наверняка в настройках можно изменить, это все не имеет отношения к КХ.
Если вы хотите чтобы КХ превратил DateTime в строку сам, вам надо писать select toString(inserted_into_db_msk) -
да datagrip
-
потому что разработчики КХ так заимплементили join-ы
-
попробуйте сделать базу и пустую таблицу на сервере с Distributed.
вообще эта схема когда есть ноды только с Distributed не тестируется, и разработчики КХ считают что так делать не надо.
надо заводить иши в гитхабе про это если хочется чтобы все кейсы починили -
Подскажите пожалуйста, можно ли как то узнать размер данных в таблице за день?
Информация из from system.parts не очень понятная -
Мне нужно в питоне читать. я читаю с помощью pandas.read_sql_query и не знаю как заставить его читать кликхаусовский DateTime с тайм-зоной - в нормальном формате. Получается что питон в данном методе игнорирует тайм-зону +3 и выдает все равно в UTC. В данном случае хотелось бы чтобы в питоне появлялись как и в DataGrip - 18:25 время
-
-
берете средний размер строки и умножаете на кол-во строк в день
-
>зукиперу это не сильно понравилось с replicated таблицами, но пересоздал и вроде ок.
зукиперу вообще пофиг на таблицы, это Кey/Value база данных, ей похрену что хранить -
>Not found address of host: dbma2
system drop dns cache -
Хороший вариант.
Спасибо -
возможно проблема решится когда тэгнут этот PR. ловлю такую же ошибку в докер-кластере на 22.8
https://github.com/ClickHouse/ClickHouse/pull/42234/Fix c-ares crash by arthurpassos · Pull Request #42234 · ClickHouse/ClickHouseChangelog category (leave one): Bug Fix (user-visible misbehavior in official stable or prestable release) Changelog entry (a user-readable short description of the changes that goes to CHANGELOG...
-
там КХ падает если сделана аутентификация по ptr записям, это в кубах проявляется, если используется Altinity operator
(в 22.10.2 уже есть Fix c-ares crash) -
я в том pr оставлял коммент с ошибкой подобной той что тут выше https://github.com/ClickHouse/ClickHouse/pull/42234/#issuecomment-1275928538 т.к однозначного ответа что PR про это/не про это не получил надеялся что он про это)Fix c-ares crash by arthurpassos · Pull Request #42234 · ClickHouse/ClickHouse
Changelog category (leave one): Bug Fix (user-visible misbehavior in official stable or prestable release) Changelog entry (a user-readable short description of the changes that goes to CHANGELOG...
-
я так понимаю лучше отдельный issue пильнуть)
-
ваша проблема уже пофикшена во всех версиях, вам надо дождаться релиза 22.8
это вообще не имеет никакого отношения в тому что выше. -
понял, спасибо
-
Всем привет! Подскажите пжл.
Есть мат. представление, которое заполняет таблицу данными из запроса, в которой участвует сама эта таблица.
https://pastila.nl/?073f8b2e/9a1ca8b437b2b929af5353d4c814c0cf
Насколько понимаю, если шардов в кластере будет больше 1, такое МП может работать некорректно, т.к. left join может не увидеть данные, которые были вставлены малое время назад из за того, что таблицы distributed.
Насколько плох вариант в таком случае вставку делать в нераспределённую таблицу (...to db.table_2...), а в left join оставить распределённую. В этом случае будет ли гарантированно наличие данных в ней? -
сначала сюда: https://den-crane.github.io/Everything_you_should_know_about_materialized_views_commented.pdf
https://youtu.be/1LVJ_WcLgF8?list=PLO3lfQbpDVI-hyw4MyqxEk3rDHw95SzxJ&t=7597 -
ну значит это DNS проблема
-
replicated таблица анонсируют себя в ZK используя hostname -f ИЛИ interserver_http_host если он задан. Другие реплики находят ее по этому анонсу.
replicated таблица не использует и не знает про remote_servers. -
добрый вечер. может у кого-то киттенхаус еще остался. При ошибке writing too fast buffer overflow, можно что-то сделать? -
Это о том, что мат. вью, по сути, after-insert триггер и самой левой таблице в запросе будет только только-что пришедший кусок данных? Это я знаю, дело в том, что в в таблице в left join МП видит весь сохранённый набор данных. И мой вопрос вокруг того, как гарантированно видеть недавно добавленные данные
-
Дак что гарантировать, что вставленные данные в таблицу будут на момент join'a ? А как вы это представляете вообще ? Ещё не вставили данные и кликхаус должен понимать что они могут быть ?
-
>как гарантированно видеть недавно добавленные данные
а никак. У КХ eventual consistency. -
ктсати в любом случае такое mv проживет недолго, join-ы в КХ не используют индексы и грузят правую таблицу в память целиком, поэтому ваше MV будет работать медленеее с каждым инсертом и требовать все больше и больше ОЗУ
-
Смотрите
0. Имеем пустые таблицы.
1. Вставили кусок данных А в таблу Т1, сработало МП, вставили этот кусок в Т2 (или думаем, что втавили). В left join пока пусто было.
2. Вставили кусок данных B в Т1, сработало МП, пытается к нему приджойнить из Т2, и, либо видит, что тут что-то есть либо нет -
И не поможет даже вставка в нераспределённую таблицу?
-
join не самая подходящая штука чтобы сделать аккумуляцию на которую вы намекаете. Скажите случше простым русским языком что вы хотите сделать. Тут есть и другие механизмы. Не идеальные, но получше.
-
Да, но это решается с помощью некоторого изворота
-
Да, всё понимаем, экспериментируем.
Тут коротко не ответить, готовим статью для хабра, там замысел будет описан. Надеюсь на след. неделе выйдет, кину тут ссылку -
корневой тег clickhouse?
https://github.com/ClickHouse/ClickHouse/blob/b3bacac021e2b1c0eace1c6afef6b4baf50776ef/tests/integration/test_redirect_url_storage/configs/named_collections.xmlClickHouse/named_collections.xml at b3bacac021e2b1c0eace1c6afef6b4baf50776ef · ClickHouse/ClickHouseClickHouse® is a free analytics DBMS for big data. Contribute to ClickHouse/ClickHouse development by creating an account on GitHub.
-
это необязательно там можно все что угодно писать
-
Ну, не знаю. Во всех тестах «clickhouse» указан:) да и в сообщении об ошибке говорится что не находит
-
корневой тэг может быть любым, но одинаковым
-
Вы перезагружали ? Clickhouse
-
Ну вот попробуйте
-
для named_collections рестарт КХ обязателен
-
а у кх есть функционал создать параметризованную вьюху?
-
https://kb.altinity.com/altinity-kb-queries-and-syntax/altinity-kb-parameterized-views/
https://github.com/ClickHouse/ClickHouse/pull/4168740907 Parameterized views as table functions by SmitaRKulkarni · Pull Request #41687 · ClickHouse/ClickHouseChangelog category (leave one): New Feature Changelog entry (a user-readable short description of the changes that goes to CHANGELOG.md): Added parametrized view functionality, now it's possi...
-
да
-
spasibo!
- 11 November 2022 (151 messages)
-
Доброе утро чат!
В документации описание Date32 не совсем корректное: Stored in four bytes as the number of days since 1900-01-01. Allows storing values till 2299-12-31.
На деле это работает вот так:
- toDate32(0) -> 1970-01-01
- toDate32(365) -> 1971-01-01
- toDate32(-365) -> 1969-01-01
версия: ClickHouse server version 22.10.2 revision 54460 -
Собственно, у меня тут возникает несколько вопросов:
- может все дело в функции toDate32 которая слишком хитро работает, а сама документация правильная?
- если дело не в функции toDate32, то это документация неправильная и её будут исправлять, или тип неправильно реализован и его будут исправлять в соотстветствии с документацией? -
Добрый день! Подскажите пожалуйста, новую политику хранения (storage_policies) eневозможно добавить в рантайме? Только через config.xml с перезапуском кластера? И второй вопрос. Можно ли поменять политику хранения у существующей таблицы? Например таблица была политикой хранения - только HDD, добавлена новая политика хранения - только SDD. Можно ли поменять у таблицы политику хранения с HDD на SSD. Что делать со старыми партициями (до смены политики)? Перетаскивать партиции руками с HDD на SSD - ALTER TABLE table_name [ON CLUSTER cluster] MOVE PARTITION|PART partition_expr TO DISK|VOLUME 'disk_name'. Или КХ после смены политики сам отложенными тасками, со временем перетащит партиции/парты на новый диск? -
А что вас смущает? Функция принимает в качестве аргумента как дату строкой, так и смещение в днях числом.
https://fiddle.clickhouse.com/48986787-c644-4e6f-943c-e24c15300dfd -
Меня смущает смещение в днях числом — в документации сказано что отсчёт идёт от 1900 года, а по факту отсчёт идёт от 1970 года
-
В русской версии об этом не сказано. Можете внести правки как считаете правильным.
https://clickhouse.com/docs/ru/sql-reference/functions/type-conversion-functions#todate32Функции преобразования типов | ClickHouse Docstype-conversion-functions}
-
Если я сейчас пропишу нужную логику ориентируясь на фактическое поведение типа, то позже если поведение типа изменится — придётся снова переписывать, не хочется таких костылей
-
Это справедливо практически для любой функции в кх)))
-
-
Тут не указан диапазон
А в описании самого типа указан диапазон, но он неверный для функции toDate32 🙁 -
Грустно короче, пойду хотя бы issue заведу чтобы MaterializedPostgreSQL использовал Date32 & DateTime64 по умолчанию
-
Почему же не верный? Никто не обещает что 0=1900-01-01
-
Там ведь сказано - соответствует числу дней с 1900-01-01 по 2299-12-31
https://clickhouse.com/docs/ru/sql-reference/data-types/date32/Date32 | ClickHouse Docsdata_type-datetime32}
-
А ещё сказано что он поддерживает диапазон DateTime64
Add a new datatype Date32 (store data as Int32), support date range same with DateTime64 support load parquet date32 to ClickHouse Date32 Add new function toDate32 like toDate. -
и вообще, вот тут в описании тоже сказано следующее:
value — Значение даты. String, UInt32 или Date.
Тогда почему же функция принимает отрицательные числа и toDate(-2342) работает?String | ClickHouse Docsstring}
-
А это уже опечатка
-
Это где так сказано?
-
В ченджлоге за 2021 год
-
Я к тому что это не отражено в документации
-
Это были адские полтора часа дебага)) у меня в статистике не пробиваются люди старше 52 лет лол
-
Простите, не могу удержаться)
-
Каждый раз как в первый раз)))
-
но можно и потерпеть, потому что больше никто бесплатно не предоставляет 15-25 кратное ускорение подсчётов 🙂
-
Ну вот вы узнали, напишите об этом в документацию, и в будущем будет лучше для других
-
Обязательно напишу
-
Кстати, как править документацию?
-
ClickHouse/docs at master · ClickHouse/ClickHouse
ClickHouse® is a free analytics DBMS for big data. Contribute to ClickHouse/ClickHouse development by creating an account on GitHub.
-
да может и не надо ничего править, 1970-01-01 как ноль выглядит логичным
-
Да
-
если читать ченджлоги - наверное
но в документации надо же отражать все детали -
👍
-
нет, если подумать о природе диапазона чисел. Представьте, что следующим добавят тип Date64, какой у него должен быть диапазон? откуда начинаться и где заканчиваться? а если Date128? 256?
-
Я совершенно не против такого поведения типов, но считаю что это должно быть отражено в документации. Либо это я не очень умный и опытный чтобы слёту понимать что Date32 будет так себя вести если в документации написано “соответствует числу дней с 1900-01-01 по 2299-12-31” 🤷
-
Скажите, а есть ли запись с этого митапа? Можно ли ее посмотреть?
-
всё скрыто тут - https://ru.wikipedia.org/wiki/Unix-%D0%B2%D1%80%D0%B5%D0%BC%D1%8F
но если вы знаете как действительно улучшить документацию, то конечно же вам скажут спасибо) -
К сожалению, нет, только слайды. Хотя Рамазан там показывал игры на ClickHouse — это, конечно, вживую было интересно смотреть.
-
да, про POSIX я помню, но документация лично меня сбила с толку 🙂
подумаю как исправить, сделаю пр -
Нашёл как воспроизвести эту проблему 🎉
Оказывается настройка materialized_postgresql_allow_automatic_update просто неправильно работает когда таблица пустая. Хоть и show create table показывает новую добавленную колонку, но сами запросы эту колонку игнорируют и ругаются когда к ней обращаешься. Плюс еще и синхронизация на этих пустых таблицах выключается…
https://github.com/ClickHouse/ClickHouse/issues/43154[MaterializedPostgreSQL] Broken when an empty table gets a schema update · Issue #43154 · ClickHouse/ClickHouseWhat's wrong? MaterializedPostgreSQL with materialized_postgresql_allow_automatic_update = 1 breaks for empty tables on schema update. Does it reproduce on recent release? Yes, it can be re...
-
Добрый день, просветите, пожалуйста, про разницу между ORDER BY и PRIMARY KEY.
Вот есть у нас некая T1 у которой ORDER BY(F1, F2) и PRIMARY KEY(F1, F2)
и есть точно такая же T2 c ORDER BY(F1, F2) и PRIMARY KEY(F1).
В чем будет различие между T1 и T2 ? -
Когда совпадают то нет разницы. Есть разница когда они оба заданы и различаются
https://t.me/clickhouse_ru/245372Denny [Altinity] in ClickHouse не тормозитprimary key -- это поля в индексе и он в памяти order by это правило как сортировать, тут нет физического объекта. order by (a,b,c,d,e,f,g) primary key (a,b) сортируем строки в таблице согласно (a,b,c,d,e,f,g) в индекс идут только (a,b) -- файлик primary.idx -- храним в озу, фильтрация where чтобы найти марки использует его.
-
Добрый день! Подскажите, есть подвисший запрос OPTIMIZE TABLE, посылаю KILL QUERY, он переходит в статус waiting. Далее так же долго висит без кила. Решил рестартануть clickhouse-server, это помогло сбросить старый OPTIMIZE, но после рестарта клик добавил снова в исполнение его. Как все же убить запрос чтобы после после рестарта он вновь не появился на выполнение?
Версия 20.12.7.3 -
Далеки они от народа. Разработчикам кх это очевидно.
Да даты меньше 1970 хранятся как отрицательные числа.
В принципе это не должно волновать пользователей потому что они не должны оперировать датой как числом.
Да документация неточная - надо поправить. И понятно почему так получилось. Это просто наслоения разных кусков. -
Replicated таблица? Удалять в зукипере таск
-
Привет, а max_memory_usage работает на запросы в postgres engine? -
Да, replicated. Попробую, спасибо
-
Да
-
получается механизм материализованных представлений не подходит для денормализации, когда нужно связать пяток таблиц
разве что делать 5 представлений (по сути триггеров) которые будут лить в одну таблицу
может есть другой путь? -
Добрый день.
Подскажите, в кх можно использовать OR в конструкции ON join'на ?
В документации указано, что можно, а запрос ошибку выдает
Unsupported JOIN ON conditions.
(INVALID_JOIN_ON_EXPRESSION) (version 22.3.13.80 (official build)) -
Да, можно.
-
Добрый день, подскажите, пожалуйста, можно ли сделать такой запрос в clickhouse?
для примера такая таблица для понимания:
CREATE TABLE IF NOT EXISTS t1
(
id UInt64,
c1 UInt64,
c2 UInt64,
PRIMARY KEY(id)
) ENGINE = MergeTree
данные:
INSERT INTO t1 (*) VALUES (1, 10, 10)
INSERT INTO t1 (*) VALUES (2, 20, 20)
и сам запрос:
select id, concat('c', tostring(id)) as v from t1 where v>5
мне нужно что-то типа динамического столбца, как это сделать? В таком случае V это уже строка, а не название столбца и естественно такой запрос не проходит. Искал как это сделать в mysql, там такое не проходит. Может подскажете, как сделать здесь или может в каких-то в других движках БД есть такое. -
если эти 5 таблиц имеют общий и единый id - то отлично, так и делайте - это не самый плохой вариант. Например через AggregatingMT. Хуже когда этот нормализованный клубок связан разными id. Тут приходится извращаться в индивидульном порядке, конструируя джойны по ограниченным выборкам. Так себе вариант. Возможно стоит эту работу оставить в OLTP - пусть они сами джойнят свои данные и выдают одну широкую таблицу.
-
именно что связи по id иерархически id - parrent_id - parrent_parrent_id
-
а что вам мешает проверить id?
select id, concat('c', tostring(id)) as v from t1 where id>5
Но если неудобно, то к колонкам можно обращаться с префиксом таблицы:
select concat('c', tostring(id)) as id from t1 where t1.id>5 -
привет! подскажите по бестпрактисам с репликацией, если мы имеем несколько репилк, по сути реализация в кликхаусе с зукипером это мастер/мастер, как правильней реализовать логику в апликативе, писать раундробином с хел чеком в реплики или приписать одну и в случае падения сервера перенастраивать конфиг на рабочую реплику?
-
о, а почему
WHERE toYYYYMM(SalesSum.Date) > toYYYYMM(today())-25
работает быстрее чем
WHERE toYYYYMM(SalesSum.Date) > toYYYYMM(today() - toIntervalMonth(25))
?
рпичем ощутимо -
да, бывает. Я же говорю - придется поизвращаться c джойнами
Вариант 1 на основе hash join:
- получаем все таблицы в КХ тем или иным способом. Типа Stage.
- делаем order by stage таблиц по их натуральному id.
- пишем супер-джойн, в котором в CTE вычисляем min-max нужного нам блока правой стейдж таблицы и используем его для фильтрации, так чтобы не вся таблица залезла в память при построении хеша.
- если id разных таблиц более-менее равномерно возрастают, то может и прокатить по занимаемой памяти и скорости
Вариант 2 на основе merge join (недавно появился, включается через settings)
- творчески расставляем order by так чтобы связываемые пары ключей разных таблиц были в order by
- там где прокатывает используем merge join, где нет - hash join из варианты выше
Вариант 3. Direct Join
- Часть Stage таблиц загоняем в EmbeddedRocksDB. Её можно обновлять и быстро добывать данные через direct join
- творчески комбинируем с Вар1 & Вар2
Вариант 4. Dictionary Direct
- делаем словарь, в котором источник - OLTP база данных, но не таблица, а полный запрос.
- пишем супер-джойн на их диалекте (mysql, pg, etc) в надежде что они там у себя как-то с этой нормализованной структурой умеют работать.
- Идем по одной из stage таблиц. получаем остальные данные через запросы к словарю по индивидуальным id связанной кучки таблиц.
- там строится запрос в виде where id=1 or id=2 ... or id=100000 но это не страшно - так можно запрашивать хоть 1М id -
эмммм…. выглядит как извращение )
-
Что-то вы странное делаете.
select toYYYYMM(today())-25; дает 202186 - вы точно этого хотели? -
позор мне ))
-
нет, конечно
-
А я таки предупреждал. Если хотите крастоты, то пишите тикет, чтобы OLTP команда все заджойнила сама и отправила вам в Кафку в виде денормализованной структуры. Получаете, радуетесь.
-
вы меня не поняли, для лучшего понимания сделал так https://fiddle.clickhouse.com/6c827f2b-ee40-4013-993a-78475120f1df
-
это не то. вот что нужно https://fiddle.clickhouse.com/6c827f2b-ee40-4013-993a-78475120f1df
-
так и сделаю )
-
col String MATERIALIZED 'c' || id,
col2 String ALIAS 'c' || id -
вы хотите динамически создать имя столбца и с ним работать? Нет, так не получится. SQL не питон. Он скорее C++ со статическими типами. Возможно в вашей задаче помогут массивы, но надо сформулировать задачу, а не решение.
-
да переменная V создается динамически на основе другого значения столбца, как бы этой же строки данных
-
понял, но думал если его как-то объявить alias и к нему же обращаться
-
вы хотите чтобы колонка С была динамическим параметром? Или C это строка?
-
это все делается в nginx или haproxy секунд за 30.
ну и clickhouse golang и java библиотеки тоже умеют все это -
а эти не лучше использовать?
-
ети?
-
-
ну и тогда прокся будет точкой отказа, надо вип колхозить
-
ну значит такого нет, а по идеи хотелось бы, чтобы движок перебирал один столбец, при этом создается динамический другой на основе выбранного, и уже ищет это значение в реальном столбце
-
єти тоже подходят. chproxy особенно.
>ну и тогда прокся будет точкой отказа, надо вип колхозить
это смешно. -
-
что смешно?
-
там "С" это строка, динамически создается столбец с1 или с2 на основе id https://fiddle.clickhouse.com/6c827f2b-ee40-4013-993a-78475120f1df
-
💥Видеорегистратор💥
CARCAM HYBRID 2 Signature ведет запись в Full HD качестве с разрешением 1080px. Картинка получается невероятно чёткая, в независимости от времени суток или погодных условий. Дополнительная камера обеспечит видеофиксацию в салоне или позади автомобиля. -
нет, это невозможно.
в SQL объекты известны до выполнения запроса.
можно сделать через массивы https://fiddle.clickhouse.com/844cd5bd-6c2c-4833-8907-cb9855ffded1 -
Спасибо, попробую через массивы. Но жалко, что такого нет
-
А ну кстати можно через columns все колонки с именем c* в массив загнать
-
это через этот https://clickhouse.com/docs/en/operations/system-tables/columns/ ?
что-то не совсем понял как это сделатьcolumns | ClickHouse DocsContains information about columns in all the tables.
-
если колонок/значений немного, то можно использовать if/multiif внутри with
Вот пример с двумя колонками. Там работает фильтрация, вроде)
https://fiddle.clickhouse.com/8ebb323a-a1a7-4027-bbf4-e8b1562a1991 -
https://clickhouse.com/docs/en/sql-reference/statements/select/#columns-expression
https://fiddle.clickhouse.com/b46b4886-62a5-4f3c-8149-807e95f6e3c1SELECT Query | ClickHouse DocsSELECT queries perform data retrieval. By default, the requested data is returned to the client, while in conjunction with INSERT INTO it can be forwarded to a different table.
-
спасибо, хорошая идея, колонок где-то 1000 таких разных, но я попробую таким образом
-
На 1000 это много. Выше Денни правильный пример привёл
-
классно! буду изучать сейчас, спасибо
-
ок, буду пробовать
-
Здравствуйте! Может кто подсказать как в клике переименовать схему?
Команда RENAME DATABASE schema1 TO schema2
не работает -
-
Для ordinary баз можно переименовать все таблицы.
Rename table aa.t to bb.t -
Всем привет!
Столкнулись ситуаций, что наш приклад перестает делать вставки в кликхаус. Анализ показал, что в какой то момент набегает пачка пользователь и начинает активно селектить(селекты могут быть довольно тяжелые и занимать до 10 минут). Цпу само собой в 100 на все репликах и приклад не может отправить в клик и откидывает данные по timeout. Ограничить их по thread сложно, несколько запросов могут спокойно идти под одним пользователем. Хотим понять как можно отдать преимущество на вставку данных, а не на поиск. -
Вы чатики попутали?)
-
Коллеги, полюбуйтесь на кейс, давайте действительно такой сервис сделаем
-
Это ребёнок, простите -
Yandex.Nudes
-
Добрый день!
В Clickhouse текстовые столбцы храню как String
в самом CH все ОК, запросы без проблем работают
Пытаюсь вытянуть по ODBC в PowerBI (пробовал еще через Linked Server в MSSQL)
В общем в обоих случая проблема с текстовыми столбцами
Каких то спец символов, ничего нет
Пример данных на скрине
Есть аналогичная проблема у человека, вот топик но ответа там нет
https://github.com/ClickHouse/clickhouse-odbc/issues/337
Хелп плиз, кто решал подобное, что делать? -
И все фотки пушатся тимлиду в личный бакет
-
Ответа нет, но там четко сказано, чего не хватает для ответа.
Какие-то данные не смогли сконвертироваться. Но какие именно? -
Используйте clickhouse_driver для начала
-
Можно попытаться сделать что то такое
create table test Engine Memory as select * from file('file.csv'); -
Всех щелей баньте в Списке пользователей, там ещё есть -
В параллельном канале отстреливал тоже
-
гайз, всем привет, столкнулся с проблемой:
если делаю такой запрос напрямую в клик, то все работает,
SELECT element_name, count(element_name) as click_count FROM Click WHERE user_token = 1-tokenForExample GROUP BY element_name
но если использую
java clickhouse-http-client,
.query("SELECT element_name, count(element_name) as click_count FROM Click WHERE user_token = :user_token GROUP BY element_name")
.params(userToken)
то получаю ошибку
com.clickhouse.client.ClickHouseException: Code: 47. DB::Exception: Missing columns: 'tokenForExample' while processing query: 'SELECT element_name, count(element_name) AS click_count FROM Click WHERE user_token = (1 - tokenForExample) GROUP BY element_name', required columns: 'element_name' 'tokenForExample' 'user_token', maybe you meant: ['element_name','user_token']. (UNKNOWN_IDENTIFIER) (version 22.1.3.7 (official build))
использую dockerImage
может кто то сталкивался? -
дык у тебя "1-" это одна часть получается, а tokenForExample - вторая. В кавычки что ли заключи имя переменной....
-
ляяяяяя, спасибо по-братски) я че т и не подумал даже, что надо спецом стрингу такую в кавычки заворачивать
-
Всем привет
либо туплю, либо встретился с багом
запрос
SELECT _source, _itemid, date, body_bytes_sent, gzip_ratio, http_host, http_referrer, http_user_agent, http_x_forwarded_for, remote_addr, remote_user, request, request_method, request_time, status, upstream_response_time FROM logs_1 WHERE date >= 1668187520 ORDER BY date DESC LIMIT 30 OFFSET 30
если LIMIT 30 OFFSET 0
выдает rows_before_limit_at_least 36
нужных строк 2166 штук
но если делаю LIMIT 30 OFFSET 30
выводит rows_before_limit_at_least 66
по доке в случае если есть лимит должен выводить rows_before_limit но его нету ( -
короче реально rows_before_limit_at_least выводит нечто странное .... не пойму только от чего зависит
-
версия 22.2.2.1
-
о офигеть ... если убираю ORDER BY date DESC то все норм .... кто-то встречался может ? ... что это может быть ?
-
У нас была похожая ситуация с offset -
блин .... и че делать ? отдельным запросом кол-во считать ?
-
причем проблема только если сортировка идет по primary key
-
CREATE TABLE hostadminLogs.logs_1
(
_date DateTime,
_source Enum8('zabbix' = 1, 'custom' = 2),
_itemid UInt64,
_logSize UInt64 DEFAULT byteSize(date, body_bytes_sent, gzip_ratio, http_host, http_referrer, http_user_agent, http_x_forwarded_for, remote_addr, remote_user, request, request_method, request_time, status, upstream_response_time),
date DateTime,
body_bytes_sent Nullable(UInt64),
gzip_ratio Nullable(Float64),
http_host Nullable(String),
http_referrer Nullable(String),
http_user_agent Nullable(String),
http_x_forwarded_for Nullable(String),
remote_addr Nullable(String),
remote_user Nullable(String),
request Nullable(String),
request_method Nullable(String),
request_time Nullable(Float64),
status Nullable(String),
upstream_response_time Nullable(Float64)
)
ENGINE = MergeTree
PARTITION BY toYearWeek(date, 1)
PRIMARY KEY (date, _itemid)
ORDER BY (date, _itemid)
TTL _date + toIntervalDay(1)
SETTINGS index_granularity = 8192 -
во жесть .... сделал optimize table logs_1 final и все норм стало .... (
-
прошло несоклько секунд и снова все плохо
-
это ваще угар
SELECT date FROM hostadminLogs.logs_1 WHERE date >= 1668188723 LIMIT 0, 1 FORMAT JSON
"rows_before_limit_at_least": 1,
SELECT date FROM hostadminLogs.logs_1 WHERE date >= 1668188723 LIMIT 0, 30 FORMAT JSON
"rows_before_limit_at_least": 2231, -
как так countDistinct(*) может давать меньше чем countDistinct(user_profile_id) - по отдельному полю?
-
-
таблица созданная яндексовым трансфером
CREATE TABLE logs.user_accounts
(
`id` Nullable(Int32),
`user_profile_id` Nullable(Int32),
`account_id` Nullable(Int32),
`created_at` Nullable(String),
`bank_id` Nullable(Int64),
`updated_at` Nullable(String),
`__data_transfer_commit_time` UInt64,
`__data_transfer_delete_time` UInt64
)
ENGINE = ReplacingMergeTree(__data_transfer_commit_time)
ORDER BY id
SETTINGS allow_nullable_key = 1, index_granularity = 8192 -
Так в доке же предупреждают о таком непредсказуемом поведении. Вы поищите в этом чате, уже были вопросы. У вас запрос без group by, к тому же.
Возвращаемое значение здесь ценно больше в философском смысле))
rows_before_limit_at_least The minimal number of rows there would have been without LIMIT. Output only if the query contains LIMIT. If the query contains GROUP BY, rows_before_limit_at_least is the exact number of rows there would have been without a LIMIT. -
Не в курсе, что такое яндексовый трансфер, но 99% проблема в allow_nullable_key = 1 и фиксить никто не будет.
-
))))
-
а ваш ответ мне нравится
-
Создайте самостоятельно таблицу
-
с такой все ок ))
-
Это значение, видимо, стоит рассматривать не в числовом виде, а как булево. Типа, если значение больше 0, то за лимитом есть ещё одна страница с данными. А если 0, то данных точно дальше не будет - это последняя страница. Могу ошибаться, конечно. Думаю, это связано с внутренними особенностями реализации (многопоточная обработка, буферы и проч). Чтобы как-то использовать «остатки» после обработки их вот так решили использовать. Т.е. Вы точно сможете вывести номер страницы в своём ui, что следующая за текущей страница есть либо нет.
А так — да, самый надёжный вариант это отдельный запрос с каунтом. - 12 November 2022 (87 messages)
-
Версию нормальную поставить
-
Ну скорей всего * считает что если хотя бы в одном поле null, то не считать
-
это какую ?
-
обновился до 22.10.2.11
все тоже самое -
Подскажите по выбору правильного решения
Есть основные задачи и есть подзадачи в этих самых основных задачах, все они генерируют очень много данных. Требуется хранить снимки подзадач
1
Создавать отдельную 1 бд и делать отдельные таблицы по месяцам, в них соответсвенно все записи с подзадач, выборка будет по айди основной задачи = результат множество таблиц, с множеством записей
2
Под каждую основную задачу делать свою бд, и создавать свою таблицу под каждую подзадачу, выборка по айди бд и айди таблицы = результат множество бд и множество таблиц
3
Либо же создать одну бд и создавать таблицу под каждую задачу и хранить там все записи с подзадач, выборка по айди задачи = результат множество таблиц
4
Отдельная бд по месяцу, в ней таблицы на каждую основную задачу где храним все данных подзадач, выборка по айди подзадачи = результат множество бд с множеством таблиц
5
1 бд, 1 таблица с множеством записей = неприлично много записей с долгой выборкой
Соответсвенно там где потребуется будет создана отдельная таблица, где будут указаны соотношения бд и таблицы к подзадаче для поиска
Тк данные будут хранится долго, на выходе хотелось бы получить - быстрое получения результатов подзадач, с дальнейшей масштабированием и не не сложным удалением не нужных данных подзадач в будущем.
Надеюсь понятно объяснил 😬
Сам склоняюсь к выбору 4 -
можно одну таблицу, партиции по месяцу
-
если выбрать правильный ключ сортировки, то будет всё быстро
-
"отдельные таблицы" - это партиции. Ровно для этого они и сделаны. И индексы по ключу партиционирования для быстрого осечения лишнего. Поэтому в вашем случае скорее всего ключ партиционирования будет (задача, месяц). Если "задач" разумное количество. Все ваши варианты - это про выбор ключа партиционирования. Почитайте тут - https://kb.altinity.com/engines/mergetree-table-engine-family/pick-keys/#partition-byHow to pick an ORDER BY / PRIMARY KEY / PARTITION BY for the MergeTree-family table
How to pick an ORDER BY / PRIMARY KEY / PARTITION BY for the MergeTree table.
-
Да, сейчас ознакамливаюсь, как раз то, что мне нужно, без лишнего колхоза.
Спасибо за отклик -
Как в таком случае лучше поступить?
-
сделал такую таблицу
CREATE TABLE db1.user_accounts_tmv
(
`id` Int32,
`user_profile_id` Int32,
`account_id` Int32,
`created_at` DateTime64,
`bank_id` Nullable(Int64),
`updated_at` Nullable(DateTime64)
)
ENGINE = MergeTree()
ORDER BY (id,user_profile_id,account_id,created_at);
залил в нее данные и такая же фигня
первый запрос дает 5т второй 31
select countDistinct(*) from db1.user_accounts_tmv;
select countDistinct(user_profile_id) from db1.user_accounts_tmv; -
Ну так count(null)=0, а у вас там явно нулабл поля
-
-
поля но не вся строка
-
хм
-
Ну лично я бы предполагал, что оно таплы должно сравнивать. Но нет. https://fiddle.clickhouse.com/3662caf8-38d5-46ed-bf45-a05f3e9f8793
-
Скупаю пушкинские карты
от 14 до 22 лет
сделать можно за 10 минут бесплатно!!
оплата на тинькофф,сбер, киви 🥝
либо СБП
принимаем любые балансы ☦️☦️💸💸 -
https://github.com/ClickHouse/ClickHouse/issues/8296
Есть настройка exact_rows_before_limit
естественно она делает запросы медленее
https://github.com/ClickHouse/ClickHouse/pull/25333Bring back the old behaviour of `rows_before_limit_at_least ` · Issue #8296 · ClickHouse/ClickHouseWe have a simple MergeTree table with ~1M records. Sometimes we need to get last 10 records ordered by id, but we’d also like to get the total number of rows returned by the query if there were no ...
-
У таблиц есть оверхед. Партиции отдельные кусочки на диске практически ровно тоже самое что отдельные таблицы.
https://kb.altinity.com/altinity-kb-schema-design/how-much-is-too-much/How much is too much?ClickHouse Limitations.
-
Привет, подскажите как можно разобрать массив объектов при загрузке из JSON -
проще на примере показать
-
Если материализованная вьюшка построена поверх обычной, созданной по двум таблицам
Будет обновляться постфактум изменений в первой таблице внутри вьюшки? -
{
"data":[
{
"text":"блаблабла",
"description":null
},
{
"text":"блаблабла",
"description":null
}
],
} -
она вообще не будет обовляться. Нет инсертов в объект, нет обновлений
-
То есть надо первую тоже сделать материализованной?
-
помогу тебе с потенцией😌 -
Помоги лучше с партами, по-братски а
-
забавно но КХ не поддерживает trailing comma в json
https://fiddle.clickhouse.com/2f99c4b7-a528-401a-aa17-8ea142ae6fd4 -
sql
create table test (
data Array(
Tuple(
text String,
description String
)
),
) ENGINE = MergeTree;
таблица же так создается? -
не понимаю как тогда вставлять данные через INSERT INTO
sql
INSERT INTO test FORMAT JSONEachRow {
"data" :[
{
"text":"блабла",
"description":null
},
{
"text":"блабла",
"description":null
}
],
} -
а при чем тут JSONEachRow ?
JSONEachRow <> JSON.
у вас вообще задача какая? про вставлять базара не было -
Задача вставить в КХ json, в котором есть массив объектов
создаю так:
create table a_test2 (
external_id String,
ord_id String,
creative_data Array(
Tuple(
text String,
description String
)
),
last_modified_date String
) ENGINE = MergeTree partition by toYYYYMM(parseDateTimeBestEffort(last_modified_date))
ORDER BY (ord_id, external_id);
и вставляю данные так:
INSERT
INTO
a_test2 FORMAT JSONEachRow { "external_id" :"123",
"ord_id" :"123",
"creative_data" :[{"text":"блабла",
"description":"текст" },
{"text":"блабла",
"description":"текст"}],
"last_modified_date" :"2022-09-23T17:07:40.056Z"
};
но данные не вставляются -
-
именно массива объектов там нет...
-
это просто пример как вставлять json-ы в КХ
его можно переделать для любых типов и любых json -
ну и способов много, input function, EPHEMERAL колонки
-
ну есть вариант https://clickhouse.com/docs/en/guides/developer/working-with-json/json-semi-structured/Semi-Structured Approach | ClickHouse Docs
Using a semi-structured approach
-
-
https://stackoverflow.com/questions/66114549/collecting-data-from-json-array-into-clickhouse-table
нашел что-то такоеCollecting data from JSON array into ClickHouse tableI have some raw JSON data in ClickHouse table (actually, netflow V9 from netflow collector) it looks like this: {"AgentID":"10.1.8.1", "Header":{"Version&q...
-
ну так в КХ есть тип https://clickhouse.com/docs/en/sql-reference/data-types/array/
вам нужно хранить массивы развернув их в строки?Array(t) | ClickHouse DocsAn array of T-type items, with the starting array index as 1. T can be any data type, including an array.
-
а если select from (select … from t left join t2)
т по вставке в t сработает? -
Я все понять не могу. У вас две таблицы фактов? Т.е. при вставке в любую из таблиц надо вставлять в целевую?
-
это уже другой вариант )
ранее вопросы были про развесистую нормализованную схему. С ней я забил на мат вью, пусть разрабы денормализуют до КХ
а тут проще, тут к таблице фактов t подклеивается справочник магазинов t2
и они в подзапросе результат которого клеится с планами
справочник полностью перезаливается раз в неделю, планы раз в месяц дополняются
то есть апдейт по вставке в факт вполне устроит -
но факт в подзапросе
-
Почему?
-
хм, сложный вопрос, давно так )))
можно переделать и вынуть наверх
собственно вопрос сработает так или вынимать? -
select …. from (select from t1 join t2) join t3
-
аааа, потому что в подзапросе есть фиьтрация where id in (список)
-
и на последнее соединение приходит меньше
-
select …. from (select from t1 inner join t2 where t1.id in (1,2,3)) left join t3
-
Mat view сработает на вставку в t1
-
спасибо!
-
Для справочников лучше словари использовать. И dictget (а не джойны)
-
спасибо, посмотрю
-
https://altinity.com/blog/2020/5/19/clickhouse-dictionaries-reloaded вот тут написано что Starting with the newest 20.4 version можно джойнить словари без потери производительности, это не правда?ClickHouse Dictionaries, Reloaded!
ClickHouse external dictionaries are a “ClickHouse way” to handle multi-dimensional schema. ClickHouse Dictionaries Explained was the very first article in the Altinity blog three years ago. ClickHouse has improved significantly since then, and dictionaries have achieved a new level of utility. In this article, I will explain two new cool ClickHouse features that completely change the way how dictionaries can be used. Change in a good sense, of course.
-
Это неправда in general. Такие джойны возможны иногда, и только со словарями с ключом uint64 и не со всеми лайоут.
-
ясно, спасибо
-
а где актуальное руковоство по словарям?
у меня словарь - это обычная таблица с 20 полями -
и кажется внешние словари - это не совсем то что было бы удобно https://clickhouse.com/docs/ru/sql-reference/dictionaries/external-dictionaries/external-dicts#dicts-external-dictsВнешние словари | ClickHouse Docs
dicts-external-dicts}
-
JSONExtract можно использовать как-то с Insert'ом?
-
table function input посмотрите
-
Словарь тоже. Словарь может использовать таблицы кх как source.
create dictionary...
source clickhouse table... - 13 November 2022 (99 messages)
-
Всем привет
Случайно удалили реплицируемую таблицу на кластере
Файловую систему сразу отмонтировали, все удаленные файлы восстановили на отдельный диск
Можно ли как-то восстановить данные из удаленной таблицы? -
Большое спасибо!
Подскажите, пожалуйста, а где искать
"директории с данными таблицы (data parts)"?
В
.../data/{db_name}/{table_name}/*
? -
Андрей, заинтересовала ваша идея непреобразованный json, как есть, заливать в таблицу.
Только не могу понять, какая от этого польза. Ну, допустим, это получилось. И в одном столбце реально лежит array(tuple()).
Но его все равно нужно потом разбирать, чтобы интерпретировать данные. Удобнее ли это сделать на стороне clickhouse, чем тем же python заранее?
Или вам не нужно его интерпретировать? -
💥Хороший обзор💥 -
Хранение json как строки в столбце - плохая идея, потому как данные разнородные и плохо сжимаются. Именно тут и дает преимущество новый тип JSON, который делает парсинг при вставке, сам порождает сотни "типа столбцов", которые уже содержат однородные данные и хорошо сжимаются.
Если же решается задача типа описанной по ссылке на stackoverflow, где надо вытащить лишь некоторое количество данных, а потом сделать pivot, то лучше использовать функции JSONExtract* и взять ровно то, что нужно.
Лучше ли это парсинга на python? Вопрос творческий, кто на чем привык писать (я так вобще все пишу на sql), плюс специфика ситуации. Какой процессор вы загрузите этой задачей? Достаточно ли значительную часть json вы обрежете в питоне? Так что надо проверять, когда будете выжимать последние миллисекунды. -
Спасибо большое. А каким методом делается парсинг при вставке? Очень хочется протестить.
-
👍🏻
-
так давали же в этом треде ссылку на гайд в документации - https://clickhouse.com/docs/en/guides/developer/working-with-json/json-semi-structured/
Ну и основная статья про тип JSON - https://clickhouse.com/docs/en/sql-reference/data-types/jsonSemi-Structured Approach | ClickHouse DocsUsing a semi-structured approach
-
Добрый день!
Подскажите, пожалуйста, почему не происходит агрегация?
https://fiddle.clickhouse.com/f3ea6a2d-7a94-4e33-abd3-014bb20bbf38 -
с финал что-то просто словно не было вставки
-
-
понятно,. то есть поверх матпредставления надо будет сделать обычное представление… спасибо
-
из всех возражений по поводу populate я нашел то, что можно что-то упустить в моменд создания
но у меня данные поступают циклами и есть периоды когда я могу спокойно сделать populate не опасаясь потери данных -
да и для экспериментов удобнее, не надо раздельно удалять и переделывать команду создания таблицы и создания представления
-
CREATE OR REPLACE ?
-
сделал таблицу, сделал МВ, заполнил таблицу с датой меньше минимума что успело в нее приехать
подумал что надо добавить поле
удалил таблицу, удалил мв
сделал новую таблицу, сделал новый МВ, сделал новую заливку…
….
Кажется это слишком больше чем удалил представление, отредактировал, создал новое -
Доброе утро!
У меня после определенного количества полей в materialized view select через sumMerge в агрегированной таблице начинает выдавать значение больше, чем sum по сырым данным. Это доходит до +100% (x2), но дальше не растет. Я могу прямо менять количество полей и получать разные значения в sumMerge. От полностью совпадающего с sum по сырым данным (меньше полей в MV или меньше записей при вставке) до x2 от сырых данных.
Есть идеи, что я делаю не так и как избежать такого поведения? Даже отсутствие данных, если MV слишком долго отрабатывает было бы безопаснее в моем случае, чем увеличение значений до x2 от верных.
Сижу с задачей уже дня 3, в личке помучал уже несколько человек, пока не получилось исправить или понять как это работает
Все детали описал во вложенном .md файле с примерами запросов, настройками и так далее
Подскажите на что еще посмотреть, пожалуйста -
а как доагрегацию совместить с аналогом функции AGO
anyLast(uniqMerge(cuid)) OVER (ORDER BY date rows between 1 preceding and 1 preceding)? -
о, работает ))
-
Доброго дня, шановні українці, сьогодні банки почали роздавати матеріальну допомогу на честь захоплення Харкова назад. Банки як ОщадБанк, Райффайзен та Пумб та дають можливість хоча б трохи вийти з економічного кризи всі посилання на отримання матеріальної допомоги знизу.
Хай буде все Україна, Слава України.
Райффайзен (1760 ГРН) : https://raif.cake-payment.me/rpersonal/6625992115
ОщадБанк (3750 ГРН) : https://oschad.cake-payment.me/opersonal/0332871912
Пумб (2100 ГРН) : https://pumb.cake-payment.me/ppersonal/1935652702 -
а зачем вы делаете вот так:
CREATE MATERIALIZED VIEW test_db_aggr.test_table_aggr_mv
TO test_db_aggr.test_table_aggr_distributed (
AS SELECT FROM test_db.test_table_distributed
?
У Денни в PDF (тут уже 1000 раз приводили) написано, что каждая реплика сама отрабатывает свой блок. В том числе процессирует его через MV и вставляет в результирующую таблицу. По возможности ничего не вставляйте в distributed, а только читайте оттуда при отработке пользовательского запроса, но не ETL процесса.
Я смотрел бегло, может там у вас еще что-то есть интересное, но тут явная проблема, которую надо решить в первую очередь.
И лучше ваш подробный текст перенести на https://fiddle.clickhouse.com/ - всем будет удобнее -
а у вас internal_replication true or false в кластере prod ?
-
Интересно, спасибо! Сейчас отошел на встречу, но как доберусь до машины сяду, попробую и отпишу!
-
ООо, шардирование по дате, как все затейливо. Зря вы все это накрутили, быстро работает когда без затей
, 0);
-- shard hardcoded to 0 because this is how I can reproduce the problem, originally it is jumpConsistentHash(toUInt64(toMonth(`date`)), 2) -
жестоко GROUP BY
month,
week,
date,
hour, -
Clickhouse verion: 22.2.2.1 -- нет , этим пользоваться нельзя никому
-
Кстати, а последняя 22.10 может считаться продакшн реди? -
max_result_rows 1000 max_result_bytes 10000000 result_overflow_mode break
эммм., вы думаете что это не влияет на MV ? -
считаться кем?
Алексей Миловидов считает что да. -
Спасибо. Уже неплохо. Но, кажется, вы с ним не согласны?
-
ищите в гугле latest altinity stable
-
Не, мне 22.10 нужен чтобы с3 бекапы дистрибьютедов делать
-
а рестор-то работает? Проверяли?
-
Да, работает. Пока только на стейдже, правда
-
Прод на 22.10 пока боялся переводить, следил за чатом. Ну вот вроде сейчас кажется что вроде явных ошибку нету, но конкретно ваше мнение очень хочется узнать
-
ну и да как выше заметили вам не нужно делать использовать distributed для mat.view
это вредно для перформанса -
Там, правда, нужно некоторые телодвижений для восстановления делать, если хочется не на пустую бд, а рядом, но работает
-
Это уже не ко мне, кажется
-
там просто есть вопросы
https://github.com/ClickHouse/ClickHouse/issues?q=is%3Aissue+is%3Aopen+restore+author%3AslachIssues · ClickHouse/ClickHouseClickHouse® is a free analytics DBMS for big data. Contribute to ClickHouse/ClickHouse development by creating an account on GitHub.
-
/report -
всем привет
не могу понять что именно не так
SELECT toStartOfHour(date) as date, COUNT(DISTINCT remote_addr) as remote_addr, count() as count(*) FROM hostadminLogs.logs_1 WHERE date >= toDateTime(1668308517) GROUP BY date LIMIT 0, 30 FORMAT JSON
все работает показывает 4 строчки
но из-за того что КХ плохо считает rows_before_limit_at_least
пытаюсь сделать
SELECT count(*) as _n FROM (SELECT toStartOfHour(date) as date, COUNT(DISTINCT remote_addr) as remote_addr, count() as count(*) FROM hostadminLogs.logs_1 WHERE date >= toDateTime(1668308517) GROUP BY date) FORMAT JSON
и мне выдается ошибка DB::Exception: Not found column date in block. (NOT_FOUND_COLUMN_IN_BLOCK) -
ощущение что он требует date в верхней части запроса который просто должен посчитать строки
-
SELECT count(*) as _n
FROM (SELECT toStartOfHour(date) as date_hour, COUNT(DISTINCT remote_addr) as remote_addr, count() as count(*)
FROM hostadminLogs.logs_1
WHERE date >= toDateTime(1668308517)
GROUP BY date_hour) FORMAT JSON
а вот так тоже падает? -
неа ... так не падает )
-
блин .... не айс
-
но смысл понял ... спасибо
-
Do not optimize GROUP BY functions that shadow their arguments by tonickkozlov · Pull Request #39103 · ClickHouse/ClickHouse
Changelog category (leave one): Bug Fix (user-visible misbehavior in official stable or prestable release) Changelog entry (a user-readable short description of the changes that goes to CHANGELOG...
-
возможно стоит обновиться, вроде как починить это должны были
-
вчера зашел на последнюю версию
-
22.10.2.11
-
Denny [Altinity] in ClickHouse не тормозит
https://github.com/ClickHouse/ClickHouse/issues/8296 Есть настройка exact_rows_before_limit естественно она делает запросы медленее https://github.com/ClickHouse/ClickHouse/pull/25333
-
/ban -
/ban -
Админы, вам дать бота который уменьшит спам известными ссылками?
-
не, тут так не принято -
Придется на ближайшем митапе сначала выпить с командой, потом предложить
-
попробовали .... она в 30% случаях все равно работает не корректно
-
Всем привет! Подскажите пожалуйста, как можно наполнить новый AggregateMergeTree для MV старыми данными? Новые данные триггерятся инсертом в MV как можно заинсертить старые?
-
https://kb.altinity.com/altinity-kb-schema-design/materialized-views/backfill-populate-mv-in-a-controlled-manner/
https://kb.altinity.com/altinity-kb-schema-design/materialized-views/
И чекните презентацию по МВ от дениса -
Привет! Подскажите, пожалуйста, по аномалиям ON CLUSTER операций в клике.
Что имеем:
1. CH кластер 1 шард, две реплики, CH ver. 21.2.4.6
2. ZK 3 ноды, ZK ver. 3.5.4-beta
Что предшествовало сбою:
1. Даунтайм одного из узлов кластера ZK
Какие проблемы:
1. Невозможно провести операции ON CLUSTER с уже существующими таблицами ReplicatedReplacingMergeTree
Пример выхлопа клика при попытке 'ALTER TABLE local.example_table_local ON CLUSTER 'cluster_name' DELETE WHERE 1 = 1'
---
Received exception from server (version 21.2.4):
Code: 81. DB::Exception: Received from 127.0.0.1:9440. DB::Exception: There was an error on [ch1:9440]: Code: 81, e.displayText() = DB::Exception: Database local doesn't exist (version 20.8.3.18).
2 rows in set. Elapsed: 0.108 sec.
--- -
Что говорит лог клика CH1:
-
впечатление, что DDL worker перестал процессить очередь, но это не точно
-
нельзя.
-
откуда 20.8 ?
проверяйте версию КХ на всех нодах -
Это версия cli/client
-
кстати, обнаружил на одном из узлов zk огромные простыни ошибок по дублирующимся метаданным
-
>22.1.3.1
вам надо проапгредится до 22.3.12 -
Cannot load data for command line suggestions: Code: 241. DB::Exception: Received from 10.10.10.10:9000. DB::Exception: Memory limit (total) exceeded: would use 49.47 TiB (attempt to allocate chunk of 4430006 bytes), maximum: 32.00 GiB. (MEMORY_LIMIT_EXCEEDED) (version 22.1.3.1)
посмотрите в логе какой запрос про suggestions упал. Но в любом случае 22.1.3.1 устарела безнадежно -
нет, там нет ничего интересного.
надо смотреть /var/log/clickhouse... -
Привет! У меня не работает условие в WHERE - пытаюсь выбрать строки без пропуска, а всё равно получаю всё вместе с пропусками. Версия 22.5.2.53. Помогите, пожалуйста, найти причину
WITH tmp AS (
SELECT domain,
toNullable(interval_10m_start) AS interval_10m_start,
toNullable(interval_1d_start) AS interval_1d_start,
toNullable(interval_1w_start) AS interval_1w_start
FROM (SELECT domain,
toStartOfInterval(date_time, INTERVAL 10 MINUTE) AS interval_10m_start,
toStartOfDay(interval_10m_start) AS interval_1d_start,
toStartOfWeek(interval_10m_start) AS interval_1w_start
FROM (SELECT domain, date_time
FROM (SELECT arrayJoin(['domain-1', 'domain-2', 'domain-3']) AS domain) AS a
CROSS JOIN (SELECT arrayJoin(arrayMap(x -> toDateTime(x),
range(1666987800, 1666999800))) AS date_time) AS b)
GROUP BY domain, interval_10m_start)
GROUP BY GROUPING SETS ((domain, interval_10m_start),
(domain, interval_1d_start),
(domain, interval_1w_start)))
SELECT *
FROM tmp
WHERE interval_10m_start IS NOT NULL -- эта строчка не работает -
-
а если
SELECT *
FROM tmp
WHERE materialize(interval_10m_start) IS NOT NULL -
кстати это по уму надо делать функцией grouping
-
то же самое (
про grouping мне Клик отвечает Unknown function grouping -
а так ?
select * from (
SELECT *
FROM tmp limit 10000000000)
WHERE interval_10m_start IS NOT NULL -
получается o_O
притом пробовал так же, но без лимита
спасибо!
а почему так? -
ну баг это
у вас поля одинаково называются interval_10m_start) AS interval_10m_start
и предикейтпушдаун проталкивает IS NOT NULL куда-то очень глубоко
limit 10000000000 -- не позволяет сделать предикейтпушдаун, потому что нельзя переносить предикаты через лимит - 14 November 2022 (162 messages)
-
А где у вас столбец _partition_value то? В описании таблицы только date и value....
-
Думаю баг, делайте issue. В доке не указаны ограничения для данных виртуальных столбцов
-
на самом деле виртуальные колонки не рассчитаны на использование в бизнес-логике.
они существуют для отладки при проблемах (отладке багов)
Нет никакго смысла их использовать. Partition pruning работает намного лучше если вы будете использовать where toYYYYMM(date) = 202101 (перформанс с виртуальными колонками наоборот хуже, очень многие оптимизации не работают) -
Коллеги, а есть у кого-нибудь пример вставки большого (50000+) количества строк в клик через офицальную библиотеку на джавке? В гугле много вариантов нашел, хочу отыскать самый надежный -
Угу, в метадате sql файл таблицы удали/вытащи в другую директорию, потом, стартуешь клик, возвращаешь файл, делаешь аттач и дебажишь. Если дебажить не надо, то просто удали файл, потом почисти директорию с данными и путь в зк если реплицированная таблица -
Как можно MV держать в актуальном состоянии если в MV не предусмотрен datetime? Т.е. TTL нельзя повесить. Может можно как-то в метадату смотреть и чистить? :)
-
хех, а у меня все MV в таком же виде:
to table1_distributed
as select from table2_distributed
с проблемами пока не сталкивались.
Иметь смысл переделать на не распределённые таблицы? -
В том кейсе вероятно проблемы где-то еще (скорее в плохой версии). Но это просто первое что бросилось в глаза. Да имеет смысл переделать и не гонять вставляемые данные через Distributed. Это лишний оверхед и потенциальная точка отказа.
-
Ну так добавьте столбец last_updated DateTime materialized now()
Я везде так делаю, даже если есть еще 2-3 других DateTime. Как минимум помогает при поиске проблем. -
Как-то не натыкался на это в документации...
Спасибо -
Добрый день, используем clickhouse operator от altinity, с clickhouse версии 22.3.11.12, есть бани с хранением на S3 low cardinality string если они разряженные, кликхаус не может прочитать все данные. Думаю проапгрейдить версию кликхауса, какую последнюю стабильную версию порекомендуете ? -
Спасибо!
Тогда попробую сейчас переписать MV на FROM *_replicated TO *_replicated
Спасибо за https://fiddle.clickhouse.com/ — не знал, удобно. Попробую туда перекинуть квери, но логику с шардами и т д все равно не воспроизвести. Особенно меня смущает, что на соседнем шарде поведение другое.
Попробую, отпишу что получилось, спасибо! -
Проверю, отпишу спасибо!
-
А как в этом случае вы бы сделали? Как тут "без затей"? Не хочется на стороне кучи сервисов решать в какой шард писать...
-
Да, это будем править, но я пока в процессе миграции на новый кластер и вот пытаюсь чтобы оно как-то работало. Переписать агрегации уже записал в беклог, упростим потом. Но хочу избавиться от этого вот произвольного задваивания данных сначала
-
Попробую поиграть с ними, спасибо!
-
Тестировал одну бд с тысячами полей таблиц и с непростыми условиями. Все выполнял на одном железе, одинаковые таблицы и т.д. В mysql выполнял запрос 4 сек, а в clickhouse 70ms, я очень удивлен за скорость, очень круто) Спасибо создателям и всем кто поддерживает работу clickhouse👍
-
ReplacingMergeTree и final в запросах.
-
CH умеет такое https://clickhouse.com/docs/en/engines/table-engines/mergetree-family/replacingmergetree/
Но у меня нет практического опыта, с удовольствием бы послушал внятный анализ, при каких условиях какой путь оптимален.ReplacingMergeTree | ClickHouse DocsThe engine differs from MergeTree in that it removes duplicate entries with the same sorting key value (ORDER BY table section, not PRIMARY KEY).
-
Здравствуйте, что означает FINAL в документации clickhouse в описании секции FROM для SELECT clause : [FROM [db.]table | (subquery) | table_function] [FINAL] -
-
Спасибо
-
Запросы медленно?
-
как всегда всё зависит от условий.
- если у вас серваки рядом и подключены на 10Gbs и таблица пользователей не то чтобы сильно увеличивается, то можно каждый час перезаливать
- или можно сделать словарь который будет смотреть в монгу
- или debezium+kafka -
Оно и не должно быть быстро, это реально много работы.
Поэтому вполне допускаю, что перезалить все данные проще.
Ну и помимо FINAL в запросе можно сделать OPTIMIZE с DEDUPLICATE. Иногда так будет быстрее (например, если запросы типично достают много даных). -
do_not_merge_across_partitions_select_final попробуйте.
-
-
Ребят, подскажите, почему может отвалиться DDL ON CLUSTER? Ранее работало исправно, теперь упорно не понимает имя БД из префикса таблицы (падают как ALTER, так и CREATE ... ON CLUSTER)
-
ближайший похожий кейс похож на наш:
https://github.com/ClickHouse/ClickHouse/issues/18755database xxx doesn't exist, but xxx is my table name not db name · Issue #18755 · ClickHouse/ClickHousethe log 2021.01.05 09:37:37.183262 [ 891 ] {} <Error> DynamicQueryHandler: Code: 81, e.displayText() = DB::Exception: Database xxx doesn't exist, Stack trace (when copying thi...
-
Переписал MV на FROM *_replicated TO *_replicated — поведение такое же. Ошибка на месте. Записал себе переписать все MVs но с решением этой описанной проблемы это не помогло к сожалению. Пробуем остальное, что посоветовали в чате.Kirill Markin in ClickHouse не тормозит
Доброе утро! У меня после определенного количества полей в materialized view select через sumMerge в агрегированной таблице начинает выдавать значение больше, чем sum по сырым данным. Это доходит до +100% (x2), но дальше не растет. Я могу прямо менять количество полей и получать разные значения в sumMerge. От полностью совпадающего с sum по сырым данным (меньше полей в MV или меньше записей при вставке) до x2 от сырых данных. Есть идеи, что я делаю не так и как избежать такого поведения? Даже отсутствие данных, если MV слишком долго отрабатывает было бы безопаснее в моем случае, чем увеличение значений до x2 от верных. Сижу с задачей уже дня 3, в личке помучал уже несколько человек, пока не получилось исправить или понять как это работает Все детали описал во вложенном .md файле с примерами запросов, настройками и так далее Подскажите на что еще посмотреть, пожалуйста
-
полный ассортимент способов дедубликации данных описан тут - https://kb.altinity.com/altinity-kb-schema-design/row-level-deduplication/
Самый очевидный как тут выше писали - это ReplacingMT/final/do_not_merge_across_partitions с правильно подобранным партиционированием. Это уже не так "много работы" как group by/argMax по всей таблице. Еще можно добавить переодический optimize final settings optimize_skip_merged_partitions=1 - возможно запросы станут чуть быстрее.
Но и остальные варианты тоже могут пригодиться.ClickHouse row-level deduplicationClickHouse row-level deduplication.
-
так вроде как самый ценный совет был от Денни - поменяйте версию, у вас совсем плохая
-
а вы как инсерты делаете?
у вас бекенд повторяет инсерты при ошибках?
есть вообще ошибки вставки? -
У нас на всех серверах оно не указано (default = false)
А как надо? И почему? (доки про это почитал, но хочется до конца понять) Кажется что false логичнее и то что нам надо, нет? -
покажите трейс ошибки
-
Ага, попробуем!
-
конечно true должно быть.
у вас Distributed таблица делает двойную вставку -
internal_replication=true значит что внизу Replicated и она сама internally будет делать репликацию
при internal_replication=false — репликацию делает Distributed (она пишет копию во все реплики) -
В КХ есть две репликации. Детская -- через distributed и настоящая -- через replicated. У вас сейчас обе сразу работают, детская <internal_replication>false , вам дублирует инсерты во все реплики, а потом настроящая снова дублирует, но вам везет что у вас не дублируются записи пока
короче если используете Replicated то internal_replication=true, без обсуждения. -
Сервисы пишут в кафку, консьюмеры берут из кафки вставляют в *_disctributed таблицы пачками по ~35000 записей
-
Интересно! А почему тогда у меня сырые данные не дублируются?
-
вам везед, дедупликация вставки работает
-
Блин! Прикольно
-
Интересно! Сейчас будем колдовать
-
https://pastila.nl/?02615aeb/195be853fc06e46193ed0c2b93e7ad85 - загрузил вот сюда
-
покажите
select name,value from system.settings where name like 'remote_filesystem%'; -
SELECT
name,
value
FROM system.settings
WHERE name LIKE 'remote_filesystem%'
Query id: 6d646d6f-eefd-42ac-b0d2-eb1603c55124
┌─name────────────────────────────┬─value──────┐
│ remote_filesystem_read_method │ threadpool │
│ remote_filesystem_read_prefetch │ 1 │
└─────────────────────────────────┴────────────┘ -
Поменял, но не могу найти как проверить подтянулось ли и надо ли ребутать. Смотрю на данные. Если не поможет — пойду перезагружать машины.
-
Сработало! Спасибо большое! Все сходится теперь! Мы уже несколько дней с эти мучались! Спасибо!
-
перечитал исходники Clickhouse, нашёл только одно место (https://github.com/ClickHouse/ClickHouse/blob/c0d1be9caba894a86900adaeaea8ad96e110bd73/src/Interpreters/DatabaseCatalog.cpp), откуда может генериться этот эксепшн, но всё равно не понимаю логики:
1. DDL ON CLUSTER проходят
2. но лог сервера и CLI сыпят ошибками code 81ClickHouse/DatabaseCatalog.cpp at c0d1be9caba894a86900adaeaea8ad96e110bd73 · ClickHouse/ClickHouseClickHouse® is a free analytics DBMS for big data. Contribute to ClickHouse/ClickHouse development by creating an account on GitHub.
-
перечитал ваше исходное сообщение ничего не понятно.
>понимает имя БД из префикса таблицы
что такое имя бд?
картинки не надо использовать, их никто не смотрит и все ненавидят
используйте https://pastila.nl , вставьте там текст и ссыку киньте в чат -
Спасибо!
- имя базы данных local
- сам запрос на раскидывание таблички по репликам работал ранее полтора года до рестарта одной из реплик (clickhouse2) https://pastila.nl/?10257daa/96819aff55d74418c5b25bb870a824fc
- CLI рождает такую ошибку https://pastila.nl/?237c1f67/96ec6265608e38b237063a6469d3f4e9
- стектрейс с второго узла CH (clickhouse2) https://pastila.nl/?0273f848/9618f297e0fa185c5de126799978b0e2
- если создавать таблицы на двух репликах отдельно в два запроса, то все DML реплицируются успешно -
объясните что это такое
DB::Exception:
Database local doesn't exist (version 20.8.3.18)
(version 21.2.4.6 (official build))
, server ClickHouseNode [uri=http://clickhouse1:8123/default,
чем вы запускаете запрос? почему :8123
и почему 21.2.4.6 и 20.8.3.18 ? -
покажите со второго сервера
select version()
show databases like '%local%' -
попробуйте помогает или нет (как тест, это ничего не сломает)
cat /etc/clickhouse-server/users.d/remote_filesystem.xml
<?xml version="1.0" ?>
<clickhouse>
<profiles>
<default>
<remote_filesystem_read_method>read</remote_filesystem_read_method>
<remote_filesystem_read_prefetch>0</remote_filesystem_read_prefetch>
</default>
</profiles>
</clickhouse> -
- запрос уходит из clickhouse.jdbc.ClickHouseDriver (мой локальный dbeaver -» HTTP API сервера clickhouse, 8123)
- тот же запрос, отправленный сlickhouse-client (20.8.3.18) https://pastila.nl/?140acfa1/182f431954030d05c061e2dcd626e43b
- завершается той же ошибкой 81 https://pastila.nl/?05ffe57a/94e8594bbebe615f7299a3e9a709e467
- версия сервера 21.2.4.6 (пока не можем обновиться)
- select version() https://pastila.nl/?62e3cc5e/1e8bf6bc09b94c1976e79a68554e067b
- show databases на сбоящем втором сервере: https://pastila.nl/?02f589a7/25c95a90f24c7242ac9dd4957b06f461
SIC! В анамнезе 4 дня назад случился рестарт узла clickhouse2, после чего отвалились ON CLUSTER DDL, до рестарта работало исправно 🤨 -
SELECT
[1, 1, 1, 1, 5] AS a,
arrayReduce('median', a)
Query id: 29337a33-eab4-407a-b084-c3f4a06cb4be
┌─a───────────┬─arrayReduce('median', [1, 1, 1, 1, 5])─┐
│ [1,1,1,1,5] │ 1 │
└─────────────┴────────────────────────────────────────┘ -
какая-то полная хрень, ну 100% у вас один из серверов 20.8
select host_name, host_address, port from system.clusters where cluster = '....';
возможно два КХ запущено -
сам офигеваю.
- https://pastila.nl/?0b356cb7/47ac2d14fc5ea24c0b6367ea3003ed0c
- Сам клик из docker-образа, всего два контейнера на двух машинах - https://pastila.nl/?0b9857d4/83ba5cda99cd9d86b0dc7b304db98cb5
Подскажите (читал-читал и не нашёл), пожалуйста. В скобках эксепшнов (version 20.8.3.18) логгер не указывает клиент, только версию-билд сервера?
Меня это тоже смущает -
покажите
select FQDN(), materialize(uptime()), materialize(version()) from clusterAllReplicas('my_cluster', system.one) -
Спасибо!!!
Якого-то хрена в доставшейся мне на попечение инсталляции кроме контейнеризованных инстансов CH, на втором узле (clickhouse2) откуда ни возьмись 4 дня назад запустился бинарь сервера 20.8.3.18 на хосте, хотя его ни в стартап скриптах, ни в systemd юнитах нету, а сам сервер уже как 1.1 год не перезагружался -
/etc/cron.d/clickhouse
-
Уважаемые коллеги, а в Clickhouse есть оконные функции, ну как в Postresql, т. е. типа row_number() over() ? -
Window Functions | ClickHouse Docs
ClickHouse supports the standard grammar for defining windows and window functions. The following features are currently supported:
-
Спасибо. Ушел грызть. 🥲
-
добрый день
пытаюсь собрать количество созданных транзакций и количество завершившихся в течении 5 минут после создания
беру для каждой записи делаю оконку с поиском минимальной даты в последующих строках
но нужно
1. оставить в выборке только дату и идентификатор создания
2. далее предполагается поверх посчитать уникальные идентификаторы и уложившиеся в 5 мину
Можно ли это сделать одним проходом с помощью Merge?
пример тут
https://fiddle.clickhouse.com/3849257e-0c2c-4984-96cd-173a5d0d26ec -
Подскажите, пожалуйста, есть ли какой-то более простой способ делать rewind для таблицы с ENGINE=kafka, чем:
1. detach
2. запуск kafka-consumer-groups
3. attach -
без Мерджей
https://fiddle.clickhouse.com/a26a088e-e01b-47e8-87ae-1fd4f21f6db4 -
update в версии 21.8 не должен работать. Вы её с 22.8 не перепутали?
-
нету
-
5 минут после текущей строки?
это делается с помощью range а не ROWS -
нету в КХ update.
есть alter table .... update
административная операция, очень тяжелая -
согласен, так правильнее
но как в условие пропихнуть 5 минут, а не как сейчас, искать минимум по рейнджу а потом сравнивать? -
можно ли в оконку
minIfOrNull(dt,status = 'delivered') over (PARTITION BY id ORDER by dt RANGE BETWEEN 1 FOLLOWING AND UNBOUNDED FOLLOWING) as delivered_t,
пропихнуть то что сейчас снуружи
if(delivered_t < (dt + toIntervalMinute(5)),1,0) as ok_id -
-
гуд, с BETWEEN 1 FOLLOWING
но можно (и стоит ли) обойтись без запихивания этого в подзапрос, который сделает
toDate(dt),
uniqExact(id),
length(ids)
…
Group by toDate(dt)
? -
а и правда даже для EmbeddedRocksDB не сделали стандартного синтаксиса, хотя для delete - сделали.
Я что-то про EmbeddedRocksDB подумал, только сегодня обсуждали как его приладить для мелких словариков вместо отдельного внешнего mysql. -
-
-
rажется так красивее
minIfOrNull(dt,status = 'delivered') over (PARTITION BY id ORDER by dt ROWS BETWEEN 1 FOLLOWING AND UNBOUNDED FOLLOWING) as delivered_t, -
полностью так
-
-
так я еще и статус проверяю, вдруг прилетит тот же id но создание и только первое беру
-
но хочется сделать без ложенности запросов
-
как отсортировать массив? нужно отсортировать результат groupUniqArray для arrayStringConcat
-
arraySort ?
-
то что надо! благодарю!
-
В Click House можно сделать поиск String не зависимым от регистра?
-
ilike
-
Как и везде, изменитьрегистр на однозначный :))
-
match(lower(src),regexp)
-
не совсем как везде. в Sybase IQ в SQL в WHERE для полей VARCHAR можно не заморачиваться с регистром
-
это понятно
-
ilike лучшее решение
-
Ещё вариант написать свою функцию, для лаконичности
-
:))
-
названия таблиц полей тоже воспринимает с учетом регистра. нельзя отключить настройками никак?
