А как получить
ch-bench-rust 1,44s user 0,77s system 108% cpu 2,033 total
?
- 01 January 2022 (38 messages)
-
-
Я на чистой машине установил cargo и git, скомпилировал в --release и получается опять следующее:
~/ch-bench/ch-bench-rust # time ./target/release/ch-bench-rust
Rows: 500000000
real 0m31,700s
user 0m30,641s
sys 0m1,092s -
"Intel(R) Core(TM) i5-4570 CPU @ 3.20GHz"
linux 5.11.0-43-generic
cargo build —release
time target/release/ch-bench-rust
Rows: 500000000
target/release/ch-bench-rust 1,12s user 0,67s system 109% cpu 1,634 total
time ./ch-bench-faster
1.062s 500000000 rows 4.0 GB 3.8 GB/s
./ch-bench-faster 0,23s user 0,53s system 70% cpu 1,068 total
Rust драйвер достаточно неплохо написан, так что тут ничего удивительного нет. Думаю, что на запись он тоже не плох, исторически пользуемся Go либой на запись и ее пока хватает, когда упремся будем смотреть на Rust -
Лови Растамана! -
Может дело в Intel/AMD, магия какая-то
-
А зачем смотреть на раст если гошный драйвер немного быстрее?)
-
AMD Ryzen 9 5950X
-
Сейчас возьму виртуалку с Intel и попробую всё таки воспроизвести
Я почитал растовый драйвер и он написан так же, как и наш гошный, так что отличий в производительности не должно быть -
Действительно, на Intel раст работает лучше, чем на AMD:
$ time ch-bench-rust
Rows: 500000000
real 0m7.108s
user 0m6.284s
sys 0m0.850s
$ ch-bench-faster
1.42s 500000000 rows 4.0 GB 2.8 GB/s -
root@intel-bench:~# hyperfine ch-bench-rust ch-bench-faster
Benchmark 1: ch-bench-rust
Time (mean ± σ): 5.309 s ± 1.845 s [User: 4.852 s, System: 0.727 s]
Range (min … max): 2.055 s … 8.683 s 10 runs
Benchmark 2: ch-bench-faster
Time (mean ± σ): 1.435 s ± 0.138 s [User: 0.364 s, System: 0.767 s]
Range (min … max): 1.122 s … 1.588 s 10 runs
Summary
'ch-bench-faster' ran
3.70 ± 1.33 times faster than 'ch-bench-rust'
UPD: на EPYC
hyperfine ch-bench-rust ch-bench-faster
Benchmark 1: ch-bench-rust
Time (mean ± σ): 3.949 s ± 1.324 s [User: 2.133 s, System: 2.188 s]
Range (min … max): 2.672 s … 6.198 s 10 runs
Benchmark 2: ch-bench-faster
Time (mean ± σ): 2.020 s ± 0.091 s [User: 0.348 s, System: 1.399 s]
Range (min … max): 1.893 s … 2.225 s 10 runs
Summary
'ch-bench-faster' ran
1.95 ± 0.66 times faster than 'ch-bench-rust'
Прикольно растовый код работает конечно, каждый раз сюрприз -
вариативность интригует ночень -
RUSTFLAGS="-C target-cpu=native" cargo build --offline --locked --release
На AMD Ryzen 9 5950X собирал вот так еще, не помогло -
Почему-то компилятор особенно хейтит 5950x, на эпиках всё более-менее хорошо
-
Я проверял на двух машинах 5950x c одинаковым результатом
-
Так aocc попробуйте, он под амд оптимизирует. Или хотябы -march=znver3 -
Известно же давно, что в большинстве компиляторов дефолтные оптимизации под интел.
-
Я эту магию не знаю как для раста применить, не умею вообще в него
Если поможете написать команду cargo, то я попробую -
Почему-то гошный компилятор справляется с задачей не тормозить на райзене
-
Но там относительно ручная оптимизация и очень прямолинейный код
-
На запись совсем честный бенч у меня не получится сделать, т.к. в оф. драйвере совмещена сериализация и наполнение данных.
Но если взять CREATE TABLE test_table (id UInt64) ENGINE = Null:
947ms 500000000 rows 4.0 GB 4.2 GB/s
vs
4.057s 500000000 rows 4.0 GB 986 MB/s
hyperfine:
hyperfine ch-write-bench-official ch-write-bench-faster
Benchmark 1: ch-write-bench-official
Time (mean ± σ): 3.998 s ± 0.109 s [User: 2.767 s, System: 1.244 s]
Range (min … max): 3.902 s … 4.228 s 10 runs
Benchmark 2: ch-write-bench-faster
Time (mean ± σ): 1.103 s ± 0.166 s [User: 0.399 s, System: 0.559 s]
Range (min … max): 0.874 s … 1.379 s 10 runs
Summary
'ch-write-bench-faster' ran
3.62 ± 0.56 times faster than 'ch-write-bench-official'
Т.е. на сериализацию разница есть, её не может не быть. -
Ага, я посмотрел бенчмарки, вы их с какой целью делаете?)) Если чтоб просто сделать таблицу с тестами - норм, но вы сравниваете разное и получаете, внезапно, разные результаты. У вас сериализация ровно такая же как и в любой другой реализации нативного протокола на Go, так что особой разницы +- вы не увидите. Есть оверхед на интерфейс совместимости с database/sql, но в плане записи он не сильно критичен, а на чтение оно и не особо нужно в перфомансе (за очень редким исключением). Те в плане бенчмарков можно поставить точку. В том что у вас есть описание нативного формата это огромный плюс для всех, в том числе и для реализции новых драйверов (не все хотят код КХ для этого читать). Думаю, если она повится в каком-то читабельном виде, то ее можно будет поместить на https://clickhouse.com/. Если нужна помощь с техписами, то, при наличии доки, ее можно будет тут найти, и ее помогут превратить в читабельный формат.
Дальше нужно чтоб API у библиотеки был юзабельным, с этим нужно работать, сейчас у вас просто кусок кода который позволяет создать блок с данными и позволяет его пушнуть на сервер. Этим не удобно пользоваться, у database/sql отличный интерфейс, но реализация сильно так себе, можно его и принять за основу. Хороший пример pgx (https://github.com/jackc/pgx) -
Я делаю бенчмарки на оверхед клиента. У нас получилось свести его в ноль благодаря оптимальной архитектуре.
У меня сериализация не такая же как и в любой другой реализации нативного протокола на Go, так как там используется прямая работа с памятью, как и в Rust. Если бы вы посмотрели код, для вас это было бы очевидно.
На микробенчмарках она выигрывает в 60-100 раз, на практике, конечно, все упирается в другое.
По поводу эргономики: не уверен, что блочная вставка через оф. клиент и через ch отличается, тут скорее удобнее с ch работать (на мой вкус). -
https://github.com/go-faster/ch/pull/11
Вот тут можно посмотреть, насколько сериализация отличается. Там как раз результаты benchstat в шапке:
ColFixedStr_EncodeColumn-32 72.5GB/s ± 2% 72.9GB/s ± 0% ~ (p=0.310 n=5+5)
ColFloat32_EncodeColumn-32 6.73GB/s ± 2% 67.61GB/s ± 1% +904.19% (p=0.008 n=5+5)
ColFloat64_EncodeColumn-32 11.2GB/s ± 2% 70.3GB/s ± 0% +525.84% (p=0.008 n=5+5)
ColInt128_EncodeColumn-32 6.57GB/s ± 2% 70.54GB/s ± 1% +974.23% (p=0.008 n=5+5)
ColInt16_EncodeColumn-32 2.98GB/s ± 2% 61.46GB/s ± 1% +1963.38% (p=0.008 n=5+5)
ColInt256_EncodeColumn-32 10.3GB/s ± 5% 46.6GB/s ± 1% +350.56% (p=0.008 n=5+5)
ColInt32_EncodeColumn-32 5.80GB/s ± 2% 67.62GB/s ± 2% +1065.42% (p=0.008 n=5+5)
ColInt64_EncodeColumn-32 11.2GB/s ± 1% 70.2GB/s ± 1% +524.41% (p=0.008 n=5+5)
ColInt8_EncodeColumn-32 1.88GB/s ± 5% 54.23GB/s ± 1% +2778.57% (p=0.008 n=5+5)feat(proto): optimize encoding by ernado · Pull Request #11 · go-faster/chname old time/op new time/op delta ColBool_Raw_EncodeColumn-32 701ns ± 1% 702ns ± 0% ~ (p=0.635 n=5+5) ClientHello_Encode-32 34.5ns ...
-
Но и без этой оптимизации наша имплементация быстрее благодаря более аккуратной работе с BCE.
-
Вообще изначально я радовался новым фичам в клиенте (типа DateTime64, open telemetry, проброс прогресса/логов/событий профайлера с сервера), а скорость это так, побочный продукт уже, мы просто увидели что можно ещё быстрее сделать
Допишу доки, насчёт API как раз думаю, как его улучшить. Дженерики тут сильно помогут для всяких сложных вещей вроде Low cardinality, Map, Nullable, Array и т.д. -
Да, дженерики неплохая штука, ровно как и кодогенерация для типов, можно будет и в clickhouse-go добавить. Кстати, @alexanderzaitsev вы не нашли человека чтоб clickhouse-go мейнтейнил, там есть пул задач, где-то на месяц-два, чтоб привести его в порядок )
-
Мы не искали, но как раз в этом году появляется задача, где можно допилить драйвер тоже -
Я почему-то помню, что вы его тоже хотели поддерживать) Нам тоже нужно, чтоб новые типы он поддерживал и есть мысли или добавить в то что есть или обновить его полностью и выкинуть старые костыли
-
Если что, я буду рад скооперироваться и дать права мейнтейнера на go-faster/ch, так что пишите, если это будет интересно. Не хочется дублировать усилия.
Думал чуть позже сделать обёртку над database/sql с возможностью когда надо спускаться на уровень ниже. -
А так не получится, к сожалению, clickhouse-go нужно поддерживать. Тут, скорее, в обратную сторону лучше;)
-
Я изначально думал так сделать, но некоторые вещи без сильной архитектурной переделки не получилось завести.
-
Возможно имеет смысл в clickhouse-go разработать высокоуровневый слой над ch, обратно совместимо для database/sql это возможно сделать.
Но это уже не мне решать, наверное. go-faster/ch я в любом случае буду поддерживать, он используется в довольно критичных местах. -
Я на днях посмотрю как лучше будет сделать, в любом случае реализацию недостающих типов мы подрежем в go-faster)
- 02 January 2022 (32 messages)
-
engine = PostgreSQL - это не полноценная таблица, а прокси, который делает запросы к pg по его протоколу. Она ничего не знает о событиях в pg.
Если вам нужны именно события, то ваш выбор MaterializedPostgreSQL. Там все иначе - КХ работает членом pg кластера и получает апдейты через WAL. Тут есть шанс применить MV -
О, materializedpsql убрали тег experimental. -
И я бы задался вопросом, какие изменения. Т к materialized view только про инсерты
-
я пока не пробовал - самому интересно что там будет прилетать (и будет ли вобще тригериться MV). но по задумке там скорее всего можно и апдейты получить. Это же WAL, который транслируется в события для ArrgeratingMT. Так что некоторые инсерты будут похожи на апдейты :)
-
You can change option <timezone>Europe/Moscow</timezone> in confg.xml if you have access to it. -
На английском более полная, чем на русском.
-
Бывает и на китайском больше описано. Например про bitmap -
ClickHouse
ClickHouse DBMS discuss and help
-
Total messages: 251896 -
На английском, но могут быть отличия в разных языках, так как приносят контрибьюторы.
И altinity документация очень полезная! -
Здравствуйте. Запустил по мануалу CH в докере на wsl2. Это нормальная постоянная загрузка ЦП?
-
А скок у вас цпу и какая версия кх -
Таблиц много?
-
asynchronous_metrics_update_period_s
flush_interval_milliseconds
https://github.com/ClickHouse/ClickHouse/issues/29053#issuecomment-921872518
ПопробуйтеSometimes got big iowait after upgrade to 21.8 · Issue #29053 · ClickHouse/ClickHouseprev version 21.3 current version 21.8 after upgrading sometimes get big cpu iowait time example: image try to set asynchronous_metrics_update_period_s=60 but its doesnt help
-
Я бы начал с docker status
А так же можно зайти внутрь и там htop, либо глянуть аналоги, которые в образе можно использовать
Далее почитать логи CH - 03 January 2022 (70 messages)
-
clickhouse - аналитическая СУБД, в которой нет ACID и нагрузка в 1k запросов в секунду считается высокой. Оставайтесь на mysql или переходите на postgress. Для транзакций.
Однако поток транзакций можно отвести в сторону, в другую базу, чтобы делать там аналитические запросы - запросы, которые затрагивают большое количество записей, например вычисление top100 самых активных кошельков за год. Такой запрос убьет mysql, а чтобы оно работало в postgress вам нужен очень продвинутый dba. Тут КХ вам поможет. Но не вместо транзакционной базы, а вместе с ней. Придется обслуживать два отдельных кластера. -
xtdb :) -
1000 tps это небольшая нагиузка для mysql
Для шардинга возьмите vitess.io
И не слушайте тех кто будет агитировпть за постгрю
Это просто пропаганда из зависти что Моську продали два раза -
а как шардирование дружит с атомарными транзакциями? -
Да, но не факт, что он serializable поддерживает? -
Я бы лично не рисковал использовать Vitess для денег, но я и не настоящий сварщик и вообще это же правда оффтопик
-
Есть ещё Citus (аналог Vitess на постгре), витес использовать не советовал бы, слишком уж там автофейловер сбоку сделан.
Как минимум нужно пару недель проверить как это себя все ведёт в эксплуатации, мы как раз витесс после такого и отбросили. -
Citus очень кривая штука, да и он для аналитики, хоть и не тянет. Сейчас нет столько денег, чтоб для них БД шардировать нужно было. Так что не стоит себе на ровном месте искать приключений. Умеете в MySQL - юзайте MySQL
-
А чем Citus очень кривой? Вроде Microsoft его как-то в своём облаке юзает. Можно где-то почитать о его кривости?
Для аналитики вроде больше Greenplum упоминают, в Citus есть колоночный движок, но я не знаю, насколько оно там всё хорошо работает, т.к. не пробовал.
Когда настолько везёт, что данные умещаются на один сервер, действительно лучше использовать один сервер.
Причем умещаются они даже у LetsEncrypt: https://letsencrypt.org/2021/01/21/next-gen-database-servers.html
Просто взяли сервера с 2ТБ памяти. -
Мы использовали Citus до clickhouse, потом мигрировали с 9 машин в одну и уменьшили время запросов пары минут до пары секунд, причем часть запросов на Citus не выполнялась никогда. При этом он часто валился, сбоил и разваливался.
-
Насколько я понимаю, под задачу нужна OLTP, а не OLAP, но опыт в принципе универсалный.
То что он разваливася и сбоил это грустно, мы в своем тесте так и не дошли до Citus, остановившись на монге (нам она как раз подошла под OLTP, но там не было вещей вроде биллинга).
У меня оставалась надежда, что хоть с Citus все более-менее нормально. -
Есть https://github.com/yugabyte/yugabyte-db. Они сильно интереснее чем Citus. Но шардированная реплицируемая БД с транзакциями это очень много компромиссов и зачастую это мало кому реально нужноGitHub - yugabyte/yugabyte-db: The high-performance distributed SQL database for global, internet-scale apps.
The high-performance distributed SQL database for global, internet-scale apps. - GitHub - yugabyte/yugabyte-db: The high-performance distributed SQL database for global, internet-scale apps.
-
Calvin использует FaunaDB, внутри YugaByte идеи Спаннера: http://dbmsmusings.blogspot.com/2018/09/newsql-database-systems-are-failing-to.htmlNewSQL database systems are failing to guarantee consistency, and I blame Spanner(Spanner vs. Calvin, Part 2) [TL;DR I wrote a post in 2017 that discussed Spanner vs. Calvin that focused on performance differences. Th...
-
Ну собственно также как и CockroachDB, TiDB и FoundationDB, хотя они все немного разные, и я лично ни одну из бы не юзал для денег :))
-
Всем привет. Кто-нибудь знает, поменялось ли что-то в поведении argMax и null. Т.е решение через argMax(tuple(x), y).1 вернет null, но это сильно замедляет работу запросов. Может кто знает как получить null без костылей. Приставка orNull отдает дефолты. -
Ну стоит отметить, что вроде цитус улучшали относительно недавно.
Но раньше он действительно был на любителя -
Две оконки
Одна считает кумулятивную сумму, вторая просто сумму по всем элементам.
В внешнем подзапросе сделать WHERE cum_sum < sum*percent -
а с какой версией цитуса работали? -
Не очень совет
Чем больше страница тем больше данных обрабатывается перед отдачей -
where id > xxx limit page_size
-
Насколько я помню с 5-й
-
Всех с новым годом!
Подскажите есть какие-то хорощие практики CH как бить запрос для большой вставки которая не влезает в память
INSERT INTO [db.]table [(c1, c2, c3)] SELECT ...
Результирующая таблица ReplicatedAggregatingMergeTree -
Performance | ClickHouse DocumentationPerformance According to internal testing results at Yandex, ClickHouse shows the best performance (both the highest thr
-
Это же про перворманс, обычные вставки нет проблем делать. Мне нужно большую таблицу пересобрать как-то
-
ну так делаете или таким же образом как обычные вставки, написав скрипт, или через buffer таблицы, или через дополнительные утилиты по типу clickhouse-bulk, емнип
-
если у вас это должно быть ровно один раз, то я б на вашем месте шел или в buffer таблицы, или скрипт простой запилил бы
-
Мне кажется вы мне маленько про противоположное. Мне не маленькие запросы нужно склеить, мне большой разбить. Вот как это сделать лучше не понятно, не с offset’ом же по запросу ходить
-
а что в select? Случайно не group by/join? Может там проблема?
-
GROUP BY messageId
-
я вам и говорю про решения проблемы с большим запросом вставки из одной таблицы в другую
-
какие могут быть в вашем случае, чтобы с offset не ходить
-
Так а как там buffer и ch-bulk взяжутся, может я чего-то не понимаю
-
Вставлять данные без группировки и ждать когда их схлопнет разве хорошая идея?
-
попробуйте
set max_bytes_before_external_group_by='4G'
max_threads=1
а buffer тут конечно ничем не поможет. -
запись просядет
-
мы ж не знаем надо проседание записи или нет)
-
и он получит считай запись из одной таблицы в другую до нескольких суток :)
-
хотя если устроит это решение проблемы - то ок
-
что значит просядет? Как я понимаю, человеку надо 1 раз перегнать таблицу. Тут без вариантов - или память добавлять или кусками, или по простому - через диск. Если за ночь справится - я бы так и оставил
-
ну или да - если там много ярдов-терабайт в таблице, то написать скрипт с выборкой по месяцам/годам (или что там ещё в order by) - будет быстрее.
-
мы не знаем сколько весит изначальная таблица, сколько оперативки у него на машине, поэтому тут очень много вариантов решения проблем, но каждая со своими изъянами :)
-
Да похоже то что нужно, спасибо
-
Еще один уточняющий вопрос, зачем здесь max_threads=1
-
КХ обычно читает в несколько тредов (вроде 8?) каждый тред жрет память, меньше тредов - меньше памяти занимает. Но медленнее. Экспериментируйте.
-
Все благодаря мистеру Фрэнку Стивену, который научил меня, как зарабатывать прибыль с небольшим капиталом в 650 евро. Я получил обратно 12500 евро всего за 48 часов торговли. Свяжитесь с ним и поблагодарите меня позже, после получения прибыли. Нажмите на ссылку ниже, чтобы начать зарабатывать как можно скорее. как можно
https://t.me/+igRmPHZRhQdkZWE0 -
Примного благодарен 🙏
-
В новых версиях ок,
Кх там делать optimize_on_insert и схлопывает блоками по 1 млн строк -
Интересный вариант =)
Только нужно понимать на сколько батчей бить -
Спасибо и вам, тоже полезно
-
Привет! А никто под М1 в докере кх не запускал? ругается ё -
-
-
а он не должен быть aarch64? -
-
спасибо!
-
а в альтините прм образы как часто обновляются? хочется 21.11.5 , только самому собрать?
- 04 January 2022 (239 messages)
-
пупсики, как жизнь протекает в 2022-ом? ☺️ -
кидайте фотографии ладоней я вам погадаю
-
на стабильность ваших кластеров
-
блин 4 утра, а я какой то херней занимаюсь.... охх .... эххх...
-
лучше бы кто нибудь из магов сказал почему раст клиент так тормозит на райзене
вот реально загадка Жака Фреско -
мда уж -
Межядерные взаимодействия слишком велики, вестимо. Используйте третье поколение :)
Ну или проблема не в кукурузене -
Да остальные клиенты то нормально работают
-
Я думаю что дело в LLVM, но я не умею в раст и perf, я гошник
-
Ryzen 9 5950x вроде бы достаточно современный (может быть слишком?)
Надо бы попробовать nightly -
Ну дык это не удивительно. Вы бы если посмотрели бенчмарки старых поколений, то увидели бы много интересного - на каком нибудь условном Си, го и многих других он готов пошатать трубу интела, а как дело доходило до пэхэпе или пайтона - беда
-
Ну правда там просадка не супер сильная, но всё же явно видна
-
Вот как раз присадка очень сильная и это смущает
Чуть ли не в 20 раз -
О, тогда вряд-ли дело в кукурузене
-
Здравствуйте. Получаю unmerged парты через этот запрос. Целый день не было Инсертов . Но это цифра не уменьшается -
Одновременно точно не знаю этот запрос получает парты или партиции
-
Это дает 22К
-
а сколько надо? -
Интересно что: Целый 24 часа не было инсертов . Почему не уменьшились парты
-
Я имею ввиду парты. Они же удаляются после мерджа к партициям
-
Или я что то перепутал
-
У меня есть КХ из 4 шардов в кубере. Есть дистрибьютед таблица . Воркеры пишут постоянно в эту таблицу . За 24 часа примерно 4 миллиона инсерта . Папка этой дистрибьютед таблицы увеличивается очень быстро
-
отдельных инсертов или строк? нельзя делать 46 инсертов в секунду. Нужно делать 1 инсерт в 10 секунд. Или реже.
-
То есть каждые 10 секунд зделать батч инсерт ?
-
Там постоянно пишет : <Debug> MemoryTracker: Peak memory usage (for query): 4.05 MiB.
-
именно. Можете по простому воспользоваться engine = Buffer. Можете в своем коде буфферизировать, можете архитектурно что-то добавить типа кафки.
-
папка дистрибьютед таблицы уже выросло до 70гб .последний раз КХ не долго запустилась из за этого . Я удалил эту папку затем смог запустить инстанс
-
ничего удивительного при 46 rps по инсертам. "всегда так бывает".
-
А можно перед дистрибутед таблице поставить буфер таблицу? Сам с кх ещё не работал, но планирую начать в ближ время. -
Всем привет! А final намного медленнее чем под-запрос с "group by ID + argMax" делать в ReplacingMergeTree, или все же в последних версиях КХ мало разницы чувствуется на большом объеме данных? -
есть ещё один момент что я отключил воркеры . за 24 часа не было инсертов. но размер этой папки не уменьшилось
-
есть ли какой то лимит сколько инсертов должно быть в одном батче ?
-
вроде ускорили - проверяйте сами на своих данных. Более того, в последних версиях работает do_not_merge_across_partitions_select_final, что позволяет не заниматься дедубликацией на старых партициях.
-
пожалуйста скажите что это за папка ?
-
раньше было . я увеличил лимит до 3 тысяч
-
Да, но это требует значительных доработок приложения, а это проблема, особенно когда сразу нужен уникальный ключ записи, можно конечно самому генерить, но это все проблемно.
А почему буфер лучше не юзать? -
это внутри дистрибьютед таблицы
-
Так же интересно услышать о новой функциональности, которую недавно добавили, инсертить можно часто. Какие там минусы проблемы? Мне бы вставить, получить уник ключ и забыть, дальше работать в не блок режиме.
-
Да, Я щас подумал что наверно нет такого, слышал что нет уникальных ключей (изучаю пока)
-
ClickHouse v21.11 Released
We're continuing our monthly release cadence and blog updates at ClickHouse, Inc. The 21.11 release includes asynchronou
-
Да, Я в курсе, есть апдейт, но медленный
-
Ну и обещают улучшить, но не один конечно, но и не надо
-
Мы как замену эластика изучаем
-
Вот мне как раз интересно что бы не усложнять бек
-
Вы мягкое с тёплым путаете
-
OLAP и поисковой движок :)
-
Много букв, хранить попытки атак / скана ресурсов клиентов.
-
Я не путаю ничего
-
Мы юзаем эластик как олап базу
-
Что бы ссылаться из других таблиц
-
Не обязательно
-
А зачем тогда кх и эластик, когда для этого можно использовать с тем же успехом postgresql или mysql?
-
Нельзя, данных очень много и нужна быстрая выборка.
-
Нужно нормальное шардирование, а не как в пг
-
Что значит быстрая выборка? Вам надо статистику собирать по атакам?
-
Да, я понимаю, сгенерим сами, не проблема, просто сейчас думаю как проще прикрутить кх сбоку к имеющейся системе, что бы потом смотреть и развивать и мб когда то уехать с эластика.
-
Быстрая, это значит до секунды запрос к любым атакам клиента за месяц, например.
-
никто не знает ?
-
Мы так и сделаем, но без Кафки, есть фоновые воркеры которые пишут и очереди.
-
Много, разные клиенты, можно считать что сотни млн в месяц, в каждой может быть млны хитов (запросов), атака это "группа"
-
Мы так и планируем, в начале квартала начнем, пока думаем и изучаем.
-
Нет особо результатов, это уже результат, надо просто хранить и на лету делать разные аналит запросы. Щас в эластике как раз стараемся считать в потоке что бы потом быстро выбирать посчитанные, но это не хорошо, это не то.
-
Все что можно посчитать и сгруппировать уже
-
Мы понимаем, что можно считать считаем, нужна гибкость запросов, нужен кх, эластик не тянет, ну и руководство и мы хотим попробовать кх 😄
-
Такой вопрос ещё. Нужна возможность изменить Стейт записи (атаки, хита), типо удаленным отметить. Думал создать таблицу стейтов и джойнить, это ок или есть другой лучший подход?
-
Тут так не принято. В КХ вы делаете большую широкую таблицу, включая в нее все другие связанные таблицы. Посмотрите в документации на тип Nested и примеры таблиц яндекс аналитики. Это позволяет убрать большинство join и делать быстрые выборки и аггрегации. Обычный последовательный ID мешает построению распределенных систем.
-
Я понимаю, а что делать если через некоторое время, мне нужно свойство родительской записи (группы поменять), что делать? Апдейтить млрд записей? Вот я не хочу и хочу поменять одну строку. Джойнить особо не придется тк это грубо говоря папки и файлы и я просто выберу сначала папку, потом файлы.
-
если в режиме "посмотреть", то я бы сделал простенький ELT скрипт, который выкачивает данные из старой системы (джойнит их прямо в ней) и вставляет в КХ. Сразу делал бы широкую таблицу, и батчинг автоматически получится. Запустил бы раз в минуту по крону. А потом уже принимал решения про кафки и прочие.
-
Не получается. Есть запросы к сайту (грубо) и нужно их анализировать и хранить, они объединяются в лог группы.
-
тухлячок чот тут(
-
джойнить даже и не думайте. тут принято вставлять другую запись и как-то группировать. Смотрите на ReplacingMT & AggregatingMT
-
Мы ничего не ищем, мы работаем и решаем свои задачи. 😄
-
Да, Я читал про них, вообщем то я хотел сделать тоже самое, но руками, да видимо будем юзать их.
-
вставите новую версию. Не проблема. Тут основная идея - иммутабельность данных. У вас лежат данные, никогда не меняются, понихоньку накапливаются, вы по ним делаете выборки и отчеты. Одна из ключевых техник - дедубликация. Так и живем :)
-
Я это все знаю, знаю что такое аналитическая бд, имею большой опыт работы с бд и разработки.
-
Я читал все доки и представляю себе все это
-
Меня не ломает, просто опыта с кх нет ну и в основном опыт с олтп.
-
Я понимаю все особенности и не собираюсь идти со своим уставом, буду советоваться и изучать.
-
я не собирал эту систему с нуля - может быть до меня кто то подключил левый шард. Просто мне нужно знать что это за папка - удалить или оставить
-
Иногда, кстати, если очень нужны джойны и таблицы легко влезают в память, можно рассмотреть использование словарей
-
Или Join движка
-
Но для наилучшей производительности лучше делать так, как советуют и использовать ReplacingMergeTree или аналоги и иметь широкую таблицу со всей нужной инфой. Иногда это нецелесообразно, тогда смотрите совет про словари выше
-
в память не влезает SELECT
потому что видимо у вас там большой GROUP BY и ORDER BY в придачу?
если нет, то должно влезать
сколько у вас памяти? -
выглядит как output папка для distributed таблицы c данными которые не попали в сервер
-
вы в кубере пытаетесь запустить ваш кластер?
-
да кластер работает кубере
-
папка конкретно где находится?
полный путь покажите -
внутри его .bin файлы есть .последняя дата изменения этой папки 27 сентября
-
внутри папки дистрибьютед таблицы
-
data/{database name}/{table name}/
-
ну у вас 69 гигов не скинутых .bin файлов в distributed таблице, в underlying таблицу
в хост с названием
chi-clickhouse-digitalks-0-0
это имя kubernetes service -
этот файл есть у каждого шарда
-
расшарьте
SHOW CREATE TABLE {database name}/{table name} -
долго выполняется
-
можете на сервер зайти и посмотреть
/var/lib/clickhouse/medatata/dmp/event_logs.sql ? -
там DDL таблицы
-
-
SELECT create_table_query, hostName() h FROM cluster('all-sharded', system.tables) WHERE database='dmp' AND name=`event_logs_local
-
Локальные таблицы у меня MergeTree
-
CREATE TABLE dmp.event_logs_local (user_id UUID, pixel_id UUID, new_user UInt8, ip IPv4, time DateTime, headers String, browser String, browser_major String, os String, os_major String, device String, city String, city_id UInt64, country String, country_id UInt64, country_iso String, time_zone String, longitude Float64, latitude Float64, data String, page_url Nullable(String), view UInt8 DEFAULT 0) ENGINE = MergeTree PARTITION BY (pixel_id, toYYYYMMDD(time)) PRIMARY KEY cityHash64(user_id) ORDER BY cityHash64(user_id) SAMPLE BY cityHash64(user_id) SETTINGS index_granularity = 8192
-
не имею большого опыта с КХ . подскажите пожалуйста какие проблемы могут быть с таким партиционированием ? и по какому ключу лучше было бы это зделать ?
-
происходит то что описываете вы . некоторые шарды стартуютса очень медленно . SELECT запросы тоже медленно выполняются
если делать ALTER TABLE и менять PARTITION BY . тогда КХ будет заново партиционировать уже умеющие парты ? или это будет относиться к новым данным ? -
есть одно что - количество pixel_id не очень много . максимум 200
-
от сентября до сегодняшного числа . 2021.09.01 - 2022.01.04
-
понятно это спасибо большое
-
select count(*) from system.parts where active;
дает 22 917
это один из шардов . количество данных у них почти равно -
пароль для default пользователя не меняли?
-
кривая схема данных (кривой PARTITION BY)
и изменение константы вместо того чтобы понять что она значит...
сейчас у вас будет никакая производительность в итоге
судя по всему при вставке в distributed таблицу у вас ноды между собой не могут связаться для того чтобы в MergeTree таблицу данные передать...
у вас с одной ноды на другую с default пользователем позволяет коннектиться?
зайдите в контейнер kubectl exec -n clickhouse ... -- clickhouse-client -
-
не менял
-
SELECT у меня чаще бывают именно с условием pixel_id и с датой
-
зайдите внутрь pod
смотрите логи /var/log/clickhouse-server/clickhouse-server.log -
-
Други, тут такое дело. ПО ОЧЕНЬ НЕ ПРОВЕРЕННОЙ информации:
если запускать CH на амазоне то как будто на 10-15% медленнее работают запросы по сравнению если собрать CH из исходников грепнув clickhouse на clownseeds (или любое 10 символьное значение)
конспирологи спрашивают может ли быть такое что AWS тормозит специально. или это всё брихня? -
@milovidov_an такое возможно?
-
Type Conversion | ClickHouse Documentation
Type Conversion Functions Common Issues of Numeric Conversions When you convert a value from one to another data type, y
-
Очень маловероятно, но проверить просто.
Берете ec2 инстанс, собираете два билда и сравниваете скорость. -
вроде как конспиролог это проделал, я хотел мнение общества (сам я пользователь не админ)
-
Ну пусть этот конспиролог по этапам все действия распишет и создаст issue на github с результатами, тогда с этим уже можно будет работать.
Может он собрал с включенным AVX512, а в мастере вроде отключено
https://github.com/ClickHouse/ClickHouse/pull/30014add x86 feature avx2/avx512 support for accelerating filter operation by jinjunzh · Pull Request #30014 · ClickHouse/ClickHouseCo-authored-by: @vesslanjin jun.i.jin@intel.com Changelog category (leave one): Performance Improvement Changelog entry (a user-readable short description of the changes that goes to CHANGELOG.md...
-
так и форварду
-
чтобы давало +15%?
-
Test Baseline optimized perf improvement
Q1 14.13ms 12.40ms 12.2%
Q2 11.75ms 9.76ms 10.9% -
тут 2
-
AVX, AVX2, and Enhanced Networking are only available on instances launched with HVM AMIs.
-
Вроде все +- новые (не 10 лет которым) используют HVM AMI
-
пойду трясти конспиролога, пусть оформит
-
а прочему он по дефалту не включён если не секрет?
-
можно собрать версию КХ на максималках :D
-
AVX512 поддерживают только +-новые железки, те далеко не все инсталляции кх смогут использовать.
А автоматический "выбор" алгоритма не был реализован в том пр, поэтому выключили пока.
Плюс машины используемые в CI не умеют в AVX512
> Then we can introduce dynamic dispatching for this code. -
Это всё зделал предыдущий разраб . по user_id тоже делается выборка . как вы говорите это логично - буду попробовать заново создать таблицу перенести данные на него
-
это не реализуется на стадии пакетов?
-
да дата изменения папки именно последний раз был в сентябре
-
Это будет жуткий костыль, люди должны будут выбрать другой пакет и тд.
Все это можно сделать в коде, что бы автоматически работало.
Кое где это уже сделано: https://github.com/ClickHouse/ClickHouse/issues/1017FR: dynamic dispatch of SIMD algorithms to support AVX2/AVX512 · Issue #1017 · ClickHouse/ClickHouseI dived into the code and addressed some SSE optimizations. Well done guys, I appreciate that you delivered and shared such a greate AP system. And I found nothing about AVX optimizations, it is on...
-
в пакетах там разделение только по архитектурам разве нельзя сделать под все железки
-
Суть заключается в слове делать.
Кто то должен это сделать, пока таких желающих не нашлось, а у основной команды кх эта задача не самая приоритетная. -
печаль, приоритет
-
сверьте структуру distributed и mergetree таблицы
судя по всему она у вас не совпадает -
исправил это
-
ну ждите теперь, пока у вас ваши 69 гигов не вставленной даты разъедутся
-
user_dn_detection обычно нужен для Active Directory - там байндится пользователь по одному DN, а member в группе указан другой (основной) DN. Поэтому и есть этот шаг/функциональность.
Вы уверены, что это актуально для вашего сетапа? Как выглядить типичный bind DN, который вы используете? И как выглядят записи списка пользователей в группах? -
ну вот вместо того что в примере в документации:
<user_dn_detection>
<base_dn>CN=Users,DC=example,DC=com</base_dn>
<search_filter>(&(objectClass=user)(sAMAccountName={user_name}))</search_filter>
</user_dn_detection>
подставте свое:
<user_dn_detection>
<base_dn>OU=Developers Users,OU=Users,DC=local,DC=com</base_dn>
<search_filter>(&(objectClass=user)(sAMAccountName={user_name}))</search_filter>
</user_dn_detection> -
ну вот с таким конфигом должно сработать
-
ну да, значит надо user_dn детектить и подставлять,
-
ага
-
<search_filter>(&(objectClass=group)(member={user_dn}))</search_filter>
-
если оставить, он пытается сначала найти и собрать этот user_dn, и в процессе этого возникает ошибка, тогда и вся аутентификация завершается с ошибкой
-
если вы скопируете примеры из документации и только свои изменения внесете по минимуму - все должно сработать. если нет, значит детекшн user_dn возвращает ошибку. Можно тогда попробовать вручную выполнить ldap search идентичный тому, что делает clickhouse
-
попробую да, clownseeds это 10ть знаков замены clickhouse чтобы исключить случайную адресную оптимизацию при компиляции.
-
> я понимаю,что user_dn_detection находит DN для member по user_name
Не находит, а должен находить. Это вам нужно проверить. -
фейлится аутентификация скорее всего из-за ошибок на этом этапе.
-
где ошибка? лог есть?
-
есть лог AD сервера?
-
я не понимаю, там несколько фильтров
-
можно полную картину, того что есть, должно работать, но не работает?
-
с конфигами и логами
-
лучше даже в GitHub issues
-
-
Лог AD с запросами кликхауса
-
да, там будет видно какой запрос сделал clickhouse при этом user_dn detection, и каким был ответ
-
-
что если подставить вместо {user_dn} - заработает?
-
да (удалив секцию user_dn_detection)
-
ок, нужны логи AD
-
как менять таймауты КХ оператора ?
-
@BloodJazMan @unamedrus извиняюсь за беспокойство
-
В смысле выходные? В смысле ночь? У кого-то рабочий день и 21:26 например
-
Понял, извиняюсь -
а можно закрыть 9000 порт httpшный? -
Iptables, firewall, редирект - 05 January 2022 (83 messages)
-
Можно но не будут работать клиент программы
-
Кто может подсказать, как починить/убрать потребление памяти на сервере, которое фиксится перезагрузкой Clickhouse? (у меня памяти немного, и из-за этого некоторые данные перестают записываться) -
Но после перезагрузки ЦП в 100% нагружается
-
не надо их менять
сначала разберитесь что случиось и почему у во время реконсайла kind: ClickHouseInstallation, name: clickhouse исчез (вы его удалили?) -
он не httpшный
но если вы обратитесь по нему через HTTP протокол, вам вернется HTTP ответ что нибудь типа 400 bad request -
не много памяти это сколько?
-
как именно меряете что память отожралась?
-
если у вас отжирается Page Cache и Buffered то это нормальное поведение и ничего страшного в этом нет
если RSS
надо смотреть
у вас в целом запросы выдают какой нибудь Memory required ошибки? если нет, то нет повода для беспокойства -
40 гб примерно
-
после перезагрузки 2 гб освобождается
-
вы сейчас про оперативную память или про что вообще?
"примерно 40" это сколько?
и на остальные вопросы вы не ответили -
Добрый день
Подскажите пожалуйста
Хочу делать выборку с много-много строк в where in
Когда без особых настроек отправляю в Clickhouse он ругается, мол http request is too large
Как-то можно быстро и без боли замтавить CH принимать огромные запросы? -
потом эту таблицу грохнуть ?
в этом случае там также будет работать group by и order by ? -
можно попробовать group by WITH ROLLUP. Не факт что будет быстрее, но попробовать можно. По крайней мере будет компактнее в коде.
-
отправляйте временную таблицу через POST и сразу используйте её в запросе - https://clickhouse.com/docs/ru/engines/table-engines/special/external-data/Внешние данные для обработки запроса | Документация ClickHouse
Внешние данные для обработки запроса ClickHouse позволяет отправить на сервер данные, необходимые для обработки одного з
-
Спасибо за советы, буду проверять
-
-
всем привет
есть кластер СН из двух нод
на обеих нодах создана:
table A (...) engine = ReplicatedMT
на первой ноде есть таблица К() engine = KafkaEngine и MV для перекачки данных из K в A
есть желание создать table A_agg(...) engine = ReplicatedAggregatingMT,
которая будет заполняться с помощью
matview A_agg_mv to A_agg (...) from A
вопросы:
1. Правильно ли я понимаю, что необходимо и достаточно создавать A_agg_mv только на одной из нод?
2. Есть ли разница, на какой из нод его создавать? (на одной в A вставляет mv из KafkaEngine, на второй - механизм репликации) -
как делать выборку чтобы буффер таблица дала только данные размещенные в буффере не в related таблице ?
-
никак
при выборке из buffer выбираются данные из underlying таблицы -
А как узнать количество данных в буффере ? Мониторить инсерты ?
-
контейнер как стопаете?
-
вы параметры очистки буффера при создании создаете
какую проблему вы решаете?
Buffer теряет данные при рестарте, это by design
можно остановить INSERT
и сделать OPTIMIZE TABLE buffer_table
(есть шанс что это не просто игнор а данные флашнутся, но не уверен что работает в новых версиях) -
А почему тогда бы не использовать стандартный docker контейнер ?
-
Windows ?
-
sudo docker run -d --restart=always --name clickhouse_1 \
--ulimit nofile=262144:262144 \
-p 0.0.0.0:8123:8123 -p 0.0.0.0:9000:9000 \
-v путь/log:/var/log/clickhouse-server \
-v путь/data:/var/lib/clickhouse \
-v путь/users.xml:/etc/clickhouse-server/users.xml \
-v путь/config.xml:/etc/clickhouse-server/config.xml \
yandex/clickhouse-server -
вообще то что вы показали, это не ошибка а просто information
смотрите логи дальше в ./data/clickhouse/logs -
и вот он не стартует
-
ClickHouse init process failed.
что у вас вот в этом файле написано?
- ./sql/clickhouse/init.sql:/docker-entrypoint-initdb.d/init.sql -
Не смотрел в файл но может сделать IF NOT EXISTS ?) -
Файл инит запускается при каждом рестарте
-
а кто будет делать
CREATE DATABASE IF NOT EXIST Audit ? -
Кластер КХ из 4 шардов деплойен на кубере через оператор .
SELECT
host_name,
host_address
FROM system.clusters
дает этот результат.
проблема: каждый шард видит свой IP как 127.0.0.1 -
Это нормально, а в чем у вас проблема
-
Проблема возникает когда выполняется Distributed DDL - отдаёт таймаут
-
помимо этого есть 3 ноды zookeeper
-
SELECT
host_name,
host_address,
is_local
FROM system.clusters -
А вот так что покажет?
-
-
но запрос выполняется на всех шардах . проблема в основном в этом
-
There are N unfinished hosts (0 of them are currently active).
"There are N unfinished hosts (0 of them are currently active)."
-
читал, это не решает проблему
-
initialization proccess failed
осталось понять почему
очень странно что у вас clickhouse-server.err.log пустой
не должно такого быть
у вас какая хостовая операционная система? windows ? -
возможно проблема в том что вы volume пробрасываете
для данных
и это все создается через 9p
попробуйте volume для данных не пробрасывать и закоментарить вот это
- ./data/clickhouse:/var/lib/clickhouse
- ./data/clickhouse/shm:/dev/shm -
что уж
-
добавьте
environment:
CLICKHOUSE_DO_NOT_CHOWN: 1 -
shm уберите, оно вам вообще не нужно...
-
знакомлюсь кста -
кликхаус с тремя нодами настроишь? -
даш кредитку, она тебе и гео-распределенный-high-availability сделает =)
-
уверен? :))))))))
-
Лучше переписать запрос (-ы) так чтобы подзапросом выбиралось с удаленных машин - совсем выключить эквивалент положить сеть и всегда сканить всё - 06 January 2022 (95 messages)
-
Привет! А какой статус у GRPC интерфейса в Clickhouse, уже Stable ? -
да -
Joined. -
А если в подзапрос фиктивный лимит?
Если не поможет - то группировка и парамка что-то типа distributed_group_by_no_merge
Ну и с обратной стороны можно зайти - сначала из дикта выковырять ид, и подставить инлайном в global in (...) - если рациональное количество конечно. -
Подскажите, а как добавить колонку в MatView в БД с Atomic движком? С движком Ordinary это работает, а с Atomic -- нет. Версия ClickHouse — 21.12.3.32.
:) create database test_atomic ENGINE = Atomic;
0 rows in set. Elapsed: 0.003 sec.
:) use test_atomic;
USE test_atomic
0 rows in set. Elapsed: 0.001 sec.
:) CREATE TABLE test (date Date, hour Int8, x Int32) Engine = MergeTree ORDER BY tuple();
Ok.
0 rows in set. Elapsed: 0.005 sec.
:) CREATE MATERIALIZED VIEW mv (date Date, x Int32) ENGINE = SummingMergeTree() ORDER BY tuple() AS SELECT date, sum(x) AS x FROM test GROUP BY date;
Ok.
0 rows in set. Elapsed: 0.009 sec.
:) DETACH VIEW mv;
DETACH VIEW mv
Ok.
0 rows in set. Elapsed: 0.001 sec.
:) show tables
SHOW TABLES
┌─name───────────────────────────────────────────┐
│ .inner_id.21030636-49a4-462c-a103-063649a4262c │
│ test │
└────────────────────────────────────────────────┘
2 rows in set. Elapsed: 0.002 sec.
:) ALTER TABLE ".inner_id.21030636-49a4-462c-a103-063649a4262c" ADD COLUMN y Int32;
Ok.
0 rows in set. Elapsed: 0.004 sec.
:) ATTACH MATERIALIZED VIEW mv (date Date, x Int32, y Int32) ENGINE = SummingMergeTree() ORDER BY tuple() AS SELECT date, sum(x) AS x, 1 AS y FROM test GROUP BY date;
0 rows in set. Elapsed: 0.001 sec.
Received exception from server (version 21.12.3):
Code: 80. DB::Exception: Received from localhost:9000. DB::Exception: Incorrect ATTACH TABLE query for Atomic database engine. Use one of the following queries instead:
1. ATTACH TABLE mv;
2. CREATE TABLE mv <table definition>;
3. ATTACH TABLE mv FROM '/path/to/data/' <table definition>;
4. ATTACH TABLE mv UUID '<uuid>' <table definition>;. (INCORRECT_QUERY) -
Подскажите плз, проекции уже можно на продакшн использовать или то, что мы не напоролись на ошибки в тестах еще не означает, что все гладко? -
В целом можно, автор проекций уже с ~апреля использует в продакшене и в целом отзывчиво фиксит баги
-
Звучит многообещающе, спасибо!
-
А clickhouse-keeper уже тоже достаточно предсказуем?
-
В целом pre-production, но некоторые уже используют в проде пару месяцев.
Наверное через пару месяцев выкатят как продакшен фичу.
А вы новый кластер поднимаете? -
да, переезжаем на новый кластер, с параллельным изменением схем данных, поэтому хочется по-максимуму отбросить рудименты и пересмотреть часть логики
-
лучше всего делать MV вместе с TO dst_table
потом DETACH MATERIALIZED VIEW + ALTER TABLE dst_table ADD COLUMN
и потом делать CREATE OR REPLACE MATERIALIZED VIEW -
Ну если новый, то можете пробовать clickhouse-keeper думаю
-
Array(UInt64)?
-
можно ещё отсортировать как сам массив, так и колонку
-
без этого сильно лучше вряд ли будет
-
с хранением рандомных циферок всегда тяжело (а судя по жирности колонки они там рандомные)
-
Мр, а какая версич
-
В целом не отличается для варианта с 1 диском
-
groupBitmap но тут сложно, может и не поможет
-
Метадата в одном месть
-
В общем просто сделайте
Alter table xxx Attach partition from -
Для всех партиций
-
Да, не умеет
-
Ручками в remote servers прописываете
-
Ну уже сделали автодискавери, так что не за горами все
-
OLAP и OLTP обычно это сильно разные задачи, и если КХ Вам не подходит, возможно у Вас просто OLTP задача
-
Это вроде коммерческая фича КХ ?
-
Но я не шарю
-
Репликация в КХ вроде автоматическая все же :)
-
изменение движка таблицы
-
ну а причем тут репликация? -
ну так КХ хранит, для пользователя это прозрачно (пока жив ЗК)
-
Такие вообще есть разве?
-
не в курсе
-
Значит я это придумал. Со мной бывает
-
мда уж
-
Ее вообще нет и не было.
-
про внутреннюю эмм
-
df -H
-
и график есть
-
слева - предел, память очистилась когда clickhouse был перезапущен
-
А какая версия клика? -
Мы когда обновились до последней стабильной версии проблемы с памятью ушли
-
Если только 10к то зачем uint64? Есть способ уменьшить, скажем, до uint16? Вообще мы хранили в массивах до нескольких миллионов уникальных значений. Проблемы были, но больше с тем, что в одной записи значений могло быть много
-
У вас там какие-то строки были изначально? С кардинальностью 10к? выкидывайте xxhash и отдайте в КХ "работу со справочниками" - Array(LowCardinality(String))
-
Ну так сделайте Tuple(LowCardinality(String), String) - отличия от Map при хранении невелики, если понадобится - соберете в Map прямо в рамках select
-
Скоро будет
-
Map поддерживает разве LowCardinality(String) в качестве K?
-
А, да
-
Условно, map это некоторый "сахар" над двумя массивами: ключи и значения. В КХ нет и невозможны индексы в классическом их понимании из-за объема хранящихся данных и особенностей хранения (блоками). Те всегда читаем много и, относительно, oltp - долго.
-
Теоретически наверное можно было хранить блок с Map в другой структуре данных, но не факт что это было бы быстрее чем сейчас
-
Там все плохо с типами которые появились в последние 3-и года. Еще легаси много, добавлю в v2, там будут обратно не совместимые фичи типа нормальных плейсхолдеров для bind, использование контекстов и прочее, типа собственного интерфейса доступа без database/sql
- 07 January 2022 (34 messages)
-
Это не память
Это свободное дисковое пространство -
Почитайте что такое сортировка слиянием
И поищите стать на habr про merge tree
Почитайте в документации что такое system.query_log
Посчитайте по нему как часто и насколько малыми порциями вы вставляете данные
Что выдает у вас select active, database, count() from system.parts group by active,database ? -
значит через два отдельных массива. Хоть это-то поддерживается?
create table test ( a Nested(b LowCardinality(String),c String) ) engine = Memory;
insert into test values (['b1','b2'],['c1','c2']);
select cast((a.b,a.c),'Map(String,String)') from test;
{'b1':'c1','b2':'c2'} -
По словам очевидцев, к 11 часам утра стрельба в Алма-Ате прекратилась
Сейчас в городе задержаны более 70 участников беспорядков, нападавших на административные здания, и более 30 мародёров.
SHOT -
привет, у нас в логе вот такая ошибка, не могу понять про что это -
Exception: Code: 192, e.displayText() = DB::Exception: Received from 0node0119.xxx:9000. DB::Exception: Received from 2node0114.xxx:9000. DB::Exception: root: User has been dropped. (version 21.8.10.19 (official build))
-
это ноды в разных шардах
-
кажется нашёл, и это не связано с кх, похоже на сетевую проблему
-
Привет! Можно ли в кх запросах используя WITH прокидывать в название таблицы -
Условно так: WITH 'custom_name' AS name
SELECT * FROM name -
Проблематика: не знаю как в графане через variable прокинуть в названии таблицы, и пытаюсь схитрить через WITH , так как напрямую прокинуть нельзя, конкатинировать подобно
FROM ('custom_table', name)
тоже нету возможности -
судя по всему вы хотите некоторый аналог eval
так не получится -
@BloodJazMan даже без извращений по типу EXECUTE ?)
-
Просто как я вижу сам клиент кликхауса поддерживает подобного рода техники
-
Клиент командной строки | Документация ClickHouse
Клиент командной строки ClickHouse предоставляет собственный клиент командной строки: clickhouse-client. Клиент поддержи
-
ну это немного другое
сделайте это через
https://clickhouse.com/docs/ru/interfaces/http/#cli-queries-with-parameters
у вас в качестве клиента какой язык \ библиотека?HTTP-интерфейс | Документация ClickHouseHTTP-интерфейс HTTP интерфейс позволяет использовать ClickHouse на любой платформе, из любого языка программирования. У
-
Видимо нативный клиент CH интегрированный в Grafana
-
Подскажите пожалуйста, для движков MergeTree индексы нормально совмещаются с ключами? Пример: в order by ключе поля c1 и c2, индекс bloom_filter по полю c3, выборка такая: c1 = 1 and c3 = 3. -
Там же нужно ставить расширения, чтобы с CH работать
-
Нашел решение! SELECT * FROM ${variableCustomName:raw} всем спасибо
-
Но данное решение работает только в графане.
-
Все верно, расширение и стоит, и в качестве сорса используется отдельный коннект к бд
-
Совмещаются. Насколько нормально судить вам:
EXPLAIN PLAN indexes=1 select .... -
Коллеги, подскажите можно ли собрать “сложный” кластер? Например, часть таблиц на медленных серверах, а часть на быстрых, так чтобы можно было обе группы серверов одновременно использовать для запросов? -
Да, ноды в кх полностью независимы, одна и та же нода может участвовать в нескольких кластерах
-
потому что этот темплейтинг на стороне grafana делается
-
а какой профит пытаетесь достичь?
какое у вас окружение? облака? bare-metal?
сколько у вас серверов в кластере планируется?
обычно несбалансированные кластера получаются когда bare-metal
и железо просто докупается по мере необходимости и новые данные просто льются на новые сервера, а старые данные хранятся на старых
но это надо пару лет чтобы кластер рос линейно
если сразу делать "не сбалансированный кластер",
может проще сделать multi volume storage policy по дискам?
https://clickhouse.com/docs/en/engines/table-engines/mergetree-family/mergetree/#table_engine-mergetree-multiple-volumes_configure ?MergeTree | ClickHouse DocumentationMergeTree The MergeTree engine and other engines of this family (*MergeTree) are the most robust ClickHouse table engine
-
Идея такая чтобы иметь горячие данные на одной группе серверов с ssd и холодные данные которые нужны редко на 2х серверах с большими дисковыми полками. Железо, не облака.
-
тут проблема в том как вы данные будете между серверами переливать с горячего на холодное
всякие storage_policy они в рамках одного сервера работают между разными дисками...
можно конечно изголяться и делать что-то типа
INSERT INTO slow_distributed_table SELECT ... FROM hot_local_table WHERE _partition_id='YYYYMM'
+
ALTER TABLE hot_local_table DROP PARITITION 'YYYYMM'
но это не транзакционно и будет окно когда в медленных дисках и в быстрых данные дублирются
ну как немного костыльный вариант
"медленные сервера с полками"
на них можно minio поднять
и в горячих серверах сделать s3 диски
https://clickhouse.com/docs/en/engines/table-engines/mergetree-family/mergetree/#table_engine-mergetree-s3
но будет хуже data locality, CPU на дисковых полках обсчетами никакими заниматься не будет и будет простаивать
лучший вариант "экономить на железе"
это пара NVMe на 1-2Tb в JBOD storage_policy под быстрые данные и пара HDD на 5Tb+ тоже в JBOD под холодные
но я так понимаю "сервера" у вас уже давно есть?MergeTree | ClickHouse DocumentationMergeTree The MergeTree engine and other engines of this family (*MergeTree) are the most robust ClickHouse table engine
-
данных у вас живых уже сколько?
-
clickhouse-operator имеет некую минимальную версию кх которую он поддерживает/тестируют
И она старше чем 18.
Мб вам в сторону простого docker-compose посмотреть? -
А зачем вам для этого вообще Kubernetes? Самое простое - это описать сервисы в Docker Compose. Пример https://github.com/ClickHouse/clickhouse-go/blob/v2/docker-compose.yml
- 08 January 2022 (104 messages)
-
https://github.com/Altinity/altinity-dashboard
Есть альфа версия простенького дашборда для оператора.GitHub - Altinity/altinity-dashboard: Altinity Dashboard helps you manage ClickHouse installations controlled by clickhouse-operator.Altinity Dashboard helps you manage ClickHouse installations controlled by clickhouse-operator. - GitHub - Altinity/altinity-dashboard: Altinity Dashboard helps you manage ClickHouse installations ...
-
А у вас кликхаус случаем не тормозил перед этим ? -
У моих знакомых как-то ClickHouse на ARM-процессоре тормозил, а потом оказалось, что они шину питания не подключили и процессор только за счет энергии от шины данных работал :)
-
(задёргался глаз)
-
Дату выстовил! Теперь появилось это! Не выходит теперь отсюда
-
Всем привет. Кто-то видел модуль на кликхаус для вычисления kmeans? -
Вы, конечно, извините, но это вроде канал о CH и вопросах, связанных с ним, а не кружок "очумелые ручки". Или я неправ? -
Как изменить BIOS с UEFI на устаревшую поддержку - Lenovo B50-70 - Lenovo Support RU
https://support.lenovo.com/ru/ru/solutions/ht503657-how-to-change-bios-from-uefi-to-legacy-support-lenovo-b50-70Как изменить BIOS с UEFI на устаревшую поддержку - Lenovo B50-70 - Lenovo Support RUКак перейти с UEFI на устаревший BIOS на Lenovo B50-70
-
Ссылка На решение
-
а нельзя обратно поменять на нормальные разделители в самом файле? -
Смотря сколько времени уйдёт на костыли (:
-
Ну 300 млн
-
Если нормально написать на питоне
-
То не очень долго
-
пишите котики
-
попробуйте свою на python сделать
https://clickhouse.com/docs/en/sql-reference/functions/#user-defined-functionsIntroduction | ClickHouse DocumentationFunctions There are at least* two types of functions - regular functions (they are just called “functions”) and aggregat
-
Спасибо, что-то не нашёл этой доки
-
Это вроде недавно добавили, если что то получится можете мне скинуть ?
-
Пока исследую варианты, у нас есть скрипты уже под это, но думал как бы данные не выкачивать
-
Мы делаем K-means в PG
-
Всем привет! Никто не сталкивался с ошибками типа “Code: 439. DB::Exception: Cannot schedule a task: cannot allocate thread (threads=59, jobs=59). CANNOT_SCHEDULE_TASK)” под нагрузкой (идёт довольно много и вставок в процессе перенаполнения данными, и чтений)? Версия 21.11.6.7.
Ресурсы свободные у сервера вроде есть, не очень очевидно в какую сторону копать. -
На вставке ошибка может выглядеть так: Code: 439. DB::Exception: Cannot schedule a task: no free thread (timeout=0) (threads=10000, jobs=10000): While executing ParallelParsingBlockInputFormat. (CANNOT_SCHEDULE_TASK)
-
сколько CPU ядер на сервере?
-
128 физических ядер, 256 тредов
-
<!-- Maximum number of threads in the Global thread pool.
This will default to a maximum of 10000 threads if not specified.
of the time, in which case a higher number of threads might be required.
<max_thread_pool_size>10000</max_thread_pool_size>
and to reuse mappings from several threads and queries, -
Попробуйте эту настройку поднять
-
Спасибо, сейчас на одном из серверов поменял, помониторим!
-
а как определяете что "ресурсы еще есть"?
background_pool_size = 256
поставьте
и вообще посмотрите на все настройки
SELECT * FROM system.settings WHERE name LIKE '%_pool_size' -
Или там 256 физических ядер, я уже чего-то забыл, по-моему у нас там два Эпика для Кликхауса, 128 это для Постгреса было :)
Спасибо, по крайней мере понятно в какую сторону копать. Изменение max_thread_pool_size пока не помогло.
“Ресурсы ещё есть” — проц утилизирован на 20%, на диск тоже гигантской нагрузки нет, запросы, которые выполняются, выполняются быстро, т.е. такое впечатление, что искусственный лимит какой-то. -
я подумал что это мем какой-то и ждал подвоха,а тут тех поддержка, лучше бы мем был.
-
> Спасибо, по крайней мере понятно в какую сторону копать. Изменение max_thread_pool_size пока не помогло.
Рестарт был?
ulimit -Sa
ulimit -Ha -
ulimit -Sa
real-time non-blocking time (microseconds, -R) unlimited
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 4127416
max locked memory (kbytes, -l) 132089736
max memory size (kbytes, -m) unlimited
open files (-n) 65635
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 4127416
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
ulimit -Ha
real-time non-blocking time (microseconds, -R) unlimited
core file size (blocks, -c) unlimited
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 4127416
max locked memory (kbytes, -l) 132089736
max memory size (kbytes, -m) unlimited
open files (-n) 65635
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) unlimited
cpu time (seconds, -t) unlimited
max user processes (-u) 4127416
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
background_pool_size пока тоже не помог. Рестарты Кликхауса были. -
А когда вы поменяли настройку
Code: 439. DB::Exception: Cannot schedule a task: no free thread (timeout=0) (threads=10000, jobs=10000): While executing ParallelParsingBlockInputFormat. (CANNOT_SCHEDULE_TASK)
Числа в ошибке тоже изменились? -
open files (-n) 65635
Вообще лимит в 65к файлов выглядит подозрительным. -
Это из того, что я уже пробовал менять, он по умолчанию вообще 1024 как и сто лет назад
-
А можете для процесса клика это сделать?
cat /proc/$PID/limits -
И вопрос, вы же раскомментили настройку?
max_thread_pool_size -
https://github.com/ClickHouse/ClickHouse/blob/272ea7fc5be9fea73d24a9d2d12f0418045d064f/programs/server/Server.cpp#L559
И вот это еще можно потрогатьClickHouse/Server.cpp at 272ea7fc5be9fea73d24a9d2d12f0418045d064f · ClickHouse/ClickHouseClickHouse® is a free analytics DBMS for big data. Contribute to ClickHouse/ClickHouse development by creating an account on GitHub.
-
Вообще не очень понятно, судя по всему нет. Со вставкой такие ошибки встречаются не очень часто, я пока назад вернул 10000, но весь лог и пока было 25000 вроде бы тоже показывал 10000. Ещё есть вариант со вставкой такой: Cannot schedule a task: cannot allocate thread (threads=0, jobs=0)
Для селектов числа совершенно разные
(threads=44, jobs=44)
(threads=32, jobs=32)
и т.д., в пределах 200 -
Она в конфиге дефолтном раскомменченная и установленная в 10000, поменял на 25000, рестартанул clickhouse-server
-
А, ок
Ну я бы попробовал еще такую установить
https://clickhouse.com/docs/en/operations/server-configuration-parameters/settings/#thread-pool-queue-sizeServer Settings | ClickHouse DocumentationServer Settings builtin_dictionaries_reload_interval The interval in seconds before reloading built-in dictionaries. Cli
-
cat /proc/1171195/limits
Limit Soft Limit Hard Limit Units
Max cpu time unlimited unlimited seconds
Max file size unlimited unlimited bytes
Max data size unlimited unlimited bytes
Max stack size 8388608 unlimited bytes
Max core file size 1073741824 unlimited bytes
Max resident set unlimited unlimited bytes
Max processes 4127416 4127416 processes
Max open files 500000 500000 files
Max locked memory 65536 65536 bytes
Max address space unlimited unlimited bytes
Max file locks unlimited unlimited locks
Max pending signals 4127416 4127416 signals
Max msgqueue size 819200 819200 bytes
Max nice priority 0 0
Max realtime priority 0 0
Max realtime timeout unlimited unlimited us -
Спасибо, будем пробовать!
-
arrayProduct(groupArray(())
Или через логарифмы и сумму. -
Можете подсказать, есть данные по типу
1 2 3 4 5 6
Таблица имеет 3 колонки id, sid, data
Как внести через INSERT INTO FROM INFILE данные из файла, что бы было так
id = 1
sid = 2
data = 3 4 5 6 -
FORMAT LineAsString
А потом либо регулярками либо чем еще разбить данную строку
https://clickhouse.com/docs/en/sql-reference/functions/string-search-functions/For Searching in Strings | ClickHouse DocumentationFunctions for Searching in Strings The search is case-sensitive by default in all these functions. There are separate va
-
А можете привести пример синтаксиса?
-
Или вы имеете ввиду это сделать через Memory таблицу?
-
Синтаксиса чего?
Запроса? ну будет похож на что то подобное
https://clickhouse.com/docs/en/sql-reference/table-functions/input/input | ClickHouse Documentationinput input(structure) - table function that allows effectively convert and insert data sent to the server with given st
-
Только в вашем случае будет одна колонка
-
Понял тогда
-
Спасибо
-
тухлячок чот тут(
-
Нашёл решение получше
INSERT INTO temp FROM INFILE '*.txt.gz' FORMAT Regexp SETTINGS format_regexp='^([^\t]+)\t([^\t]+)\t(.*)$', format_regexp_escaping_rule='Raw', format_regexp_skip_unmatched=1; -
Тоже норм, но кмк сложнее чутка с нужно один хороший регексп писать
-
А пробывал джойнить запрос ?
-
Ну если тебе нужен 321, то ты можешь matches.match_id =321
-
Я бы сказал, что тогда у вас схема хранения не правильная. https://www.youtube.com/watch?v=y8HsXqQEyfE , не помню на какой минуте, но требуется денормализация данных если вы храните их как таблицы. Если таблица не большая, то можно попробывать словарь для неё сделать.
-
Ну так она же не полностью выгружается, а только требуемые столбцы.
-
Вероятно всего у вас не все столбцы весят одинаково и не все требуются
-
А в чём проблема сделать из этого запроса JOIN ? Тестили IN vs JOIN на больших запросах, получили что IN вообще не выполняется :)
-
SELECT * FROM mathces as ma
JOIN ( SELECT math_id FROM match_users WHERE user_id =1 ) as mau ON ma.match_id = mau.match_id)
Если примерно такой, то он сделает фулл скан таблицы левой, возможно если добавить снизу ещё например период и партиционирование по этому времени, то должно быть быстро -
Ничего сложного это написать на SQL. Тут - http://www2.cs.uh.edu/~ordonez/pdfwww/w-2004-KDD-sqlkm.pdf - делают на террадате, а в КХ это все сильно проще можно сделать с использованием массивов и/или туплов. Вот примерно так:
-- data
drop table YH; create table YH (Y Tuple(UInt32,UInt32)) engine = Memory;
insert into YH select (number as x, rand32() % 100 as y) from numbers(100);
-- Centroids
drop table WCR; create table WCR ( ts DateTime, j UInt32, C Tuple(UInt32,UInt32), P Array(Tuple(UInt32,UInt32)) ) engine = Memory;
insert into WCR select now(), rowNumberInAllBlocks()+1, Y , [] from YH limit 10,5;
-- k-means
insert into WCR
select now(), j,(avg(Y.1),avg(Y.2)) as C, groupArray(Y)
from (select Y.1+1 as i, argMin(j,L2Distance(Y,C)) as j, Y
from YH, (select * from WCR order by ts desc limit 1 by j) as WCR
group by i, Y order by j)
group by j order by j;
Сошлось за 13 инсертов. Что там получилось - не проверял.
(Из недостатоков - зря оно квадратный корень считает в L2Distance, но так было красивее по коду. groupArray(Y) в проде конечно не должен остаться, да и всякие weight посчитать тоже надо). -
вот так и надо делать - без джойнов, но на подзапросах. Почему медленно - смотрите order by таблиц. Для match_users первым должен быть user_id
-
Тоже не помогает…
<max_thread_pool_size>20000</max_thread_pool_size>
<thread_pool_queue_size>20000</thread_pool_queue_size>
Отдельно странно, что
SELECT *
FROM system.settings
WHERE name LIKE '%thread%'
эти настройки не показывает -
Добрый день! Подскажите как в КХ, при выводе допустим топ-5 по какому-то параметру. Пишу order desc, limit 5.
Хочу, чтобы если этот параметр у 5 совпадал чем-то последующими, то выводилось бы не только топ-5 , но и то, что с 5 совпадает -
Ничего не понятно, что вы хотите
-
LIMIT | ClickHouse Documentation
LIMIT Clause LIMIT m allows to select the first m rows from the result. LIMIT n, m allows to select the m rows from the
-
Благодарю
-
Это только в CH или во всем SQL
-
ничосе ничего сложного. Ты кликхаус нинздя, я так не могу
-
Joined. -
Joined. - 10 January 2022 (178 messages)
-
Не очень сильное колдунство
mv /var/lib/clickhouse/metadata/remote_database.sql /tmp/
systemctl start clickhouse-server
# чиним remote базу
clickhouse-client < /tmp/remote_database.sql -
Всем привет, читаю про MV
В доке написано:
Материализованное представление устроено следующим образом: при вставке данных в таблицу, указанную в SELECT-е, кусок вставляемых данных преобразуется этим запросом SELECT, и полученный результат вставляется в представление.
Правильно ли я понимаю что MV будет само обновляться ? и не нужно его закидывать в cron -
Да, но не забывайте об апдейтах и делитах -
Само -
Вот так чудеса) если указать движок AggregatingMergeTree , оно тоже будет само????)
-
https://clickhouse.com/docs/en/operations/server-configuration-parameters/settings/#server_configuration_parameters-openssl
<openSSL><client>...
задайте правильноServer Settings | ClickHouse DocumentationServer Settings builtin_dictionaries_reload_interval The interval in seconds before reloading built-in dictionaries. Cli
-
"само" ничего не происходит
все "через код"
первый раз аггрегация будет на уровне вставки
второй раз на уровне background merge
третий уровень до-аггрегации еще и через SELECT ... FROM mv FINAL (может быть довольно медленно, народ выкручивается по всякому) -
Если это не ложное посленовогоднее воспоминание, то Алексей на YaTalks (ссылка на видео припинена) говорил, что keeper объявлен production ready. -
С точки зрения человека из PostgreSQL на что как бы намекает nickname, в ClickHouse с materialized view все происходит само, в PostgreSQL (и в Greenplum) они статичны, нужно делать refresh.
-
Подскажите пожалуйста по кафке. Ходил кликхаус в одну кафку и вроде было все хорошо, добавили вторую табличку с кафкой+второй mat view который пишет в ту же таблицу, что и первая кафка с mat view. И начались проблемы, решистрируем постоянно скачащий lag на кафке до 5минут. При этом вторая кафка вообще пуская, туда попадают данные, только если первая падает. Но это сказалось на производительности кликхауса -
SETTINGS kafka_broker_list = ‘x.x.x.x’, kafka_topic_list = ‘xxxx’, kafka_group_name = 'clickhouse', kafka_format = 'Protobuf', kafka_max_block_size = 1048576, kafka_num_consumers = 16, kafka_skip_broken_messages = 1000, kafka_thread_per_consumer = 1, kafka_schema = ‘xxx’
-
загрузка cpu при этом около нулевая
-
А нагрузку на сеть смотрели ?
-
да, тоже все хорошо, далеко от предела
-
а по lag такая картина
-
-
данные в кафку попадают абсолютно равномерно
-
Всем привет!
Есть такая дата 0001-01-01T00:00:00+00:00
Когда делаю инсерт в таблицу кликхауса выдаёт ошибку
clickhouse:DB::Exception: Cannot parse string '1-01-01 00:00:00.000000'
Такую дату например ест нормально 2021-09-24T23:59:09+03:00 так что ошибка не в форме
Подскажите пожалуйста, что можно сделать -
Поддерживаются значения от 1 января 1925 г. и до 11 ноября 2283 г.
https://clickhouse.com/docs/ru/sql-reference/data-types/datetime64/DateTime64 | Документация ClickHouseDateTime64 Позволяет хранить момент времени, который может быть представлен как календарная дата и время, с заданной суб
-
а вам зачем такую дату хранить?
в то время технически еще не было григорианского календаря :) -
Не хочет человек null хранить)
-
Ну тогда это должна быть дата "все нули"
-
Прилетело во время парсинга json-а )
-
хм, логично, я что-то не сообразил
-
Но наверное Вы правы, идея у товарища была именно эта, судя по всему
-
Как вариант делать из них стринги? Видимо в DT не получится запихнуть
-
посмотрите с другой стороны
что вы хотите получить в итоге?
если хотите хранить как в источнике - можно хранить String, но тогда на фильтрах будете ломаться или приводить к дате с -orNull
если хотите нормальную дату - можно предполагать, что все "кривые" даты - null или там 1970-01-01..., но тогда потеряете исходную строку
можно совместить - хранить и строку и попытку распарсить в дату, но тогда места будет больше занимать... -
Хочется сохранить формат dt потому-что надо для аналитики и исключать ошибки даты 9999 года ну или 0001 если вдруг будут прилетать
-
Вот этот 1970 раздражает. Если на null поменять случай инсерте пустой даты то не замедлится? Я вроде читал что лучше налы избегать -
в целом стоит избегать, т.к. это буквально еще один файл с битовой маской (+ раньше нельзя было добавлять nullable столбцы в order by/partition by, а сейчас это мб все еще не prod-ready, видел такое замечание в github)
но если не критично, можно и null использовать, как я и писал -
Критично, как раз ключевая огромная таблица логов. Спс
-
Коллеги, хочу сделать процесс, в котором кликхаус будет забирать данные из кафки, потом матвьюха перекладывает эти данные в обычную таблицу. Процесс выглядит так:
*** - Kafka - CH kafka table - CH matview - CH table
Все по доке https://clickhouse.com/docs/ru/engines/table-engines/integrations/kafka/
Сделал данный процесс на старой версии КХ (не помню какая версия), все работало. Была необходимость обновиться до 21.12.3.32 версии (актуальная на текущий момент), процесс падает с ошибкой Code: 620. DB::Exception: Direct select is not allowed. To enable use setting stream_like_engine_allow_direct_select. (QUERY_NOT_ALLOWED)
Пробовал исправить поставив stream_like_engine_allow_direct_select=true, также пробовал ставить kafka_commit_on_select = 1, ошибка не пропала.
https://github.com/ClickHouse/ClickHouse/blob/master/CHANGELOG.md
Кто-нибудь сталкивался с чем-то похожим, подскажите как исправить.Kafka | Документация ClickHouseKafka Движок работает с Apache Kafka. Kafka позволяет: Публиковать/подписываться на потоки данных. Организовать отказоус
-
> Сделал данный процесс на старой версии КХ (не помню какая версия), все работало. Была необходимость обновиться до 21.12.3.32 версии (актуальная на текущий момент), процесс падает с ошибкой Code: 620. DB::Exception: Direct select is not allowed. To enable use setting stream_like_engine_allow_direct_select. (QUERY_NOT_ALLOWED)
Что то странное
direct_select это ошибка если бы вы делали через консоль
SELECT * FROM kafka table LIMIT 1; -
@unamedrus Да, предыдущая версия КХ позволяла сделать запрос к кафка таблице. В этом же нет ничего криминального, из кафки данные забираются в КХ кафка таблицу, мы делаем к этим данным 1 запрос, после с данными не можем работать, они пропадают.
Матвьюха по сути делает то же самое
CREATE MATERIALIZED VIEW matview TO table
AS
SELECT * FROM kafka_table; -
В этом же нет ничего криминального, из кафки данные забираются в КХ кафка таблицу, мы делаем к этим данным 1 запрос, после с данными не можем работать, они пропадают.
Криминал был в том, что люди не ожидали что в таком случае MV не увидит эти данные.
Так что отключили из этих соображений. -
Коллеги, вопрос: попробовали с коллегой нативную репликацию с mysql и altinity mysql reader. Первый работает, но не удалось заставить писать его в Engine=MergeTree. Altinity пишет , но отъедает 90% процессора. Это нормальная нагрузка для Altinity? почему так, интересно… -
> Первый работает, но не удалось заставить писать его в Engine=MergeTree.
А в чем проблема/идея?
По дефолту там используются VersionedCollapsingMergeTree -
Так, стало хорошо, после того как kafka_num_consumers опустил с 16 до 8. Почему это могло помочь? Партишенов в топике 16, ядер на сервере с КХ больше 16
-
Какой-то глобальный лимит на число потоков?
-
Может диски не вывозили? -
Потому, что каждому консьюмеру нужна своя партиция в кафке, если этого нет, то начинается борьба за партиции, кто то при этом страдает.
А вообще у вас какой поток сообщений в кафке, 8 консьюмеров это многовато -
У меня как раз 16 партиций. Поток около 20-30к в секудну
-
И вам не хватает 1 консьюмера?
-
> Ходил кликхаус в одну кафку и вроде было все хорошо, добавили вторую табличку с кафкой+второй mat view который пишет в ту же таблицу, что и первая кафка с mat view.
Как я понимаю, вы создали 2 таблицы с kafka_num_consumers = 16 и одинаковым kafka_group_name = 'clickhouse'
Следовательно вам нужны 32 партиции в топике -
Ну в тестах, пытаясь выжать макс производительность всей связки не хватало, где-то в 80-100к упиралост кажется, не помню уже, поэтому сразу слеолао по числу партиций. Не стоит так делать?
-
Они смотрят в две разных кафки
-
Версия кх?
-
Да не знаю даже. Почитали документацию. Настроили репликацию следующим образом: CREATE TABLE System.queue_log(
time DateTime,
callid String,
queuename String,
agent String,
event String,
data String,
data1 String,
data2 String,
data3 String,
data4 String,
data5 String) Engine=MySQL('mysql_ip:3306', 'System_one', 'queue_log', 'system', 'db_pass');
попытки сменить Engine не увенчались успехом. Начали пробовать коннектор от Altinity. -
21.11.5.33 и 21.7.6.39, поведение одинаковое
-
Так подождите, Engine=MySQL не занимается репликацией, это что то вроде VIEW которая смотрит в другую таблицу
-
Ммм. Это объясняет низкую скорость. Поделитесь плз примером настройки инативной репликации.
-
https://github.com/ClickHouse/ClickHouse/pull/11388#issuecomment-638893203
https://kb.altinity.com/altinity-kb-integrations/altinity-kb-kafka/altinity-kb-kafka-main-parsing-loop/
background_message_broker_schedule_pool
SELECT *
FROM system.metrics
WHERE metric ILIKE '%pool%'Better settings for Kafka by filimonov · Pull Request #11388 · ClickHouse/ClickHouseI hereby agree to the terms of the CLA available at: https://yandex.ru/legal/cla/?lang=en Changelog category (leave one): Improvement Changelog entry (a user-readable short description of the cha...
-
Попробуйте посмотреть в сторону https://clickhouse.com/docs/en/engines/database-engines/materialized-mysql/
Но там есть свои подводные камниMaterializedMySQL | ClickHouse Documentation[experimental] MaterializedMySQL Warning This is an experimental feature that should not be used in production. Creates
-
arrayZip
-
переделал с туплов на массивы и выложил - https://github.com/bvt123/clickhouse-k-means
Надо сделать view к своим данным и запустить bash скрипт.
В понятных случаях алгоритм дает ожидаемый результат. Однако ломается если кластеры очень хорошо отделены друг от друга. Но это сам k-means такой - человеку (в 2D) все понятно, а алгоритм лажает. Зато быстный. -
Боря, спасибо большое. Попробую
-
может тебе имеет смысл как-то в этом PR поучаствовать https://github.com/ClickHouse/ClickHouse/pull/6185/filesIncremental clustering by Quid37 · Pull Request #6185 · ClickHouse/ClickHouse
I hereby agree to the terms of the CLA available at: https://yandex.ru/legal/cla/?lang=en For changelog. Remove if this is non-significant change. Category (leave one): New Feature Short descript...
-
круто =) молодец
-
BackgroundDistributedSchedulePoolTask │ 16
А где этот background_message_broker_schedule_pool меняется? В system.settings его не вижу, но это больше для информации, я понял что дофига консьюмеров делать незачем -
Ну в логе должны быть отражены все запросы, по ним можно понять, что спросил кликхаус, что ответил AD.
Давайте попробуем произвести тот же запрос, что делает кликхаус, вручную, через ldapsearch, с той же машины, и посмотрим на результат. -
arrayMap((x,y) -> (x,y), arr_1, arr_2)
-
в профиле default пользователя
background_message_broker_schedule_pool
И нужен рестарт сервера. (но трогать не стоит) -
Вообще таплы мне нравятся больше, тк таплы быстрее чем массивы работают
-
Спасибо большое, стало понятнее. И я правильно жн понимаю, что кроме kafka_max_block_size больге ничего трогать не стоит для оптимизации кафки?
-
Добрый день, подскажите, как понять в какой момент времени происходит слияние кусков данных в таблице? Например кейс с VersionedCollapsingMergeTree, когда идет отмена данного, но отмена не происходит, потому что строчки лежат в разных кусках данных. Как хотя бы примерно понять, когда будет слияние кусков данных и оно удалится. Т.е это час или два или сутки. Может есть настройка раз в сколько производить слияние (не нашел, но пока что сильно не копал).
-
Там уже лям по дефолту должен быть в новых версиях.
В целом крутить kafka_num_consumers можно, не не ставить сразу в 16, а 2-4 -
-
А вы для какой платформы хотите7 (apple silicon?)
-
Тогда можете посмотреть на наше homebrew
https://github.com/Altinity/homebrew-clickhouse
Там должны быть готовые бинари для последней версии mac osGitHub - Altinity/homebrew-clickhouse: ClickHouse Homebrew tap (by Altinity)ClickHouse Homebrew tap (by Altinity). Contribute to Altinity/homebrew-clickhouse development by creating an account on GitHub.
-
Приветствую. Я тестирую сейчас шардирование. Вопрос такой,как реализовать MV на два шарда ? Я правильно понимаю, что я вешаю на таблицу с данными MV, а на таблицу с данными из MV смотрю с помощью distributed таблицы ?
-
В целом да
Можете еще посмотреть презентацию по MV
https://kb.altinity.com/altinity-kb-schema-design/materialized-views/#presentation -
Только нужно создать MV на всех шардах-репликах
-
мне тоже, я с них и начал. Но не получилось вычислить avg(Tuple()) без ручного перечисления элементов. Если есть такая функция (или какое-то хорошее преобразование туда-обратно) - конечно стоит на таплах все сделать.
Ещё был минус, что L2Distance считает с квадратным корнем, который в этой задаче не нужен (тут просто сравнивают на больше-меньше). -
Спасибо! 👍
-
Хм, вам нужно найти среднее всех элементов тапла?(и их число может быть большим? те многомерное пространство?))
-
нужно найти среднее по каждому измерению. Да, там многомерное пространство - агрегируются несколько векторов в один.
-
Не совсем понял, по какому критерию сворачивать, но вот три варианта
SELECT avgForEach([untuple((number, number))]) AS res
FROM numbers(10)
┌─res───────┐
│ [4.5,4.5] │
└───────────┘
SELECT avgArray([untuple((number, number))]) AS res
FROM numbers(10)
┌─res─┐
│ 4.5 │
└─────┘
SELECT arrayAvg([untuple((number, number))]) AS res
FROM numbers(10)
┌─res─┐
│ 0 │
│ 1 │
│ 2 │
│ 3 │
│ 4 │
│ 5 │
│ 6 │
│ 7 │
│ 8 │
│ 9 │
└─────┘ -
спасибо. нужен первый. До этого бешенного конвеера из untuple [] ForEach я не дошел, хотя был близок :) Логично вобщем-то.
-
Можно попробовать поизгалятся с APPLY, но оно неумеет прямо на untuple работать :(
Зато должно работать быстрее из за того, что собираем массивы только в самом конце(дешево)
SELECT * APPLY avg
FROM
(
SELECT untuple((number, number)) AS tpl
FROM numbers(10)
)
Query id: e88d7c59-2d51-420b-8195-088b4cb3b8f8
┌─avg(tpl.1)─┬─avg(tpl.2)─┐
│ 4.5 │ 4.5 │
└────────────┴────────────┘
SELECT [* APPLY avg]
FROM
(
SELECT untuple((number, number)) AS tpl
FROM numbers(10)
)
Query id: 1ef2d226-1d7e-44d5-8ad1-bfed46ca1e98
┌─array(avg(tpl.1), avg(tpl.2))─┐
│ [4.5,4.5] │
└───────────────────────────────┘ -
а есть мысль как массив обратно в тапл превратить?
-
У меня такое получилось
insert into WCR
select now(), j, tuple(COLUMNS('tupleElement') APPLY avg) as C, groupArray(i)
from ( with arrayMap(j->(j.1, L2Distance(j.2,Y)),WCR) as D
select untuple(Y), i, arrayReduce('argMin',D.1,D.2) as j from YH
global cross join (select groupArray((j,C)) as WCR from (select j,C from WCR order by ts desc limit 1 by j) ) as W
)
group by j order by j; -
> from WCR order by ts desc
Сортировка не очень нравится правда :)
Можно сделать так
WITH (SELECT max(ts) FROM WCR) as max_ts
FROM WCR WHERE ts = max_ts -
groupArray((j,C))
Можно переписать arrayZip(groupArray(j), groupArray(C))
https://github.com/ClickHouse/ClickHouse/issues/33156groupArray(column_1,column_2) -> Array(Tuple(column_1, column_2)) · Issue #33156 · ClickHouse/ClickHouseUse case SELECT groupArray((number, number - 1)) FROM numbers(10000000) GROUP BY number % 10000 FORMAT `Null` MemoryTracker: Peak memory usage (for query): 653.52 MiB. 0 rows in set. Elapsed: 1.726...
-
Идете по стрелочкам.
Для других версий откройте бранчи с соответствующим названием. -
Переливаю сейчас данные из одного КХ в другой КХ через remote с помощью clickhouse-client. По счётчикам где то проходит миллион строк и снова зависает ... Это может быть лаг отображения клиента ?
-
там замысел в том, чтобы добыть последнюю пачку рассчетов - несколько строк. Но order by стоит по времени, так что будет быстро работать (хотя да, надо сеттинг добавить)
-
Так в моем случае будет тоже самое
Мы возьмем максимальное время и для него достанем все строки -
Кх записывает на диск блоками по 1 млн строк, вот и подвисает
Можете поиграться настройками
https://kb.altinity.com/altinity-kb-setup-and-maintenance/altinity-kb-data-migration/remote-table-function/#q-can-i-tune-insert-speed-to-make-it-faster -
Всем привет, подскажите как можно изящно решить данную проблему.
Есть таблица с партициями ( по 1 дню ) около 500кк строк и +-50 столбцов, движок используется ReplicatedMergeTree , своего рода статистика .
Раз в день необходимо изменять 40% записей ( изменение одного столбца, денежная сумма x_sum ) . Раз в отчетный месяц есть необходимость пересчитать партиции ( за прошлый месяц ).
Пробовали банально в лоб использовать ALTER TABLE UPDATE ... WHERE ( без указания IN PARTITION ) но теряли производительность, вставка данных занимала больше времени и фоновые операции ( из-за мутации ) тормозило всё.
Подумываем о двух вариантах как :
1. делать FREEZE партиции ( за предыдущий день), запускать UPDATE для данной партиции, получить mutation_id и в SELECT * FROM system.mutations ждать пока мутация не будет в is_done = 1 ; и вернуть её обратно ( DETACHED оригинальную партиции и ATTACH обновленную )
2. создавать новую партицию и перегонять из оригинальной партиции INSERT с CASE WHEN (обновленное значение поля x_sum предварительно посчитанного ) и подмена партиций на обновленную -
Одну колонку должно быть несложно обновить
А откуда берете результующие значения для этой колонки? -
Коллеги, попробую задать глупый вопрос)
Можно ли попросить кликхаус поставить на пуазу вставку данных вместо того чтобы вернуть ошибку “252 too many parts”
max_delay_to_insert=4
parts_to_delay_insert=300
parts_to_throw_insert=600
Еще вопрос все ли вставляющие запросы умеют падать с такой ошибкой? -
всем привет!
есть таблица MT, в которой есть полей UUID session_guid
поле не участвует в order by и PK
order by (app_id, when) , где app_id нобольшое количество
да в целом для основных сценариев использования и не надо
но иногда надо найти все записи с session_guid по всем app_id за всё время (обычно они все в рамках пары часов +/- расположены, если это как-то поможет)
сейчас есть данные за 2 недели: на 3B записей примерно 400M уникальных session_guid и поиск по session_guid захлёбывается (десятки секунд, а хочется быстрее)
как помочь СН? индекс или отдельную таблицу/mv с order by session_guid или ..? -
В новых версиях кх не будет кидать подобную ошибку на половине инсерта
-
можно
-
Огонь! А как будет? Будет притормаживать?
-
> как помочь СН? индекс или отдельную таблицу/mv с order by session_guid или ..?
Оба варианта возможны.
Можно осторожно попробовать bloom_filter индекс на эту колонку
Или попробовать пихнуть в PREWHERE session_guid = 'xxxxxx' -
Ну притормозится как обычно из за parts_to_delay_insert, но выполнится
-
если кратко, то мы корректируем сумму по данным из внешнего источника, который в свою очередь делает эти корректировки без нашего участия и у нас появляется разбег в суммах
-
Ну хорошо, вам нужно обновить X строк
Как вы мутацию делаете на десять тысяч+ разных строк с разным результатом?
Не индивидуальными мутациями же? -
Как?! Подскажите магию)
-
Так вот же у вас параметры
-
Накрутите посильнее
-
<parts_to_delay_insert>150</parts_to_delay_insert>
<max_delay_to_insert>5</max_delay_to_insert>
<parts_to_throw_insert>900</parts_to_throw_insert> -
🙂
-
Да не стоит их крутить, вы что то явно не так делаете если они вылезают так
-
Вы просто упретесь в эти лимиты на 600 партов позже и ситуация будет тяжелее
-
Но вообще я бы посмотрел на приложение - да. Зачем так часто вставки делать
-
Непонятно
-
они вылезают только иногда, но по закону подлости в самый неподходящий момент
-
множество мутаций по условию WHERE x = 1 and y=2
и так далее WHERE x = 3 and y=4 -
А, ну так не делайте так
https://kb.altinity.com/altinity-kb-queries-and-syntax/update-via-dictionary/ -
Можете подсказать с какой версии кликхаус сможет сам притормаживать инсерты?
-
спасибо, попробую двигаться в этом направлении
-
Притормаживать умеет давно
Просто в старых версиях, если на половине вставки случалось too many parts то кх кидал ошибку и прерывал вставку. в новых же он проверяет этот лимит только в самом начале, и это точно есть в 21.8 -
Супер!!! Спасибо!!!
-
спасибо, все получилось. проверил и закоммитил с вашими предложениями.
Описал в комментах как работает этот сумашедший синтаксис tuple(COLUMNS('tupleElement') APPLY avg) -
Можно с любого линукса в сети
-
Это довольно долго для меня. Давайте перенесем обсуждение в GitHub issues, и там опишем steps to reproduce.
Я же все это проверял в свое время. -
INSERT INTO WCR SELECT
now(),
j,
tuple(COLUMNS('tupleElement') APPLY avg) AS C,
groupArray(i)
FROM
(
WITH
arrayMap((j, C) -> (j, L2Distance(C, Y)), W.1, W.2) AS D,
(
SELECT
groupArray(j),
groupArray(C)
FROM WCR
WHERE ts = (
SELECT max(ts)
FROM WCR
)
) AS W
SELECT
untuple(Y),
i,
arrayReduce('argMin', D.1, D.2) AS j
FROM YH
)
GROUP BY j
INSERT INTO WCR SELECT
now(),
j,
tuple(COLUMNS('tupleElement') APPLY avg) AS C,
groupArray(i)
FROM
(
WITH
arraySort((j, C) -> L2Distance(C, Y), W.1, W.2) AS D,
(
SELECT
groupArray(j),
groupArray(C)
FROM WCR
WHERE ts = (
SELECT max(ts)
FROM WCR
)
) AS W
SELECT
untuple(Y),
i,
D[1] AS j
FROM YH
)
GROUP BY j
Можно дальше постараться уменьшить число применяемых функций.(Замена CROSS JOIN на WITH спорна, нужно смотреть что будет по производительности) -
Я тоже колебался между двумя этими вариантами, но остановился на global cross join потому как в шардированной конфигурации нужно отсылать текущий WCR (точнее его кусочек) на шарды, with так не умеет.
И давно хотел спросить - в КХ есть оптимизации, чтобы CTE выражение не выполнялось для каждой строки заново? Скажем rand32() в строках и в with выполняется для каждой строки. А в случае cross join - только один раз. -
WITH x as (SELECT * FROM numbers(10))
Выполниться каждый раз, как будет упоминаться в запросе
WITH (SELECT groupArray(number) FROM numbers(10)) as x
Выполнится только один раз (и должен будет отправить на все сервера тк эт скаляр) -
with rand()%100 as x
select number,x from numbers(10);
number x
0 99
1 82
2 76
3 7
4 30
5 5
6 68
7 37
8 6
9 28 -
WITH (
SELECT rand() % 100
) AS x
SELECT
number,
x
FROM numbers(10)
Query id: 6ed06ca7-73aa-4179-96a9-5b3acbd85384
┌─number─┬──x─┐
│ 0 │ 32 │
│ 1 │ 32 │
│ 2 │ 32 │
│ 3 │ 32 │
│ 4 │ 32 │
│ 5 │ 32 │
│ 6 │ 32 │
│ 7 │ 32 │
│ 8 │ 32 │
│ 9 │ 32 │
└────────┴────┘ -
Тоже забавное, надо будет кстати эту разницу записать (думаю так сделано только для rand() функции)
-
Дмитрий, скажите, Altinity clickhouse-mysql жрет 90% от двухъядерного проца виртуалки это нормально?
-
Честно, он вроде был сделан для определенного клиента (или даже просто как POC) давным-давно и после этого толком не развивали. (забавно наблюдать, что люди в issue сами решают свои вопросы и закрывают их)
Так что хз.
Если делать стриминг из mysql я бы смотрел либо в сторону MaterializedMySQL либо debezium + Kafka(RedPanda) -
Ок понятно. Спасибо. Буду смотреть в эту сторону
-
> Можно дальше постараться уменьшить число применяемых функций
после вашей правки особо и уменьшать-то некуда.
Там может возникнуть более серьезная проблема, когда на большом объеме данных массив с ключами изначальной таблицы будет слишком большим. Скажем если делить ярд строк на 5 кластеров, то в одном массиве может оказаться 200M элементов. Это наверное нехорошо. Возможно стоит применить bitmap - будет компактнее. -
> Это наверное нехорошо.
Да, это сильно грустно (особенно учитывая, что в случае с JOIN там этот массив будет размножаться на каждую строку)
Я бы вообще смотрел в другую сторону -> вместо того что бы собрать все значения в 1 массив, побить все по сетке? и джойнить только те, которые находятся ближе чем некоторое заданное наперед X. -
позиции где или чего? (как вы ее определяете?)
-
https://debezium.io/documentation/reference/1.7/connectors/mysql.html
В debezium можно достать позицию и отфильтровать по ней. -
размер блока на вставку миллион строк по умолчанию
можно увеличить
max_insert_block_size -
Мы увеличили min(не помню точно названия) и поставили 5 потоков, стало только хуже
-
А так как мы переливаем данные через select insert , то она бесполезно, как мы поняли
-
как понять эту ошибку ?
-
Матрица ,)))
-
Таким цветом не скучаешь перед логами ))))
-
как настроить в операторе настройку send_crash_reports ?
settings:
send_crash_reports/enabled: true
или
settings:
clickhouse/send_crash_reports/enabled: true -
Ога
-
Были вопросы по этому поводу в чате поищите. Были слова brew, arm и т.д.
-
GitHub - Altinity/homebrew-clickhouse: ClickHouse Homebrew tap (by Altinity)
ClickHouse Homebrew tap (by Altinity). Contribute to Altinity/homebrew-clickhouse development by creating an account on GitHub.
-
?
- 11 January 2022 (115 messages)
-
что-то сломались ссылки на загрузку
macOS — curl -O 'https://builds.clickhouse.com/master/macos/clickhouse' && chmod a+x ./clickhouse
FreeBSD — curl -O 'https://builds.clickhouse.com/master/freebsd/clickhouse' && chmod a+x ./clickhouse
AArch64 — curl -O 'https://builds.clickhouse.com/master/aarch64/clickhouse' && chmod a+x ./clickhouse -
задача вроде простая, но чето закопался, нужно сгенерировать последние 30 дней селектом (чтобы к ним джойнить ) другие штуки. у меня какая-то сложная хрень выходит. по идее можно как-то просто массивами или как-то еще. может кто-то сталкивался как в кликхаусе просто сделать?
-
select toDate(now()) - interval number day from numbers(30);
-
я обычно ещё max_threads=1 ставлю. Ну или 2. Их там вроде 8 по умолчанию - получается 7*8=56Gb.
а в чем смысл ставить max_memory_usage=0? рекомендуют в два раза больше чем max_bytes_before_external_group_by.
и ещё миловидов как-то проговорился на презентации что можно писать так - max_bytes_before_external_group_by='40G' -
Ну как проговорился, прям на слайде показал 😂
-
спасибо большое!
-
Привет. столкнулся со странной проблемой, при запросе типа
select *
FROM tab
WHERE dt >= 1634320238 and dt <= 1634323838 ORDER BY eid;
получаю ошибку вида
SQL Error [1002]: ClickHouse exception, code: 1002, host: 172.16.36.2, port: 3504; Code: 9. DB::Exception: Size of filter doesn't match size of column.: While executing MergeTreeInOrder. (SIZES_OF_COLUMNS_DOESNT_MATCH) (version 21.11.4.14 (official build))
поле dt типа int32 и согласно официальной документации может принимать значения
Int32 — [-2147483648 : 2147483647] -
тот же результат
-
тип движка таблицы replicatedmergetree
-
та же самая табличка, но не в кластере с типом движка mergetree, и запрос отрабатывает нормально
-
with '{"data": [{"aaa": "1","bbb": "11"},{"aaa": "2","bbb": "22"}]}' as j
SELECT arrayJoin(JSONExtractArrayRaw(j,'data'));
или даже так:
with '{"data": [{"aaa": "1","bbb": "11"},{"aaa": "2","bbb": "22"}]}' as j
SELECT cast(JSONExtractKeysAndValues(arrayJoin(JSONExtractArrayRaw(j,'data')),'String'),'Map(String,String)'); -
Правда ли, что при использовании ReplacingMergeTree и optimize_on_insert = 1 всегда при вставке данного с одинаковым order by будет происходить замена?
-
optimize_on_insert влияет только на те данные, которые вставляются
в таблице данные в фоне еще будет досхлопываться -
Но то что вставляет будет моментально схлопнуто, не в фоне, верно?
-
Ок, спасибо за пояснение, это я и хотел услышать.
-
Всем привет.
Есть реплицируемая на два сервера таблица с TTL 14 дней. Заметили, что сильно различается количество записей на серверах. Судя по всему, на одном сервере TTL отрабатывает (самая старая запись от 27.12), а на другом - нет (самая старая запись от 05.12).
Данные пишутся кусками пачками по 20к поочерёдно то на один, то на другой сервер.
CH 21.8.8.29
Можете подсказать в какую сторону копать? -
да, если железо позволяет, можно iSCSI, но тут тоже наверное надо беспокоиться
можно или нет делать ReadWriteMany режим доступа
или надо нарезать диски через thin provisioning
опять же балансировка нагрузки
в кубах iSCSI CSI пока малость сырой
https://github.com/kubernetes-csi/csi-driver-iscsi
можно наверное через kubernetes и https://github.com/minio/directpv CSI сделать
но там под капотом XFS
и опять же непонятно что с ReadWriteMany чтобы CPU на HDD полках можно было бы задейтвовать...GitHub - kubernetes-csi/csi-driver-iscsiContribute to kubernetes-csi/csi-driver-iscsi development by creating an account on GitHub.
-
а какой сетап? puppet/ansible/salt? или кубы?
просто потом переключение этого самого storage, не видится чем то легким
ну и ваш CPU на cold storage IMHO будет обслуживать iSCSI довольно шустро -
Разное количество активных партов.
А part_log к сожалению выключен. -
я верно понимаю что переводы между таймзонами не работают?
select now(), toDateTime(now(), 'Europe/London'), toDateTime(now(), 'Europe/Moscow'), -
не верно понимаете. все работает. смотрите историю канала. скорее всего у вас проблема в jdbc драйвере. попробуйте через clickhouse-client.
-
Возможно вам поможет
-
я использую dbeaver и hex, dbt и redash :) в HEX работает из коробки. dbt тестирую в dbeaver нужно разобратся
-
чтобы проверить, проблема в jdbc или все-таки на стороне CH, оберните дату в toString(dt, 'Europe/Moscow')
-
спасибо большое помогло для dbeaver сейчас в редаше еще поищу
-
Приветствую, как оптимально перенести таблицу с одного сервера на кластер с 2 шардами ?
-
я бы через scp руками раскидал парты по серверам.
-
будет мучительно поднимать словарь с диска и печально лукапить через него. Можно попробовать сгенерить и посмотреть как оно будет.
-
Где то den писал ответ такой, прям красивый, что тип похуй сколько у вас уников, главное чтобы в одной (партиции или партишене или в куске или грануле ) не больше было ....
-
Наверное, есть видео где абсолютно спокойно всех комитеров GitHub заносят в LowCardinality
-
Но это только видосик от Алексея :)
-
-
-
Добрый день, коллеги.
Пытаюсь настроить mysql интерфейс. Как указать логин/пароль для подключения через этот интерфейс? -
что имеется ввиду под словами "mysql интерфейс"?
хочется чтобы clickhouse-server притворялся MySQL сервером?
или хочется из clickhouse-server забирать данные из MySQL? -
Первое, чтобы clickhouse был mysql сервером. Я так понимаю логины/пароли тут все прежние используются, что и для самого clickhouse. Думаю мой вопрос на этом отпал.
-
там теже самые логины и пароли что и для обычного clickhouse
вам только mysql_port надо в config.xml прописать
по умолчанию пользователь default Без пароля -
да, вот я это уже понял))
-
Скорее нет, чем есть
Можете чуть подсластить пилюлю с помощью
ALTER TABLE xxx FETCH PARTITION FROM
или попробовать https://github.com/ClickHouse/ClickHouse/pull/17871Part movement between shards by nvartolomei · Pull Request #17871 · ClickHouse/ClickHouseThis is ready for feedback. Implements part uuid "pinning" and movement between shards. Part of #13574 Outstanding tasks for next PR ALTER TABLE t MOVE PART x CANCEL or similar. ...
-
create table logs
(
day Date,
time Float64,
method String,
request String,
....
)
engine = MergeTree PARTITION BY day ORDER BY (day, time, response_code) TTL day + toIntervalMonth(3) SETTINGS index_granularity = 8192, merge_with_ttl_timeout = 3600;
clickhouse-server:19.17.9.6 в gcp
Клик не удаляет логи старше трех месяцев, только если в ручную дропать, почему ttl не срабатывает есть идеи?) -
а в чем проблема? ну вложенные dictGet
что в них сложного? -
идея одна, старая версия clickhouse
вам бы обновиться -
да, так нормально, если словари консистентны с вашими данными
если у вас какой нибудь SLOW CHANGED DIMENSION
то можно Range Dictionary использовать -
а на какой версии у вас вторым аргументом получилось колонку запихнуть? На 21.8.8 получаю Illegal type String of second argument of function dictGet, expected a const string or const tuple of const strings. из-за этого испытываю боль
-
все четко прописано, надо только прочитать
If 'engine' is specified for system table, PARTITION BY parameters should be specified directly inside 'engine' and 'partition_by' setting doesn't make sense
config.xml кривой
правда непонятно для какой конкретно таблицы в базе system
query_log
part_log
system_log
как это может выглядеть примеры тут
https://clickhouse.com/docs/en/operations/server-configuration-parameters/settings/#server_configuration_parameters-query-log
думаю вам надо просто <partition_by> секцию убрать и перенести ее в <engine>Server Settings | ClickHouse DocumentationServer Settings builtin_dictionaries_reload_interval The interval in seconds before reloading built-in dictionaries. Cli
-
Подскажите пожалуйста как понять когда с данными произошел merge. Т.е какой-нибудь журнал может есть? Я нашел в документации system.merges, но это для действий, которые происходят в данный момент.
-
system.part_log | ClickHouse Documentation
system.part_log The system.part_log table is created only if the part_log server setting is specified. This table contai
-
что уж
-
Да, спасибо, что-то сразу не понял что это то что мне нужно.
-
добрый вечер. подскажите пожалуйста в чем может быть проблема?
пытаюсь настроить clickhouse-keeper
получаю такие warning:
RaftInstance: failed to send prevote request: peer 3 (ip--70.ec2.internal:9444) is busy
<Warning> RaftInstance: failed to send prevote request: peer 2 (ip--73.ec2.internal:9444) is busy
почему-то прослушиваемый порт на tcp6 висит
tcp6 0 0 :::9444 :::* LISTEN 141851/clickhouse-s
может быть в этом проблема? как его на tcp4 повесить? -
давай давай, злобный бот, покаж сисьски через SQL запрос без join
-
Откройте окошко
-
Сервер КХ может перегреться
-
listen_host как задан?
-
listen_host:
- "::" -
Всем привет, пробовал запустить кх через терминал, выдаёт такую ошибку ./clickhouse: line 1: syntax error near unexpected token `newline'
./clickhouse: line 1: `<?xml version="1.0" encoding="UTF-8"?>'
кто-нибудь сталкивался с таким? Буду признателен за помощь -
SELECT ' 88 M::::::::::::8888:88888888888888888::::::Mm8 88888 888\n 88 M::::::::::8888M::88888::888888888888:::::::Mm88888 88\n 8 MM::::::::8888M:::8888:::::888888888888::::::::Mm8 4\n 8M:::::::8888M:::::888:::::::88:::8888888::::::::Mm 2\n 88MM:::::8888M:::::::88::::::::8:::::888888:::M:::::M\n 8888M:::::888MM::::::::8:::::::::::M::::8888::::M::::M\n 88888M:::::88:M::::::::::8:::::::::::M:::8888::::::M::M\n 88 888MM:::888:M:::::::::::::::::::::::M:8888:::::::::M:\n 8 88888M:::88::M:::::::::::::::::::::::MM:88::::::::::::M\n 88888M:::88::M::::::::::*88*::::::::::M:88::::::::::::::M\n 888888M:::88::M:::::::::88@@88:::::::::M::88::::::::::::::M\n 888888MM::88::MM::::::::88@@88:::::::::M:::8::::::::::::::*8\n 88888 M:::8::MM:::::::::*88*::::::::::M:::::::::::::::::88@@\n 8888 MM::::::MM:::::::::::::::::::::MM:::::::::::::::::88@@\n 888 M:::::::MM:::::::::::::::::::MM::M::::::::::::::::*8\n 888 MM:::::::MMM::::::::::::::::MM:::MM:::::::::::::::M\n 88 M::::::::MMMM:::::::::::MMMM:::::MM::::::::::::MM\n 88 MM:::::::::MMMMMMMMMMMMMMM::::::::MMM::::::::MMM\n 88 MM::::::::::::MMMMMMM::::::::::::::MMMMMMMMMM\n 88 8MM::::::::::::::::::::::::::::::::::MMMMMM\n 8 88MM::::::::::::::::::::::M:::M::::::::MM'
-
там
-
Например вы делаете фильтр по колонке time < x
Если сначала сделать фильтрацию то может так статься, что будут выбраны старые строки. -
ничего странного, в предыдущей версии скорее всего просто не была добавлена такая валидация и был наверняка скрытый баг если PARTITION BY задан в engine и в partition_by теге
-
Не поглядели? latest из докерхаба накатил (21.12.3) и всё также получаю
Illegal type String of second argument of function dictGet, expected a const string or const tuple of const strings. -
const string
это значит что детерменированное значение должно быть
а вы поди туда имя поля засовываете? -
вкурсе, да. просто в примере выше вроде колонку кто-то смог прокинуть, вот и пытаюсь узнать как)
-
Привет, а я верно понимаю, при использовании (экспорт данных в csv) clickhouse-client и format==CSV нет параметров, которым можно отключить кавычки?
Чтобы в csv вместо ”string”, 55 было string, 55 -
а attr_2 и attr_1 это названия колонок или аттрибутов словаря?
-
-
понял. стриггерился на отсутствие кавычек)
-
Добрый день, подскажите, хочу добавить в кластер clickhouse storage s3, создать таблицу с полиси чтобы использовался s3, и создать SummingMergeTree MV на таблицу с сырыми данными, чтобы агрегированные данные писались в S3. Это реальная схема? -
Текущий ingestion rate 500000 в секунду
-
Друзья, есть ли способ подставить пароль при создании внешнего словаря из подзапроса или еще как-то: вместо того, чтобы прописывать его строкой? Или единственный способ скрыть пароль от глаз - создавать словарь в xml файлах? -
30 гигабайт в день примерно сжатых. Вообще да отличная идея, буду двигать через ttl
-
Добрый вечер. Подскажите пожалуйста, только начинаю разбираться в ClickHouse.
Создал таблицу с вот таким конфигом:
engine = MergeTree
PARTITION BY toYYYYMM(date)
ORDER BY (intHash32(user_id), date)
SAMPLE BY intHash32(user_id);
Согласно документации выражение для сэмплирования должно быть частью первичного ключа.
Когда выполняю запросы вида WHERE user_id = 10 происходит полное сканирование таблицы, поэтому приходится писать WHERE intHash32(user_id) = intHash32(10)
Неужели CH не может самостоятельно оптимизировать запрос с WHERE user_id = 10?
Или я что-то не так делаю? -
Добрый вечер!
Подскажите плиз как узнать какие grants есть у роли ?
В system.roles только id есть -
Добрый вечер.
<Error> void DB::MergeTreeBackgroundExecutor<DB::MergeMutateRuntimeQueue>::routine(DB::TaskRuntimeDataPtr) [Queue = DB::MergeMutateRuntimeQueue]: Code: 40. DB::Exception: Checksum doesn't match: corrupted data. Reference: 2e1936f7140a491d114e11e73cac2c6b. Actual: c629ae8fab71c834040ea7b1c3fe5025. Size of compressed block: 61593. The mismatch is caused by single bit flip in data block at byte 29893, bit 0. This is most likely due to hardware failure. If you receive broken data over network and the error does not repeat every time, this can be caused by bad RAM on network interface controller or bad controller itself or bad RAM on network switches or bad CPU on network switches (look at the logs on related network switches; note that TCP checksums don't help) or bad RAM on host (look at dmesg or kern.log for enormous amount of EDAC errors, ECC-related reports, Machine Check Exceptions, mcelog; note that ECC memory can fail if the number of errors is huge) or bad CPU on host. If you read data from disk, this can be caused by disk bit rot. This exception protects ClickHouse from data corruption due to hardware failures.: (while reading column nickname): While executing MergeTreeSequentialSource. (CHECKSUM_DOESNT_MATCH), Stack trace (when copying this message, always include the lines below):
Как понять где битфлип-то ?? Раньше хоть путь на диске писало -
Ну вам наверное ещё раз нужно прочитать часть про хранения данных
-
Скорее всего семплинг вам не нужен
https://kb.altinity.com/engines/mergetree-table-engine-family/pick-keys/
https://kb.altinity.com/altinity-kb-queries-and-syntax/altinity-kb-sample-by/
https://kb.altinity.com/altinity-kb-queries-and-syntax/sampling-example/How to pick an ORDER BY / PRIMARY KEY / PARTITION BY for the MergeTree-family tableHow to pick an ORDER BY / PRIMARY KEY / PARTITION BY for the MergeTree table.
-
Джентельмены, а не приходилось ли кому-нибудь использовать визуальные GUI для составления сложных SQL-запросов?
Ну, с хитрыми группировками, многоступенчатыми JOINами, многажды вложенными подзапросами -- и прочими радостями?
А если использовали, то что именно -- и было ли это полезно? - 12 January 2022 (157 messages)
-
Доброго дня, сударь. Пользуюсь заморской IDE Jetbrains Webstorm 2021.3.1, зело полезная и удобная программа. И сложные запросы и вложенные подзапросы и даже JOIN (будь они неладны - для Clickhouse лучше не злоупотреблять) приходилось использовать, да не единожды. ) -
Приветвтвую, в ClickHouse новичок, есть такая таблица:
CREATE TABLE IF NOT EXISTS user_value.aggregate
(
time_bucket DateTime,
gamer_id String,
game_id UInt32,
geo LowCardinality(String),
spend Float64,
revenue Float64,
requests UInt64
geo)
) ENGINE = SummingMergeTree()
ORDER BY (gamer_id, game_id, geo, time_bucket)
PARTITION BY toStartOfHour(time_bucket)
Заполняется таким MV:
CREATE MATERIALIZED VIEW IF NOT EXISTS user_value.aggregate_mv
TO user_value.aggregate AS
SELECT toStartOfFiveMinute(ts) AS time_bucket,
gamer_id,
game_id,
geo,
sum(spend) as spend,
sum(revenue) as revenue,
sum(requests) as requests
FROM user_value.event
GROUP BY (gamer_id, game_id, geo, time_bucket)
ORDER BY (gamer_id, game_id, geo, time_bucket);
При попытке суммировать по окну:
SELECT gamer_id,
game_id,
geo,
sum(requests) OVER w AS user_value
FROM user_value.aggregate
GROUP BY (gamer_id, game_id, geo, time_bucket)
WINDOW w AS (PARTITION BY (gamer_id, game_id, geo) ORDER BY gamer_id, game_id, geo, time_bucket ROWS BETWEEN 160 PRECEDING AND CURRENT ROW)
ORDER BY (gamer_id, game_id, geo, time_bucket)
Ругается:
Received exception from server (version 21.12.3):
Code: 215. DB::Exception: Received from clickhouse-server:9000. DB::Exception: Column `requests` is not under aggregate function and not in GROUP BY: While processing gamer_id, game_id, geo, sum(requests) OVER w AS user_value. (NOT_AN_AGGREGATE)
Что я не так делаю? Заранее благодарен! -
Здравствуйте. Вы сумму оконной функцией производите - соответственно группировать столбцы не нужно. Попробуйте так:
SELECT gamer_id,
game_id,
geo,
sum(requests) OVER w AS user_value
FROM user_value.aggregate
WINDOW w AS (PARTITION BY (gamer_id, game_id, geo) ORDER BY gamer_id, game_id, geo, time_bucket ROWS BETWEEN 160 PRECEDING AND CURRENT ROW)
ORDER BY (gamer_id, game_id, geo, time_bucket) -
Работает! Спасибо большое Роман!
-
День добрый!
Лет 5-7 назад пробовал GUI в SQL Navigator или чем-то подобном...
Дико не удобно было, особенно JOINы
С тех пор не пользуюсь. -
JSONExtractRaw
-
после перехода на современный стиль написания запросов с with (как у гитлаб) вообще пропала необходимость во вложенных/двойных джоинах и прочей буде. рекомендую короче
-
А средства визуального проектирования запросов, типа, не нужны?
-
по любому нужны. Но если писать многоуровневые дедовские квери то в голове каша и ничего не понятно как ни рисуй.
сейчас развиваем sql магию под себя так что по каждой части запроса сразу видно промежуточные итоги, очень удобно для проектирования сложных расчетов -
Sql магию? Это вы об чем же?
-
настройка к юпитерноутбукам и пр (https://www.sqlalchemy.org/ ) чтобы sql кушали хорошо. Например в HEX можно использовать clickhouse. И там можно прибавлять всякий сахар.
но всё это имеет смысл когда используешь красивый стиль кода -
А, алхемушка! А бэкенд под КХ какой пользуете? От xzkostyan?
-
Datagrip + Clickhouse для исполнения написанного запроса. В остальном проверки выполнения запросов через clickhouse-benchmark и трейсинг логов, до flamegraph еще не дотянулись руки.
-
ну там куча всего. аналитическая часть в DBT но, это не совсем бэкенд.
-
вот я про такой стиль кода https://gitlab.com/gitlab-data/analytics/-/blob/master/transform/snowflake-dbt/models/marts/pumps/subscription_product_usage_data.sqltransform/snowflake-dbt/models/marts/pumps/subscription_product_usage_data.sql · master · GitLab Data / GitLab Data Team
This is the primary project for the GitLab Data team.
-
dbeaver для написания запросов. Лично я люблю запустить их потом через clickhouse-client, потому что в конце выполнения запроса выводится его результат, скорость, количество строк, количество строк участвующий в фильтрации и тд. Это можно и самому посмотреть, но надо лезть в логи запросов, а тут все сразу. Т.е если вам не нужна какая-то статистика, а только результат и время выполнения то dbeaver справляется хорошо.
-
а есть какой-то удобный способ запускать запросы напрямую в кликхаус? или вы через командну строку? о каком клиенте речь подскажите?
-
во нашел походу, затестирую https://tabix.io/
-
https://clickhouse.com/docs/ru/interfaces/http/
если у вас не что то древнее, то можно напрямую через веб интерфейс КХ ходить -
Как я понимаю, адекватные логи выполнения запроса можно получить только через clickhouse-client. Что немного печалит( -
http://localhost:8123/play - вот еще есть родной WUI, адрес естественно и порт свой указать нужно
-
да норм в text_log собирается. но нужно заморочится настроить фильтры чтобы лишнее не смотреть
-
select * from system.query_log; Не знаю, здесь можно смотреть.
-
clickhouse-client это из консоли
-
Там есть что-то. Но если отлаживаешь запрос то нужно что то детальнее
-
explain?
-
и query_thread_log. Не знаю что может быть еще более детальнее
-
Explain тоже интересная штука но без реальных цифр. На самом деле если скрестить Explain и логи из clickhouse-client то как раз и получится какой-то Profiler, как скажем в MSSQL
-
вы чего хотите избежать? чтобы пароль в system.query_log не попадал?
-
ага у меня для отладки запрос который сначала находит мой запрос в query_log и потом идет в text_log собирает инфу.
text_log оказалась супер удобен для отслеживания внешних интеграций. если колонку переименовали например то можно увидеть что гуглдатастудия не может найти колонку -
и это тоже, и чтобы при запросе show create table его не было видно
-
тогда XML словарь
и пароль там через <password from_env="ENV_NAME">
и переменную окружения надо будет как то передать в clickhouse
у вас standalone сервере или контейнеризация? -
Кстати надо заглянуть в эту таблицу. Мы просто облачным решением от Яндекса пользуемся, поэтому все эти таблицы типа query_log query_thread_log какие то урезанные.
-
еще может быть она не включена. нужно ее включить. ну вы запросите с неё данные и увидите может она есть уже
-
select * from system.text_log
-
нет нету. попробую включить
-
ну я еще для удобства юзаю settings log_comment = 'query', тогда в query_log проще найти свои запросы.
-
Ок, спасибо. text_log включил, попробую через него по отлаживать.
-
Вот об этом и был вопрос) возможно ли чисто ddl обойтись) видимо нет)
спасибо за ответ) -
Не нашел в истории сообщений, поэтому быстрый вопрос😀
Есть куча партиций с файлами по 90Мб
Что будет быстрее, вставлять по одной партиции в параллель в 15 потоков
или вставлять сразу 15 партиций, где каждая партиция вставляется в один поток?
Или какоето другое решение будет лучшим? -
Добрый день! Коллеги, у нас проблема: сыпятся диски. Меняем диски на дисковой полке. Но постоянно получаем ошибки Code: 246. DB::Exception: Received from 127.0.0.1:9900. DB::Exception: Bad size of marks file '/var/lib/clickhouse/data/default/.../data.mrk3': 6840, must be: 1080: While executing MergeTreeThread. Подскажите пожалуйста как нам найти все плохие parition-ы таблицы чтобы через detach./ attach и удаление плохих файлов остались только небитые партишены? Мы можем потерять немного данных (логи) - и наша задача сейчас оставить как можно большее количество -
скучновато
-
Сделай шардирование на кликхаусе :)
-
Прописываете в profiles.yml подключение к каждому шарду и используете при dbt run флаг --target *название таргета для шарда*. И так на каждый шард. Распараллелить можете в том же эйрфлоу, по таске на каждый шард -
Привет!
Подскажите про работу ZooKeeper в ReplicatedMergeTree для дедублицирования данных + replicated_deduplication_window
1) У меня есть несколько шардов и я хочу понять если я буду пихать один и тот же батч в разные шарды ZooKeeper отловит это или нет.
Нашел в доке
Для очень больших кластеров, можно использовать разные кластеры ZooKeeper для разных шардов. Впрочем, на кластере Яндекс.Метрики (примерно 300 серверов) такой необходимости не возникает.
То есть дефолтно ZooKeeper общий для всех шардов и тогда (если хеш батча не вылетел из памяти) если пихать в разные шарды один и тот же батч - то ZooKeeper должен не дать его записать?
Но в тоже время в этой доке дальше везде идет как будто ZooKeeper для разных шардов всегда разный?
2) настройка replicated_deduplication_window (кол-во сообщений которые хранятся в ZooKeeper) - она на что настраивается - на реплику/на шард/кластер/на таблицу?Репликация данных | Документация ClickHouseРепликация данных Репликация поддерживается только для таблиц семейства MergeTree: ReplicatedMergeTree ReplicatedSumming
-
dbt_users
DBT users group
Взаимное уважение и без спама.
Для вакансий тег #job
Dual language: russian/english
https://t.me/dbt_users
Вполне живое русскоязычное комьюнити. Там был ответ про union_relations макросdbt_usersDBT users group Взаимное уважение и без спама. Для вакансий тег #job Dual language: russian/english
-
Ну а объединять-то данные потом как будете?))
-
Короче, почитайте. Может это то, что нужно. У меня таких проблем не возникало, только при initial load. Там тупо циклом с переменным делал
-
У нас не смог стартовать с 50к+. Но сервер весьма скромный был
-
Да мы не ожидали и столько много - это было неверное предположение о природе данных
-
Можно в data директорию таблиц посмотреть, мб оно в detached или куда-то ещё падает -
Привет! Есть ли где нибудь статьи о том как работают под капотом мутации для реплицируемой таблицы? Я запустил альтер, думал что он будет выполняться только на одной ноде, а он на самом деле распределился по всем репликам и мерджит свои партиции самостоятельно в произвольном порядке. Можно ли только на одной реплике включить мутирование, а другие пусть продолжают штатную работу? Когда домутирует подтянут актуальную партицию по сети -
Привет, для ON CLUSTER - возможно ли динамически имя кластера получать? Как в этом случае использовать ddl если необходимо его и в test и в prod кластере выполнить? -
Создавать копии скрипта с разным именем кластера - кошмар для version control
-
это же DDL, откуда динамика
-
Спасибо огромное! Сработало 🥳
-
смотря какой EXPLAIN
EXPLAIN AST и EXPLAIN PLAN вроде не должны сильно память жрать
EXPLAIN PIPELINE по идее может память отожрать, но прямо МНОГо не должен
а как вы меряете память? через system.query_log ? -
https://clickhouse.com/docs/en/operations/settings/query-complexity/#max-memory-usage-for-user
это чтобы на весь сервер, но ограничение по пользователю а не по профилюRestrictions on Query Complexity | ClickHouse DocumentationRestrictions on Query Complexity Restrictions on query complexity are part of the settings. They are used to provide saf
-
Добрый день! Подключил к clickhouse s3, добавил policy. И перекинул несколько партиций таблицы на s3. В бакете вижу файлы, перенос завершается успешно. Но когда делаю select в этой таблице получаю ошибку: "Cannot read all data. Bytes read: 1. Bytes expected: 8.: (while reading column InstanceType): (while reading from part /var/lib/clickhouse/disks/s3/data/flamedb/samples_local/20220105_0_1619_285/ from mark 0 with max_rows_to_read = 16384): While executing MergeTreeInOrder. (CANNOT_READ_ALL_DATA)"
-
Если двигаю обратно партицию с s3 на default, все работает :-/ Может кто сталкивался?
-
While executing AggregatingTransform:
вы точно EXPLAIN запускаете? оно вроде сами трансформации запускать не должно -
Обновился с 21.11.4 до 21.12.3 и проблема ушла )
-
This query is slow. · Issue #32754 · ClickHouse/ClickHouseThis query spend one second before returning an error: SELECT arrayWithConstant(96142475, ['qMUF']); It opens a possibility of DoS.
-
добрый день! А можно же с помощью оконной функции без подзапросов собрать в отдельном моле агрегаты, типа суммы по какому-то полю для подгруппы полей? -
есть регион, город, район, число кошек. нужно вывести эти значения и число кошек по городу
-
Можно если оно не в ORDER BY или в PARTITION BY ключе
-
Да, что то вроде такого
-
так это основа оконных функций - прочитайте какой-нибудь тьюториал:
select регион, город, район, число кошек, sum(`число кошек`) over (partition by `город`) as total -
спасибо! я что-то делал не так. Написал с нуля и все зааботало
-
Интересно, что быстрее будет работать оконка или arrayJoin?
select region, city, arrayJoin(groupArray(district)), sum(c) from (select 'mo' region, 'msk' city, 'len' district,
10 c
union all
select 'mo' region, 'msk' city, 'oct' district,
21 c
union all
select 'mo' region, 'troitsk' city, 'sov' district,
11 c)
group by region, city -
на больших объемах юнион точно добавит проблем
-
можно попробовать посмотреть в сторону select * except (id) apply () - не уверен что оно работает для WF, но для обычных аггрегаток должно.
https://clickhouse.com/docs/ru/sql-reference/statements/select/#except-modifierСинтаксис запросов SELECTСинтаксис запросов SELECT SELECT выполняет получение данных. [WITH expr_list|(subquery)] SELECT [DISTINCT [ON (column1,
-
в смысле? Как я понял ваш вопрос - вы не хотите перечислять 100 столбцов в запросе. except/apply ровно для этого придумано.
-
что такое last_value - я не знаю. В КХ есть аггрегатная функция anyLast
-
select id, sum(sum) as total, * except (id,sum,DateTime) apply (groupArray(10)) from (select * from table order by ModifiedOn desc) group by id
Тут будет группировка с массивами, по 10 штук последних. Если надо - можно таким-же образом их развернуть назад через arrayJoin -
интересно, попробую
-
а это на какой версии?
в любом случае - спасибо за тест. значит пока недоделали WF, и надо не лениться, а писать узкие места по прежнему на массивах. -
но мне при этом и детализацию нужно оставить… то есть ЦФО, Москва, Мневники, 10, 120 , где 120 по городу
-
Оконки пока работают в 1 поток, так что в некоторых случаях массивы будут быстрее
-
Спасибо!
-
приветики)
-
добрый вечер, есть таблички с csv в заголовке 4 колонки,по факту 3, в базе 4 но у 4й есть дефолтное значение, можно ли доработать команду bash
cat $filename | curl "http://$host:$port/?user=$user&password=$password&input_format_skip_unknown_fields=1&query=INSERT+INTO+db_test.tbl_%24name+%28a%2Cb%2Cc%29+FORMAT+CSVWithNames" --data-binary @-
чтобы вставить 3 колонки в таблицу -
Всем доброго времени суток! Не ругайте сильно если спрашиваю глупости:
Есть 3 таблицы:
event - raw events
aggregate - 5мин аггрегаты
result - финальный результат (ReplacingMergeTree)
Можно ли с помощью Materialazed View при появлении записи в таблице aggregate найти по ключу запись в result взять текущее значение поля вычислить новое используя значение из aggregate (скажем EMA реализовать) и записать результат обратно в result? -
Добрый вечер, скажите, а можно ли результат запроса запихнуть в map?
Т.е. например:
select user_id, count() from t group_by user_id
Было
map: {user_1: 1000, user_2: 10000, ....} -
SELECT CAST(sumMap([user_id], [1]) AS Map(String, UInt32))
-
да, хитро... спасибо....
-
Возможно ли сделать настройку две реплицированных таблиц под разные типы запросов обращаться каждому по типу запроса ? Это нормальная практика или что то проблемы возникают в будущем?
-
а если строк больше? Куда девать лишние?
-
insert into table (v1,v2,v3) - такой запрос ждет ровно 3 значения
-
такой трюк делается на основе AggregatingMT (для result). Вы туда все пишете и она тихонько "по ночам" соединяет строки той агрегатной функцией, которая вам нужна.
-
Если вам надо не список на 10, а ровно одно последнее - используйте аггрегатную функцию any. Вроде как оно должно пропускать Nulls. groupArray точно их выкидывает.
select id, sum(sum) as total, * except (id,sum,DateTime) apply (any) from (select * from table order by ModifiedOn desc) group by id -
Добрый вечер! А есть в clickhouse возможность удалять старые данные от некого userId по TTL старше 7 дней, но только в случае если есть более свежие данные от этого userId. Идея в том что, если от данного userId перестали поступать данные, то мы будем всегда хранить его последние данные за 7 дней.
-
Нет, такой возможности нет.
Придется вам самим это дело реализовывать. -
Это происходит до "выполнения" запроса, так что кх не проверяет там временные или лимиты на память
- 13 January 2022 (170 messages)
-
Спасибо всем кто откликнулся (@simpl1g, @dj_mixer, @bvt123) удалось создать такое (если интересно), events опустил для простоты.
CREATE TABLE IF NOT EXISTS agg
(
gamer_id String,
user_value Float64
) ENGINE = MergeTree()
ORDER BY (gamer_id);
CREATE TABLE IF NOT EXISTS result
(
gamer_id String,
user_value Float64,
updated_at DateTime DEFAULT now()
) ENGINE = ReplacingMergeTree(updated_at)
ORDER BY (gamer_id);
CREATE MATERIALIZED VIEW IF NOT EXISTS mv
TO result AS
SELECT gamer_id,
(SELECT user_value from result where result.user_value = user_value order by updated_at desc limit 1) as old,
user_value + if(isNotNull(old), old, 0) as user_value
FROM agg
ORDER BY (gamer_id);
криво конечно, вроде работает, но боюсь по производительности будет ужос... может кто-то поможет улучьшить? -
Вы правы - криво, ужас и медленно. Тут так не делают. Я же вам предложил применить AggregatingMT.
CREATE TABLE IF NOT EXISTS agg
(
gamer_id String,
user_value Float64,
updated_at DateTime DEFAULT now()
) ENGINE = MergeTree()
ORDER BY (gamer_id);
CREATE TABLE IF NOT EXISTS result
(
gamer_id String,
total SimpleAggregateFunction(sum,Float64),
updated_at SimpleAggregateFunction(max,DateTime)
) ENGINE = AggregatingMergeTree
ORDER BY (gamer_id);
CREATE MATERIALIZED VIEW IF NOT EXISTS mv
TO result AS
SELECT gamer_id,
sum(user_value) as total,
max(updated_at) as updated_at
FROM agg
group by gamer_id;
Выборка должна быть тоже с group by - не все строки будут аггрегированы в бекграунде.
И подумайте об отказе от Float в пользу Decimal. Вы же не научные расчеты ведете? -
Добрый день, Я не понимаю как можно сделать это эффективно.
Есть таблица time, user_id, value.
Необходимо сделать таблицу такой же длины, и в каждой строке добавить sum(value) по последним 10 записям (отсортированным по времени) для данного user_id. -
сум if по идее если инкреметный айдищник есть
-
Это агрегатная функция, т.е. чтобы получилась таблица с исходными данными, надо потом сджойнить по time, user_id?
-
1 создаь инкреметный индекс
2 джойнить с sumif — по сути это умножение будет и долго вычислятся будет -
ааа можно сделать быстро через 10 джоинов:) то есть работать будет быстро но код будет веселый
-
хотя в целом не сложный копипаст
-
Это я примерно сразу понял как делать, но, нет )))))
-
думал, что может через array и без join можно как-то )))))
-
ну если красиво написать через jinja то даже аккуратно будет. главное быстро
-
это в любом случае будет долго. хотя если у вас таблица небольшая то норм. но тогда и на питоне можно сделать там это две строчки:)
-
таблица - несколько млрд. записей, так, что никакого питона )))
-
спасибо, думаю, что сделаю так
-
Так, я от тебя, похоже, не отстану...
Пытаюсь создать инкреметный индекс через окошки:
SELECT *, rank() over (partition by user_id order by time).
Но, слишком много памяти это требует. Может есть что-то более эффективное??? -
вчера обсуждалось подобное - собираете в массивы через groupArray, а затем развертываете назад через arrayJoin. В промежутке (пока есть массивы) отделяете от нужного массива 10 элементов через arraySlice, а затем их складываете через arraySum.
-
Привет, продублирую вопрос:
Подскажите про работу ZooKeeper в ReplicatedMergeTree для дедублицирования данных + replicated_deduplication_window
1) У меня есть несколько шардов и я хочу понять если я буду пихать один и тот же батч в разные шарды ZooKeeper отловит это или нет.
Нашел в доке
Для очень больших кластеров, можно использовать разные кластеры ZooKeeper для разных шардов. Впрочем, на кластере Яндекс.Метрики (примерно 300 серверов) такой необходимости не возникает.
То есть дефолтно ZooKeeper общий для всех шардов и тогда (если хеш батча не вылетел из памяти) если пихать в разные шарды один и тот же батч - то ZooKeeper должен не дать его записать?
Но в тоже время в этой доке дальше везде идет как будто ZooKeeper для разных шардов всегда разный?
2) У меня ZooKeeper единый на кластер - будет ли у него количество хранимых хешей для дедубликации блоков единым для всех таблиц в кластере или оно там различное?
Иначе говоря, настройка replicated_deduplication_window (кол-во сообщений которые хранятся в ZooKeeper) - она на что настраивается - на реплику/на шард/кластер/на таблицу?Репликация данных | Документация ClickHouseРепликация данных Репликация поддерживается только для таблиц семейства MergeTree: ReplicatedMergeTree ReplicatedSumming
-
sum (case when условие then 1 else 0 end) as field не работает? -
👍
-
не очень понятно, что значит вне строки...нужен доп join другой таблицы?
-
ничего не понятно. Вам уже пару раз дали хороший совет про "упрощенный" и "дайте данные". Наверное вам стоит задать вопрос на stackoverflow по их стандартам качества вопросов. В чатике очень трудно решать столь непростые вопросы.
-
по мне так не нужно ничего исключать, а наоборот нужно добавить все что нужно для конечного расчета и на уровне if это все делать...все ваши условия прописывать в конкретный агрегат
-
десять разных логинов не ограничить
один юзер с множеством коннектов ограничить можно
ну судя по документации по крайней мере -
пропишите данные флаги - должна не должа и используйте их при расчетах агрегатов
-
по данному пример опишите выход...по мне так менять задним числом не нужно ничего, а нужно рассчитать флаг = учитывать или не учитывать значение
-
| id | dd | val1 | type | reference | flag|
| — | — | —— | —— | ————- |
| 1 | 2021-12-30 12:34:52 | 1000 | 4 | 0 | 0|
| 2 | 2021-12-30 12:35:12 | -500 | 7 | 1 | 1 |
| 3 | 2021-12-30 12:36:11 | 500 | 9 | 2 | 0|
| 4 | 2021-12-30 12:37:20 | 1000 | 7 | 1 | 0| для примера -
flag можно рассчитать всегда, вопрос сложности алгоритма и его реализации и возможно алгоритм в вашем случае может через вызовы отдельных процедур/функций
-
вам поставили невыполнимую задачу? все решаемо в большинстве случае, в вашем не понятно как получено 1000, какая из строк взята...доп. построения решают все проблемы
-
советую в взять кусок данных и в excel построить алгоритм расчета :)
-
работает, сервак не падает? посмотрите нагрузку...время и тд...если задача решена и никого не должно особо парить как...будет время поищите оптимальное решение :)
-
sumIf(val1, type = 4) as sum_all
sum(If(type = 7, abs(val1) * -1, val1)) as sum_with_returns -
или я что-то упускаю?
-
почему? sum(If(type = 7, 1, -1)) as count ну или в эту сторону подумать
-
если он был отменен то опять +1
-
multiIf
-
не обязательно count countом считать)
-
это уже не важно, In Fis - вам нужно детализировать свой алгоритм и рассчитать все флаги, отдельно которые вам нужны для итогового расчете...
-
Народ а подскажите что произойдет если я пытаюсь записать в кластер (3 шарды 3 реплики) если отьехал 1 шард а реплика у шарда осталась
-
Наример:
[v] Shard-0 -> Replica-0 [v]
[v] Shard-1 -> Replica-1 [v]
[v] Shard-2 -> Replica-2 [X] -
если я правильно понял то флаги рассчитываются динамически основываясь на временном отрезке
-
Replica 2 умерла скажем
-
это сути дела не меняет, используйте переменные :)
-
В поставленной формулировке задача требует рекурсивного обхода. В КХ рекурсии почти нет (есть словарь). Обычно в таких ситуациях делают колонку типа transaction_id, которая есть во всех строках начислений и возвратов. По ней можно сгруппировать и посчитать что хотелось. Так что подумайте над изменением схемы хранения, или можно развлечься со иерархическим словарем, если выборка данных для анализа не сумашедшего размера, а памяти в сервере достаточно.
-
Да, что то вроде этого
-
если у вас будет колонка с id изначального начисления во всех строках (тот самый transaction id), то по нему будет обычный group by. Дальше через if и массивы вы сделаете что угодно.
-
добрый день! Вопрос про SELECT WHERE IN в postgresql.
Где будет выполнятся условие IN если запрос будет вида: select ... from ... where field IN (select ... from remote_pg_table)?
Может быть я и сам отвечу, поправьте пожалуйста: сначала под запрос отработает в pg, вернется результат и внутри КХ уже сработает IN. -
😂
-
да вроде все очевидно - select sumIf(value,type in [1,2,3]), sumIf(value,type in [4,5,6]) from t1 group by transaction; или я не понял вашего вопроса.
-
можете использовать cte
-
история с k-means завершилась статьей на хабре. спасибо @unamedrus за помощь!
https://habr.com/ru/post/645291/k-means in ClickhouseАлгоритм k-means хорошо известен и применяется когда надо быстро разделить массив данных на группы или т.н. "кластеры". Предполагается, что каждый элемент данных имеет набор численных метрик, и мы...
-
Можете резервировать партиции
-
Ну так всё зависит от партиционирования таблиц
-
Делаете бэкап, всех патриций,партиция последнего месяца может изменяться, предыдущих не будет
-
│ parallel_distributed_insert_select │ 0 │ 0 │ Process distributed INSERT SELECT query in the same cluster on local tables on every shard, if 1 SELECT is executed on each shard, if 2 SELECT and INSERT is executed on each shard │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ UInt64 │
-
Да, должно быть достаточно. передастся как сессионная.
-
Привет
А есть возможность скачать clickhouse-client для apple silicon?
ссылка не работает https://builds.clickhouse.com/master/macos-aarch64/clickhouse
да и вообще для мака вот тут не работает https://clickhouse.com/docs/en/getting-started/install/Installation | ClickHouse DocumentationInstallation System Requirements ClickHouse can run on any Linux, FreeBSD, or Mac OS X with x86_64, AArch64, or PowerPC6
-
На гитхабе забери
-
GitHub - Altinity/homebrew-clickhouse: ClickHouse Homebrew tap (by Altinity)
ClickHouse Homebrew tap (by Altinity). Contribute to Altinity/homebrew-clickhouse development by creating an account on GitHub.
-
21.8 на силиконе есть уже
-
++
-
огонь, спасибо
-
Я думал об этом, но, вопрос вот в чем, который у меня часто возникает. Я в select делаю группировку, в данном случае по (user_id, time). Как мне запихнуть в groupArray не текущие (user_id, time) а все? Как потом отфильтровать?
-
спасибо, уже разобрался. просто через sed 1,1d $filename, убрал заголовок и формат сделал CSV
-
не делать группировку по time, или делать отдельно во вложенном запросе
select user_id, groupArray(time), arrayConcat(groupArray(v)) from (select user_id,time,groupArray(v) v from table group by user_id,time) group by user_id -
спасибо, буду разбираться
-
> а у меня там зашито имя БД
В каком виде? в новых версиях кх это имя материализует в просто строку, так что можете переносить между базами. (ну ZK путь будет старый, ну и что)
Какая версия? -
Ок, ну я бы предложил
Сделать DETACH TABLE xxx
заменить макрос с названием базы данных на само название базы данных в .sql скрипте таблицы
Сделать ATTACH TABLE xxx;
а потом уже сделать RENAME TABLE -
А, ну так тогда в чем проблема?
Ну и пусть останется старая база в ZooKeeper -
👍🏻
-
Всем привет, а CH уже поддерживает вторичные индексы? -
Интересная штука. Изменил представление. Добавил в него тримы в том числе в условиях. Стало дико тормозить. Убил. Попытался пересоздать без них … долго думает и вылетает. Так много попыток. В итоге сделал представление под другим именем. Все ок и быстро. Переименовал. Все ок
-
всем привет! сори за глупый вопрос
пытаюсь прокинуть данные в КХ с яндекс.метрики с помощью logs api. беру скрипт отсюда (https://github.com/yndx-metrika/logs_api_integration), там в конфиге ставлю свой токен, айпишник и.т.п., запускаю и ловлю ошибку:
requests.exceptions.ConnectionError: HTTPConnectionPool(host='*', port=*): Max retries exceeded with url: / (Ca
used by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x0000029B1D2CF9A0>: Failed to establish a new connec
tion: [WinError 10061]
в чем может быть проблема? -
Коллеги, вопрос по ReplacingMergeTree - если у нас ключ дедубликации одинаковый, то остается последняя вставленная строка? -
Какая самая минимальная конфигурация для кластера, zero-downtime, fault tolerance?
- 3 сервера, CH+ZK на каждом. при падении любого сервера - кластер переходит в режим READ_ONLY.
- 5 серверов, 2 CH + 3 ZK. при падении любого ZK - кластер переходит в режим READ_ONLY.
Получается что минимум 5 ZK серверов в ансамбле и минимум 2 CH? Или есть варианты? -
не переживает, проверено, оставшиеся два не могут договориться о лидере
-
Всем привет. В БД как-то коряво записываются некоторые данные и при группировке по показателю возникает вот такое)
первое от второго отличается тем, что в одном из них в конце есть пробел ('x','x ') то есть вот такой кейс.
Подскажите плиз как избавиться от таких дублей.
Есть ли в КХ функция что то вроде: left(x,бери то, что до пробела первого) -
https://clickhouse.com/docs/ru/sql-reference/functions/string-functions/
тебе подойдет чтото из trim -
Спасибо
-
Добрый день!
https://yql.yandex-team.ru/Operations/YeAQBlZ1OyS7_JgfDWF6bSngihMdsDYNH4qwvXPht8M=
У меня есть запрос, где я делаю join двух таблиц с данными из AppMetrica, но получаю ошибку, хотя по отдельности обращения к этим таблицам работают без проблем. Можете подсказать, в чём проблема? -
Я сова :) сова страгией занимается. А Есом серьёзно то хз, я думал что в кх инкреметный индекс из коробки можно сделать
-
Подскажите пожалуйста, как в конфиге для заведения ldap сервера передавать пароль для технической учетки (не пользователя) в секции bind, чтобы потом аутентифицировать пользователя AD user_name? -
30000 и 45000 партов совсем-совсем не manageable.
У вас сколько партиций? -
Таблица меньше 80 ГБ может вообще не иметь партиций.
-
80гб в сжатом или в разжатом виде? -
Сжатом
-
Кх не будет мержить парты если размер после мержа будет > 100 гб
-
привет! пытаюсь создать функцию по примеру из доков:
"CREATE OR REPLACE FUNCTION linear_equation AS (x, k, b) -> k*x + b;",
получаю ошибку "Syntax error: failed at position 19 ('FUNCTION'):"
что может быть не так? -
21.9.4.35
-
Спасибо 💐
-
привет! -
кх и на q и на й реагирует
-
Мало кто знает, но ещё можно писать ЫЕДУСЕ вместо SELECT и ЦРУКУ вместо WHERE :)
-
Это шутка была. Впрочем, я не проверял... :)
-
Не удивлюсь, если разработчики читают этот чат и в следующей версии добавят
-
Ну вот, а я уже пошел проверять такую новую для меня фичу...
-
ЫУДУСЕ тфьу, ыгь(фьщгте) фы фьщгте АКЩЬ аштфтсу ЦРУКУ скуфеу_феЮ=э2021-12-01э ПКЩГЗ ИН тфьу
(c) Ащьф ЛШТШФУМ -
в телеграм боте для кликхауса такое работает
- 14 January 2022 (154 messages)
-
Да поддерживает но работают они не так как b-tree
Это data skip indexes
Если вам это о чём нибудь говорит
https://clickhouse.com/docs/en/engines/table-engines/mergetree-family/mergetree/#available-types-of-indicesMergeTree | ClickHouse DocumentationMergeTree The MergeTree engine and other engines of this family (*MergeTree) are the most robust ClickHouse table engine
-
Ошибка ровно то что написано
Поскольку каждая query может читать/писать дофига данных
То общее кол-во запущенных одновременно ограничено сверху
Смотрите system.processes
Анализируйте system.query_log
По written_rows read_rows и memory
Переписывайте запросы -
Привет. Подскажите, как посмотреть список пользовательских функций, созданных через create function? -
спасибо!
-
Привет! Вот какой вопрос.
Создаем таблицу ReplicatedMergeTree on cluster.
Потом на одном инстансе дропаем табличку, без on cluster.
При этом на нем остается папка с датой таблицы в store/
И не дает создать ее заново.
Вроде бы как эта папка со временем пропадает, но хотелось бы узнать, зачем это так происходит? Может быть мы не правильно как-то конфигурим клик?
Этот кейс всплыл в рамках работы над бекапером -
Если вы про clickhouse-backup то там бага которую пофиксить должны при ресторе таблиц RMT с приставкой ON CLUSTER возникает ошибка DuplicatedUUID:
https://github.com/AlexAkulov/clickhouse-backup/issues/145add support to restore table ON CLUSTER · Issue #145 · AlexAkulov/clickhouse-backupIf we create table, for example CREATE TABLE recipes ON CLUSTER '{cluster}' ( title String, ingredients Array(String), directions Array(String), link String, source LowCardinality(S...
-
Мы ее очень ждем прям очень очень
-
это Atomic движок, store с соответсвующим UUID будет
делайте
DROP TABLE ... SYNC
для Atomic -
Ну и это да ++
-
нет =) я думаю что тут свои какие то велосипеды =)
-
Когда релиз будет уже - любезный?) Дайте жизни нам смертным)
-
https://github.com/AlexAkulov/clickhouse-backup/issues?q=is%3Aopen+is%3Aissue+milestone%3A1.3.0
трекайте
Осталось пара довольно увесистых issue
экспериментирую
на этой неделе отвлекался постоянно на всякое =(Issues · AlexAkulov/clickhouse-backupTool for easy ClickHouse backup and restore with cloud storages support - Issues · AlexAkulov/clickhouse-backup
-
❤️
-
Да, за основу взят этот самый бекапер, ресторим мы просто поэтапно, на каждом инстансе сначала только метадату, потом на одном только дату и дальше она реплицируется через зукипер.
Вроде бы схема пока рабочая.
Но есть вот пару таких скользких кейсов. -
Чето я запутался, я думал движок на таблицах ReplicatedMergeTree?
-
Нет, слишком много
-
Перенесите partition key на первую позицию order by и у вам запросы ускорятся, те не нужно будет лазить по десяткам тысяч разнвэ партиций
-
Понятно, Atomic это движок баз.
Окей, спасибо!
Ждём нового релиза! -
Указать схему, не ?
-
Всем привет. После обновления с 21.3 LTS на 21.8 LTS попытка чтения таблицы из MySQL по ODBC стала периодически обрываться с ошибкой localhost:9000. DB::Exception: Attempt to read after eof: While executing ODBC.
Коннектор ODBC используем mysql-connector-odbc 5.2.5-8
ODBC выдаёт вот такую ошибку при чтении некоторый сложных unicode-символов
HTTP status code: 500 Internal Server Error, body: std::exception. Code: 1001, type: std::range_error, e.what() = wstring_convert: to_bytes error, -
Привет. Все решилось очень просто... через окошки )))
select user_id, time, sum(value) over (partition by user_id order by time rows between 9 preceding and current row) -
это решение сразу приходит на ум, но вы хотели какие-то "10 последних", не сильно поясняя что под этим понимается. Если так как выше вам подходит, то OK. Но по мне это 10 предыдущих для каждой строки.
-
оу... да... мой косяк )))
-
но если вам так близки WF, то можете и на них - groupArray работает и для них тоже:
select number, arraySum(ss) from
(select number, groupArray(5)(number) over (partition by id) as ss
from (select number, number%10 as id from numbers(1000) order by number desc)
order by number); -
вообще не близки )))
-
Atomic - это движок базы данных
https://clickhouse.com/docs/en/engines/database-engines/Introduction | ClickHouse DocumentationDatabase Engines Database engines allow you to work with tables. By default, ClickHouse uses database engine Atomic. It
-
Спасибо, я разобрался 👍🏻
-
Ещё одна деградация, после обновления с 21.3 до 21.8 — теперь почему-то фейлит обращение к движку HDFS с использованием имени сервиса вместо адреса хоста:
CREATE TABLE _hdfs_engine_table (name String, value UInt32) ENGINE=HDFS('hdfs://hacluster/clickhouse_test.txt', 'CSV');
Received exception from server (version 21.8.13):
Code: 36. DB::Exception: Received from localhost:9000. DB::Exception: Bad hdfs url: hdfs://hacluster/clickhouse_test.txt. It should have structure 'hdfs://<host_name>:<port>/<path>'. -
Товарищи, подскажите, как полностью удалить clickhouse? вместе c базами. Ubuntu
-
имя порта не задано о чем сказано четко какой формат у урла должен быть
-
очевиднейшим образом это ошибка, появившаяся в 21.8. Url в hdfs может быть в формате hdfs://<servicename>/path
ошибку уже нашёл и отрепортил, коммит, который её добавил отловлен -
а можно ссылку на issue?
-
можно
-
DB::Exception: Bad hdfs url error when creating HDFS table or using hdfs engine with servicename instead of hostname:port. · Issue #33627 · ClickHouse/ClickHouse
There is a degradation in transition from 21.3LTS to 21.8LTS in HDFS engine. As you may know and as the Documentation states (https://clickhouse.com/docs/en/engines/table-engines/integrations/hdfs/...
-
можно как-то позырить очередь асинх мутаций? хотя бы размер -
-
SELECT * FROM system.mutations WHERE is_done=0;
-
пасибо
-
почему они могли застрять? и что можно сделать
-
Бесконечное число причин
Надо смотреть на отдельные проблемы
https://kb.altinity.com/altinity-kb-queries-and-syntax/altinity-kb-alter-modify-column-is-stuck-the-column-is-inaccessible/ -
там даже fail_time и fail reason нет - они просто застряли и не делаются, делиты
-
всем привет!) подскажите плз, в связи с чем может возникать ошибка при инсерте большого кол-ва данных. Ошибка происходит где то в момент, когда записано уже 18гб
DB::Exception: Received from clickhouse-2.services:9100. DB::Exception: Timeout exceeded while writing to socket (192.168.128.139:54364) -
Other | ClickHouse DocumentationOther Functions hostName() Returns a string with the name of the host that this function was performed on. For distribut
-
Лучше такое делать на windowfunctions. runningaccumulate не всегда дает правильный результат. читать тут:
https://kb.altinity.com/altinity-kb-queries-and-syntax/cumulative-unique/
там примеры с uniq, а не sum, но это не принципиально -
Да, с такой же проблемой столкнулся
-
select [10, 0, 5, 7] ar, arrayCumSum(ar)
-
не помню такого обсуждения
Основной Мантейнер сейчас активно пишет v2
https://github.com/ClickHouse/clickhouse-go/pull/452
можно создать issue в github и потегать его, может быть ответит
еще можно посмотреть альтернативные реализации
https://github.com/vahid-sohrabloo/chconn
и
https://github.com/go-faster/ch[WIP!] v2 MVP by kshvakov · Pull Request #452 · ClickHouse/clickhouse-goGolang driver for ClickHouse. Contribute to ClickHouse/clickhouse-go development by creating an account on GitHub.
-
Народ а подскажите что будет если из кластера вылетит 1 шард но останется его реплика?
-
Я же не смогу инсерты в таблички выполнять или все таки смогу?
-
У меня просто интересная ситуация у меня 3 шарда и у каждого по 1 реплике
-
я отключаю 1 шард и у меня инсерты начинают просто зависать на попытке создать например таблицу на отключенном шарде
-
CREATE TABLE ... ON CLUSTER test ...
-
С чем может быть связана такая проблема куда смотреть?
-
Может таймеры отлупа от мертвых нод покрутить?
-
"инсерты начинают зависать на попытке создать таблицу"
шиза =)
инсерты отдельно
создание таблиц отдельно
CREATE TABLE ON CLUSTER это НЕ INSERT
он ставит DDL в ZK и ждет пока все реплики его выполнят
если реплика 180 секунд не выполняет, он отваливается
таблица создается одна и таже?
или каждый раз разная? -
https://clickhouse.com/docs/en/operations/settings/settings/#distributed_ddl_task_timeout
но сначала разберитесь. нужен ли вам вообще CREATE TABLE перед каждым INSERTSettings | ClickHouse DocumentationSettings distributed_product_mode Changes the behaviour of distributed subqueries. ClickHouse applies this setting when
-
Да вообще нет но вот как проверить insert в случае отказа одной шарды?
-
Просто он же инсертит по хешу и случайно реплику выбирает насколько я помню
-
какой такой "одной шарды", вы вставтляете в какую таблицу в Engine=Distributed или в Engine=ReplicatedMergeTree?
-
Distributed
-
он первую живую в шарде выбирает
-
В нее и вставляю
-
Агааааа
-
Блин
-
Тут просто вопрос
-
а как вставить конкретно в эту реплику у которой умер шард
-
Я просто не понимаю как мне протестировать отказ 1 реплики)
-
Еще раз спасибо! Я начинающий кликхаусовод, поэтому не сразу понимаю, сорри.
Мне не просто суммирование требуется (показал так для простоты), нужно вычисление с использованеим текущего агрегата, и результирующего:
0.02*user_value + (1-0.02)*if(isNotNull(old), old, 0) as user_value
user_value - это текущий (по aggrgate)
old - это последний вычисленный из result.
Я схему реальную сделел, если интересно можно тут посмотреть https://gist.github.com/andrey-mishenkin/fd055a472a5e21ad691170f971a0c67d
На локальном mac на 100M вставок, показало 500k записей в секунду... Навероное это мало... Но пока не представляю как по другому можно такое реализовать.My first ClickHouse experienceMy first ClickHouse experience. GitHub Gist: instantly share code, notes, and snippets.
-
если я вставляю в distributed таблицу он же случайно выберет шард нет?
-
если быть точным, оно вообще сначала никуда не вставляет, а генерирует .bin в каталоге на ноде куда INSERT пришле с именем destination replica
и после этого пытается сделать push это .bin на целевую реплику
как только нода отваливается, оно ждет
мониторьте кол-во временных файлов в distributed
из этих файлов при SELECT тоже чтение идет... но не такое эффективное -
остаток результата SHARDING KEY выражения поделенное на кол-во шардов
-
У нас там хеш некоторых значений
-
Понял
-
ну если значения "близкие с рандому", то в целом будет равномерно по шардам растекаться
потому что остаток от деления на кол-во шардов в <remote_servers> для заданного кластера будет всегда разным -
Уже намного понятнее стало
-
Протестирую в понедельник
-
Спасибо вам) Хороших выходных
-
Если вдруг кому интересно - подняли 30 шардов по 2 реплики, на пяти нодах был включен clickhouse-keeper. Настройки дефолтовые, ничего не тюнил. Вставки шли катастрофически медленно, часть процессов вставки прерывались. В общем боль и печаль, глубже погружаться не стал - отключил кхкипер, поставил 3 ноды зукипера и все заработало надежно и быстро. Видимо что то я в конфигах не выставил, но времени глубоко копать небыло - выбран простейший из путей.
-
> 0.02*user_value + (1-0.02)*if(isNotNull(old), old, 0) as user_value
вы тут случайно не проценты считаете? Может вас спасет какая-то вариация формулы сложного процента, и ничего суммировать не придется? Можно счетчик сделать, а потом его испльзовать как степень.
Читать во время инсерта старые данные - плохая затея. Надо что-то накапливать в таблицах, а в финальном select/group by посчитать все что вам нужно, оперируя только накопленными данными. -
Не это не %, это Exponential Moving Evegare (EMA)... понимаю что плохая затея... но тогда надо иметь какой-то запрос запускающийся переодически -
и делающий вычисления... -
CREATE MATERIALIZED VIEW IF NOT EXISTS user_value.user_value_mv
TO user_value.user_value AS
SELECT gamer_id,
game_id,
geo,
sum(spend) as spend_sum,
sum(revenue) as revenue_sum,
sum(requests) as requests_sum,
(spend_sum - revenue_sum) / requests_sum AS user_value_agg,
if(isNotNull(user_value_prev_temp), user_value_prev_temp, 0) as user_value_prev,
user_value_agg * 0.0206 + (1 - 0.0206) * user_value_prev as user_value
FROM user_value.aggregate JOIN (SELECT * FROM user_value.user_value WHERE (gamer_id, game_id, geo) IN(SELECT gamer_id, game_id, geo FROM aggregate))
GROUP BY (gamer_id, game_id, geo, time_bucket)
ORDER BY (gamer_id, game_id, geo, time_bucket);
Делайте так -
Через JOIN
(gamer_id, game_id, geo) IN(SELECT gamer_id, game_id, geo FROM aggregate)
Нужно что бы выбрать из user_value таблицы только те строки. что нам нужны для джойна этого БЛОКА вставки (1 млн строк)
тк (SELECT gamer_id, game_id, geo FROM aggregate) вернет не саму таблицу aggregate, а блок вставки -
Вообще мы сделали в новых версиях 4 EWM* функции для оконок и они довольно быстрые, мб вам подойдут.
-
Спасибо Дмитрий! попробовал - только не нравится ему такое
CREATE MATERIALIZED VIEW IF NOT EXISTS user_value.user_value_mv
TO user_value.user_value AS
SELECT gamer_id,
game_id,
geo,
sum(spend) as spend_sum,
sum(revenue) as revenue_sum,
sum(requests) as requests_sum,
(spend_sum - revenue_sum) / requests_sum AS user_value_agg,
if(isNotNull(user_value.user_value), user_value.user_value, 0) as user_value_prev,
user_value_agg * 0.0206 + (1 - 0.0206) * user_value_prev as user_value
FROM user_value.aggregate JOIN (SELECT * FROM user_value.user_value WHERE (gamer_id, game_id, geo) IN(SELECT gamer_id, game_id, geo FROM user_value.aggregate))
GROUP BY (gamer_id, game_id, geo, time_bucket)
ORDER BY (gamer_id, game_id, geo, time_bucket);
Syntax error: failed at position 820 ('GROUP') (line 13, col 1) -
Я дал идею :)
там нужно добавить алиас для подзапроса и ON условие еще
Плюс подзапрос такой должен быть
SELECT * FROM user_value.user_value FINAL WHERE (gamer_id, game_id, geo) IN(SELECT gamer_id, game_id, geo FROM user_value.aggregate)
Что бы брать последнюю запись -
Спасибо за идею! Буду пробовать (пока это все жля меня новое)
-
Привет, подскажите умеет ли клика как-то элегантно генерить бустрап выборки из исходной? -
Здравствуйте, нужен ваш совет, у нас есть довольно объемная greenplum таблица, хотелось бы данные из неё перелить в clickhouse , но insert select падает на лимите по памяти, буду благодарен если подскажите способ подобного перелива? -
Переливайте по партициями. или дробите еще меньше
-
что такое "bootstrap" выборка?
не очень понятно что под этим подразумевается?
какой то ML термин? -
Ага думал об этом варианте, но думал есть что-то удачней, спасибо
-
Падает у вас скорее всего где то в гринпламе (кх не использует много памяти для вставки)
Если гринплам умеет в stream данных в пайп можно вообще попробоватЬ
gp_program —query "SELECT * FROM table" | clickhouse-client "INSERT INTO xxxx FORMAT TSV" -
это сэмплирование с возвращением, к мл напрямую не относится. Скорее к дс в части проверки гипотез
-
Не именно clickhouse падает,
-
У нас тестовый стенд не очень много ресурсов там
-
используете postgresql функцию?
-
Я использовал внешнюю таблицу постгреса и вставлял данные в таблицу clickhouse
-
Ну и 1 гб это какое то издевательство над кх.
Его вообще дизайнили под систему с минимум 16 гб.
Кх собирает 1 млн строк в памяти и потом дампит готовый блок на диск, это основное на что тратит память кх при вставке -
Я бы попробовал через пайп если честно, у меня есть некоторые сомнения в производительности postgresql функций.
-
Плюс 100к строк в секунду это очень грустно и долго будет
-
Ок, спасибо, попробуем увеличить ресурсы
-
https://kb.altinity.com/altinity-kb-setup-and-maintenance/altinity-kb-data-migration/remote-table-function/#q-can-i-tune-insert-speed-to-make-it-faster
Можете конечно попробовать покрутить эти настройки, но у вас памяти совсем не много и так.
│ max_insert_block_size │ 1048545 │ 0 │ The maximum block size for insertion, if we control the creation of blocks for insertion. -
У нас 1 гб лимит на один запрос, так мы под тесты выделяли 10 ГБ, так что увеличим лимит на запрос
-
Может вам не нужен кликхаус если вы 10гб под тесты выделили ...
-
Здравствуйте коллеги. У меня в кубернетесе стоит 4 шарда . Как сделать чтобы только канкретная таблица реплицировался в каждом шарде ?
Хочу создать Set таблицу для каждой шардированной таблицы локально -
Сделайте больше оперативной памяти и установить на GROUP BY ограничение, чтобы запросы не падали по памяти max_bytes_before_external_group_by
-
Спасибо за конструктивное замечание, а сколько вы бы рекомендовали выделить памяти на боевой clickhouse? Я просто новичок в этом деле
-
Зависит от количество данных которые вы планируете использовать
-
Ну хотя бы минимальное количество. Так будут хранится что-то вроде агрегатов в ch
-
?
-
CH не для агрегатов, я не знаю
-
А какие тогда варианты использования больше подходят для ch?
-
И чем плох clickhouse для хранения агрегатов, я честно пока не вижу таких минусов, партицирование удобное, кол-во записей уже ограничено, то есть по сути должен он выбирать из агрегатов достаточно неплохо.
-
А что есть для агрегатов ? Есть агрегатные функции, но если ты будешь считать uniqExact (точные вычисления) они будут по времени как на данных почти .... Кликхаус это про быстро положить и быстро достать ОЧЕНЬ МНОГО ДАННЫХ
-
Нет, там будут строчки по разным группировкам значения разных метрик за день, ну если грубо посчитать несколько тысяч строчек за день, уже сосчитанных другой системой и записанных в clickhouse, будет там несколько метрик hll - это самое трудное их возможно за некий период придется мержить
-
Если у вас grenplum почему не использовать для этого PG ?
-
Мы пока тестируем гипотезу что выборка из clickhouse агрегатов будет быстрее
-
Да в целом есть люди, что кладут в кх готовые витрины и быстро делают по ним агрегации.
-
Только это имеет смысл делать, когда в таблице будут сотни миллионов строк
-
Всем привет, в pandahouse есть функции для создание таблицы в clickhouse ? -
Вы можете просто выполнить запрос на создания таблицы
-
Спасибо, попробуй!
-
Товарищи, такой вопрос. Есть локальная папка, в ней есть csv-файлы. Файлы периодически добавляться. Можно ли сделать таблицу, которая бы автоматически считывала файлы из папки?
-
Можно с движком File. Правда при каждом селекте всё будет читаться и парситься заново.
-
Хотя я кажется наврал https://clickhouse.com/docs/en/engines/table-engines/special/file/File | ClickHouse Documentation
File Table Engine The File table engine keeps the data in a file in one of the supported file formats (TabSeparated, Nat
-
Табличная функция file точно так умеет: https://clickhouse.com/docs/en/sql-reference/table-functions/file/file | ClickHouse Documentation
file Creates a table from a file. This table function is similar to url and hdfs ones. file function can be used in SELE
-
Да, но, насколько я понимаю, это просто чтение КХ данных из файлов. Т.е. если я хочу всё засунуть в MergeTree, то мне надо что-то типа Live view сделать.
-
КХ не умеет отслеживать внешние файлы и автоматически вставлять данные из них в таблицу. Можно свой скрипт написать который будет это делать.
-
Ага, спасибо.
-
Доброго времени суток, посоветуйте хороший курс или материалы для погружения в тему Кликхауса, с чего начать изучение? -
А для чего Вам ClickHouse? Если кратко, то это колоночная СУБД с эффективной параллельной поблочной обработкой и с быстрым GROUP BY, поддерживающим распределенное исполнение. Если хочется что-то конкретное, то всегда есть документация, Хабр, ютьюб...
-
Для начала разобраться с этой по блочной структурой данных и посчитать рассчетные показатели за большой период времени для их сравнения по годам. Примерно такая задачка для начала
- 15 January 2022 (69 messages)
-
Доброе утро! подскажите пожалуйста, у таблицы MergeTree строки физически мержаться (то есть из 2 получается 1 по primary key) или слияние происходит только на уровне системных таблиц, а сами данные в исходной таблице остаются как есть? -
семплирование есть
https://clickhouse.com/docs/en/sql-reference/statements/select/sample/
что такое "семплирование с возвращением", не очень понимаюSAMPLE | ClickHouse DocumentationSAMPLE Clause The SAMPLE clause allows for approximated SELECT query processing. When data sampling is enabled, the quer
-
у таблицы MergeTree из 2 строк получится две строки при background merge, всегда
у таблицы CollapsingMergeTree для одинаковых значений полей из ORDER BY будет "схлопывание" по полю sign
то есть из двух строк с одинаковым ORDER BY и sign 1 + sign -1 получится 0 строк
для -1 и -1 или 1 и 1 получится 2 строки
у таблицы ReplacingMergeTree для одинаковых ORDER BY будет "замена"
из нескольких строк с одинаковым ORDER BY ,, получится одна, любая
у таблица AggregatingMergeTree, SummingMergeTree (более простой вариант aggregating) для одинаковых ORDER BY будет "аггрегация"
из любого кол-во строк с одинаковым ORDER BY ,, получится одна, в которой поля имеющие aggregatingState будут смержены между собой (для summing)
остальные варианты предлагаю внимательно прочитать в документации
https://clickhouse.com/docs/en/engines/table-engines/mergetree-family/
слева там оглавление, по типам движковIntroduction | ClickHouse DocumentationMergeTree Engine Family Table engines from the MergeTree family are the core of ClickHouse data storage capabilities. Th
-
Спасибо большое, все понял!
-
недавно появился движок FileLog - смотрит за файлами в директории и их оффсетами (как кафка). Но он все ещё экспериментальный и недокументированный - ищите на github. Я пробовал полтора месяца назад - откусывал последний символ в строке. Пришлось читать в формате RowBlob и парсить регеспами в SQL. В последней версии вроде как сделали мощный рефакторинг форматов - может и починили.
create table t ( logrow String) engine = FileLog('..../logs', 'RawBLOB')
settings max_threads=4; -
А верно понимаю, что чистый mergetree ничего не схлопывает и нужен только для быстрого поиска по искомым данным?
-
Сам не схлопывает
-
optimize deduplicate
-
А для каких целей применяется mergetree? Просто как данные?
-
ну да, основной кейс кликхауса - сохранили данные в широкую таблицу + таблицы измерений \ справочники
и дальше по этому SELECT ... WHERE ... GROUP BY
быстрый делаем -
а почему этого недостаточно?
да, как промежуточное и финальное хранение данных для последующей выборки и аггрегации -
Понял, спасибо большое!
-
Спасибо
-
Да, извините, забыл, да там последняя, либо сортировка по ver
-
сколько записей планируется к выборке из основной таблицы в типичном запросе?
-
я не спрашивал, сколько у вас будет произведение после JOIN
я спросил сколько у вас в основной таблице за один запрос выбирается строк -
то есть я правильно понимаю, что вы хотите выбрать 1.5 миллиона записей
и джойнить их с 5 миллиардами? =)
мне просто любопытства ради интересно
как думаете сколько такой JOIN будет работать?
вообще не важно в какой БД -
если бы речь шла о сотнях тысяч записей
оно в целом можно было бы делать через
SELECT .. FROM 5bil_table WHERE id IN (
SELECT id FROM 1bil_table WHERE ...
)
GROUP BY ...
и это было бы долго потому что пришлось бы все равно сканировать практически все ваши 5 миллиардов, потому что там явно искомые id в каждый парт напиханы... и data skip index через set или bloom filter не поможет...
но полтора миллиона, я не знаю как такое делать =) может кто другой подскажет -
если весь массив в момент в ставки в основную таблицу как то известен, то да
локальность данных и все такое
правда с большими массивами (тысячи элементов и больше) clickhouse также как и строковые БД работают так себе...
и выборки из больших массивов с array функциями это тоже не панацей -
тут вопрос даже не в том, чтобы включать "подчиненную" таблицу в основую, а как вобще фильтровать миллиард записей без индексов за пристойное время. В КХ у вас есть 3 возможности фильтрации:
- первичный индекс
- партиции
- skip index
Хорошо работает только первый. Если нужно ставить условия по колонкам не в первичном индексе, то единственный вариант - уменьшать количество строк. Через предаггрегацию. Скажем можно хранить не все данные, а только суммы за день, или за час. Не всегда такое возможно - надо смотреть на требумые выборки. -
тогда лучше на этапе вставки такое иметь... но риск того что "условия изменились" и теперь надо срочно все переконвертировать, далеко не нулевой
-
ну там есть оптимизации с JOIN алгоритмом, но фиг его знает как сработает
я давно жду когда кто нибудь JOIN займется, там нетривиальная очень задача сама по себе -
извлечение через JSON медленее может быть чем итерация через массив, потестируйте на ваших данных
-
Во сколько медленнее? -
могут быть быстрее, могут быть медленее, от данных зависит
там JSONSIMD парсер оптимизированный, он быстрый достаточно, но разложенные массивы все таки легче парсить -
Nested это массивы
имеет ограничение
должно быть одинаковое кол-во элементов для каждого Nested поля
думаю не годится для вас
если у вас просто ключ значение, попробуйте новомодный Map -
потому что перепаковать один набор полей в другой набор массивов, весьма не тривиальная задача может быть в общем случае если ее не ограничивать
-
имеется ввиду вставке в Nested
вы не можете вставить в одну запись Nested в котором только 2 поля из 3 заданы например
вроде бы так
я давно с nested не работал, года два, может сейчас сделали какой нибудь заполнитель дефолтным для типа значением если поле не указано -
да, Nested может "несколько записей" хранить
и даже будет я думаю самым быстрым вариантом из всех
но внутри это массивы
Nested вроде даже в ARRAY JOIN можно использовать (правда не помню точно) -
тогда должно получиться
-
Подскажите, использую MaterializedPostgreSQL, но в самой таблице PG есть поля которые String|NULL.
Может из-за этого падать CH сервер при репликации из PG в CH.
Сама ошибка:
2022.01.15 13:49:32.647859 [ 235 ] {} <Fatal> BaseDaemon: (version 21.12.3.32 (official build), build id: FA4A7F489F3FF6E3) (from thread 117) (no query) Received signal Segmentation fault (11)
2022.01.15 13:49:32.647912 [ 235 ] {} <Fatal> BaseDaemon: Address: NULL pointer. Access: read. Address not mapped to object.
2022.01.15 13:49:32.647947 [ 235 ] {} <Fatal> BaseDaemon: Stack trace: 0x12b4d6ef 0x12b4f236 0x12b5335a 0x12b5409d 0x12afae60 0x12b0cdae 0x12b0f747 0x12b107b0 0xa25a3b7 0xa25ddbd 0x7f5f77298609 0x7f5f771bf293
2022.01.15 13:49:32.648103 [ 235 ] {} <Fatal> BaseDaemon: 2. DB::MaterializedPostgreSQLConsumer::readTupleData(DB::MaterializedPostgreSQLConsumer::Buffer&, char const*, unsigned long&, unsigned long, DB::MaterializedPostgreSQLConsumer::PostgreSQLQuery, bool) @ 0x12b4d6ef in /usr/bin/clickhouse
Основываясь на данной таблице: https://clickhouse.com/docs/ru/engines/database-engines/postgresql/#data_types-support
Я понимаю что Nullable может быть только int поля, верно ?PostgreSQL | Документация ClickHousePostgreSQL Позволяет подключаться к БД на удаленном сервере PostgreSQL. Поддерживает операции чтения и записи (запросы S
-
скорее просто что-то кривое в MaterializedPostgreSQL в парсинге WAL
думаю стоит создать issue на github
расшарить минимальную структуру таблицы в PostgreSQL и стектрейс полный -
А как правильно написать запрос для создания Distributed таблице, для того чтобы шардирование работало по UUID?
Мне это нужно для работы с ReplicatedCollapsingMergeTree -
cityHash64(uuid)
-
Спасибо!
-
Всем привет!
Прошу прощения за нескромный вопрос, но:
как вывести дату типа DateTime в формате дд/мм/гггг?
Ничего не помогло ( -
Читайте доку.
https://clickhouse.com/docs/ru/sql-reference/functions/date-time-functions/#formatdatetimeФункции для работы с датами и временем | Документация ClickHouseФункции для работы с датами и временем Поддержка часовых поясов Все функции по работе с датой и временем, для которых эт
-
вот пример использования, прямо щас исопльзовал. буковки из доки выше сами подставите formatDateTime(created_datetime),'%g-%m-%d %R')
-
Спасибо!
-
Спасибо😉
-
Приветствую, кто-то использует для кликхауса ? https://github.com/great-expectations, если да, то на что она способна для кликхауса и какие минусыGreat Expectations
Great Expectations has 4 repositories available. Follow their code on GitHub.
-
лично я не использовал никогда
вот тут есть видео
https://www.youtube.com/watch?v=tZWvJZQ_jDo&t=0s[ClickHouse Meetup] Analytic Tools for ClickHouse — SF Bay AreaJoin us for this virtual session on analytic tools for ClickHouse in particular and data warehouses in general. The presentations cover data cleaning and contracts followed by how to build analytic APIs with cube.js. You can ask questions from Youtube. Do note that this is the final version of the live stream (the first 5 mins are removed due to streaming issues). See the meetup invite for more information: https://www.meetup.com/San-Francisco-Bay-Area-ClickHouse-Meetup/events/276499022/ #ClickHouse #AnalyticTools #DataWarehouse #DataCleaning ----------------- Check out more ClickHouse resources here: https://altinity.com/resources/ Join Reddit community: https://www.reddit.com/r/Clickhouse/ ----------------- Learn more about Altinity! Site: https://www.altinity.com LinkedIn: https://www.linkedin.com/company/alti... Twitter: https://twitter.com/AltinityDB
-
Да,я его нашёл, но он больше рекламный
- 16 January 2022 (41 messages)
-
Доброе утро! подскажите пожалуйста, таблица ReplacingMergeTree (Слияние происходят в фоне в неизвестный момент времени, на который вы не можете ориентироваться.). Этот фоновый момент как-то можно настроить? Я тестирую на 2 записях и он их не мержит, пока я сам не вызову OPTIMIZE TABLE . я предполагал, что КХ будет в фоне сам мержить?
-
Когда захочет тогда и смержит, все возможные настройки есть в system.settings с комментариями
-
спасибо!
-
Я не пользовался Replacing, а если запустить Select с FINAL, то тоже 2 записи ?
-
вывод будет 1 запись. то есть я должен у себя в приложении заложить какую-то джобу, которая будет вызывать OPTIMIZE TABLE получается
-
Select * from table Final, что даёт ?
-
1 запись
-
Replacing не даёт гарантию, что не будет дубликатов, он всеголишь убирает дубликаты когда он мержит куски данные, чтобы места меньше занимало, а так писать запросы с Final ( мое мнение, возможно ошибочно). Поищите по чату "дубликация" или что то подобное, помню более понятные объяснение от других людей
-
ага, спасибо!
-
Везде в примерах в ручную вызывают optimize. Не пойму это для примера или это бест практис так делать?
-
Коллеги, вопрос. Имеется таблица с отдельной политикой хранения, в которой сейчас один том, а в нём один диск. Необходимо добавить второй диск другого размера. Если я правильно понял, то лучше создать отдельный том под этот диск и добавить второй том в политику.
1. Верно ли я думаю на счёт отдельного тома?
2. После правки конфига нужно будет перезапустить clickhouse-server? -
Вот мой конфиг.
<yandex>
<storage_configuration>
<disks>
<disk_data_01>
<path>/mnt/clickhouse-data-01/</path>
</disk_data_01>
</disks>
<policies>
<policy_rr>
<volumes>
<hdd>
<disk>disk_data_01</disk>
</hdd>
</volumes>
</policy_rr>
</policies>
</storage_configuration>
</yandex> -
А кто будет мержить данные, если я сам не вызову optimize?
-
Я не могу ведь делать group by на каждый запрос. Вот есть у меня 2 строчки с одним и тем же primary key и мне надо получить какие-то данные , которые я могу бы получить, будь это одна строка. Но когда я использую group by, то могу только агрегацию по полям (сумма , количество итп).
-
Понял, спасибо!
-
Если вы зашли познакомиться с КХ, то вам надо внимательно прочитать раздел про агрегатные функции и их модификаторы. Это сильно расширит ваше представление о допустимом. Тут есть не только "(сумма , количество итп)", и не только уже упомянутый argMax, но ещё и any, groupArray и даже groupBitmapState, и много чего ещё. Где-то тут и зарыта основная магия КХ.
Фактически вы почти всегда делаете group by, потому как основной кейс - это выбрать 10-100-1000 миллионов строк а потом (или заранее) их аггрегировать. Если же вам массово и часто надо выбирать 1 строку, то стоит задуматься о другой СУБД. -
Спасибо большое!
-
Попробую. Спасибо
-
Добавить куда?
-
На таблице есть
-
Написано же магия не совпадает , вы видимо из хогвартса а надо из Средиземья -
можно во все писать и со всех читать. смысла в отдельных репликах на чтение/запись нет
-
а так норм
-
там хелсчеки вроде можно настроить (в плане слать http запросы)
- 17 January 2022 (199 messages)
-
https://clickhouse.com/docs/en/interfaces/http/
https://clickhouse.com/docs/en/operations/monitoring/#clickhouse-server-metrics
можно GET /ping или GET /replicas_statusHTTP Interface | ClickHouse DocumentationHTTP Interface The HTTP interface lets you use ClickHouse on any platform from any programming language. We use it for w
-
есть clickhouse-benchmark
https://clickhouse.com/docs/en/operations/utilities/clickhouse-benchmark/clickhouse-benchmark | ClickHouse Documentationclickhouse-benchmark Connects to a ClickHouse server and repeatedly sends specified queries. Syntax $ clickhouse-benchma
-
подскажите плиз суть кликхаусной ошибки в ответ на селект: Received error from remote server /?connection_string=DSN%3Ddts&max_block_size=8192
-
Ребята, может быть есть у кого конфигурация кликхаус кластера для docker-compose ?
Мне для разработки. Думаю что разрабатывать и тестировать лучше в кластерной конфигурации. Думал сделать 2 шарда и у каждого по 2 реплики.
Насколько это оправдано и реально для разработки и как это лучше сделать ? -
GitHub - ilejn/ClickhouseCluster_DockerCompose: Example Docker Compose configs for Clickhouse Cluster (via ZooKeeper)
Example Docker Compose configs for Clickhouse Cluster (via ZooKeeper) - GitHub - ilejn/ClickhouseCluster_DockerCompose: Example Docker Compose configs for Clickhouse Cluster (via ZooKeeper)
-
спасибо
-
Уважаемые специалисты, здравствуйте. Столкнулся с проблемой скорости запросов к словарю. Есть словарь из строковых key, value на 30 миллионов строк. Выбираю value по одному key из таблицы engine=dictionary, получаю результат только через несколько секунд.
1 rows in set. Elapsed: 2.859 sec. Processed 28.96 million rows, 2.30 GB (10.13 million rows/s., 803.25 MB/s.)
layout = COMPLEX_KEY_HASHED, так что все оперативной памяти, да и статус у словаря loaded. Нагрузки на сервер нет, памяти 128ГБ. Почему так медленно? Какая у вас скорость работы со словарем? -
Оригинальный конфиг от TanVD у меня не работал никак, в моем есть некоторые изменения. Представляет собой три реплики, шард один.
-
Подскажите пожалуйста как сформировать запрос к ClickHouse. Есть запрос: "SELECT ServiceId, count(*) FROM samples_1day where Timestamp='2022-01-16T00:00:00' and CallStackName = '[unknown_Java]' GROUP BY ServiceId", который считает количество фреймов '[unknown_Java]' и группирует их по идентификатору сервиса. Мне надо добавить еще одно поле, общее количество фреймов для данного идентификатора сервиса, или может сразу посчитать ratio. Как это сделать эффективнее? Спасибо.
-
словари придуманы для dictGet, а не для того чтобы из них добывать 28.96 million rows последовательным чтением. engine=dictionary работает небыстро и нужна для операций контроля работы словаря.
Скажите лучше что вы хотите сделать таким образом? -
Хочу приджоинить названия товаров (и другие данные) к истории цен товаров
-
посмотрите на engine=Join - она именно для этого. Похоже на словарь (есть даже joinGet), но работает быстро именно в данном кейсе
-
Спасибо, попробую. А есть примеры использования dictGet в запросах, чтобы понять сценарии, где они пригодятся?
-
@bvt123 Привет, а ты пытался высчитывать на sql для k-means метод логтя или метод силуэта ? https://clck.ru/akMHa
-
Если я правильно понял, что выборка одной записи из словаря занимает несколько секунд, то здесь какое-то явное не то.
Расскажите, как описан словарь в конфигурации. Ну и приведите строку из system.dictionaries
И пример использования. -
CREATE DICTIONARY products_dict
(
product_id String,
name String
)
PRIMARY KEY product_id
SOURCE(POSTGRESQL(
...
query 'SELECT product_id, name FROM products'
))
LAYOUT(COMPLEX_KEY_HASHED())
LIFETIME(3600);
dictionaries:
database: wdm
name: products_dict
uuid: 1464ba09-990c-4e69-9464-ba09990c0e69
status: LOADED
origin: 1464ba09-990c-4e69-9464-ba09990c0e69
type: ComplexKeyHashed
key.names: ['product_id']
key.types: ['String']
attribute.names: ['name']
attribute.types: ['String']
bytes_allocated: 4831830312
query_count: 57912282
hit_rate: 1
found_rate: 1
element_count: 28956140
load_factor: 0.4314801096916199
source: PostgreSQL: ...
lifetime_min: 0
lifetime_max: 3600
loading_start_time: 2022-01-17 03:53:21
last_successful_update_time: 2022-01-17 03:54:46
loading_duration: 84.79
last_exception:
comment:
Вот и я думаю, то или не то. Понравилось, что словарь сам обновляется. Приме использования (немного подрезал, поэтому может выглядеть странно с первым подзапросом):
SELECT ppd.*, p.name
FROM
(
SELECT
product_id,
price
FROM product_prices_daily
WHERE
product_id IN ('97646221','97646318','976464823','97647223','976472425','976474961','976476908')
AND day between '2022-01-13' and '2022-01-14'
) as ppd
LEFT JOIN products_dict as p ON p.product_id = ppd.product_id -
Используйте dictGet
-
SELECT из таблицы-словаря работает работает медленно и предназначен больше для дебага
-
Подскажите, пожалуйста, как мне использовать dictGet в таком сценарии или какие-то другие сценарии для него. Я не понимаю
-
dictGet('products_dict', 'name', tuple(ppd.product_id)) as name
-
157ms Замечательно! Спасибо!
-
нет, определение k я не делал. Несложно дописать в основной цикл вычисление статистики как для "локтя", так и для "силуэта", чтобы потом построить графики и принимать решение. Но код станет ещё сложнее для понимания. Особенно для "силуэта".
-
работало субоптимально т.к. JOIN загружает всю правую таблицу. кажется что в этом месте не помешала бы автоматическая оптимизация. какая у вас версия КХ?
-
ClickHouse server version 21.12.3 revision 54452
-
Ни в какой версии ClickHouse в этом месте нет автоматической оптимизации. Зато есть ENGINE Join https://clickhouse.com/docs/ru/engines/table-engines/special/join/Join | Документация ClickHouse
Join Подготовленная структура данных для использования в операциях JOIN. Создание таблицы CREATE TABLE [IF NOT EXISTS] [
-
Окей, спасибо за ответ.
-
Все-таки между engine join и dictionary есть существенная разница в способе наполнения данными. С dictionary нужно только прописать источник, а с join engine выстраивать схему наполнения актуальными данными. Или я не прав?
-
А сколько строк у вас словаре и сколько оперативной памяти ? Чисто для себя интересно
-
Roman Ivanov in ClickHouse не тормозит
CREATE DICTIONARY products_dict ( product_id String, name String ) PRIMARY KEY product_id SOURCE(POSTGRESQL( ... query 'SELECT product_id, name FROM products' )) LAYOUT(COMPLEX_KEY_HASHED()) LIFETIME(3600); dictionaries: database: wdm name: products_dict uuid: 1464ba09-990c-4e69-9464-ba09990c0e69 status: LOADED origin: 1464ba09-990c-4e69-9464-ba09990c0e69 type: ComplexKeyHashed key.names: ['product_id'] key.types: ['String'] attribute.names: ['name'] attribute.types: ['String'] bytes_allocated: 4831830312 query_count: 57912282 hit_rate: 1 found_rate: 1 element_count: 28956140 load_factor: 0.4314801096916199 source: PostgreSQL: ... lifetime_min: 0 lifetime_max: 3600…
-
30М строк, 128МБ оперативной, занято словарем 4,5 GB
-
Спасибо
-
Спасибо
-
hash join сначала считает хэши для всей правой таблицы. Для словаря это тоже занимает время.
А engine join позволяет сделать это однократно.
Ну т.е. engine join это слой поверх словаря и его использование имеет смысл.
Еще в принципе можно запретить hash join https://clickhouse.com/docs/ru/operations/settings/settings/#settings-join_algorithm, если в левой таблице совсем мало, а в правой таблице совсем много элементов, это может работать быстрее. Но это домыслы, реально такого никогда не видел.Настройки | Документация ClickHouseНастройки distributed_product_mode Изменяет поведение распределенных подзапросов. ClickHouse применяет настройку в тех с
-
- Join engine набирает данные постепенно (хоть по одной строке, но лучше пачками) и сразу замещает хеш в памяти.
- Словарь обычно считывает весь набор данных целиком (есть улучшения) через какой-то интервал времени.
- join engine может хранть данные как ALL (с повторениями) или как ANY(только один ключ).
- Словарь - только одина строка на ключ
- для всех столбцов join engine строиться один хеш в памяти
- для каждого столбца словаря стоиться свой хеш - занимает больше RAM -
Мы, кажется, говорим о разном.
Я о том, что если уж мы делаем JOIN для словаря (а не используем dictGet), то имеет смысл использовать engine Join. -
Приветствую, тестирую шардирования (репликаций нету), при шардирование на 2 сервера скорость выполнение запросов равна единицы, при шардирование такого же датасета на 3 шарда производительность уже равна две единицы. Почему разница в 2 раза, а не в 1.5? С чем может быть это связано
-
Всем привет!
А может кто-нибудь посоветовать статью, в которой бы рассказывалось, как CH работает с большим количеством запросов? Какая-то внутренняя очередь или на каждую создает треду? -
Insert или Select ?
-
а можно и то и другое?
-
Статьи не знаю.
На каждый запрос по одному или несколько тредов.
Не более https://clickhouse.com/docs/en/operations/settings/settings/#settings-max_threads
Очередь есть при превышении https://clickhouse.com/docs/en/operations/server-configuration-parameters/settings/#max-concurrent-queriesSettings | ClickHouse DocumentationSettings distributed_product_mode Changes the behaviour of distributed subqueries. ClickHouse applies this setting when
-
😘
-
Это может быть связано с ошибкой в эксперименте.
-
Select, про инсерт тоже бы почитал
-
Спасибо
-
https://www.youtube.com/watch?v=Ac2C2G2g8Cg&t=2876s&ab_channel=HighLoadChannel
Тут в начале про Insert есть в рассказе, а про select примерно ответили уже тутЭффективное использование ClickHouse / Алексей Миловидов (Яндекс)Приглашаем на Saint HighLoad ++ 2021 20 и 21 сентября 2021, Санкт-Петербург, DESIGN DISTRICT DAA in SPB Программа, билеты и подробности - https://clck.ru/VmKaW -------- HighLoad++ 2017 Тезисы: http://www.highload.ru/2017/abstracts/2992 ClickHouse чуть более года доступен в open-source. За это время накоплен опыт его использования в российских и зарубежных компаниях. В некоторых из них объёмы данных и нагрузки превышают те, с которыми мы имеем дело в Яндексе. Так как ClickHouse является специализированной системой, при его использовании важно учитывать особенности его архитектуры. В своём докладе я расскажу о примерах типичных ошибок при использовании ClickHouse, которые могут привести к неэффективной работе. На примерах из практики будет показано, как выбор той или иной схемы обработки данных может изменить производительность на порядки. Нашли ошибку в видео? Пишите нам на support@ontico.ru
-
Спасибо!
-
Ну и нужно понимать, что один запрос Select может сожрать всю машину под себя.
-
да, я поэтому и хочу понять как работает.
Мы в команде сделали отдельный сервис, который мониторинг нагрузку на ноды и если она поднимается до 90% перестаем передавать новые запросы.
Пытаюсь понять, а как клик сам работает -
Или просто сжирает все что дают
-
мы заметили что если увести клик в потолок то он работает намного хуже
-
но не верится, что внутри никакого бек прежур нет
-
Интересный опыт.
Какое у вас типичное количество одновременно исполняемых запросов (не люблю такую формулировку, но что ж поделать) ?
ClickHouse действительно не имеет механизмов, работающих динамически (насколько я знаю), если не считать очеред запросов по max_concurrent_queries -
Вообще в планах на этот год фичи по ограничению и контролю ресурсов
-
Скорей всего когда он забит на 100%, то упирается в производительность жестких дисков из-за этого и падает производительность
-
По разному, обычно немного, но есть крупные клиенты. 11 запросов в секунду, но запросы крайне неоднородные. Бывает за 100мс, а может 30 секунд. Поэтому, если делать статический лимит - то никогда не угадаешь будет ли это 100 запросов по 100 мс или 100 по 30 секунд
-
Он наверное один из лучших видосиков про оптимизацию кликхауса https://youtu.be/efRryvtKlq0
-
То есть должен быть прирост 1.5 ?
-
Я бы, наверное, попробовал установить max_threads в cpu_cores/2 .
-
Да, в моем понимании прирост должен быть 1.5 или чуть менее.
У вас на нет перекоса, на всех шардах близкое количество данных? -
Спасибо. Сейчас, когда у нас отдельный сервис формирует очередь, все хорошо работает. Динамически количество задач(запросов) формируется. Просто не люблю оверинжениринг, и если система что-то сама может - стараюсь перекладывать на нее))
-
Ок! спасибо за все видео
-
Какой ключ шардирования, какие запросы
-
А ваша очередь ближе к ClickHouse или к вашему приложению? Если первое, может, порадуете сообщество, сделав решение открытым?
-
Перекоса нету
-
Да я бы с радостью, но это простенький джава сервис. Мы слушаем сервер через прометэус, смотрим метрики процессора. Так как у нас рандом балансер перед кластером стоит, мы просто отслеживаем среднюю нагрузку на весь кластер, если средняя выше 95% пропускаем N времени.
-
cityHash64(user_id), select c where, select с join, просто select, ну и в каждом запросе есть group by
-
Что то по типу такого, как запустить на кластер ?
SELECT rand() % 10000000 AS k
FROM system.numbers_mt
GROUP BY k -
Ну а так почему нет?
У вас стало больше памяти для page cache, больше cpu для обработки и если делает GROUP BY user_id, то меньше уникальных id на каждом конкретном шарде, что означает более быструю агрегацию -
Но ускорение не только связанных с user_id, но даже если не используется в запросе user_id. Например такой
select event,count()
FROM table
group by event
Даёт так же х2. -
Немного побенчил векторные базы (in-mem в том числе), по аналогии с Billion Taxi Rides: shakti, kdb, clickhouse
https://t.me/inv2004_dev_blog/40 -
Подскажите, как в КХ правильнее из таблицы с "историчностью" вытаскивать данные по состоянию на определённый момент времени. Например, в оракле я делал так:
select MAX(a.attr_name) KEEP (DENSE_RANK LAST ORDER BY a.actdate)
from hist_tab a
where a.id = 79 and a.actdate <= :on_date -
Да. Именно то, что нужно. Спасибо.
-
Настройки | Документация ClickHouse
Настройки distributed_product_mode Изменяет поведение распределенных подзапросов. ClickHouse применяет настройку в тех с
-
having тут не причем.
where id = .. будет работать относительно пристойно. where id2= ... (без id) прочитает с диска всю таблицу, как будто индекса нет, но отфильтрует в процессе все что вам надо. а потом уже будет группировка и все что вы напишите. -
можно попробовать добавить skip index по id2 - м.б. звезды (данные) сложатся как надо и скорость будет пристойная. Если нет - можно сделать табличку соответствия id2->id и делать по ней предварительное вычисление, чтобы в where всегда был id.
-
Настроил кластер кликхауса, сделал распеределенные таблицы, с репликацией, все работает все хорошо, но при отключении одной из нод, получаю вот такую ошибку:
Code: 210, e.displayText() = DB::NetException: Connection refused (ch…:9000) (version 21.6.4.26 (official build))
Можно ли сделать так что бы при отключении одной из нод, другие продолжали работать? -
Нет, это я к distribution таблице обращаюсь, на живой ноде, под капотом distribution таблицы, реплицируемые таблицы
-
Всем привет!
#job #вакансия
Сбермаркет ищет стажеров-аналитиков!
🍏Локация: Москва, м. Новокузнецкая (можно удаленно)
💚Основной стек: SQL, Python, знание Clickhouse будет крутым плюсом:)
❓Почему мы?
-У нас стажеры решают реальные задачи бизнеса и даже получают некоторую зону ответственности. -Можно прокачивать как свои менеджерские качества, так и технические
-В СберМаркете стажеры комитят код в репозитории и он регулярно проходит код-ревью. Что-то из твоих наработок попадет в продакшн.
Даже при большом росте -мы сохраняем дух стартапа. Поэтому у нас нет токсичности и бюрократии, и мы открыто обсуждаем все возникающие проблемы.
-У нас можно и нужно расти. После успешной стажировки ты сможешь стать частью команды и брать на себя более сложные задачи и увеличивать зону ответственности
🟢Чем предстоит заниматься?
-Исследовать бизнес-процессы, ломать плохие и создавать эффективные.
-Продумывать и считать метрики.
-Исследовать поведение пользователей, проверять и оценивать гипотезы, конвертировать их в проекты и вести их.
-Проактивно исследовать различные домены бизнеса: продукт, операции, маркетинг и т.д.
-Дизайнить, проводить и анализировать A/B-тесты и квази-эксперименты
-Задавать много вопросов :)
✨✨✨С вакансией можно ознакомиться тут: https://www.notion.so/Analytics-Data-Science-Intern-9b605702c09049b7b0057ec2cee109d9
⚡️Присылай CV → https://airtable.com/shrsPTgUE2R5jjQVJ , проверяй почту - возможно письмо с тестовым заданием улетело в спам. Будем рады, если наша большая и дружная команда пополнится в ближайшее время💚Analytics / Data Science InternПривет! 👋🏻 Мы ищем стажеров в команду данных.
-
Всем привет. Подскажите, пожалуйста, есть ли возможность как-то ограничивать размер БД? Ну типа квот на место на диске. -
-
Здравствуйте коллеги. Выполняю запрос инсерт - для перемещения данных от одной таблицы другой. Выдает исключение:
Code: 439. DB::Exception: Received from localhost:9000. DB::Exception: Cannot schedule a task: no free thread (timeout=0) (threads=10000, jobs=10000). (CANNOT_SCHEDULE_TASK) -
Ошибка вылетает при процессе инсерта. То есть запрос выполняется . После 2 секунд дает ошибку
-
Но таблицы типа ReplicatedMergeTree у меня корректно работают, данные реплецируются
-
?
-
закоммитил в репозиторий clickhouse k-means вычисление метрик для локтя и силуэта. Если есть желание проверить - буду рад. Только учтите, что силуэт требует вычисление взаимных расстояний всех точек друг от друга. Это cross join NxN. Если исходных точек будет 10М, то мне даже страшно подумать сколько оно будет работать.
-
😘 вот это огнище
-
Всем доброго вечера!
А скажите, пожалуйста, logs как имя базы не является нерекомендуемым? -
вроде есть таблица в system такая же ... Зачем лишния путаница :)
-
это не таблица, это база.
-
Сейчас буду разбираться и запускать вычисления :) Спасибо
-
-
Разобрался со всем, спасибо)
-
You can drop / rename / truncate *_log tables at any time
-
-
Всем привет. Есть такая проблема: неоптимизированная таблица в ~5Тб, которую хотелось бы перенести в s3. Возможно ли для этого использовать clickhouse-copier? Если нет, какие возможны альтернативы? -
А вы ее каким образом перенести то хотите? В каком виде
-
Главным образом -- не потеряв данные
-
https://altinity.com/blog/tips-for-high-performance-clickhouse-clusters-with-s3-object-storage
https://altinity.com/blog/clickhouse-and-s3-compatible-object-storage
Разве что zero copy replication пока не стоит включатьTips for High-Performance ClickHouse Clusters with S3 Object StorageIn this article, we will discuss how ClickHouse clusters can be used with S3 efficiently thanks to two important new features: the ‘s3Cluster‘ table function and zero-copy replication.
-
Мы стараемся ориентировать наши stable релизы с LTS от ClickHouse
Так что следующий скорее всего будет 22.3 -
Ну вроде и не очень, всего пару месяцев :)
-
Ну, раньше было еще дольше.
Так что чем богаты, тем и рады -
Подскажите как можно очистить сервер от всех объектов и данных? -
Пропишите данную настройку для default пользователя на всех машинках
-
Можете очистить
/var/lib/clickhouse/metadata/*
/var/lib/clickhouse/data/*
/var/lib/clickhouse/store/* -
Интересно ... т.е. бывают настройки, задаваемые в <profiles>, которые нельзя установить через SET?
Вот ведь ... -
Установить можно.
Проблема в другом.
Запросы ON CLUSTER 'xxxx' выполняются внутренним воркером кх который использует default профиль.
При этом настройки там не прокидываются в теле запроса. -
Для ON CLUSTER запросов не пихает.
-
Одна из причин, почему для них нужно всегда указывать базу для таблицы.
-
Вот это поворот ;)
Как бы логично, но больше похоже на баг, чем на фичу. -
Кто-нибудь работал с библиотекой clickhouse-bulk на го?
https://github.com/nikepan/clickhouse-bulk
можно ли как-то передать CA сертификат?GitHub - nikepan/clickhouse-bulk: Collects many small inserts to ClickHouse and send in big insertsCollects many small inserts to ClickHouse and send in big inserts - GitHub - nikepan/clickhouse-bulk: Collects many small inserts to ClickHouse and send in big inserts
-
ну или kittenhouse
-
А kittenhouse не утратил актуальность в свете https://clickhouse.com/docs/ru/operations/settings/settings/#async-insert ?Настройки | Документация ClickHouse
Настройки distributed_product_mode Изменяет поведение распределенных подзапросов. ClickHouse применяет настройку в тех с
-
Всем привет!
Скажите пожалуйста, как мне результат селекта в постгрес перенести в кликхаус? Через copy в csv не получается, потому-что в данных запятые -
Если много способов.
JSON?
TSV (как CSV, но с табами)?
Прямой запрос из ClickHouse в PostgreSQL?
Ну и правильный CSV вообще-то позволяет иметь запятые в полях. -
async insert вроде еще не lts?
-
В kittenhouse только если самому код поменять
-
Без асинхронной работы с сетью по одной строке во много соединений будет вставлять плохо
-
Shameless plug https://youtu.be/1tYev6PEJXU
-
имеет смысл сделать прокси для kittenhouse, чтобы перехватывать запросы и добавлять им сертификат или bullshit strategy?)
-
А как прямой запрос из клика осуществить? Видимо у меня неправильный CSV )
-
Я бы правда форкнул и прислал пул реквест
-
postgresql | Документация ClickHouse
postgresql Позволяет выполнять запросы SELECT и INSERT над таблицами удаленной БД PostgreSQL. Синтаксис postgresql('host
-
И ещё бы тегнул товарища https://vk.com/bkmz, чтобы не ленился и обновил опенсорс версию заодноIlya Scherbak
ВКонтакте
-
Спасибо!
-
помогите, пожалуйста, разобраться с киттеном
не хочет запускаться -
Не хочет собираться :). Могу лишь порекондовать свой форк, где исправлена сборка: https://github.com/YuriyNasretdinov/kittenhouseGitHub - YuriyNasretdinov/kittenhouse
Contribute to YuriyNasretdinov/kittenhouse development by creating an account on GitHub.
-
Но вообще конечно это должны товарищи из ВК сами были пофиксить, но так и не пофиксили
-
(Склонируйте реп куда угодно и выполните внутри go install -v ./...)
-
о, это вы сравнивали clickhouse-bulk и kittenhouse?)
-
Ну я изначальный автор kittenhouse :). Я, конечно же, буду хвалить именно его
-
Вот и пришло мое время)
Друзья, подскажите пожалуйста аналитику который никогда не юзал клик видосы/каналы/уроки что почитать, чтобы быстрее виянуться в клик и клик-скуль, что-то Аля постгресПро -
https://www.youtube.com/c/ClickHouseDB
https://presentations.clickhouse.com/talks_index.html -
На ютубе что-то одни митапы и хайлоуды без разделения на темы(
-
step-by-step я еще не встречал.
Но можно начать с туториала тогда https://clickhouse.com/docs/ru/getting-started/tutorial/
А дальше по докеTutorial | Документация ClickHouseClickHouse Tutorial What to Expect from This Tutorial? By going through this tutorial, you’ll learn how to set up a simp
-
Понял, Спасибо, для меня после скульсервера достаточно открытием является словари всякие и другие такие штуки)
-
В самых ранних видео про них много было.
-
Могу посоветовать наши видео:
https://www.youtube.com/watch?v=zDIK3Ej86GU
https://www.youtube.com/watch?v=FsVrFbcyb84
https://www.youtube.com/watch?v=1TGGCIr6dMY
https://www.youtube.com/watch?v=6WICfakG84c
И статьи (уже чуть позже, тк более глубокая тема)
https://altinity.com/blog/harnessing-the-power-of-clickhouse-arrays-part-1
https://altinity.com/blog/harnessing-the-power-of-clickhouse-arrays-part-2
https://altinity.com/blog/harnessing-the-power-of-clickhouse-arrays-part-3
На сайте ClickHouse тоже теперь есть уроки (в основном по новым фичам)
https://clickhouse.com/learn/
И у tinybird
https://blog.tinybird.co/categories/clickhouse/
После того, как будут просмотрены-прочитаны статьи
Можно заглянуть на KB и читать все подряд (кроме Setup & maintenance, Kubernetes думаю)
https://kb.altinity.com/
https://www.youtube.com/playlist?list=PLQC2_0cDcSKD1y0Yc6COzhn2bzYEZaYhQ
Первое и третье видео полезны будут.
А дальше уже для любителей.
5,6 про внутреннее устройство, если будет желание.
Опять же про внутреннее устройство и хештаблицы
https://www.youtube.com/watch?v=EoX82TEz2sQHow Fast is ClickHouse-Fast?ClickHouse is famous for its speedy response. We call it "ClickHouse-Fast." Find out how fast that really is in this short video with Altinity CEO, Robert Hodges. #ClickHouse #DataWarehouse #OpenSource ----------------- Learn more about Altinity! Site: https://altinity.com LinkedIn: https://www.linkedin.com/company/altinity/ Twitter: https://twitter.com/AltinityDB
-
Спасибо
- 18 January 2022 (243 messages)
-
Понятно что после драки кулаками не машут, но я для таких случаев держу на каждом сервере пустой файл в несколько гб 5-10. Чтобы в случае проблем с местом и не запуском сервера файл удалить и сервис поднять. А вообще мониторить лучше и когда подходит место к концу - решать заранее вопрос
-
Посмотрите на табличную функцию postgresql
-
Вышел патч на новую версию :) https://clickhouse.com/docs/ru/whats-new/changelog/#improvement_22021 | ClickHouse Documentation
ClickHouse release v21.12, 2021-12-15 Backward Incompatible Change A fix for a feature that previously had unwanted beha
-
подскажите пожалуйста
есть таблица в которой 2 нестед массива строк
params Nested(k String, v String)
как мне в селекте вернуть их в виде map{k[0]: v[0], k[1]: v[1], ...} ?
через
groupArray(map(arrayJoin(params.k) as k, params.v[indexof[params.k, k]] as v)) as kv
я получаю массив [map{k[0]: v[0]}, map{k[1]: v[1]}, ...] а нужен именно один мап из набора ключей и значений в нестед массивах
уже голову сломал (( -
привет! нужно увеличить max_query_size, если через clickhouse-client сделать set max_query_size = 10000000, то в текущей сессии запрос исполняется, а если в default profile в users.xml добавить <max_query_size>10000000</max_query_size>, то нет, Max query size exceeded, причём в обоих случаях значение max_query_size в system.settings меняется на нужное, где ещё может быть проблема во втором случае?
-
Добавляй в профиль
-
Который использует юзер
-
он дефолтный использует
-
В профиль дефолт :)
-
так туда и добавил )
-
в этом и проблема что не работает
-
А запрос через какой интерфейс делаете?
-
да в том же clickhouse-client локально делаю
-
вам нужен cast
with groupArray(toString(number)) as k, groupArray(toString(number*2)) as v
select cast(arrayZip(k,v) ,'Map(String,String)') from numbers(10); -
clickhouse-client -mn -q "SELECT concat('DROP TABLE system.',name,' NO DELAY;') FROM system.tables WHERE database='system' AND match(name, '_[0-9]+$')" | clickhouse-client -mn --echo
-
Спасибо, сейчас попробую.
Искал как раз в документации по "zip" и не нашёл ничего -
_540 это как то дофига =)
такое ощущение что у вас там XML определение trace_log и metadata/system/trace_log.sql по структуре сильно расходятся в части ENGINE или TTL -
а что лежит в /var/lib/clickhouse/metadata/system/trace_log_XX.sql ?
какая версия clickhouse? -
странно, я думал что TTL будет в trace_log.sql и не удет trace_log_XX.sql
как то странно обрабатывается <engine> из XML
какая версия clickhouse? -
https://kb.altinity.com/altinity-kb-setup-and-maintenance/altinity-kb-system-tables-eat-my-disk/ Ты по этому гайду сделал ?
-
ну как тупой вариант это
добавить ручками TTL + SETTINGS в trace_log.sql
и рестартовать сервер. посмотрев не создалась ли trace_log_XX -
Привет, ребят, подскажите, пожалуйста - где можно почитать про то как в КХ идет обор нужных партиций, либо как это в плане отображено.
Интересует - работает ли фильтр по ним для переменных типа today() now() , которые не стат параметры. И в случаях если партиция по части значения в колонке. -
explain plan indexes = 1
-
спасибо, попробую
-
Возвращаясь к этой проблеме: существует ли возможность in-place переноса данных из неоптимизированной таблицы в другую с той же структурой, но другими ключами?
-
Из кх в кх? Можно через Distributed, можно ручками скрипт, можно через схему старая таблица -> MV -> новая, но последний вариант зависит от того, используете ли вы POPULATE в MV еще
-
Можно вроде реаттачить, но не помню, работает ли такой вариант
-
in-place? Но как? Там же порядок хранения определяется в order by (фактически в primary key) Т.е. вам надо пересортировать данные и записать их в этом порядке.
-
А их можно пересортировать в рамках одной таблицы? Я так понимаю, что нет. Нынешний ключ сортировки очень неэффективен. Пробовал подход с limit..offset, на больших оффсетах отваливается по таймауту.
-
Нет, пересоздавать таблицу надо, нельзя менять ORDER BY
-
Добрый день, есть задача собирать/хранить данные по рекламным кампаниям из различных систем(Яндекс.Метрика, ADWords и пр.). Данные поступают уже предагрегированые за сутки, примерно раз в день нужно будет получать данные по всем метрикам за прошедшие сутки(либо несколько дней) и сохранять в разрезах рекламынх аккаунтов. После этого эти данные довольно интенсивно будут выбираться по определенным аккаунтам для определенного анализа, причем хочется добиться именно высокой скорости выборки. Например, нужно что-то проверить по 1000 аккаунтов, для этого надо выбрать в память за один запрос некоторые метрики, причем для каждого из аккаунтов они могут быть различные. Рассмариваем 2 схемы - в одной из них данные по рекламным системам хранятся в каждой отельной таблице в развернутом виде, а во втором в одной таблице в виде массивов ключей и значений как советуют тут - https://www.youtube.com/watch?v=5KQsNmRTQmg
Вопрос какая схема будет предпочтительней с точки зрения SELECT?Разгоняем обработку событий до 1.6М/сек. Опыт Badoo / Александр Крашенинников (Badoo)Приглашаем на Saint HighLoad ++ 2021 20 и 21 сентября 2021, Санкт-Петербург, DESIGN DISTRICT DAA in SPB Программа, билеты и подробности - https://clck.ru/VmKaW -------- HighLoad++ Moscow 2018 Тезисы и презентация: http://www.highload.ru/moscow/2018/abstracts/4132 Три года назад на Highload++ я рассказывал, как мы построили масштабируемую систему near-realtime обработки событий. С тех пор она эволюционировала, в процессе росли объёмы, и нам приходилось решать задачи, сопутствующие любому проекту с нагрузкой — масштабирование, отказоустойчивость и прочие. В определённый момент мы достигли точки, когда потребовались радикальные меры, а именно — смена технологического стека. В докладе я расскажу, как мы заменили связку Spark + Hadoop на ClickHouse, в три раза сэкономили железо и увеличили нагрузку в пять раз (с 300 000 событий в секунду до 1 600 000 в пике). -------- Нашли ошибку в видео? Пишите нам на support@ontico.ru
-
схема для первого варианта
-
и для второго
-
ребят а почему теперь нельзя создавать таблицы с пустыми полями внутри? причем потом в нее инсертить поля с null можно, в чем идея? это оч сильно неудобно -
мы сами ответственны за наполнение массивов, поэтому будем хранить только те метрики, которые реально нужны, так что чтения "лишних" данных не будет. За вариант с map спасибо, посмотрим.
-
Друзья, можете подсказать по MergeTree. Предположим у меня 2 реплики и 2 куска в партиции, один сервер смежрил эти 2 куска в один, что при этом будет делать вторая реплика? Она тоже смержит или скопирует смерженый кусок с соседнего сервера?
-
А как указать тип?
-
Я не могу, nda же
-
Что именно надо показать?
-
Можно пример, пожалуйста
Вот сейчас крейет выглядит так
Select
User_first_payment_at,
User_id,
….
Как указать тип? -
смотрите /var/log/clickhouse-server/clickhouse-server.err.log
там должна быть причина с warning скорее всего
grep -r metric_log_1 /var/log/clickhouse-server/
что показвыает? -
Спасибо!
-
Добрый день!
Странный баг наблюдаю. Версия: 21.11.5.33
Есть вот такой запрос: SELECT dictGetString('dict.geo_city_en','country_name', toUInt64(2997838)) as country FORMAT JSON
Если выполнять в консоле, то все работает нормально.
Если выполнять его через http то падает сервер c ошибкой:
2022.01.18 12:20:49.613177 [ 93 ] {58b0300a-75f1-4455-bfbd-65d10bcd17f9} <Debug> executeQuery: (from 10.0.72.3:34832) select dictGetString('dict.geo_city_en','country_name', toUInt64(2997838)) as Country_DictName FORMAT JSON
2022.01.18 12:20:49.613654 [ 93 ] {58b0300a-75f1-4455-bfbd-65d10bcd17f9} <Information> executeQuery: Read 1 rows, 1.00 B in 0.000460057 sec., 2173 rows/sec., 2.12 KiB/sec.
2022.01.18 12:20:49.614070 [ 253 ] {} <Fatal> BaseDaemon: ########################################
2022.01.18 12:20:49.614090 [ 253 ] {} <Fatal> BaseDaemon: (version 21.11.5.33 (official build), build id: 76A10A4F605EF849249F2E8673661F7254B779DA) (from thread 93) (query_id: 58b0300a-75f1-4455-bfbd-65d10bcd17f9) Received signal Segmentation fault (11)
2022.01.18 12:20:49.614108 [ 253 ] {} <Fatal> BaseDaemon: Address: 0x8 Access: write. Address not mapped to object.
2022.01.18 12:20:49.614122 [ 253 ] {} <Fatal> BaseDaemon: Stack trace: 0x130e5bd3 0x9bdfe58 0x130d34ad 0x130d7ac0 0x1313c948 0x15d6e96f 0x15d70d61 0x15e85709 0x15e82e40 0x7fa0ebd90609 0x7fa0ebc8a293
2022.01.18 12:20:49.614174 [ 253 ] {} <Fatal> BaseDaemon: 2. DB::CascadeWriteBuffer::nextImpl() @ 0x130e5bd3 in /usr/bin/clickhouse
2022.01.18 12:20:49.614184 [ 253 ] {} <Fatal> BaseDaemon: 3. DB::WriteBuffer::finalize() @ 0x9bdfe58 in /usr/bin/clickhouse
2022.01.18 12:20:49.614214 [ 253 ] {} <Fatal> BaseDaemon: 4. DB::HTTPHandler::processQuery(DB::HTTPServerRequest&, DB::HTMLForm&, DB::HTTPServerResponse&, DB::HTTPHandler::Output&, std::__1::optional<DB::CurrentThread::QueryScope>&) @ 0x130d34ad in /usr/bin/clickhouse
2022.01.18 12:20:49.614227 [ 253 ] {} <Fatal> BaseDaemon: 5. DB::HTTPHandler::handleRequest(DB::HTTPServerRequest&, DB::HTTPServerResponse&) @ 0x130d7ac0 in /usr/bin/clickhouse
2022.01.18 12:20:49.614234 [ 253 ] {} <Fatal> BaseDaemon: 6. DB::HTTPServerConnection::run() @ 0x1313c948 in /usr/bin/clickhouse
2022.01.18 12:20:49.614241 [ 253 ] {} <Fatal> BaseDaemon: 7. Poco::Net::TCPServerConnection::start() @ 0x15d6e96f in /usr/bin/clickhouse
2022.01.18 12:20:49.614248 [ 253 ] {} <Fatal> BaseDaemon: 8. Poco::Net::TCPServerDispatcher::run() @ 0x15d70d61 in /usr/bin/clickhouse
2022.01.18 12:20:49.614254 [ 253 ] {} <Fatal> BaseDaemon: 9. Poco::PooledThread::run() @ 0x15e85709 in /usr/bin/clickhouse
2022.01.18 12:20:49.614261 [ 253 ] {} <Fatal> BaseDaemon: 10. Poco::ThreadImpl::runnableEntry(void*) @ 0x15e82e40 in /usr/bin/clickhouse
2022.01.18 12:20:49.614271 [ 253 ] {} <Fatal> BaseDaemon: 11. start_thread @ 0x9609 in /usr/lib/x86_64-linux-gnu/libpthread-2.31.so
2022.01.18 12:20:49.614282 [ 253 ] {} <Fatal> BaseDaemon: 12. clone @ 0x122293 in /usr/lib/x86_64-linux-gnu/libc-2.31.so
Что я не так делаю ? -
http://stage_ch_haproxy.stage_octo:8123/?wait_end_of_query=1&database=statistic&user=default&password=****&wait_end_of_query=1&query=select dictGetString('dict.geo_city_en','country_name', toUInt64(2997838)) as Country_DictName FORMAT JSON
Также (
Возможно проблема связанна с тем что у нас словарь достает данные из S3 ? -
CSV работает
-
Окей, кстати таких ошибок нет в версии: 21.10.5.3
Только что проверил. -
Добрый день. А подскажите по индексам в кликхаусе, из документации не понял до конца. Есть.таблица, в которой нужна сортировка по одному полю (дата/время) и просто индекс по нескольким другим полям, пишу так
PRIMARY KEY (SrcAddrIPv4, DstAddrIPv4)
ORDER BY TimeFlowStart
и получаю ошибку
DB::Exception: Primary key must be a prefix of the sorting key, but its length: 2 is greater than the sorting key length: 1. (BAD_ARGUMENTS) -
количество полей в primary key нельзя делать больше чем в order by? почему?
-
так тут поля одни и те же в order by и primary key, или я что-то не понимаю про primary key?
PRIMARY KEY — первичный ключ, если он отличается от ключа сортировки.
а у вас не отличается -
И по order by я верно понимаю же, что в случае
```ORDER BY TimeFlowStart, SrcAddrIPv4, DstAddrIPv4``` вначале будет сортировка во времери, потом по src, и внутри src уже по dst и соответственно выборка только по dst будет не такая быстрая как по src? -
в where src=a OR dst=a
-
а про Primary Key я так и не понял, какой в нем смысл, если его поля уже есть в order by?
-
как и где он помогает?
-
тут будет full scan, и непонятно чем тут prewhere поможет. Я бы переиграл схему хранения, сделав избыточность - две строки из одной: (src ipv4, ts dateTime, data String) order by src, тогда выборка будет быстрой
-
Тут довольно понятно описано, что и как https://habr.com/ru/post/539538/
-
Тут не понял, а dst где?
-
Тут только про ORDER BY же
-
Всем привет!
Кто-то может поянить эту штуку https://clickhouse.com/docs/ru/sql-reference/table-functions/postgresql/?
У меня есть пустая таблица в кликхаусе и запрос в постгрес, нужно результат запроса запылесосить в эту таблицуpostgresql | Документация ClickHousepostgresql Позволяет выполнять запросы SELECT и INSERT над таблицами удаленной БД PostgreSQL. Синтаксис postgresql('host
-
Точно не про первичный индекс идёт рассказ
-
Позволяет выполнять запросы SELECT и INSERT над таблицами удаленной БД PostgreSQL.
-
Такой запрос на стороне клика выполняется?
-
Он получит данные из pg в ch.
-
Ок попробую, спасибо!
-
в клике есть разница в производительности count(1) и count(*) ? -
я знаю что такое prewhere, но вы справедливо заметили, что OR все портит. Ну выбрала она src по индексу и что? dst вне индекса и связано OR -> начинаем читать все подряд.
-
не будет больше dst. развертываем одну строку src, dst, ts, data в две строки ip, ts, data, где ip будет сначала src, а потом dst. Количество строк увеличится вдвое, зато будет работать индекс.
-
У меня весь запрос, это дата, src or dst, доп полей не надо
-
А значения через двоеточия передаются? В примере просто вообще не понятно. У меня вот есть
"host='rt-is-pgdb-p3.trcont.ru' port=5432 dbname='account_prospective' user='u_tereshkindv'" Как это будет выглядеть? А таблица в постгресе вообще account_prospective.public.trc_agent_plans -
если вам надо 1 раз, то я бы рекомендовал через пайп - psql | clickhouse.
-
Теперь понял, спасибо
-
DB::Exception: Unable to connect to any of the replicas (version 21.8.12.29 (official build))
-
Наверное с этим bad or invalid port number: 0
-
Вообще один раз да, а как через пайп это сделать?
-
psql генерит CSV, clickhouse-client - читает (TSV на самом деле)
-
А да, я так сначала сделал, но видимо из-за запятых в данных падает при вставке
-
Да такой формат работает из терминала
psql "host='rt-is-pgdb-p3.trcont.ru' port=5432 dbname='account_prospective' user='u_tereshkindv'" -
запятые не должны быть проблемой - они эскейпятся. Смотрите как у вас экспорт идет из pg.
-
в 21.12 проверьте на всякий случай
-
Я так делаю обычно \copy (select * from table) TO 'путь' (format CSV);
-
пинганул хост вставил в запрос теперь ClickHouse exception, code: 159, host: rc1a-z7nhduhuudskxq2w.mdb.yandexcloud.net, port: 8443; Read timed out
-
В dbeaver
-
ребят, а подскажите, пожалуйста, сейчас можно в кликхаусе делать row_number() каким-либо способом? или окошек пока нет
-
Есть оконные функции
-
Кстати ещё подскажите пожалуйста
GRANT SELECT ON <имя базы данных>.* TO <имя пользователя>;
Это права для пользователя на чтение, а как дать права для создания таблиц и т.д -
А в 21.12 работает все хорошо.
-
Да там просто ALL вместо SELECT )
-
а как назывется аналогк row_number? и чтобы был partition по студенту например?
-
https://clickhouse.com/docs/ru/sql-reference/functions/other-functions/#function-rownumberinblock есть такие штукиПрочие функции | Документация ClickHouse
Прочие функции hostName() Возвращает строку - имя хоста, на котором эта функция была выполнена. При распределённой обраб
-
Кто-нибудь знает какое максимальное количество max_memory_usage можно установить?
-
Какой часовый пояс у вас у CH? select timezone()
-
При вставке такая история:
parsed text: "<DOUBLE QUOTE><DOUBLE QUOTE>" -
Попробовал, не помогло
-
тогда скорее всего какой то решенные issue
если на продакшене нельзя обновиться на 21.12 то обновитесь до последнего 21.11 -
Я знаю про in, join что они могут делаться на каждом из шардов. А про ваш случай, впервые слышу. Bitmap как я помню написали Китайцы, поищите на китайской версии доки возможные решения.
-
Создай issue и он там тебе ответит :))
-
# cat query.sql | clickhouse-client
Code: 62. DB::Exception: Syntax error: failed at position 262140 ('4435254'): 4435254, 2402984, 2515436, 3139174, 2917865, 2997295, 4501400, 783027, 787959, 1430640, 2874554, 2922500, 3101446, 3111016, 4506577, 2628313, 241701, 1974531, 7. Max query size exceeded
При этом max_query_size в профиле увеличено:
# clickhouse-client -q "select * from system.settings where name = 'max_query_size'"
max_query_size 524288000 1 Which part of the query can be read into RAM for parsing (the remaining data for INSERT, if any, is read later) \N \N 0 UInt64
Если указать clickhouse-client --max_query_size 10000000, то запрос отрабатывает.
Почему в первом запросе срабатывает дефолтовый лимит в 256 Кб? И не подхватывается настройка max_query_size из профиля. Версия 21.8.10.19. -
Если у меня дата в формате 2021-05-11 какой тип указать в таблице?
Ошибка: ERROR: DateTime must be in YYYY-MM-DD hh:mm:ss or NNNNNNNNNN (unix timestamp, exactly 10 digits) format. -
Date?
-
Кстати да, спасибо ахах
-
а есть где то какая либо документация по использованию postgresql_port в клике? в офф доке не нашел -
я правильно понимаю логику, если мне нужно в существующей таблице добавить колонку domain, которая при INSERT должна вычиляться как domainWithoutWWW(page_url) и записываться
То я добавляю колонку с DEFAULT expr и чтоб записать все исторические данные запускаю ALTER TABLE t MATERIALIZE COLUMN domain -
подсчитает и запишет или каждый раз будет считать?
-
Будет считать,
Пересчитает и запишет при мерже (или MATERIALIZE или UPDATE xxx = xxx WHERE 1) -
Спасибо
-
Меня сильно смутило полное отсутствие DELETE/UPDATE (я не смог ничего найти про них)
Как то грустновато получается -
;) форк приватный
так что особо не потестируешь -
О, ну хотя бы так
-
А откуда инфа про 3 летняя давность?
-
ну hydrolix (другой форк кх) в последний раз когда я проверял были на 21.3
-
ну можно попробовать в
grep -r table_name /var/lib/clickhouse-server/ | head
но логи конечно тоже могли отротироваться давно -
Для кровавого энтерпрайза обещали сделать промежуточный формат, когда часть колонок будет хранится в compact-like виде
-
Support of dynamic subcolumns in tables. · Issue #23516 · ClickHouse/ClickHouse
Inroduce new data type Object(<schema format>), which will get the name of format for semi-structured data (JSON, XML, etc.). Initially it will work only with MergeTree tables. Maybe ...
-
Да и всякие кровавые интерпрайзы к нам приглашаем, благо вашего собрата у нас уже немало :)
Плюс вашу SET UNUSED мб с помощью такого можно будет сделать.
https://github.com/ClickHouse/ClickHouse/issues/9436"ephemeral" or "dematerialized" columns · Issue #9436 · ClickHouse/ClickHouseSpecial type of column. This column can be INSERTed and can be referred in default expressions of another columns, but it is not stored in a table and cannot be SELECTed. Use case Calculate other c...
-
Ну, я думаю если такой способ хранения колонок будет сделан, то он будет доступен сразу для разных колонок. как например sparse сделали же и для обычных.
-
Сейчас можно менять на MATERIALIZED допустим, не вижу причин почему бы нельзя это было делать на ephemeral (если они будут добавлены)
-
Только что попробовал сделать так же с помощью ALIAS
И вроде inode не поменялась
/var/lib/clickhouse/data/default/xxx_test_alias# ls -li ./all_*/*
1352383 -rw-r----- 1 clickhouse clickhouse 214 Jan 18 18:47 ./all_1_1_0/checksums.txt
1352381 -rw-r----- 1 clickhouse clickhouse 65 Jan 18 18:47 ./all_1_1_0/columns.txt
1352380 -rw-r----- 1 clickhouse clickhouse 7 Jan 18 18:47 ./all_1_1_0/count.txt
1352382 -rw-r----- 1 clickhouse clickhouse 10 Jan 18 18:47 ./all_1_1_0/default_compression_codec.txt
1352376 -rw-r----- 1 clickhouse clickhouse 4004915 Jan 18 18:47 ./all_1_1_0/key.bin
1352377 -rw-r----- 1 clickhouse clickhouse 2976 Jan 18 18:47 ./all_1_1_0/key.mrk2
1352375 -rw-r----- 1 clickhouse clickhouse 992 Jan 18 18:47 ./all_1_1_0/primary.idx
1352378 -rw-r----- 1 clickhouse clickhouse 4004915 Jan 18 18:47 ./all_1_1_0/value.bin
1352379 -rw-r----- 1 clickhouse clickhouse 2976 Jan 18 18:47 ./all_1_1_0/value.mrk2
489396 -rw-r----- 1 clickhouse clickhouse 188 Jan 18 18:47 ./all_2_2_0/checksums.txt
489354 -rw-r----- 1 clickhouse clickhouse 65 Jan 18 18:47 ./all_2_2_0/columns.txt
489238 -rw-r----- 1 clickhouse clickhouse 3 Jan 18 18:47 ./all_2_2_0/count.txt
489193 -rw-r----- 1 clickhouse clickhouse 860 Jan 18 18:47 ./all_2_2_0/data.bin
489194 -rw-r----- 1 clickhouse clickhouse 80 Jan 18 18:47 ./all_2_2_0/data.mrk3
489395 -rw-r----- 1 clickhouse clickhouse 10 Jan 18 18:47 ./all_2_2_0/default_compression_codec.txt
489180 -rw-r----- 1 clickhouse clickhouse 16 Jan 18 18:47 ./all_2_2_0/primary.idx
ALTER TABLE xxx_test_alias MODIFY COLUMN value ALIAS 0;
/var/lib/clickhouse/data/default/xxx_test_alias# ls -li ./all_*/*
1352383 -rw-r----- 1 clickhouse clickhouse 214 Jan 18 18:47 ./all_1_1_0/checksums.txt
1352381 -rw-r----- 1 clickhouse clickhouse 65 Jan 18 18:47 ./all_1_1_0/columns.txt
1352380 -rw-r----- 1 clickhouse clickhouse 7 Jan 18 18:47 ./all_1_1_0/count.txt
1352382 -rw-r----- 1 clickhouse clickhouse 10 Jan 18 18:47 ./all_1_1_0/default_compression_codec.txt
1352376 -rw-r----- 1 clickhouse clickhouse 4004915 Jan 18 18:47 ./all_1_1_0/key.bin
1352377 -rw-r----- 1 clickhouse clickhouse 2976 Jan 18 18:47 ./all_1_1_0/key.mrk2
1352375 -rw-r----- 1 clickhouse clickhouse 992 Jan 18 18:47 ./all_1_1_0/primary.idx
1352378 -rw-r----- 1 clickhouse clickhouse 4004915 Jan 18 18:47 ./all_1_1_0/value.bin
1352379 -rw-r----- 1 clickhouse clickhouse 2976 Jan 18 18:47 ./all_1_1_0/value.mrk2
489396 -rw-r----- 1 clickhouse clickhouse 188 Jan 18 18:47 ./all_2_2_0/checksums.txt
489354 -rw-r----- 1 clickhouse clickhouse 65 Jan 18 18:47 ./all_2_2_0/columns.txt
489238 -rw-r----- 1 clickhouse clickhouse 3 Jan 18 18:47 ./all_2_2_0/count.txt
489193 -rw-r----- 1 clickhouse clickhouse 860 Jan 18 18:47 ./all_2_2_0/data.bin
489194 -rw-r----- 1 clickhouse clickhouse 80 Jan 18 18:47 ./all_2_2_0/data.mrk3
489395 -rw-r----- 1 clickhouse clickhouse 10 Jan 18 18:47 ./all_2_2_0/default_compression_codec.txt
489180 -rw-r----- 1 clickhouse clickhouse 16 Jan 18 18:47 ./all_2_2_0/primary.idx -
попробуйте так:
ldapsearch -x -H 'ldaps://corp.dev.com' -b 'dc=corp,dc=dev,dc=com' -D 'CORP\spetrov' -W -LLL -s sub '(&(objectClass=group)(member=CN=Петров Сергей Иванович \284049577\29,ou=Developers Users,OU=DEV,DC=corp,DC=dev,DC=com))' -
на днях помержен был этот PR, который тут применим, и может исправить ситуацию: https://github.com/ClickHouse/ClickHouse/pull/33401Update LDAPClient.cpp by IlyaTsoi · Pull Request #33401 · ClickHouse/ClickHouse
Create a function escapeForLDAPFilter and use it to escape characters '(' and ')' in a final_user_dn variable that we receive from the LDAP server. This is necessary...
-
ldapsearch сама часть библиотеки OpenLDAP
-
да, и их надо заменять на спец экранирование, см PR, и то, на что я их заменил
-
в каком смысле парсинг? Он вычисляется при помощи отдельного search, и потом подставляется, но с PR-ом этим, он будет экранироваться правильно (скобки)
-
попробуйте самый свежий билд кликхауса
-
если проблема в скобках была, должно начать работать
-
Друзья, подскажите пробовал ли кто-то делать что-то похожее: 2 таблицы одна для свежих данных которые приходится часто передобавлять заново PARTITION BY toYYYYMMDD и другая PARTITION BY toYYYYMM для старых данных, с одинаковой структурой и перемещать куски из одной в другую в конце месяца
-
Доброго времени суток!
Приключилась неожиданная проблема: обновили кластер с 21.9 до 21.12, никаких ошибок не возникло. Но любые внешние клиенты при попытке выполнения любых запросов падают в серверную ошибку. При чем не важно нативный драйвер или HTTP, ошибка одинаковая и не поддается идентификации или гуглению. При этом запросы через clickhouse-client на сервере выполняются успешно! -
Привет. А в кх есть другие возможности авторизации кроме пары логин пароль?
Что-то в доке ничего не вижу. -
HTTP драйвер
Caused by: ru.yandex.clickhouse.except.ClickHouseUnknownException: ClickHouse exception, code: 1002, host: ****, port: 8123; std::exception. Code: 1001, type: std::out_of_range, e.what() = unordered_map::at: key not found (version 21.12.3.32 (official build))
Нативный драйвер с расширенным стек трейсом:
ServerException('
DB::Exception: std::out_of_range: unordered_map::at: key not found. Stack trace:\n\n0. std::logic_error::logic_error(char const*) @ 0x192404ad in ?\n1. ? @ 0xad576e9 in /usr/bin/clickhouse\n2. ? @ 0xad576a0 in /usr/bin/clickhouse\n3.
DB::SettingsProfilesInfo::getProfileNames() const @ 0x1337c9f1 in /usr/bin/clickhouse\n4.
DB::SessionLog::addLoginSuccess(StrongTypedef<wide::integer<128ul, unsigned int>, DB::UUIDTag> const&, std::1::optional<std::1::basic_string<char, std::1::char_traits<char>, std::1::allocator<char> > >,
DB::Context const&) @ 0x1337c2f6 in /usr/bin/clickhouse\n5.
DB::Session::makeQueryContextImpl(
DB::ClientInfo const*,
DB::ClientInfo*) const @ 0x1337250a in /usr/bin/clickhouse\n6. DB::TCPHandler::receiveQuery() @ 0x13fe9624 in /usr/bin/clickhouse\n7. DB::TCPHandler::receivePacket() @ 0x13fde8f6 in /usr/bin/clickhouse\n8. DB::TCPHandler::runImpl() @ 0x13fd7a4f in /usr/bin/clickhouse\n9. DB::TCPHandler::run() @ 0x13fec4b9 in /usr/bin/clickhouse\n10. Poco::Net::TCPServerConnection::start() @ 0x16f3d6af in /usr/bin/clickhouse\n11. Poco::Net::TCPServerDispatcher::run() @ 0x16f3fb01 in /usr/bin/clickhouse\n12. Poco::PooledThread::run() @ 0x1704e889 in /usr/bin/clickhouse\n13. Poco::ThreadImpl::runnableEntry(void*) @ 0x1704bf80 in /usr/bin/clickhouse\n14. start_thread @ 0x7ea5 in /usr/lib64/libpthread-2.17.so\n15. __clone @ 0xfe96d in /usr/lib64/libc-2.17.so\n') -
Делают,
dirty-clean таблицы.
Разве что нельзя делать ATTACH между таблицами с разными PARTITION BY выражением. -
Спасибо за подсказки! Буду изучать!
-
Первый анонимный бот в телеграм - @nonameous_bot! С ним можно разыграть друга или признаться в любви, пошутить над коллегой, поделиться секретом и все на что хватит вашей фантазии! Попробуйте сами! -
Кажется, что связано с сессиями и session key
-
Попробуйте сделать запрос через curl
И его же вместе с передачей параметра сессии http://192.168.1.27:8123/?database=test1&session_id=12345 -
@unamedrus Можно вас попросить уточнить, вы говорили что:
“нельзя делать ATTACH между таблицами с разными PARTITION BY выражением”
подскажите, это относится к партициям или к кускам или и к тем и к другим? -
Не важно указывать новую сессию, или нет, запрос выполняется. Создали новую учётку -- и для неё всё заработало из приложухи, а со всеми старыми учетками запросы падают в ошибку. Мы щас будем пересоздавать их, но вопрос -- что пошло не так?
-
К таблицам с разным PARTITION BY выражением. (вы не можете между ними перемещать партиции/парты)
-
Думаю с таким нужно в облачную поддержку, вообще странное что то
