Пытаюсь на маке установить из бинарника. Скачал, запускаю

sudo ./clickhouse install
Copying ClickHouse binary to /usr/bin/clickhouse.new
Code: 76, e.displayText() = DB::ErrnoException: Cannot open file /usr/bin/clickhouse.new, errno: 1, strerror: Operation not permitted (version 21.8.1.7325 (official build))

Думаю как вариант дать доступ терминалу к ФС. Это дополнительные перемешены макос

Не 100% что поможет, но что то подобное было при установке в системные директории

А по-хорошему на маке лучше ставить через докер или брю

не посоветуете какой именно тап в брю? там разные есть есть такой старенький https://github.com/arduanov/homebrew-clickhouse

Надо пробовать. Я бы через докер поставил

хз, у меня 8гб оперативки и докер дико замедляет мак

Ну так можно выделить 1 гб для одного контейнера или сколько не жалко. Настраивается все достаточно просто

В настройках просто подвигайте ползунки )

да вот даже с 1ГБ. ну лан, пасибо в общем, попробую действительно с докера еще раз

все равно мак мини м1 жду 16гб как придёт

На m1 тоже могут быть приключения ) У меня например перкона-сервер8 не собирается под докером нормально )

На м1 клик в последнее время туда сюда запускается

при наличии двух датацентров, и добавлении реплик, как можно заставить реплицировать данные с локальных реплик ?

Всем привет, подскажите, пожалуйста, где задаётся параметр в настройках сервера allow_experimental_window_function? Версия CH 21.05

в /etc/clickhouse-server/config.d/allow_experimental_window_functions.xml

<yandex><allow_experimental_window_functions>1</allow_experimental_window_functions></yandex>

Привет народ! С места в карьер
2021.07.01 08:20:41.604567 [ 16499 ] {} <Information> banner.messages_local (ReplicatedMergeTreePartCheckThread): Part 202106_4168_4168_0 looks good.
2021.07.01 08:20:41.604649 [ 16497 ] {} <Warning> banner.messages_local (ReplicatedMergeTreePartCheckThread): Checking part 202106_4143_4143_0
2021.07.01 08:20:41.609060 [ 16497 ] {} <Warning> banner.messages_local (ReplicatedMergeTreePartCheckThread): Checking data of part 202106_4143_4143_0.
2021.07.01 08:20:41.626999 [ 16497 ] {} <Information> banner.messages_local (ReplicatedMergeTreePartCheckThread): Part 202106_4143_4143_0 looks good.
2021.07.01 08:20:41.627120 [ 16502 ] {} <Warning> banner.messages_local (ReplicatedMergeTreePartCheckThread): Checking part 202106_4155_4155_0
2021.07.01 08:20:41.630262 [ 16861 ] {} <Error> banner.messages_local (e5e1fb8b-ae1f-4686-9993-4bc6080dba99): auto DB::StorageReplicatedMergeTree::processQueueEntry(ReplicatedMergeTreeQueue::SelectedEntryPtr)::(anonymous class)::operator()(DB::StorageReplicatedMergeTree::LogEntryPtr &) const: Code: 33, e.displayText() = DB::ParsingException: Cannot read all array values: read just 76107 of 125236: (while reading column response.request): (while reading from part /opt/clickhouse/data/store/e5e/e5e1fb8b-ae1f-4686-9993-4bc6080dba99/202106_4143_4143_0/ from mark 0 with max_rows_to_read = 8192): While executing MergeTreeSequentialSource, Stack trace (when copying this message, always include the lines below):

0. DB::ParsingException::ParsingException(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x8609f13 in /usr/bin/clickhouse
1. DB::DataTypeArray::deserializeBinaryBulkWithMultipleStreams(DB::IColumn&, unsigned long, DB::IDataType::DeserializeBinaryBulkSettings&, std::__1::shared_ptr<DB::IDataType::DeserializeBinaryBulkState>&) const @ 0xe9b0b2d in /usr/bin/clickhouse
2. DB::MergeTreeReaderWide::readData(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, DB::IDataType const&, DB::IColumn&, unsigned long, bool, unsigned long, bool) @ 0xf6fd699 in /usr/bin/clickhouse
3. DB::MergeTreeReaderWide::readRows(unsigned long, bool, unsigned long, std::__1::vector<COW<DB::IColumn>::immutable_ptr<DB::IColumn>, std::__1::allocator<COW<DB::IColumn>::immutable_ptr<DB::IColumn> > >&) @ 0xf6fc9b0 in /usr/bin/clickhouse
4. DB::MergeTreeSequentialSource::generate() @ 0xf70e11a in /usr/bin/clickhouse
5. DB::ISource::tryGenerate() @ 0xf8dd6c5 in /usr/bin/clickhouse
6. DB::ISource::work() @ 0xf8dd3ea in /usr/bin/clickhouse
7. DB::SourceWithProgress::work() @ 0xfa44afa in /usr/bin/clickhouse
8. ? @ 0xf91728c in /usr/bin/clickhouse
9. DB::PipelineExecutor::executeStepImpl(unsigned long, unsigned long, std::__1::atomic<bool>*) @ 0xf914036 in /usr/bin/clickhouse
10. DB::PipelineExecutor::executeStep(std::__1::atomic<bool>*) @ 0xf9129bc in /usr/bin/clickhouse
11. DB::PullingPipelineExecutor::pull(DB::Chunk&) @ 0xf920a49 in /usr/bin/clickhouse
12. DB::PullingPipelineExecutor::pull(DB::Block&) @ 0xf920b20 in /usr/bin/clickhouse
13. DB::PipelineExecutingBlockInputStream::readImpl() @ 0xf90e8a4 in /usr/bin/clickhouse
14. DB::IBlockInputStream::read() @ 0xe98a1d5 in /usr/bin/clickhouse
15. DB::TTLBlockInputStream::readImpl() @ 0xf64df4b in /usr/bin/clickhouse
16. DB::IBlockInputStream::read() @ 0xe98a1d5 in /usr/bin/clickhouse
17. DB::ExpressionBlockInputStream::readImpl() @ 0xf652297 in /usr/bin/clickhouse
18. DB::IBlockInputStream::read() @ 0xe98a1d5 in /usr/bin/clickhouse
19. DB::MaterializingBlockInputStream::readImpl() @ 0xee3937d in /usr/bin/clickhouse
20. DB::IBlockInputStream::read() @ 0xe98a1d5 in /usr/bin/clickhouse

21. DB::MergeTreeDataMergerMutator::mergePartsToTemporaryPart(DB::FutureMergedMutatedPart const&, std::__1::shared_ptr<DB::StorageInMemoryMetadata const> const&, DB::BackgroundProcessListEntry<DB::MergeListElement, DB::MergeInfo>&, std::__1::shared_ptr<DB::RWLockImpl::LockHolderImpl>&, long, DB::Context const&, std::__1::unique_ptr<DB::IReservation, std::__1::default_delete<DB::IReservation> > const&, bool, std::__1::vector<std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> >, std::__1::allocator<std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > > > const&) @ 0xf62b1d9 in /usr/bin/clickhouse
22. DB::StorageReplicatedMergeTree::tryExecuteMerge(DB::ReplicatedMergeTreeLogEntry const&) @ 0xf40a649 in /usr/bin/clickhouse
23. DB::StorageReplicatedMergeTree::executeLogEntry(DB::ReplicatedMergeTreeLogEntry&) @ 0xf3ff97c in /usr/bin/clickhouse
24. ? @ 0xf46dbac in /usr/bin/clickhouse
25. DB::ReplicatedMergeTreeQueue::processEntry(std::__1::function<std::__1::shared_ptr<zkutil::ZooKeeper> ()>, std::__1::shared_ptr<DB::ReplicatedMergeTreeLogEntry>&, std::__1::function<bool (std::__1::shared_ptr<DB::ReplicatedMergeTreeLogEntry>&)>) @ 0xf7815c5 in /usr/bin/clickhouse
26. DB::StorageReplicatedMergeTree::processQueueEntry(std::__1::shared_ptr<DB::ReplicatedMergeTreeQueue::SelectedEntry>) @ 0xf42862a in /usr/bin/clickhouse
27. ? @ 0xf46e735 in /usr/bin/clickhouse
28. ? @ 0xf58562d in /usr/bin/clickhouse
29. ThreadPoolImpl<ThreadFromGlobalPool>::worker(std::__1::__list_iterator<ThreadFromGlobalPool, void*>) @ 0x86441bd in /usr/bin/clickhouse
30. ThreadFromGlobalPool::ThreadFromGlobalPool<void ThreadPoolImpl<ThreadFromGlobalPool>::scheduleImpl<void>(std::__1::function<void ()>, int, std::__1::optional<unsigned long>)::'lambda1'()>(void&&, void ThreadPoolImpl<ThreadFromGlobalPool>::scheduleImpl<void>(std::__1::function<void ()>, int, std::__1::optional<unsigned long>)::'lambda1'()&&...)::'lambda'()::operator()() @ 0x864671f in /usr/bin/clickhouse
31. ThreadPoolImpl<std::__1::thread>::worker(std::__1::__list_iterator<std::__1::thread, void*>) @ 0x86415ed in /usr/bin/clickhouse
(version 21.1.2.15 (official build))
Колонка на которую сетует кх имеет кастомный ттл.
response.request Array(String) TTL stats_day + toIntervalDay(1),
Я пытался сделать detach part и вот что вышло
Code: 384. DB::Exception: Received from ch2.wpw.sh:9000. DB::Exception: Part 202106_4155_4155_0 is currently participating in a background operation (mutation/merge), try again later.
Потом стопнул мерджи
system stop merges banner.messages_local
но и это не помогло, ошибка та же. Раньше на колонке был ещё индекс, для теста убрал. В system.mutations пусто, в system.merges три записи на TTL_DELETE Horizontal, REGULAR Horizontal и REGULAR Undecided

В поиске по чату нашел всего два упоминания этой же проблемы, но решения там нет

Привет! Можно на ходу подменить MV, без простоя вставки?

CREATE MATERIALIZED VIEW OR REPLACE db.mv_name
пробовали?

не пробовал, видел это функционал, но хотелось бы просто уточнить, поедет ли он мгновенно?

короче нет, такой функционал недоступен
так что краткий ответ
надо стопать INSERT

спасибо, тоже у себя смоделировал вставку, сейчас сверю

добрый день, подскажите плз
привык к реляционным и noSQL базам данных и не могу понять с индексами
все-таки в КХ они по типу btree или нет ?
потмоу-что при сортировке есть упоминания что в начало ORDER BY надо ставить то поле которое максимально изменчивое .... но если это работает по btree с поиском остальных полей по которым идет основное отсечение данных будут проблемы .... все-таки чем руководствоваться ? а то в документация я так и не нашел полного объяснения

не btree

Просто список значений через каждые N строк

нет
в CH вообще не btree

в CH - индексы по типу data skip indexes
то есть они работают по принципу, ой у нас тут WHERE над колонкой по которой индекс есть
дорогой индекс, проверь пожалуйста, вот этот кусок данных, а можно ли его не читать чтобы фильтровать и скипнуть

Всем привет. Сталкиваюсь с проблемой — при удалении из таблицы данных с условием (ALTER TABLE DELETE WHERE ...) и последующей за удалением вставкой часть данных теряется. Как выясняется что данных нет — в query_log появляется запись с written_rows = X, при этом в самой таблице строк = Y < X. Таблица реплицированна на три машины, при этом на двух репликах DB=Atomic, на одной=Ordinary
При этом в логах из необычного разве что There is no part xxx in ZooKeeper, it was only in filesystem
Если таблицу переделать из Replicated в MergeTree, то такого поведения не наблюдается.
Ещё вроде становится лучше если выставить insert_quorum=3, с этой опцией потерь пока не ловили

ALTER TABLE ... ON CLUSTER делаете? или просто?

ну т.е. если у меня таблица например date, clientId, doits
самый идеальный вариант когда я делаю order by (date, clientId) а не (clientId, date) ? правильно ?

просто
но с опцией mutations_sync=2
то есть изменения завершаются везде, потом вставка

В начало надо ставить минимально изменчивое, а не максимально.

вчера были рассуждения что чтобы отсортировать по DESC длямаксимальнйо скорости нужно date ставить на первое место

лучше date, clientid
чем cleintid, date

только потому что обычно вы будете date указывать в запросе примерно всегда
и оно монотонно возрастающее
поэтому primary key легче skip по min max условиям куски данных... читая .mrk

но вы еще про PARTITION BY не забывайте его тоже по toYYYMM(date)
лучше сделать

спасибо большое .... вроде смыслы понял

еще вопрос с партицированием )))
а что лучше или в чем могут быть подводные камни если я например партицирование делаю по дням или по месяцам
в первом случае партиций получается много и вроде как хорошо если я ищу интервалы дат по дням, но если я например возьму интиервал несколько месяцев с середины месяца каждый что будет в итоге выгоднее много партиций по дню или все таки партицирование по месяцам во втором случае читать база будет из 3х партиций например но отбросит данные в начале за 15 дней и в конце за 15 дней .... в первом случае она возьмет 60 дней и ни чего отбрасывать не будет .... но получается нагрузка IO будет в теории выше так как это чтение сразу из 60 файлов ..... правильно понимаю ?

верно понимаете, в большинстве случаев достаточно партиционирования по месяцу
если сделаете партиционирование по дню, у вас начнут появляться подводные камни связанные с большим количеством файлов (медленный старт ch, медленная подготовка к запросу и т.д.), причем не сразу, а через какое-то время, когда отказываться будет больно
+ к партиционированию популярна практика ставить дату (toDate того же поля что и в partition by) на 1-2 место в pk в зависимости от запросов
отмечу, что это популярный, но все-таки частный случай, в общем случае могут быть и минутные партиции, если действительно нужно

оо спасибо .... про медленный старт и медленную подготовку запроса это существенный минус

Добрый день.
Корректно ли при mutations_sync=0 будут обработаны запросы
неоднократного добавления и удаления строк по одному условию ?
Загружаются чеки, которые могут приходить по нескольку раз
от магазина за дату (состав пакета с чеками может изменяться).
В конечном счете останется последняя добавленная версия ?

(т.е. перед добавлением по условию вначале удалять строки по этому же условию)

кстати про мутацию )
mutations_sync выставлен на 1, если изменяю таблицы, добавление или модификация полей все работает как нужно, НО, если делаю ренейм таблицы она ренеймится только на 1 реплике а констуркцию on cluster не принимает

слишком частые партиции, убьют вам производительность
у вас будет миллион каталогов в /var/lib/clickhouse/data/database_name/table_name/

потому что у вас Atomic только на 2 репликах из 3

ну собственно из за IO убьется производительность ... но тут на сколкьо я понимаю очень важно понимать какие интервалы дат берутся

у меня пока 1 шард с 2мя репликами

а КХ юзаю в яндекс облаке

Добрый день, подскажите пожалуйста, копирую базу с помощью clickhouse-copier содержащую таблицу с данными и MATERIALIZED VIEW.
Последовательность следующая:
1. создаю таблицу в базе назначения
2. создаю MATERIALIZED VIEW
3. копирую данные в созданную таблицу с помощью clickhouse-copier

Но к сожалению после завершения копирования выборка из MATERIALIZED VIEW возвращает 0 записей
хотя на источнике данных все возвращается нормально

materialized view триггерится на инсерты ж вроде? а copier это другое

замените clickhouse-copier
на INSERT INTO ... SELECT ... FROM remote()
и тогда получится

Вся проблема в том что соединение немного не стабильно, не получится ли ситауция при которой перенесу не все данные?

Нет ли возможности более изящно наполнить VIEW, не выполняя повторную перегонку?

у вас .inner МВ или в dest таблицу?

.inner таблицы сушествуют но пустые

ну тогда как slach подсказал вам, хороший вариант.

то есть запустить копирование прямо в эти таблицы?

видимо, да.

спасибо за информацию, попробую

Есть вопрос про сериализацию и десериализацию.

Какие есть механизмы, чтобы данные превратить в бинарное поле и наоборот?
Может есть возможность сделать SELECT ... FORMAT ... в поле (строку)?
И обратное преобразование?

Есть ли возможность превратить какие-нибудь данные в json? Или лучше в нативные какие-нибудь, чтобы быстро парсило?

если мне не изменяет память, clickhouse-copier вроде сам использует подход INSERT INTO ... SELECT .FROM remote()...
поэтому странно что у вас materialized view Не стриггерились...

по логам более похоже что он делает добавление в part таблицы, а далее их соединяет с основной с помощью attach

а вы всю БД тащите или только конкретные таблицы?

по таблично, но параллельно изменяю ENGINE на Replicated и схему разбития на партиции

Ребят у кого получилось сбилдить odbc драйвер под Apple M1?

Пробовал с конфигурацией -DBUILD_TESTING=OFF

Пробовал по этому гайду https://github.com/ClickHouse/clickhouse-odbc/issues/363#issuecomment-871242730 (Тут проблема возникает с неправильным префиксом установки)

Сам драйвер получилось сбилдить, но tableau выдает ошибку:

[iODBC][Driver Manager]dlopen(/opt/homebrew/lib/libclickhouseodbcw.dylib, 6): no suitable image found. Did find: /opt/homebrew/lib/libclickhouseodbcw.dylib: mach-o, but wrong architecture /opt/homebrew/lib/libclickhouseodbcw.dylib: mach-o, but wrong ar
[iODBC][Driver Manager]Specified driver could not be loaded
Generic ODBC requires additional configuration. The driver and DSN (data source name) must be installed and configured to match the connection.

file libclickhouseodbcw.dylib

что говорит?

libclickhouseodbcw.dylib: Mach-O 64-bit dynamically linked shared library arm64

ну клево
драйвер вы собрали под arm64
а Tableau у вас под Rosetta запускается и собрана под x86_64

вот только под x86_64 не получается собрать

сейчас попробую заново все собрать с опцией arch -x86_64

там рассказно сразу что homebrew даже надо под x64 поставить

да,только есть нюанс, его если ставишь под x64, то надо и остальные видимо команды выполнять с префиксом arch -x86_64

Кто-нибудь понимает, что эта фигня может значить?

При обращении к таблице выдаёт ошибку
Code: 76, e.displayText() = DB::ErrnoException: Cannot open file /data/clickhouse/data/data_flat/flat_temp/20210317-7-3-1_263257_263257_0/simple_date.bin, errno: 74, strerror: Bad message: While executing MergeTreeThread (version 20.10.3.30 (official build))

Что это была ссыла на файл и теперь файла нет?

Встань на этот файл что внизу показывает или лучше сделать в консольке ls -alh в этой папке

Так как гадать что там mc вывел такое себе )

Т.е. простой запрос select * FROM data_flat.flat_temp limit 1 - отдаёт результат

А такой
SELECT min(simple_date)
FROM data_flat.flat_temp
WHERE
ProjectID==7 AND
interaction_type=='session' AND
src=='ga'
limit 1 - отдаёт ошибку

Диск, что ли, посыпался...

Вообще похоже. что в dmesg

чочо?

dmesg

Наверное, это что-то очень плохое?

да посыпалась файлуха...

Это 100% точно?
Чем спасать, куда бежать? Резервной копии нет. Можно чем-то потыкать? Есть ли шанс на спасение?

"чтото пошло не так"

> Резервной копии нет

Ha-ha classic. (На самом деле сочувствую)

Оно, конечно, весело, только лучше бы иметь "какую-то тактику", чтобы её попридерживаться )

ну разваливающая ФС ето всегда не очень весело

а что это за сдвоенные равно ?

А что не так-то? Обычное сравнение. Дело не в нём и не в том, что в запросе, а в том, что если КХ вынужден перебирать файлы с датами, то натыкается на битый файл и отваливается

обычное это одно равно

ну как минимум она хочет файлчек. а в cat /proc/mdstat чего?

root@rstat:/data/clickhouse/data/data_flat/flat_temp/20210317-7-3-1_263257_263257_0# cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md1 : active raid1 sdd1[1] sda1[0](F)
3906884608 blocks super 1.2 [2/1] [_U]
bitmap: 21/30 pages [84KB], 65536KB chunk

md0 : active raid1 sdc1[1] sdb1[0]
937559040 blocks super 1.2 [2/2] [UU]
bitmap: 3/7 pages [12KB], 65536KB chunk

unused devices: <none>

Всем привет, такой вопрос, можно ли использовать постгресовское мат вью в CH как внешний словарь?

выглядит как диск sda уже вылетел, а на диске sdd данные битые)

да

Коллеги, а подскажите, Zookeeper пользоваетель системный, если запускать не под root, обязательно должен иметь sudo права?

Возможно ли настроить datagrip так, чтобы он показывал с какой колонкой проблемы?
Code: 386, e.displayText() = DB::Exception: There is no supertype for types UInt64, Float64 because some of them are integers and some are floating point, but there is no floating point type, that can exactly represent all required integers (version 20.8.8.2 (official build))

для начала кликхаус сам должен сказать с какой колонкой проблемы)

емнип, нет

Понял, спасибо!

Ну тут проще уже самому смотреть где вы смешиваете UInt с Float64

Привет! подскажите, а можно ли сделать запрос, чтобы выбрать все колонки, кроме перечисленных?

да, смотрите здесь
https://clickhouse.tech/docs/ru/sql-reference/statements/select/#except-modifier

спасибо!☺️

да, уже разобрался. Там просто больше 80 колонок, думал вдруг будет проще вариант

это пользовательская настройка, в профилях надо менять

переписали clickhouse-copier год назад, теперь он attach делает

Привет. Подскажите, пожалуйста, как использовать имя переменной в LIKE выражении?

WITH some_query AS var
SELECT count(), $var FROM table
WHERE some_field LIKE '$var%'
?

LIKE var || '%', но some_query должно быть константой, в лайк вторым аргументом только константу можно.

Строка туда не подойдёт?

Сработало, спасибо.

Подскажите, когда вставляю данные, иногда сталкиваюсь с тем что блок данных не появляется в клике фактически, в логах при этом вижу
2021.07.01 19:13:24.177819 [ 196994 ] {e0058ecb-c440-42ed-a021-942722ee1610} <Debug> default.my_table (0f3bc8c2-c945-4fa9-9c27-a46012c87163) (Replicated OutputStream): Wrote block with ID '202106_3127737653308942308_5198514521250551707', 1074621 rows
2021.07.01 19:13:24.191290 [ 196994 ] {e0058ecb-c440-42ed-a021-942722ee1610} <Information> default.my_table (0f3bc8c2-c945-4fa9-9c27-a46012c87163) (Replicated OutputStream): Block with ID 202106_3127737653308942308_5198514521250551707 already exists locally as part 202106_287_287_0; ignoring it.
блок записывается и следом игнорится, как он может быть на фс если только что был записан?

дедупликация

дедупликация чего? до вставки за указанное число было 0 строк

дедупликация блоков
посмотрите, что лежит в 202106_287_287_0
where _part='202106_287_287_0'

0 rows in set. Elapsed: 0.004 sec.
Синтаксис же такой?
SELECT *
FROM my_table
WHERE _part = '202106_287_287_0'

SELECT * FROM leads FINAL WHERE approve_at <= '2021-06-22 07:49:44' AND `status`='hold' LIMIT 0, 20 FORMAT JSONEachRow

exec time: [768ms]
res.status: 500
res.body: Code: 241, e.displayText() = DB::Exception: Memory limit (total) exceeded: would use 7.02 GiB (attempt to allocate chunk of 4287312 bytes), maximum: 7.01 GiB: (while reading column simple_operating_platform_string): (while reading from part /var/lib/clickhouse/data/dbname/leads/202011_115570_140157_779/ from mark 0 with max_rows_to_read = 8192): While executing MergeTree (version 20.8.3.18)

Подскажите пожалуйста, почему может выводиться такая ошибка на запрос?

смержилось, видимо
при инсерте чексумма блока сохраняется, и последующие блоки с той же чексуммой отбрасываются
ищите, почему у вас блоки одинаковые

если мутация удаляет данные, и затем вставляется такой же кусок данных, он отбросится?

да

спасибо. а можно ли сделать чтобы мутация как-то более основательно "забывала" о блоках?
чексуммы чтобы тёрлись и т.д.

мутация же не блоки удаляет, а строки
откуда ей знать

но если удаляются строки, то должна пересчитыватсься чексумма?
блок же меняется

drop partition удаляет чексуммы

нет
дедупликация для идемпотентных инсертов сделана, а не для контроля данных в таблице

можно отключить дедупликацию

set insert_deduplicate=0

понял, благодарю.

Слишком жирные блоки final обрабатывает. Попробуйте в конец запроса дописать что-то типа settings max_block_size=1000, max_threads=2.
А если колонки status или approve_at есть в order by таблицы, то пропишите условия для них в prewhere а не where. Или даже если нет в order by, но вы точно знаете, что оно не может по final схлопнутся с данными, не попадающими под фильтр.

Решения лучше, чем почистить всю таблицу я не нашел, поэтому выполнил TRUNCATE, но даже так вывалилась ошибка
Code: 233. DB::Exception: Received from ch2.avs.infrapu.sh:9000. DB::Exception: Unexpected part name: 202106_4155_4155_0_0_5_999999999
В итоге дропнул таблицу полностью со всех реплик и создал заново. Ошибки пропали

вот что обнаружил
если брать блок определённого размера, то после мутации он может как заигнориться, так и вставиться
проверил поведение несколько раз

скорее всего блоки чуть-чуть разные
вы проверили, что чексумма одинаковая получается?

1. Как я могу проверить чек сумму?
2. Может ли блок быть разным если вставка производится из одного и того же файла?

1. в Зукипере (у вас реплицированная таблица?)
2. Зависит от атомарности инсерта из того файла

1. Реплицированная
2. Одна крупная вставка. В логах отсвечивает одно и то же количество строк

И парт один получается?

Смотрите в Зукипер, там все блоки записаны

Разный или нет не могу точно сказать, но иногда он отбрасывается, иногда нет, по всей видимости всё таки разный
В зукипере имена у блоков другие - более длинные

подскажите плз, хочу таблицу сделать партицированной, на сколько я понимаю ее нужно создать и в нее залить данные, но мне выдается ошибка

Too many partitions for single INSERT block (more than 100).
The limit is controlled by 'max_partitions_per_insert_block' setting. Large number of partitions is a common misconception. It will lead to severe negative performance impact, including slow server startup, slow INSERT queries and slow SELECT queries. Recommended total number of partitions for a table is under 1000..10000. Please note, that partitioning is not intended to speed up SELECT queries (ORDER BY key is sufficient to make range queries fast). Partitions are intended for data manipulation (DROP PARTITION, etc).: While executing SinkToOutputStream.

а какой размер max_partitions_per_insert_block ставить ? если это заливка типа
insert into objects_sliced_new select * from objects_sliced

в идеале вставлять частями по партициям

но разово можете настройку выставить числу партиций которые вставляете

просто у меня таблица не партицированная 200 млн записей

а новая по дате?

новая по признаку + дата

select uniqExact(признак, дата) from objects_sliced -> число партиций

число не слишком большое получится?

1768788

жесть )

так работать не будет

зачем партиционировать по признаку?

чтобы дропать можно было

признак это номер клиента по которому ведутся логи

как только клиент отказывается - партиция дропается

часто такое бывает?

ну не шибко часто но бывает ... хранить данные по клиенту который не платит как то не впечатляет )

дешевле хранить ?

а стоп ... у меня ж не просто дата а дата до месяца

60814

все равно много ?

всеравно много, через пару месяцев набежит

проще хранить и раз в несколько месяцев чистить

пока клиент платить мы должны хранить

как вариант до года округлять

получается около 7123 партиций

а вообще какой порядок количества партиций - нормально ? 🙂

ну это понятно, собирать список клиентов которые ушли, и удалять данные по ним раз в пару месяцев

так а как удалять если КХ не дает удалять ?

я так понял нету функционала DELETE

мутациями

ALTER TABLE xxxx DELETE WHERE

Для удаление пользователей ОК

эмммм. .. а где про это почитать ? а то ни разу не натыкался

а вот нашел

но я тогда не понимаю ... а вчем разница то между стандартным DELETE в любой другой БД ?

это как-то лочит доступ к таблице или какие тут нюансы ?

затратная операция, лучше ей не злоупотреблять

Поизучал зукипер.
Итак, в момент когда клик после мутации игнорит вставленную партицию, ни на фс, ни в зукипере нет ни одного блока данных (таблицу специально предварительно вычистил)
В логах при этом вижу —
Block with ID xxx already exists locally as part 202106_23_23_0; ignoring it.Block with ID xxx already exists locally as part 202106_23_23_0; ignoring it.

Таким образом после вставки 0 строк, до вставки — тоже 0

HTTP клиент.

затратная операция + делается асинхронно, а не сразу как в обычных бд

она делается в фоне. если КХ упадет,
может быть непонятен стейт данных (какая часть обновилась, какая нет).
вообще чего только не словить
https://kb.altinity.com/altinity-kb-queries-and-syntax/altinity-kb-alter-modify-column-is-stuck-the-column-is-inaccessible.

мы ещё ловили что иногда они не запускаются хотя всего хватает, и приходится рестартовать КХ

недавно пр был на тему того, что сбрасывать на 0 экспоненциальный backoff если пулл полностью занят.

параметр пользовательский, в профиле пользователя.
Причем https://t.me/clickhouse_ru/220375

это очень зря пользоваться 21.2 -- самой ранней версией, при наличии 21.1.9.4121.1.9.41_all.deb
это похоже на баг в компактных партах

можно, есть modify, подробнее в issue в гитхабе

подбирать сортивку надо так, чтобы достич самой лучшей компресии, я просто делаю 10 таблиц с разным order by и заливаю 1 млн. строк, обычно нет смысла делать order by длинее чем 3 поля.

это дедупликация инсертов.
есть параметр insert_deduplicate - 0 / 1
подробнее в статье про репликациюю

это чушь и вообще про оптимизиацию select order by

берите по месяцу, в крайнем случае можно партиционировать по неделям toStartOfWeek

мутации не гарантируют что они завершатся, в гитхабе 100500 ишей про то что мутация, прошла, строки остались, или мутация зависла и не закончилась за месяц и так далее.

КХ поддерживает и =/== и <> / != это одно и тоже. И даже коментарии как // так и --

обычно системный как сервис, для запуска надо sudo, потому сервис.
Но самому зукиперу рут не нужен, да и вообще никаким приложениям рут не нужен, кроме тех что хотят порты ниже 1024го

тут проблема в самом КХ, он не показывает где. ошибка

размер инсерта значения не имеет, просто для ста последних инстертов в таблицу хранятся контрольные суммы чтобы можно было повторять инсерты

max_partitions_per_insert_block=0

рекомеднуется 1000 партиций максимум, при 7000 партов ломается альтер, начинается медленный старт КХ, при 20тыс партов select начинают тормозить на анализе партов

нету этого и не будет, к сожалению это мало кому нужно

Помогите пожалуйста, есть подзапрос, в каждой строке уникальный id, start_date, end_date (даты с первыми днями месяцев). Нужно сделать запрос, в котором на каждый id будет столько строк с датами, сколько месяцев между start_date и end_date.

Не совсем понимаю как в этом случае использовать numbers.

Мне кажется, в этой задаче проще для каждой строчки сформировать массив длины равной количеству месяцев м/у start_date и end_date, а потом использовать ARRAY JOIN.

вам для отчета какого то надо?

да, чтобы потом по id джойнить другие колонки и протягивать по месяцам

SELECT
id,
arrayJoin(arrayMap(i -> (toStartOfMonth(b) + toIntervalMonth(i)), range(toUInt64(toYYYYMM(e) - toYYYYMM(b))))) AS m
FROM
(
SELECT
1 AS id,
toDate('2021-01-01') AS b,
toDate('2021-06-01') AS e
)

┌─id─┬──────────m─┐
│ 1 │ 2021-01-01 │
│ 1 │ 2021-02-01 │
│ 1 │ 2021-03-01 │
│ 1 │ 2021-04-01 │
│ 1 │ 2021-05-01 │
└────┴────────────┘

https://kb.altinity.com/altinity-kb-queries-and-syntax/join-with-calendar-using-arrays

Звучит разумно, но я получаю эксепшн:
Nested type Array(UInt64) cannot be inside Nullable type: While processing agreement_id, arrayJoin(arrayMap(i -> (toStartOfMonth(start_date) + toIntervalMonth(i)), range(toUInt64(toYYYYMM(end_date) - toYYYYMM(start_date))))) AS month (version 21.6.5.37 (official build))

Возможно это из-за того, что мои start_date и end_date Nullable(DateTime)?

вместо toUInt64 ( ) надо cast( a - b, 'UInt64' )

arrayJoin(arrayMap(i -> (toStartOfMonth(start_date) + toIntervalMonth(i)), range(CAST(toYYYYMM(end_date) - toYYYYMM(start_date),'UInt64')))) AS m

Code: 69, e.displayText() = DB::Exception: A call to function range overflows, investigate the values of arguments you are passing: while executing 'FUNCTION range(CAST(minus(end_date, start_date), 'UInt64') :: 2) -> range(CAST(minus(end_date, start_date), 'UInt64')) Array(UInt64) : 4' (version 21.6.5.37 (official build))

Не понимаю в чём ошибка. Можте вообще лучше dateDiff использовать внутри range? Хот тоже не помогает

у вас может быть такое что start_date > end_date?

нет, такого точно не должно быть. Но интересно, я заселектил toYYYYMM(start_date) и на выходе у меня такое
2020-09-01 -> 202,009
2021-08-01 -> 202,108

CAST(toYYYYMM(end_date) - toYYYYMM(start_date),'UInt64') выдаёт 99 или 100, хотя между старт и энд всего 1 год

select
agreement_id,
arrayJoin(arrayMap(i -> (toStartOfMonth(start_date) + toIntervalMonth(i)), range(12))) AS m
Прекрасно работает, прямо как надо. Только у меня не везде разница 12 месяцев. То что внутри рейнджа неверно считается

arrayJoin(arrayMap(i -> (toStartOfMonth(start_date) + toIntervalMonth(i)), range(CAST(dateDiff('month', start_date, end_date),'UInt64')))) AS m
выдаёт

A call to function range overflows, investigate the values of arguments you are passing: while executing 'FUNCTION range(CAST(dateDiff('month', start_date, end_date), 'UInt64') :: 2) -> range(CAST(dateDiff('month', start_date, end_date), 'UInt64')) Array(UInt64) : 5' (version 21.6.5.37 (official build))

Нашёл косяк, где-то действительно старт деёт больше энд дейта, вы правы, всем спасибо

ну оно и должно быть числом

попробуйте dateDiff
https://clickhouse.tech/docs/en/sql-reference/functions/date-time-functions/#date_diff

Кст, насчет дейтдифф - он же инт выдает, а как сделать так, чтоб он флоат выдавал? Мне нужно, чтоб выводились строки с разницей двух действий в 7 суток, но он все , что слегка больше 7 суток просто округляет до 7 дней и выдает лишнюю инфу. Или в таком случае unit = seconds сделать, чтоб разница была в N секунд за 7 суток?

Да, делайте по секундам
dateDiff('second',end_date, start_date) <= 86400*7

Благодарю)

Привет всем!
функции dictGetT больше нет в clickhouse?
хотел использовать range_hashed словарь, но кх предлагает только функцию dictGet

константа 86400 извините

да, действительно фигня какая то
используйте просто dictGet

https://kb.altinity.com/altinity-kb-dictionaries/altinity-kb-range_hashed-example-open-intervals

Но как я понял если инсерт будет отличаться от предыдущего, получится другой блок с другим хешем, разве нет?
В моём де случае ситуация противоположная, инсерт и количество строк в блоке одинаковое, но блок в половине случаев отбрасывается, в половине - нет

под dictGetT имеются в ввиду dictGetUInt8/dictGetString ?

нет
там в доке прямо для range_hashed словарей ерунда похоже написана...
устаревшая
https://clickhouse.tech/docs/en/sql-reference/dictionaries/external-dictionaries/external-dicts-dict-layout/#range-hashed

Добрый день, каким образом можно сконверитировать строку вида '30062021190858' в datetime?

select toDateTime(toInt64('30062021190858’))

если это unix

не unix, интересует есть ли функция типа formatDateTime, только наоборот, из строки в дату\дейттайм?

parseDateTimeBestEffort

такой формат не распарсит навверное

Привет, столкнулся со странным поведением селекта. Есть агрегационная таблица со схлопыванием сырых ивентов по часам. Заметили дубли, хотя движок должен был бы их схлопнуть (ReplicatedAggregatingMergeTree). Если брать данные за текущий час, то дублей нет. Если брать данные за предыдущий час - видны дубли. Когда час закрывается, то за тот час когда были дубли - их больше не не будет. Если взять любой другой промежуток времени то дублей никогда не будет. Проблема только когда ставится where hour = toStartOfHour(now() - interval 1 hour). И я заметил, что это каким то образом связано с кол-вом шардов (их 4 и на каждую по реплике). Кол-во дублей равно кол-ву записей на шардах. Т.е. если на 1,2,3 шардах будет по записи, то в результате селекта в distributed таблицу будет 3 записи отдельных (только за предыдущий час)

Версия 21.1.2.15. Пробовал менять настройку distributed_group_by_no_merge, но это не помогает. Есть идеи куда копать?

DB::ParsingException: Cannot read DateTime: unexpected date: 107-20-21

Добрый день, есть вопрос про Map в clickhouse.
Условно говоря, у меня есть таблица с 3 колонками

client_id UInt32
algo_hs Map(String, Array(UInt32)
datetime DateTime('UTC')

В algo_hs лежит словарь с массивами (хешрейт по алгоритму), например:

{
"sha256": [26665000, 22520000, 22537000, 22460000],
"scrypt": [5667659, 5736897, 5668138],
...
}

Планируется доставать average algo_hs по client_id за определенный период.

Скажите пожалуйста насколько Map юзабелен на данный момент (он за эксперементальным флагом на данный момент)
и можно ли делать выборку (avg) по значениям в map?

Насчет DateTime: я же правильно понимаю, что как в sqlite чисто время (12:23:45) в колонку не получится записать? Искала доугие дата типы, но только DateTime и Date нашла

Ну запишется время для +-первого дня unix time

Типа 1970-01-01 12:23:45?
Просто я когда чисто время ввела, у меня ошибка вышла, что неправильный формат ввожу

Да

SELECT
toTime(parseDateTimeBestEffort('12:23:45')),
toTime(now())

Query id: a13db777-6c9c-41c9-87cb-1024d7ebc642

┌─toTime(parseDateTimeBestEffort('12:23:45'))─┬───────toTime(now())─┐
│ 1970-01-02 12:23:45 │ 1970-01-02 11:45:58 │
└─────────────────────────────────────────────┴─────────────────────┘

Aggregating/replacing не гарантируют схлопывание. Используйте в запросах FINAL или агрегатные функции. Всё есть в доке или по чатику можно по искать по запросу "схлопывание" и т.д.

Окей, поняла, благодарю!

привет! версия КХ 21.2.10.48
подскажите, в чем может быть проблема: таблица движка KafkaEngine в связке с MV тянет всего по одной записи раз в 8 секунд, в то время как другие такие же связки читают сообщения с нормальной скоростью. Может ли это быть проблема со стороны КХ, и если да, то куда надо смотреть, или здесь КХ не при делах, и надо смотреть в сторону самой кафки?
Читал https://altinitydb.medium.com/clickhouse-kafka-engine-faq-6248283e7b66 , смотрел параметры background_schedule_pool_size и BackgroundSchedulePoolTask - ничего выходящего за грани я там не увидел

upd: solved

Сейчас используются агрегатные функции в духе
countMergeIf(count, event_type = 'click') AS clicks,
countMergeIf(count, event_type = 'show') AS impressions
В исходной таблице соответственно count AggregateFunction(count)
Разве так не должно работать без final?

а у вас случаем ключ шардирования не rand()? Вы можете писать одинаковые данные на разные шарды, и они никогда не схлопнутся

Приложение вставляет батчи в локальные таблицы, а потом эти данные уходят в агрегаты

Почти rand в целом

спасибо, помогло

ReplicatedAggregatingMergeTree не схлопывает дубли

он только при background merge будет для полей с типами aggregatingState делать merge для одинаковых значений из ORDER BY

Возможно я неправильно описал происходящее. Дело не совсем в дублях. Как и подобает aggregatingMT движок суммирует значения по колонкам в order by. И если делать запросы на локальных таблицах, то всё суммируется верно, но если сделать тот же запрос на distributed, то кх не просуммирует каунтеры на каждой ноде в одну строку

Он выведет 4 строки (по строке на шард - всего 4 шарда соответственно)

Похоже на поведение distributed_group_by_no_merge = 1, когда нода на которой выполняется запрос не суммирует результаты, но он выключен

всех приветствую. первый раз сталкиваюсь сейчас с clickhouse. установлена версия 19.16. могли бы подсказать sql ориентированное управление в этой версии не поддерживается? вроде в xml access managment = 1 добавил, но create user не работает. проверил на тестовом сервере поднять последнюю стабильную версию там все ок

в 19.16 не было управления доступом через create user

access_management с 20.4 версии только доступно

ok. благодарю

в запросах к distributed аггрегационные фунции и GROUP BY есть ?

Есть всё перечисленное

Вот пример. Я только убрал много колонок по которым идет группировка, чтобы не захламлять
SELECT adformat, event_time as hour, countMergeIf(count, event_type = 'click') AS clicks, sumMergeIf(cpc_sum, event_type = 'click') AS revenue_on_clicks
FROM aggregates.events_hour
WHERE toStartOfHour(event_time) = toStartOfHour(now() - interval 1 hour)
GROUP BY adformat

т.е. если используете аггрегирубщие функции и group by, то дублей нет, если смотрите сырые данные, то дубли есть? я правильно вас понимаю?

в сырых дублей нет и суммирование правильное, но если брать из aggregatingMT как я скидывал ранее, то суммирования не произойдёт - вместо одной строки будет 4 строки с одинаковыми колонками, но с разными суммами

Например есть два шарда. На первом результат селекта
adformat,clicks,revenue_on_clicks
display,5,0.05
На втором будет
adformat,clicks,revenue_on_clicks
display,2,0.02
Если выполнить схожий запрос на агрегатах, будет не
adformat,clicks,revenue_on_clicks
display,7,0.07
А будет
adformat,clicks,revenue_on_clicks
display,5,0.05
display,2,0.02

Но там же GROUP BY adformat. Как там может быть "display" 2 раза?

Собственно... В этом и вопрос как такое может быть. В понедельник планирую обновить кх в надежде что этот казус поправится. На стейджевом кластере из двух нод такой аномалии не заметил, хотя версия там такая же, таблицы идентичные и данные такие же

либо это мегабаг на стороне кликхауса, либо, что более вероятно у вас в группировке есть ещё какое-то поле, которое на первый взгляд ни на что не влияет и не должно приводить к дублированию строк, но на самом деле оно-то и влияет :) ну и ещё вариант, что в селекте используется arrayJoin или типо того, что может наплодить раздвоение. ну или join какой-то, который вроде словарь и не должен раздваивать, но раздваивает.
либо вы в админке смотрите и видите второй раз туже строку на другой странице или ещё какая хрень :)

Друзья у меня есть вопросик такого плана. Мне надо перегнать json данные из mongodb в clickhouse. И если с большей частью полей я я разобрался nj вот с одним нет. У меня есть ключ meta с вложенным словарем и туда пихаются куча всяких разных данных и они по большей части рандомные. Какбы мне правильно хранить это поле ? Превращать в строку ? Или есть какото способ который я не могу найти ))

Мы пока закрыли это вопрос через добавления FINAL. Пока работает и всё сходится как надо. Смотрю всегда через clickhouse-client в консоли, ибо ну его эти табиксы и прочие админки от юродивых) Самое странное, что раньше всё работало как надо, проблема началась месяц назад, и, конечно, никто ничего не делал ¯\_(ツ)_/¯

типо что то вроде этого
"meta" : {
"file_id" : ObjectId("60df02518a2e6020b738dc9b"),
"folder_id" : ObjectId("5bae265d007791646ee1f836"),
"file_name" : "Test",
"common_id" : "nGQZPhNfHeen2jy0xLVzJyxGnJxiq7"
},
"meta" : {
"user_id" : "nGQZPhNfHeen2jy0xLVzJyxGnJxiq7",
"car_name": "mazda"
},

И прям оч все по разному , я хотел каакието общие штуки сделать но их оч мало

а так это просто нагрузочная инфа, для менеджера чтобы понять что в этом конкретном json происходило

а есть create table этого AggregatingMergeTree?

я б хранил на вашем месте json как строку в кх

если данная информация не несет ничего нагруженного. А вот со стороны app layer, емнип, занимался бы десериализацией при необходимости

емнип а это что ?

если мне не изменяет память (оперативная)

Напрашивается исользовать json, тем более, что в кликхаусе куча функций для работы с ним. Будет проблема только если понадобится в этом json проапдейтить какое-нибудь поле.

я ненашел там типо данных json? или я вас не понял))

Всем привет!
Как понять, к какому timezone относится timestamp?
В бд timestamp, например, в таком виде «1,579,100,244»

не будет проблем, все в зависимости от того, каким образом будут спроектированы и какие требования выдвигаются бизнесом. Если нужна будет версионность, - да тут надо будет думать, но если менеджер не особо требует, то значит и изменения будут не столь постоянны

притом, что само поле по себе хранит только метаданные :)

Такого типа и нет. Сохраняйте как строку. В доке пощите json найдёте все нужные функции.

типо можно схохронятькак строку а потом выковыривать из этой строки json и кaкто им баловаться. Кажись понял . Буду эксперементировать.

https://clickhouse.tech/docs/en/sql-reference/functions/json-functions/

CREATE TABLE aggregates.events_hour_local (
`stats_day` Date,
`event_time` DateTime,
`event_type` LowCardinality(String),
`ad_type` LowCardinality(String),
`domain_referrer` String,
`campaign_id` UInt32,
`spot_id` UInt32,
`spot_size` UInt32,
`country` LowCardinality(String),
`os_type` LowCardinality(String),
`os_family` LowCardinality(String),
`browser_name` LowCardinality(String),
`browser_family` LowCardinality(String),
`utm_source` String,
`utm_medium` String,
`utm_campaign` String,
`utm_content` String,
`cpc_sum` AggregateFunction(sum, Float64),
`cpm_sum` AggregateFunction(sum, Float64),
`ecpm_sum` AggregateFunction(sum, Float64),
`count` AggregateFunction(count)
) ENGINE = ReplicatedAggregatingMergeTree('/clickhouse/{cluster}/tables/{shard}/aggregates/user_events_hour_local', '{replica}')
PARTITION BY toYYYYMM(stats_day)
ORDER BY (stats_day, event_time, event_type, ad_type, domain_referrer, country, campaign_id, spot_id, spot_size, browser_name, browser_family, os_type, os_family, utm_source, utm_medium, utm_campaign, utm_content)
TTL stats_day + toIntervalMonth(6);

Локаль сервера, либо укажите timezone при создании поля date/datetime

>ad_type LowCardinality(String)
может LowCardinality кривовато работает на Replicated таблицах...

group by concat(ad_type,'')

проверить гипотезу что группируется по словарю на каждом шарде по разному

Привет. Вопрос такой: можно ли делать If в where? Мне нужно ввести условие в зависимости от даты события, что-то я не могу придумать, как мне это сделать

да, можно, насколько мне не изменяет память

можно любую обычную функцию в where

кроме агрегатной :)

поэтому написал "обычную"

не заметил :)

тогда еще вопрос (возможно, тупой). Если писать
IF(dt<='2021-06-11',creation_entry_point!='change_avatar', второе условие), то как оформить второе условие? Весь if звучит как "если дата меньше 11 июня, то не учитывать такой энтри поинт, иначе - учитывать". Не могу понять, как сделать "учитывать"

If (condition, true-result, false-result)

условие в if одно

Здесь даже if не надо, кмк. Вам только where и условие, которое необходимо учитывать. Только вот какой там ORDER BY ключ.... %)

+1

where (dt<='2021-06-11' AND creation_entry_point!='change_avatar') or (dt>'2021-06-11' AND creation_entry_point='change_avatar')

или where (dt<='2021-06-11' AND creation_entry_point!='change_avatar') or (dt>'2021-06-11')
смотря что вам там нужно

спасибо, это то, что нужно

Всем привет. Подскажите, если делать select from jdbc('jdbc:sqlserver:…..)
можно ли как-то добавить условие, которое выполнится ТАМ?
Или токльо тянусть все к себе, и уже тут делать сортировку?

Подскажите как максимально ускорить выборку по дате(dt_start), а то на одних и тех же числах остановился пока.
Таблица 100млн строк. Партиций 30. dt_start может изменяться. Уникальных dt_start 5 млн. Добавил индекс минимум с гранулярностью 4, стало лучше.
CREATE TABLE default.new_tab
(
id UInt64,
str1 Nullable(String) CODEC(ZSTD(9)),
str2 Nullable(String) CODEC(ZSTD(9)),
idfk1 UInt32 CODEC(ZSTD(1)),
idfk2 UInt32 CODEC(ZSTD(1)),
idfk3 UInt64 CODEC(ZSTD(1)),
idfk4 UInt16 CODEC(ZSTD(1)),
idfk5 UInt16 CODEC(ZSTD(1)),
idfk6 UInt16 CODEC(ZSTD(1)),
dt_start DateTime CODEC(Delta(4), ZSTD(1)),
str3 String DEFAULT '0' CODEC(ZSTD(9)),
val Nullable(UInt8),
ver DateTime
)
ENGINE = ReplacingMergeTree(ver)
PARTITION BY intDiv(id, 20000000)
ORDER BY (idfk1, id)
SETTINGS index_granularity = 128;

а какие ещё выборки кроме как по dt_start важны? Если никакие, то её и ставьте в order by. если же этот idfk1 очень важен для вас, то можно сделать партиционирование по дате, как это указано во всех примерах - станет чуть лучше, за счет отбрасывания лишних партов.

Естественно выборки по ключу сортировки.
Не могу поставить дату в ключ сортировки, потому что нужно схлопывать по ключу сортировки.
Партиции тоже не могу сделать по дате, потому что слияние в одной партиции, а дата может измениться и новая строка попадёт в другую партицию, и собственно не схлопнется никогда(

> что слияние в одной партиции, а дата может измениться и новая строка попадёт в другую партицию, и собственно не схлопнется никогда
Replacing сам по себе не избавит вас от дубликатов в запросах, а только лишь поможет экономить место (и скорость как следствие). Схлопывание произойдет "когда-нибудь". Не надо на это рассчитывать.
Если вам нужно точно избавляться от дубликатов, то без final или limit 1 by не обойтись. Но они тоже дают торможение. Так что common practice - партиции по месяцам, final/limit 1 by, и поиграть с prewhere чтобы считать сначала только нужные столбцы, а потом и всё остальное.

я в подобной ситуации сделал подзапрос - сначала вычислил нужные id по дате (c final), обеспечив дедубликацию, получил разумное количество данных, а потом уже по первичному ключу быстро нашел и вытащил нужные строки почти целиком. prewhere не давал должного ускорения. В таблице было более миллиарда.

да, это понятно, подобным образом это и используем. мой вопрос больше не просто как ускорить поиск, без каких-либо преседаний до. а уже когда сделал много приседаний, уже получил адекватный результат, но вдруг есть какой-то инетересный индекс на дату, который я упустил и он может дать мне еще чуть больше ускорения)

Добрый вечер, ищу человека который бы проконсультировал меня по Clickhouse (пару вопросов).

Не бесплатно разумеется :)

задавайте свои вопросы, автору лучшиго ответа отправите вознаграждение )

вы вопросы в чат задайте, хорошо заданный вопрос, половина ответа =) глядишь и деньги сэкономите

Условно говоря, у меня есть таблица в которой будет хранится статистика с устройств (компания занимается мониторингом майнинговых железок).

Каждые 5-10 сек прилетает стата. Список температур, скорость кулеров и хешрейт для каждого алгоритма (на одной машине может майнится n валют).

Для примера, вот кусок статы:

{
"temps": [40, 80, 75 ... ],
"fans": [3200, 1000, ...]
"algo_hs": {
"scrypt": [1000, 1500]
"sha256": [ ... ],
}
}

Количество элементов в массивах может менятся.

Задача:
Считать среднее значение статы за определенный период.

Вопросы:
- Стоит ли использовать Array для колонок или пойти старым способом с нормализацией (как я понимаю посчитать avg для одной колонки простой колонки требует подзапросов, ARRAY JOIN, arrayEnumerate)

- Стоит ли нормализировать словарь algo_hs (словари пока experimental, и с ними будет сложнее работать как я понял)

- Как можно удобно посчитать avg нескольких массивов, не городя большое кол-во подзапросов (т.к. avg нужно будет считать для многих полей, и для произвольного количества устройств)

Задавал один вопрос несколько часов назад, пока игнор :)

- array не стоит, пишите в нормальную таблицу
у вас пол-во элементов в массиве одинаковое для temps, fans и algo_hs.* ?
если да
то все просто
CREATE TABLE mainer_stats (
date DateTime,
client_id UInt64,
farm_unit_id UInt32,
temperature UInt32,
fan_speed UInt32,
algo_name LowCardinality(String),
hash_rate UInt64
) ENGINE=MergeTree()
PARTITION BY toYYYYMM(date)
ORDER BY (date, client_id, algo_name)

ссылка на вопрос?

может менятся

@BloodJazMan вот, по сути дублирует от части предыдущий

@BloodJazMan получается стоит нормализовать данные из массивов и словаря?

я имею в виду
статистика приходит ..,
и в ней температура каждого юнита, его скорость и его хешрейт? Так?
понятно что юнитов в разное время может быть разное кол-во...
но просто хочу понять что в одном JSON
индекс от одного юнита в temp соответсвует индексу в массиве fan_speed

да

Map юзабелен
будет чуть быстрее массива
но вам массив и map не нужен
храните по нескольким строкам

Для каких тогда случаев используют массивы и словари в clickhouse?

словари используют для Star Schema обычно, чтобы dictGet заменял INNER JOIN

Массивы используют когда хотят компактно хранить не часто используемые данные в одной строке чтобы данные не сильно дублировались

https://t.me/clickhouse_ru/224918
и там вроде были ответы. не готовое оптимальное решение конкретного кейса, а просто ответы на конкретные вопросы. возможно автор подумал, что комментаторы пойдут дальше чем просто ответы :)

Спасите помогите. Я никак не могу коннектится с ДБ user default вот что я использую:
clickhouse-client -u default --password ZMKr1IqPYb8E -d my_db

Вот ошибка:
ClickHouse client version 21.1.7.1 (official build).
Connecting to database my_db at localhost:9000 as user default.
Code: 516. DB::Exception: Received from localhost:9000. DB::Exception: default: Authentication failed: password is incorrect or there is no user with such name.

без пароля тоже не пускает?

Без пароля пустил

сейчас проверю на java

Всем привет. Подскажите, если делать select from jdbc('jdbc:sqlserver:…..)
можно ли как-то добавить условие, которое выполнится ТАМ?
Или токльо тянусть все к себе, и уже тут делать сортировку?

/znode1

КХ вам говорит не алиас dt надо использовать а выражение его

Доброе утро! Подскажите пожалуйста почему Grafana не может подключиться к ClickHouse-у при таком настройке Docker Compose файла:

version: "3.3"

services:
clickhouse:
container_name: clickhouse
hostname: clickhouse
image: yandex/clickhouse-server
restart: always
ports:
- "8123:8123"
- "9000:9000"
volumes:
- ./clickhouse:/var/lib/clickhouse:rw
- ./clickhouse/scheme/init_schema.sql:/docker-entrypoint-initdb.d/init_schema.sql:ro
networks:
LogServer:

grafana:
image: grafana/grafana
restart: always
ports:
- '3000:3000'
volumes:
- ./grafana:/var/lib/grafana
- ./grafana/dashboards/:/var/lib/grafana/dashboards/
environment:
- GF_PLUGINS_ALLOW_LOADING_UNSIGNED_PLUGINS=vertamedia-clickhouse-datasource
- GF_INSTALL_PLUGINS=grafana-piechart-panel,grafana-worldmap-panel,vertamedia-clickhouse-datasource,yesoreyeram-boomtable-panel
depends_on:
- clickhouse

volumes:
clickhouse: {}

networks:
LogServer:

Получаю ошибку при попытке проверки подключение:

HTTP error Bad Gateway

Network во втором контейнере не прописан

/report

Что-то непонятно зачем так сложно, зачем джойнить таблицу саму на себя? По идее можно взять ваш внутренний подзапрос и просто добавить к ниму условие про 60 дней из внешнего и всё.

Понял ошибку, благодарю, все работает

Кто ни будь заливал POINT через mymarilyn/clickhouse-driver?

Всем привет, может кто-нибудь сталкивался.
Кликхаус читает сообщения из кафки, сервера по CPU/диску не нагружены, всё в норме работает.
Потом в какой-то момент кликхаус перестаёт мержить парты, их количество доходит до 300 и данные начинают выбрасываться.
Из-за чего может такое происходить? Скриншот с метриками кликхауса прикрепляю. 78 сервер читает из кафки, 75 - реплика для SELECT'ов.
Версия кликхауса 20.3.19.4.
В логах кликхауса ошибок нет.

ну есть SYSTEM STOP MERGES

посмотрите в query_log почему мержи перестали идти
и в /var/log/clickhouse-server/clickhouse-server.*
Загляните

а со стотороны kafka ничего не поменялось?
выглядит так что у вас дофига записей пришло и их мержить надо толпу

всем привет, а есть возможность в select исключать переменные, как в монге ? а то у меня 700 полей и надо только несколько исключить чтобы перелить данные из одной таблицы в другую

https://clickhouse.tech/docs/en/sql-reference/statements/select/#except-modifier

ООоОО вроде все инструкции уже на несколько раз перечитал но на это не натыкался

спасибо

только версию clickhouse проверьте, по моему это после 21.3 появилось только

ок, спасибо

Мне поставлена задача освоить стак: Кассандра, Спарк, Кафка. Для аналитики в Табло. Слышал что кликхаус ощущает кафку как часть себя. Есть тут кто, кто использует кликхаус как витрину? И вообще нужны ли мне знания кафки и спарка? Вдруг можно обойтись одним кликхаусом как-нибудь.

=) нет, кликхаус ощущает кафку как ням-ням-ням очень фкусненько, дайте мне еще ваших данных =)

если вам поставили задачу, то наверное не просто так, а потому что эти технологии в компании уже используются
так что стоит на них и сосредоточится

а потом и понимание придет, где конкретно вам clickhouse нужен или не нужен вообще

Контора буржуйская. И там никто даже не думал в сторону кликхауса. Поскольку меня расширяют в дата инженеры, я подумал вдруг инициативу проявлю полезную)

Поправил слово.

И с того что по кликхаусу смотрел, пока не ясна его роль.

Ну если грубо
То это высоко эффективное final write once хранилище структурированных данных с возмодностью быстрого аггрегирования
В связке с табло
Недавно стало лучше коннектор поверх odbc появился

Да я и написал сюда. В Табло хвалят кликхаус.

Всем привет. Подскажите, если делать select from jdbc('jdbc:sqlserver:…..)
можно ли как-то добавить условие, которое выполнится ТАМ?
Или токльо тянусть все к себе, и уже тут делать сортировку?

для WHERE делается push down внутрь источника
сортировка и группировка на стороне clickhouse

То есть невозможно выбрать лишь часть на стороне mssql?

У меня там таблица на 60М записей, а нужно всего около 1000 последних

SELECT * FROM jdbc() WHERE date>=toDate(now()) ORDER BY date LIMIT 1000

WHERE выберет те данные которые за текущий день на стороне JDBC источника... а ORDER BY и LIMIT сделает на стороне clickhouse

попробуйте

SELECT
toDate(time) AS dt,
count(*) AS total
countIf(event = 'CREATE_CHAT') AS create_chat
create_chat / total AS percent
FROM tutorial.community_actions
WHERE (dateDiff('day', community_registered_time, time) <= 7) AND (dateDiff('day', time, now()) <= 60)
GROUP BY dt

Да, помогло, спасибо!

Спасибо, попробуем

Подскажите плз, а использование движка Buffer - это грабли или потенциально жизнеспособная история? Задача - логирование действий пользователя в живом режиме (частые одиночные вставки), не хочется сооружать дополнительные прослойки и усложнять запись и аггрегации, вроде Buffer должен бы решить проблему. Потеря куска данных в случае аварии не критична

В проде буфер, работает ок, но вставляем по 5к, не по одной

Buffer нормальное решение. если вы готовы потерять данные из Buffer в момент перезагрузки ClickHouse

Спасибо!

по одной строке вставлять оно там получается максимум 5-6к запросов в секунду

этого за глаза, в моем случае, спасибо

И если альтер на таблицу - дропать буфер и создавать новый

То есть возможность писать мимо буфера надо оставить для возможных альтеров

спасибо, не подумал бы о таком подводном камне

добрый день ... перерыл тут документации не нашел .... а есть способ хешированного партицирования ?
поискал функции котоыре могли бы сводить некие значения в заданный диапозон и не нашел

Как по мне, так спарк + кассандра для аналитики - это мега костыль, чтобы не платить за вертику. Можете сказать своим буржуям, что чтобы не платить за вертику, да ещё и за сервера сильно меньше платить сейчас передовые компании используют кликхаус либо используют его подходы в своих инхаус решениях. И если они про него ничего не слышали, то пусть посмоторят топ 50 бд и динамику его роста или подождут ещё пару лет, когда он уже будет в топ 20 всех бд и про него уже будут знать все :)

Выше были примеры с intDiv, если вам это подойдёт

Кликхауз - это колоночник, Кассандра - ключ/значение. Как можно кликхаузом заменить Кассандру?

Америкосы) европейский филиал. Я хочу опыт в клиехаусе конечно же. Но мне нужны обоснованные аргументы, а не только статистика популярности. Может его набрали конторы у которых и миллиарда строк не бывает?)

Спарк используется для процессинга, в том числе для стриминга, это вообще в другую степь

https://clickhouse.tech/docs/ru/introduction/adopters/

Да список публичный, может конкурентов найдете как раз :)

слабо представляю как этим можно воспользоваться чтобы sipHash64 свести к 4 - 6 партициям с более менее равномерным распределением

sipHash64 % 6

intDiv(sipHash64, max_siphashvalue*1/6)

ClickHouse/ClickHouse tagged: v21.6.6.51-stable
Link: https://github.com/ClickHouse/ClickHouse/releases/tag/v21.6.6.51-stable
Release notes:
v21.6.6.51-stable

Но спарком же можно выдернуть некую табличку? Я хз как это довести до витрины пока..

Да, обычно так и делают - спарком что-то откуда-то выдергивают и куда-то кладут

PARTITION BY intHash64(id) % 10
Только какой смысл так делать?
что вы хотите этим добиться?

Например, в кликхауз для анализа

Вот я хотел в кликхаус

у меня много хешей .... 8.5 млрд .... у меня есть запросы где я ищю по 1 - хешу .... и он делает полное сканирование

Вот да) это самое)

Сортируйте по хешу, или у вас какие запросы вообще? (bloom filter можно попробовать еще)

Я уже знаю, что кликхаус уступает экзасолу в роли витрины, но он и платный..

сортирую )

Классический конвейер - события скидывать в кафку, доставать оттуда спарком, складывать в кликхауз.

он на втором месте стоит по сортировке

тогда фулл скана быть не должно,

На первом что

у вас только запросы вида WHERE hash = ?
или еще какая нибудь дата есть?

показатель по которому идет первичное отсечение данных

Ну конкретно не сталкивался что бы спарком из кафки в кх перекладывали, но допустим.

у меня where sourceId = [1-7] AND hash IN ()

А что мешает? :)

И идет full scan ?

Одна из черепашек лжет.

set send_logs_level='trace'

[1-7] что за странное условие такое?

Т. Е. Пайспарка хватит для кассандры и кафки?

Пайспарк может и читать и писать в Кассандру и кафку. И кликхауз

Принцип уменьшения энтропии :)

Джоинить где лучше? Уже в кликхаусе? Последний наверно вопрос)

Всё было хорошо до этого вопроса

Смотря что джойнить и с чем.
Основное ограничение в кх это на размер правой таблицы, она помещается в память(те джойнить 2 таблицы по млрд записей так себе) иначе будет медленно

Ахах)) я не смотрел еще ничего по кликхаусу)

Ладно, выставлять отношения?)

Спарк джойнит фигово - колоночник. Лучше лукапить в Кассандру если можно

Что из спарка, что из кликхауза

Ну тогда можете показать сравнение производительности https://clickhouse.tech/benchmark/dbms/ и нагуглить пару историй, как чуваки соскачили с вертики и экономят лямы денег на лицензиях и железе :)

Кассандра к дискам много обращается. Хотя этотнаверно вопрос настроек..

Может игнайт или тарантул лучше джойнят? Или гринплам

Опять же вопрос, про какие джойны мы говорим, если справа относительно небольшая таблица (миллионы записей) кх нормально джойнит

Грин плам же вроде медленный.. экзасол умеет джойнить?

Ладно, надо проверять.

Я намечаю план войны)

У меня тоже прямо на кликхаузе. Работает, но не летает

Экзасол вроде стоил дорого, уже нет?

Гляну сам) люблю такое)

Можете потыкать наших сейлов (https://altinity.com/contact/), тогда у вас будет союзник в вашей войне :)

Дорого стоит, да

Но говорят, что у них вроде самые крутые джойны.

Вот так вот даже) спасибо))

Таксисты?)

Объем данных большой?

Спасибо ребят) комьюнити тут конечно активнее многих. Это уже плюс)

Под кликхауз лучше чтобы большой :)

Миллиарды строк.

Ну такое себе, может и в вертику залезть

Если не широкие таблицы

Там только один русский джава. Остальные - нерусские джава. Так получилось, что в конторе о кликхаусе только слышали.

У меня пара миллиардов строк в кликхаусе и на виртуалке за 20 евро быстро работает :)

А для будущих аб тестов кликхаус же друг?)

Хотя там таких аналитиков пока ноль. Но я хочу попасть в их число)

Про оптимизацию и ускорение кликхауса читаю каждый релиз. В других бд - новый релиз - это только новые свисто-перделки.

Ээээээээээээээээ, nyet

Не мешайте накидывать на вентилятор :)

Это что-то на кликхаусофском было?)

Тогда уж накиньте ещё статей про то, как правильно обновлять кластер, когда в новой версии клика прилетают несовместимые изменения 😂

как и везде, читать changelog, обновляться на тестовой среде смотреть что сломалось

Ну это само собой, что тестовая среда нужна. А потом-то что, только останавливать полностью весь production на время обновления, потому как по частям обновлять не получится?

ClickHouse/ClickHouse tagged: v21.3.14.1-lts
Link: https://github.com/ClickHouse/ClickHouse/releases/tag/v21.3.14.1-lts
Release notes:
ClickHouse lts release v21.3.14.1-lts

большинство пользователей может обновлять по частям. Естественно большие пользователи с сотнями нод, типа яметрики, делают обновление только на ходу.

экзасол умеет какую-то секретную магию, там якобы хеш-джойны даже дистрибьютид быстро работают.

и что оно само чинится потом?

вот это было смешно сейчас, у меня в неделю 20 митингов по КХ с новыми и старыми клиентами и все в Сев. Америке.

Контора американская, но филиал - европейский. Директор удивился, когда я ему сказал, что в тесла вакансиях бывает кликхаус.

Недавно общался с ребятами из Японии, которые чето на клике Тод делают

Окей, это хорошо. Я посмотрел backwards incompatible changes за последние полтора года, там вроде на самом деле грабли могут в некоторых случаях вылезти только если с древних версий сразу на новые обновлять.

Вперед граблей мало обычно.
Вот откатываться назад граблей предостаточно.

Ну для этого тестовый кластер 100% будем делать, чтобы все имеющиеся запросы на нём полностью тестировать на реальных данных.

ребят, подскажите, я могу выполнить ALTER на таблицу с типом Buffer?
не совсем пойму каков синтаксис. В документации говорится о случае, когда нужно сделать ALTER и на буфер и на подчинённую таблицу. А мне нужно только на Buffer

Проще ренеймнуть буфер и создать новый

Какой альтер хотите сделать то?

увеличить пороговые значения.
так-то конечно проще, но туда активно пишутся данные, на горячую опасненько

Ну выведите эту реплику из под лоад балансера, направьте траффик на другую

нет реплики, пока что это единственный инстанс )

Нет репликации, используется ненадежный Buffer таблица.
Я бы сказал, что судя по вашему сетапу получить пару ошибок при вставке вы не боитесь :)

Какая версия кх, какой движок базы данных

можно сделать новый buffer сконфигурировать приложения писать туда, когда траффик на старый буффер кончится - пересоздать его.

естественно не боимся, "позавчера" в принципе начали работать с КХ, поэтому экспериментируем в некотором коридоре дозволенного.
ClickHouse 21.5.6.6
SummingMergeTree

думал как раз об этом, раз нельзя альтер сделать на горячую

Я про движок базы спрашивал :)

Но судя по версии у вас Atomic

Тогда можете сделать EXCHANGE TABLES
Оно может атомарно свапнуть две таблицы

По поводу Buffer, лучше смотреть либо в сторону батчинга на стороне приложения либо в сторону кафки

Да, Atomic, сейчас проверил

создать второй буфер и потом EXCHANGE TABLES ?

Да, потом можно подождать и сделать DETACH первому буферу

хм.. спасибо, попробую! )

Ахаха, у меня ощущение что из списка топ100 компаний в мире проще перечислить кто НЕ использует КХ

даже из отрытых https://clickhouse.tech/docs/en/introduction/adopters/ Bloomberg Cisco Citadel Securities Comcast Cloudflare Deutsche Bank eBay Spotify

насколько всё плохо с этим?
для батчинга пока только redis приходит на ум, но эт дополнительная логика
кафка сейчас оверхед

Ну при внезапном падении кх, буфер может не вставить сообщения, что находятся в нем.
При обычной остановке тоже в некоторых случаях такое могло происходить (когда таблица назначения отключалась раньше буффера)

про внезапное падение ещё ок, об этом мы знали/думали, на то оно и внезапное.
Второй случай уже печальнее... спасибо за информацию

https://github.com/ClickHouse/ClickHouse/pull/24067

В 21.5 не бекпортилось

вот жежшь.. не угонишься за обновлениями
пока у нас в dev стадии всё вертелось, два релиза выйти успело

О, кстати, у меня вопрос про реплики и distributed таблицы есть. Как лучше всего организовать вывод реплик в оффлайн для профилактических работ?

Через балансировщик нагрузки я могу запретить пользовательским запросам приходить на определённую реплику. Но, насколько я понимаю, никто не гарантирует, что клик не пошлёт туда запросы, приходящие на distributed таблицу (в общем случае, так-то приоритет можно задать). Если остановить clickhouse-server на этой реплике, то это прозрачно обработается, или есть возможность, что запрос отвалится с ошибкой?

а балансировщик у вас кто?

https://kb.altinity.com/altinity-kb-setup-and-maintenance/altinity-kb-shutting-down-a-node

> есть возможность, что запрос отвалится с ошибкой?

Да, скорее всего так и будет

В компании есть обственная система типа как-то интегрированная с DNS, подробностей сейчас не вспомню. Там куча разных опций для health checks, то есть можно clickhouse мониторить через, допустим, HTTP.

Спасибо за ссылку!

Remove server (which is going to be disabled) from remote_server section of config.xml on all servers.

Получается, что если сначала эту реплику таким способом убрать, то это автоматически гарантирует, что туда никакие запросы больше не придут.

Да

Я забыл, что remote_server перечитывается без перезапуска.

Будем костылить автоматизацию, руками это делать каждый раз совсем не хочется 😂

Может теоретически можно как нибудь осторожно файрволлом зарезать, что бы новые соединения по 9000 порту не смогли приходить, а старые продолжали работать.

Сначала попробуем реализовать то, что в присланной Вами статье описано. Вроде не должно быть слишком сложно сообщения через кафку между парой-тройкой утилит покидать.

в клаудфлер офисе были неплохие митапы в по клику свое времябыло очень круто и удобно - сто метров от моего офиса =) Года два назад наверное, может даже чутка поболе. А вот насчет Теслы - я сильно удивлен, я не сильно давно подумывал туда зааплаиться на Data Platform Engineer, Database Engineering - там требвания вот примерно такие вот
you will work on all the major open source db platforms (MySQL, Postgres, MongoDB, Redis, Kafka, Elasticsearch) and the 2 most widespread commercial db platforms (Oracle and MS SQL Server). You need to be an expert in MySQL and one other major DB technology. You will eventually be great at all of them.

А вот Блумберг да, четко в требованиях клик вывешивал. Хотя буду честным - из последних трендов очень много народа хотят Сноуфлейк специалиста. Многие мои знакомые переехали в снежинку. Да и наши тоже с вертицы на снежинку съехали

clickhouse-bulk, kittenhouse посмотрите
хотя проекты в слегка полудохлом режиме

Всем привет, кто то сталиквилася с таким? read timed out
больше 30 сек запрос типа работает

Таймауты легко ставятся в кх, а read таймаут может и на клиенте сработать

я через датагрип пользуюсь, релаьно в нем как-то сделать все?

во вкладке advanced у data sources настроек настроить таймаут

Хорошо сейчас попрбуемс

Здравствуйте! Подскажите пожалуйста, с чем может быть связана такая ошибка? Кто знает 🙂 спасибо 🙏🏽

Там написано что закончилось место на диске

вроде в самой ошибке указана причина, проверьте сколько места у вас на /dev/vdb1

Да, вроде явно написано

Слишком много данных в базе данных или все же это какие-то лог файлы все место заняли, написано …/logsLoader/…?

ну а что у вас там настроено по данному пути?

Я использую яндек облако, сам ничего не настраивал, а они отвечают через год 🥲 вот пытаюсь понять как самому исправить, возможно ли, данных в бд вроде не шипко много

logsLoader это имя таблицы в базе ts_db1

в консоли яндекс облака смотрите сколько у вас свободного места под clickhouse осталось...
там же вроде не безразмерные диски а фиксированного размера

Понял, спасибо за помощь, теперь знаю что делать!

Всем привет. Вопрос есть по словарям - пересоздаю словарь, данные он тянет из постгреса. Вопрос в том, что я его дропаю и меняю тип поля id с UInt64 на UInt8. При пересоздании наблюдаю тот же тип поля, что и был до этого.
С чем связана может быть проблема?
Смотрю все через datagrip

может схема в датагрипе закешировалась? через clickhouse-client не пробовали смотреть?

хм. чет не подумал

ща полезу гляну

Ключ у словаря должен быть UInt64, если он не составной

понял. вопрос снят

Добрый день.
Как побороть ошибку ?
Code: 252, e.displayText() = DB::Exception: Too many parts (300).
Merges are processing significantly slower than inserts (version 21.6.4.26 (official build))
Ошибку вызывает даже одна операция вставки.
Выражение для ключа партиционирования для таблицы, в которую выполняется вставка:
PARTITION BY ((toYear(dat) * 4) + toQuarter(dat)) - 1

вы путаете парты и партции
перестаньте вставлять данные МАЛЕНЬКИМИ кусками, вставляйте большими (100 000 строк за 1 INSERT)
буфферизируйте на стороне приложения или используйте Engine=Buffer таблицы

Всем привет.
Подскажите, пожалуйста.
Пытаемся подключится в яндекс облаке к кликхаусу, используем golang.

Библиотека для подключения используется github.com/jmoiron/sqlx
connectionString := fmt.Sprintf(
"tcp://%s:%d?database=%s&debug=%s&username=%s&password=%s",
cfg.Host,
cfg.Port,
cfg.Database,
strconv.FormatBool(cfg.Debug),
cfg.Username,
cfg.Password,
)
...
clickhouseDB, errConnect := sqlx.Connect("clickhouse", connectionString)

Как добавить использование сертификатов и параметр --secure ?
Какие ещё возможно нужны параметры для подключения в яндекс облаке?

SSL/TLS parameters:

secure - establish secure connection (default is false)
skip_verify - skip certificate verification (default is false)
tls_config - name of a TLS config with client certificates, registered using clickhouse.RegisterTLSConfig(); implies secure to be true, unless explicitly specified

https://github.com/ClickHouse/clickhouse-go

Спасибо. Пазл потихоньку складывается :)

Вставляю большими кусками. Вначале накапливаю в Memory таблице, потом вставляю. Периодичность вставки - один раз в 5 минут.
Пока решил проблему
ALTER TABLE work.check MODIFY SETTING parts_to_throw_insert=600
Но смущает фраза из документации КХ:
"при этом могут возникнуть проблемы с фоновыми слияниями и производительностью SELECT-запросов

Всем привет.
Впервые столкнулся с clickhouse plugin для сбора метрик.
Подскажите пожалуйста, что я не так дела?(
Решаю такую задачу - "Нужен график, rpm (запросов в минуту)"

есть доки по плагину, в доках описан удобный макрос, будет что-то вроде $rateColumns(StatusRes, count()) FROM (select * from $table where $timeFilter and provider = 'whatever')

конкретно с этим запросом - мне кажется или делается now() as t? и фактически будет одна строка в выхлопе и все?

фе

хорошего вы мнения о кликхаус дба!

100к, норм перспективы

А это тут вообще к чему?

Хорошо, спасибо большое :)

очень странно
у вас там что в system.part_log и system.merges ?

ну вы для однго времени выдаете данные вместо time series

и SQL у вас там какой то вообще странный
зачем вам now() ?
какое поле у вас время?

зачем там странные count которые должны были видимо быть countIf
Provider - 'teletrain'
тоже какая от странная конструкция

Я не знал как по-другому указать определённого поставщика.

А про now() я на форуме подобную конструкцию видел.
Только там ещё добавляли toDate

ну вы вибираете ОДНО И ТОЖЕ время...
вместо того чтобы выбрать данные по столбцу

Добрый день. Подскажите, можно заставить кх перестроить скип индексы по старым данным? Нужно было дропнуть и пересоздать с другими параметрами.

ALTER MATERIALIZE INDEX

ALTER TABLE ... MATERIALIZE INDEX ...
https://clickhouse.tech/docs/en/sql-reference/statements/alter/index/

А как можно выбрать данные по столбцу ?

не знаете как накостылять DELETE через INSERT в EmbeddedRocksDb? а то я что-то нигде не нашел...

SELECT имя_столбца
FROM имя_таблицы

Просто все затереть пустыми значениями (или добавить колонку is_deleted ?)

ааа, ну ок, я подумал что есть магический инсерт ...

С countIf жалуется на запрос

а как жалуется?
прямо кричит. "ой, не могу уже, пойди почитай документацию"? ;)
https://clickhouse.tech/docs/en/sql-reference/aggregate-functions/combinators/#agg-functions-combinator-if

Всем привет. А в кликхаусе есть функция для рендеринга строк с макросами? Например renderMacro('cluster name is {cluster}') чтобы превратилось в 'cluster name is test_cluster'

есть getMacro('xxx'), а дальше собрать что угодно можно

под макросами имеется ввиду system.macros ?
или просто какие то другие поля из БД?

мне это мало подходит, нужно отрендерить строки с макросами из system.tables

system.macros

в смысле у вас в system.tables есть engine_full
и вам в нем надо подставить значения макросов?

SELECT replaceAll(engine_full, '{cluster}',getMacro('cluster')) FROM system.tables ?

Ну можно сделать через getMacro + replaceAll

всё так, просто в некоторых местах встречаются разные макросы, и заранее не всегда можно сказать сколько их будет
но ответ мне подходит думаю, спасибо
хотя странно что в клике нет какой-то функции для рендеринга строк с макросами

Хаюшке 🙋🏻‍♂️, насколько будет правильно ставить на таблицу TTL год, партицию по месяцам, и на парочку тяжелых колонок TTL по дню? Сейчас так сделано и у меня есть ощущение, что именно поэтому кх не может смерджить какие то куски. Ругается на Cannot read all array values: read just 47299 of 125861 и Part 202107_3406_3406_0 is covered by 202107_3406_3406_1 but should be merged into 202107_3406_3413_1. This shouldn't happen often

Всем привет.
Есть таблица AggregatingMT, из неё раз в день переливаем данные в обычную MT при помощи запроса insert into MT select * from AggregatingMT final.
При этом если запрос выполняется штатно ночью, то всё хорошо. Но если пробую выполнить его днём (например, надо что-то обновить, не дожидаясь следующего дня), то почти всегда получаю ошибку ZooKeeper session has been expired.
Я так понял, что скорее всего проблема в настройках ЗК. Подскажите, пожалуйста, куда копать? Есть ли какие-нибудь рекомендации по настройке ЗК для работы с КХ?

КХ и вертика и сноуфлейк немного для разного. Например клаудфлер не может использовать сноуфлейк, это бессмысленно дорого, или например тесла не может поставить в автомобиль сноуфлейк, а КХ может (это я фантазирую) (такие случаи есть, КХ поставляется как часть аппаратного комплекса, в сотнях тысяч устройств)

сколько партов создается инсертом?
ЗК на одной ноде с КХ ? Есть полный лог или трейс инсерта?

это две разные ошибки, ничего такого TTL вызывать не должен

макросы просто не для этого. В КХ есть например функция format(' {} {}....

вам sum( =200 ) нужен.
count(X) считает кол-во СТРОК где поле X не null

тем не менее встречаются друг за дружкой в бесконечном цикле попыток мерджей. Обновился до последней версии, но ситуация та же

да

TTL на поле с массивом?

Да, response.request Array(String) TTL stats_day + toIntervalDay(1),

ясно, nested предполагает что кол-во элементов всегда одинаковое во всех полях и плюс надо делать TTL немного иначе

есть вот такой формат выхлопа
https://clickhouse.tech/docs/ru/interfaces/formats/#format-template

В доке к сожалению есть только один пример для простого Int. Можете подсказать как нужно переделать для более сложных типов? Или куда обратиться за информацией. Правильно понимаю что когда кх удаляет массив, то он не сходится по длине с другими nested полями и выдаёт ошибку?

да

примеры кх в аппаратах можно ?

нет, nda

После вставки, похоже, не освобождается какой-то ресурс. Вставка выполняется 1 раз в 5 минут

Что с if делать?

это не if, это "да", давайте в github с этим. Это слишком сложно в чате

это только активные или все парты?

Для одной из таблиц количество активных партов растет после каждой вставки и не уменьшается.

Может быть постоянный рост количества активных партов по той причине, что перед вставкой вначале удаляются прежние версии данных (по ключу дата+номер магазина) ?

что значит "удаляются" ? alter table delete?

select * from system.merges
select * from system.replication_queue

да

похоже все ОК. У вас партиционирование не по дате, вы удаляете из и вставляете в кучу партиций и КХ не успевает мержить миллиард мелких партиций

Партиционирование по дате:
PARTITION BY ((toYear(dat) * 4) + toQuarter(dat)) - 1

По кварталам. Когда было по месяцам toYYYYMM, проблема еще раньше возникла

со временем кол-во уменьшается? Вы перезаливаете за все время или за период?

А могут помочь настройки: parts_to_delay_insert и max_delay_to_insert ?

Не уменьшается. Перезаливка идет только по данным, вновь поступившим от магазинов. Иногда магазины присылают повторно уточненные данные (та же дата и номер магазина). Поэтому перед заливкой выполняется очистка по условию совпадения ключа. Ключ - строка: дата+_+НомерМагазина

сделайте

set optimize_throw_if_noop=1;
optimize table .... partition тапартициягде300партов final
и покажите вывод

ахахаа, никакие индексы не используются для удаления, они только вредят

Code: 388, e.displayText() = DB::Exception: Cannot OPTIMIZE table: Cannot select parts for optimization

Видимо они все заблокированы мутацией

system.mutaions надо смотреть

Спасибо, разобрался. Удаляю по спискам ключей из таблицы которую уже удалил. Поэтому зависли мутации.
Вы очень помогли !

есть магический флажок как можно запретить делать мутации на всю таблицу без указания партиций или ограничить по кол-ву партов (Типа max_parts_to_mutate)?

ещё вопрос. как правильно убивать мутации в условиях репликации? если например 10 ил 600 применились на одном хосте, потом ему кинули килл, как удостоверится что на втором хосте столько же выполнилось?

Никак

Kill убивает вроде сразу на всех репликах. Все равно скачает, что бы парты были одинаковые.

Спасибо!

ЗК и КХ на разных нодах.
Судя по логу (по количеству записей Wrote block with ID), было создано 402 парта. Мониторил system.parts во время работы запроса - количество активных партов держалось на уровне 150-155, после схлопывания осталось 9. Все в одной партиции.
Кстати, чуть-чуть обманул в исходных данных. Целевая таблица - не MT, а ReplicatedMT.

Вот свежий трейс:
[ch-node1] 2021.07.05 16:34:42.913683 [ 12862 ] {4f5ead6c-c027-4952-ac2c-eed4a4601194} <Debug> executeQuery: (from 127.0.0.1:41406) insert into rlc.Delta(eventDate, cpName, macroRegion, shoulder, record_id, ts) select mv.eventDate , mv.cpName , mv.macroRegion , mv.shoulder , mv.record_id , toDateTime('2021-07-05 14:00:00', 'Europe/Moscow') as ts from rlc.ComparedRecords mv final where 1=1 and minFit > 0;
[ch-node1] 2021.07.05 16:34:42.918273 [ 12862 ] {4f5ead6c-c027-4952-ac2c-eed4a4601194} <Debug> rlc.ComparedRecords (SelectExecutor): Key condition: unknown, unknown, and
[ch-node1] 2021.07.05 16:34:42.918330 [ 12862 ] {4f5ead6c-c027-4952-ac2c-eed4a4601194} <Debug> rlc.ComparedRecords (SelectExecutor): MinMax index condition: unknown, unknown, and
[ch-node1] 2021.07.05 16:34:42.945698 [ 12862 ] {4f5ead6c-c027-4952-ac2c-eed4a4601194} <Debug> rlc.ComparedRecords (SelectExecutor): Selected 973 parts by date, 973 parts by key, 603770 marks by primary key, 603770 marks to read from 973 ranges
...
[ch-node1] 2021.07.05 17:05:35.203153 [ 12862 ] {4f5ead6c-c027-4952-ac2c-eed4a4601194} <Error> executeQuery: Code: 225, e.displayText() = DB::Exception: ZooKeeper session has been expired.: While executing SinkToOutputStream (version 20.8.3.18 (official build)) (from 127.0.0.1:41406) (in query: insert into rlc.Delta(eventDate, cpName, macroRegion, shoulder, record_id, ts) select mv.eventDate , mv.cpName , mv.macroRegion , mv.shoulder , mv.record_id , toDateTime('2021-07-05 14:00:00', 'Europe/Moscow') as ts from rlc.ComparedRecords mv final where 1=1 and minFit > 0;), Stack trace (when copying this message, always include the lines below):

0. Poco::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x1a80cd70 in /usr/bin/clickhouse
1. DB::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0xff9e75d in /usr/bin/clickhouse
2. ? @ 0x17d76211 in /usr/bin/clickhouse
3. DB::ReplicatedMergeTreeBlockOutputStream::commitPart(std::__1::shared_ptr<zkutil::ZooKeeper>&, std::__1::shared_ptr<DB::IMergeTreeDataPart>&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&) @ 0x17d73269 in /usr/bin/clickhouse
4. DB::ReplicatedMergeTreeBlockOutputStream::write(DB::Block const&) @ 0x17d75582 in /usr/bin/clickhouse
5. DB::PushingToViewsBlockOutputStream::write(DB::Block const&) @ 0x174572b6 in /usr/bin/clickhouse
6. DB::AddingDefaultBlockOutputStream::write(DB::Block const&) @ 0x1745d469 in /usr/bin/clickhouse
7. DB::SquashingBlockOutputStream::write(DB::Block const&) @ 0x1745cac4 in /usr/bin/clickhouse
8. DB::CountingBlockOutputStream::write(DB::Block const&) @ 0x173ac6ec in /usr/bin/clickhouse
9. DB::SinkToOutputStream::consume(DB::Chunk) @ 0x181251b3 in /usr/bin/clickhouse
10. DB::ISink::work() @ 0x17ee7950 in /usr/bin/clickhouse
11. ? @ 0x17f20460 in /usr/bin/clickhouse
12. ? @ 0x17f250ad in /usr/bin/clickhouse
13. ? @ 0x17f25976 in /usr/bin/clickhouse
14. ThreadPoolImpl<std::__1::thread>::worker(std::__1::__list_iterator<std::__1::thread, void*>) @ 0xffce517 in /usr/bin/clickhouse
15. ? @ 0xffccb53 in /usr/bin/clickhouse
16. start_thread @ 0x7dd5 in /usr/lib64/libpthread-2.17.so
17. clone @ 0xfe02d in /usr/lib64/libc-2.17.so

Received exception from server (version 20.8.3):
Code: 225. DB::Exception: Received from localhost:9000. DB::Exception: ZooKeeper session has been expired.: While executing SinkToOutputStream.

0 rows in set. Elapsed: 1852.302 sec. Processed 2.81 billion rows, 39.29 GB (1.52 million rows/s., 21.21 MB/s.)

можно ли что-нибудь сделать если запрос вида
select * from system.mutations m where is_done = 0
не выполняется (висит).

при этом по пулам дела обстоят так:
BackgroundPoolTask 16
BackgroundMovePoolTask 0
BackgroundSchedulePoolTask 2
BackgroundBufferFlushSchedulePoolTask 0
BackgroundDistributedSchedulePoolTask 0


это на второй реплике (на первую был брошен килл мутации). в логах классические по кругу:
(ReplicatedMergeTreeQueue): Not executing log entry MUTATE_PART for part 20210523-421_42_42_0_44 because source parts size (30.42 MiB) is greater than the current maximum (0.00 B).
...
(ReplicatedMergeTreeQueue): Not executing log entry MERGE_PARTS for part 20210705-191_50_55_1 because source parts size (55.24 MiB) is greater than the current maximum (4.45 MiB).

будем лечить стандартно
ALTER TABLE ttt
MODIFY SETTING max_bytes_to_merge_at_min_space_in_pool=161061273600, number_of_free_entries_in_pool_to_lower_max_size_of_merge=1,
number_of_free_entries_in_pool_to_execute_mutation=1;

но вопрос, почему select из system.mutations может висеть?

Можно ли как-то не допустить дубликатов по нескольким полям в MergeTree?

При инсерте

переделать таблицу на другой движок?

в свежих версиях есть OPTIMIZE DEDUPLICATE BY
https://clickhouse.tech/docs/ru/sql-reference/statements/optimize/#by-expression

при инсерте в КХ вообще нельзя избежать дублей

помимо EmbeddedRocksDB

Ээээээээх)

Либо просто не писать дубли 🙂

Ооооо Найс, надо попробовать

Ну так и хочу этого всячески избежать)

Коллеги, а может кто-то скинуть статью, где доходчиво написано про настройку clickhouse-copier? В доке вообще ничего непонятно.
zookeeper кластер установил, настроил. А как его связать с clickhouse?
Куда класть этот злосчастный zookeeper.xml?

а есть место где это проверяется (то, что убивается на всех репликах)? просто в ЗК они остались...

select count(*) from system.replication_queue rq where type like 'MUTATE_%';
---
1214

сейчас нод прожевывает мерджи, но потом как она поймет что они были убиты?

select * from system.replication_queue rq where type like 'MUTATE%'
and (table, new_part_name) not in (select table, name from remote('HOST1', system.parts));

в общем при такой проверке все ок, видимо те мутации которые уже прошли остаются в ЗК а остальные удалились при КИЛЛе

теперь общий вопрос, раз лидеров больше нет, что произойдет если я запущу две разные мутации на двух разных репликах, как они упорядочатся? ведь у них будет одинаковый source_part и разные result_part ?

https://github.com/ClickHouse/ClickHouse/issues/25998
вот флажок от дурачка )

кх падает при накате скриптов с Read timed out - в логах java.net.SocketTimeoutException: Read timed out. Падает на операции ALTER TABLE some_table DROP COLUMN some_column

может, увеличить таймаут?

проверьте права у кликхауса на /var/lib/clickhouse/

создайте :)

тоже создайте

те, кто хотят, чтобы всё само установилось не сидят на фряхе :)

я думаю что установка всего на свете пока не предусматривает. Пробуйте создавать необходимое и снова инсталировать.

почитайте здесь
https://kb.altinity.com/altinity-kb-setup-and-maintenance/altinity-kb-data-migration/altinity-kb-clickhouse-copier

>выполнил по инструкции в доке
по инструкции в доке вы должны были поправить конфиг, но не поправили и получили кучу ошибок )

https://clickhouse.tech/docs/ru/getting-started/install/
>Если сервер не стартует, проверьте корректность конфигурации в файле /etc/clickhouse-server/config.xml
тарампарампа

Спасибо. Но, если честно, абсолютно непонятная статья. Что это за файлы? Там не объясняется, что это такое, и нет примеров также... 🤔

2. Create a config file for the task (task1.xml)
3. Create the task in ZooKeeper and start an instance of clickhouse-copier

в /etc/clickhouse-server/config.d/zookeeper.xml
сюда например

В смысле? Таск прямо в zookeeper.xml писать?

нет вы спросили, как связать zookeeper и clickhouse
и куда положить zookeeper.xml чтобы clickhouse его увидел
я ответил, не так вас понял извините

для copier zookeeper.xml свой
формат такой же как в обычном clickhouse
его просто надо на диск положить на сервере где clickhouse-copier запускается и там в доке которую вам скинули показаны пути куда положить можно

таск отдельным XML файлом

А тот zookeeper.xml, что в /etc/clickhouse-server/config.d/zookeeper.xml лежит, это для чего? Это для репликации?

да, это для того чтобы ноды clickhouse-server могли реплицировать метаданные для ReplicatedMergeTree и distributed DDL запросы

это может быть один и тот же кластер ZK и для clickhouse-copier и для clickhouse-server

Добрый вечер. Хотел удалить часть данных, сделал alter table delete, прождал час, результата нет. Посмотрел select * from system.mutations, мутация с ошибкой DB::Exception: Memory limit (total) exceeded: would use 14.19 GiB (attempt to allocate chunk of 371558958 bytes), maximum: 14.08 GiB. Удалил мутации kill mutation, решил удалить партицию, выполнил alter table on cluster drop partition, висит 3 минуты и выдаёт ошибку DB::Exception: Watching task /clickhouse/clickhouse/task_queue/ddl/query-0000000023 is executing longer than distributed_ddl_task_timeout (=180) seconds. There are 2 unfinished hosts (0 of them are currently active), they are going to execute the query in background., выполняю без on cluster, обе ноды говорят DB::Exception: DROP PART|PARTITION cannot be done on this replica because it is not a leader.. Пока выполняется с on cluster в логах сервера ошибка (ReplicatedMergeTreeRestartingThread): void DB::ReplicatedMergeTreeRestartingThread::run(): Code: 49, e.displayText() = DB::Exception: Part 202107_0_1216_999999999 intersects previous part 202107_0_775_5_1215. It is a bug.. Помогите восстановить работоспособность и удалить партицию.

Мне кажется проблема не во времени, т.к. There are 2 unfinished hosts (0 of them are currently active)

Не меняется, вставка была приостановлена

привет, ребята! извините, что так поздно - но я столкнулся с такой же проблемой. подскажите, удалось решить?

Там написано вверху, что примеры в документации
https://clickhouse.tech/docs/en/operations/utilities/clickhouse-copier/
Но непонятно, да
Сейчас исправлю

Мутации удалились?
Проверьте на всех репликах.
И мержи на всех реплликах проверьте.
drop partition реплицируется, достаточно на одной реплике удалить.

kill mutation я выполнил на всех репликах, на всех и удалились (select * from system.mutations). Межей на репликах тоже нет (select * from system.merges). В зукипере есть вот такая запись
get /clickhouse/tables/0/transactions/replicas/chi-clickhouse-cluster-0-0/queue/queue-0000010121
format version: 4
create_time: 2021-07-05 18:12:12
source replica: chi-clickhouse-cluster-0-0
block_id:
drop
202107_0_1216_999999999

Осталось проверить system.replication_queue и system.parts.
Версия КХ одинаковая на всех репликах?
Можно попробовать detach сделать вместо drop (он тоже реплицируется)

в insert функции можно использовать?

например toRelativeWeekNum от текущей даты с начала года

пытаюсь при создании таблицы сделать так

date_w UInt32 default toRelativeWeekNum(now(), toStartOfYear(now())),

но пишет что второй аргумент должен быть строкой

Function toRelativeWeekNum supports 1 or 2 arguments. The 1st argument must be of type Date or DateTime. The 2nd argument (optional) must be a constant string with timezone name: While processing CAST(toRelativeWeekNum(now(), toStartOfYear(now())) AS date_w_tmp_alter8418478887376668738, 'UInt32') AS date_w: default expression and column type are incompatible. (version 21.4.6.55 (official build)

если второй аргумент не указывать, выводит огромное число 2688

должно быть количество недель с начала года в районе 28

из документации "Переводит дату-с-временем или дату в номер недели, начиная с некоторого фиксированного момента в прошлом."

второй аргумент должен быть timezone

вы cast пропустили

Вам toWeek нужен

date_w UInt32 DEFAULT toRelaviteWeekNum(toStartOfYear(now()))

Relative это специальные функции, чтобы вычислять разность между датами.

Есть ли какой-то варинат джойна нескольких таблиц через SELECT *, чтобы в результате имена колонок не содержали алиасы таблиц с точкой?
И в каких случаях алиасы с точками будут отсутствовать в результате?
Я проверял на нескольких примерах.
1: джойн 2 таблиц через select *, имена колонок не совпадают между таблицами, в результате имена колонок не изменились
2: джойн 3 таблиц через select *, имена колонок тоже не совпадат, но в результате появились алиасы с точками как префиксы всех имён колонок. При этом джойн 1 и 2 таблицы получается без алиасов с точками, 2 с 3-й отдельно тоже. Несколько раз проверял - дело не в совпадающих именах колонок, все уникальны.

И ещё - SELECT * EXCEPT() работает только в обычном селекте без джойнов?

Подскажите, привильно ли я понимаю.
Для обновления строки, КХ читает все строки парта, проверяет подходят ли они под условие мутации, если да, то мутирует, пишет ВО ВРЕМЕННЫЙ парт, и потом этот временный сливает с основным, верно?

Подскажите как мне сохранить вывод в трубой таблицы на другой машине?
Пример запроса
Select * From data_test
Where data > '20201-05-26'
Полагаю нужен Zookeeper, но как с ним скопировать результат на другую машину?

да, если парт уже полностью объединен, то просто идет перечитывание всего парта и запись нового но уже с обновленными значениями строк попадающих под улосвия...

мутация также применяется и при штатном слиянии
когда из нескольких партов делают один

Понял, спасибо большое

на удаленной машине сделайте
INSERT INTO new_table SELECT FROM remote(...) WHERE ...

спасибо

Всем привет, подскажите пожалуйста можно как-то на clickhouse обратиться к предыдущей строке (с нужной сортировкой и partition by, как в оконной функции lag)?
Что-то типа такого: lag(url) over (partition by user_id order by event_date)

в новых версиях windows функции есть
попробуйте ровно так как вы написали

всем привет! Может кто-нибудь подсказать, будет ли работать кейс, когда source table с движком null, а две вьюхи (materialized view) с replicatedMergeTree? Нашла ман от den crane, он описывает только кейс, когда реплицируется и source table и вьюхи (https://den-crane.github.io/Everything_you_should_know_about_materialized_views_commented.pdf) . Спасибо заранее 🤗

О какой версии идет речь? 21.6?

https://altinity.com/blog/clickhouse-window-functions-current-state-of-the-art
21.5 и выше
но лучше 21.6 или 21.7
там для distributed таблиц были правки для window funcitons

Понял, спасибо большое за статью!

Версия КХ одинаковая везде 21.5.5.12. В system.replication_queue пусто, в system.parts много всего, что там можно проверить? detach ведёт себя так же как drop

Добрый день!
Подскажите пожалуйста, как можно получить Date из строки DD.MM.YYYY?
Например из 02.04.2021

SELECT toDate(parseDateTimeBestEffort('02.04.2021'))

┌─toDate(parseDateTimeBestEffort('02.04.2021'))─┐
│ 2021-04-02 │
└───────────────────────────────────────────────┘

спасибо )

Vsegda bylo interesno, a kak on reshayet gde den a gde mesyac 😂

сначала день потом месяц, для любителей извращений есть
parseDateTimeBestEffortUS

O, pro US ne obrashal vnimaniye ) spasibo

Добрый день. Использую ReplicatedVersionedCollapsingMergeTree. Почему FINAL or OPTIMIZE не работают если записи для одного и того же ID с sign 1 and sign -1 на разных нодах в кластере (данные вставляются через Distibuted tables). Как решить?

потому что неправильно выбран sharding_key для Engine=Distributed

схлопывание FINAL как и OPTIMIZE FINAL работает на локальной таблице в рамках одной реплики , для одной PARTITION BY ...

Distributed ничего не знает про особенности движка локальной таблицы поверх которой он настроен
при SELECT ... он пробрасывает просто FINAL в локальную sub query ... а там соответсвенно никто ничего не знает про другие реплики и шарды

ок спасибо. поэкспериментирую с sharding_key

привет, а есть какая-нибудь возможность прочитать большую выборку из таблицы батчами из запроса с ORDER BY и WHERE по индексным полям
с limit и offset в конце уже довольно медленно ползет, видел что-то по стриминг, но в этом случае весь результат должен быть в памяти?

Всем привет, как в ClickHouse положить в колонку json с произвольным массивом?

В одном запросе может прилететь 10 ключей, в другом - 20. Хочу положить как String, а клик при инсерте пытается парсить как json. JSONAsString говорит, что инсертить надо только один столбец.

да, FORMAT JSONAsString и вставка в один столбец
и отдельные столбцы с DEFAULT JSONExtract(...)

Там вначале документа объяснено что движок соурс таблицы не имеет значения

И репликация будет работать?

конечно будет.

Пуля, спасибо 🤓

Ничего не сливает. кх читает исходный парт и пишет временный со ВСЕМИ строками и потом просто временный становится активным, исходный удаляется.

insert intl Select ... from remote
Или
Insert into function remote() select ...

@den_crane можете подсказать по вчерашнему вопросу с ошибкой "ZooKeeper session has been expired"?

Спасибо

https://kb.altinity.com/altinity-kb-queries-and-syntax/lag-lead

Спасибо!

Огонь, спасибо, попробую

вот тут подробнее про подход
https://eng.uber.com/logging

похоже что просто зукипер перестал отвечать. Надо смотреть нагрузку на диски зукипера и лог зукипера

Добрый день,
Подскажите, пожалуйста, что я делаю или понимаю не так о настройке mutations_sync. Задача - перезалить часть данных, сначала нужно все данные по предикату удалить, а после вставить новые. После прочтения документации мне показалось, что при установке mutations_sync=2, команда ALTER DELETE завершается после того, как все данные удалены на всех репликах и партиции перезаписаны.

Выполняю в clickhouse-client
set mutations_sync = 2;

ALTER TABLE mytable ON CLUSTER mycluster
DELETE WHERE device_id = 42540
SETTINGS mutations_sync = 2

Query id: d2cd632a-0848-461b-bc1c-d18659b70d59

┌─host────────┬─port─┬─status─┬─error─┬─num_hosts_remaining─┬─num_hosts_active─┐
│ ch_server_1 │ 9000 │ 0 │ │ 1 │ 0 │
│ ch_server_2 │ 9000 │ 0 │ │ 0 │ 0 │
└─────────────┴──────┴────────┴───────┴─────────────────────┴──────────────────┘

2 rows in set. Elapsed: 0.638 sec.
Следом выполняю count(*) WHERE device_id = 42540 и получаю не нулевое количество.

Я что-то не так понял или сделал?

а что в system.mutations для этой мутации?

надо в таблице транзакций добавить поля для бонусов и писать массивы с бонусами

в mutations присутствует запись. parts_to_do постепенно уменьшается.
но я ожидал что команда ALTER TABLE вернет управление только когда все партиции перезапишутся. возможно есть разница в выполнении из clickhouse-client и по jdbc? Я выполняю из client, но это исключительно для тестирования. по факту на prod нужно будет выполнять по jdbc и было бы удобно написать в коде что-то типа
client.execute("ALTER TABLE DELETE ....)
client.execute("INSERT ...")
т.е. я хочу записывать новые данные только после того, как удалены старые

Какие отличия? И что лучше использовать?

никаких, что удобнее

странно, таблица replicated?

да
CREATE TABLE IF NOT EXISTS mytable ON CLUSTER mycluster
(
`device_id` UInt64 NOT NULL,
`data_item_id` UInt64 NOT NULL,
`data_time` DateTime64(3, 'UTC') NOT NULL CODEC(DoubleDelta),
`data_value` Float64 NOT NULL CODEC(Delta, LZ4)
)
ENGINE = ReplicatedReplacingMergeTree('/clickhouse/tables/{shard}/ts_data_double11', '{replica}')
PARTITION BY toYYYYMM(data_time)
ORDER BY (device_id, data_item_id, data_time)
SETTINGS index_granularity = 8192;

вы хотите совсем разные сущности хранить в одной широкой таблице?

Добрый день. Прошу помочь.
Подключил dictionary (geoip в формате csv) к серверу. И почему-то простой селект на сервере в продакшене, как-то странно форматируется строку с ipv4 в 16-ричный формат. При том что на тестовом сервере всё нормально.
Тестовый сервер -
https://gyazo.com/f66da528a9ca6ffe05b3df6cd3786fe7?token=f32ab0f7d91e347721b38514b13d2d2f
Продакшен -
https://gyazo.com/5cf2ec410e759b61a82cf81d2e00271f

видимо еще один баг

да без разницы как они связаны, смысл какой их пихать в одну таблицу?

что лучше использовать в качестве workaround? можно ли по jdbc получить query id и связать его в записями из system.mutations?

select version() на обоих?

на тестовом сервере 21.6.6.51 , на проде 20.6.4.44

вообще вы понимаете зачем мутации? Они не предполагались к использованию как часть бизнес-процессов, поэтому я не хочу обсуждать это, потому что вы упомянули JDBC.

это poc по переезду timeseries с кассандры на clickhouse. процесс уже таков и менять его не хочется, если есть хоть какие-то варианты его сохранить. такие delete выпролняются всего 10-20 раз в день, что мне кажется допустимым

я понял, это select из словаря. Это не интересно. Это undefined behaviour

по моей статисктике мутации успешно завершаются с вероятностью 50%. Поэтому это все бессмысленный разговор.

т.е. как-то это поправить толком не получится? всё перегуглил уже

а зачем это править? Какая разница что select показывает? Словарь не для этого

мне нужно чтоб ipv4 адреса отображались в нормальном привычном формате

абаждите, вы покажите проблему с dictGet

о, а с dictGet и правда норм работает, спасибо

> по моей статисктике мутации успешно завершаются с вероятностью 50%. Поэтому это все бессмысленный разговор.

а вот это интересно и неожиданно. возможно можете посоветовать как быть в таком случае?
имеется таблица с timeseries данными - показания датчиков. в нормальном режиме данные приходят в реальном времени, писать можем батчами раз в N секунд. но иногда с датчиков приходят выгрузки за определенный период и бизнес требования таковы, что все существующий данные по этому датчику за указанный период нужно заменить. т.е. не дописать строки, а все что есть удалить (или сделать недействительным), а после новые записать.
колич датчиков ~100K, input rate ~30K rows/sec. колич таких выгрузок 10-20 в день, т.е. это редкий случай и скорость их загрузки не имеет значения. именно для этого я думал о ALTER DELETE

Привет! А нет ли проблем у ReplacingMergeTree с optimize final? Заметил странное поведение. Внутри единстенной партиции есть 15 партов и optimize final ничего не делает(запрос просто завершается). За то если вызвать без final, то запрос что-то делает

А что вы хотите чтобы запрос сделал? Выдал ответ?

хочу чтобы он парты мержить начал)

У меня мерджит

в query_log вижу, что запрос завершается корректно

вопрос вдогонку про вероятность успешного выполнения 50%:
разве стандартное слияние партиций сделано не через мутации? как это работает если мутации то выполняются то нет? можете подробней рассказать что происходит с failed мутациями? они просто скипаются или происходит повторная попытка?

Добрый день.
Помогите пожалуйста решить проблему с ODBC.
Установлен и настроен ODBC-драйвер для PostgreSQL. Выполняем запрос через isql - всё отлично, всё работает.
Выполняем запрос в ClickHouse (через clickhouse-client) и получаем ошибку:

Code: 86. DB::Exception: Received from localhost:9000. DB::Exception: Received error from remote server /columns_info?connection_string=DSN....
HTTP status code: 500 Internal Server Error, body: Error getting columns from ODBC 'std::exception. Code: 1001, type: nanodbc::database_error, e.what() = ../contrib/nanodbc/nanodbc/nanodbc.cpp:4806: 08S0: SQLTables unable due to the connection lost (version 21.5.5.12 (official build))'

Запрос простейший вида:
SELECT * FROM odbc('DSN=psql_dsn;', 'sometable') LIMIT 1;

Если же запрос изменить, добавив к DSN значения uid и password, т.е.
SELECT * FROM odbc('DSN=psql_dsn;uid=clickhouse;passwd=xxxxxx', 'sometable') LIMIT 1;

тоо всё работает!

Если выполнить рестарт clickhouse-server, то ошибка исчезает на какое-то время, а потом снова появляется. Закономерности пока никакой выявить не удалось.