- 01 April 2022 (329 messages)
-
Иногда для работы с clickhouse надо иметь нормальное психическое здоровье. Может это джун? -
Прошло больше суток, без optimize final никаких неожиданностей.
Данные старше 30 дней пишутся в arch00 с дефолтным кодеком, пережимаются и остаются на месте.
Часть данных сделал move partition в arch00, пережались и остались там же.
В общем, резюмируя, работает.
TTL toDate(start_time) + toIntervalDay(1) RECOMPRESS CODEC(ZSTD(6)), toDate(start_time) + toIntervalDay(30) TO VOLUME 'arch00'
SETTINGS storage_policy = 'tiered00'
select version();
21.11.5.33 -
💸ОБУЧАЮ ЗАРАБОТКУ ОТ 100К В МЕСЯЦ💸
🏆РАБОТАЕМ с Партнеркой Перфлюенс
🏆ОБУЧАЮ полностью работе на пп, все способы заработка
✅В наличии ВСЕ пруфы(выплат на пп, зачислений на карту)
💎МОЯ Помощь по всем вопросам💎
💰СТОИМОСТЬ 7500₽
❗ПУСТОСЛОВЫ, БЕЗ ДЕНЕГ НЕ ПИСАТЬ❗
📝 Связь: @Mantekaccc
🎩 Гарант: @scrooge_garantbot -
Мне набери - +74999937334 -
Ага в час -
Для регионов - космические зарплаты
-
это стартовая цена, видать :) -
Для регионов? Рязань, программисты 100+ еще в 2003-2004 в паре местных контор. Не понимала смысла уезжать в мск на 80, получать проблемы со съемной квартирой из своей зп, если тут можно зарабатывать. Правда 1 выходной в неделю, работа 24/7 и подработки только из рук шефа с % ему -
Сейчас в этой конторе в Рязани говорят топы из 1000 выходят ) И в мск полно хороших пацанов из техсаппорта, которые могут быть админами вполне, и сидят в пределах 150
-
как ввести многострочный запрос в консоль кликхауса?
ctrl-c ctrl-v текста больше одной строки выполняет каждую строку отдельно( -
запустить клиент с ключом -m
https://clickhouse.com/docs/ru/interfaces/cli/#command-line-options -
два чая этому господину!
-
Всем привет. Обновили кластер CH с версии 20.12 до 22.01. При этом заметил странное поведение консьмеров Kafka. Мы используем MV и Kafka таблицы для чтения данных в Protobuf формате. Ничего не меняли, при этом скорость чтения топиков стала неравномерной какой то, красным подеркнут на скрине график количества прочитанных сообщений до обновления. Далее после, куда копать не пойму, так как ошибок ни в кафке ни в CH нет. Подскажите может кто сталкивался -
У нас после обновления с 20.8 на 21.11 сильно упала скорость вычитки из кафки. После всех раскопок выяснилось, что кафка-таблицы с параметром kafka_thread_per_consumer = 0 (по умолчанию) стали читать всегда со скоростью одного консьюмера вне зависимости от значения параметра kafka_num_consumers.
Немного не ваша ситуация, но вдруг поможет. -
ENGINE = Kafka
SETTINGS kafka_broker_list = 'убрал', kafka_topic_list = 'prod.Trackers_s01_v1', kafka_group_name = 'TrackersGroup_s01_v1', kafka_format = 'Protobuf', kafka_schema = 'logentries_v1:TrackerLogRecord', kafka_max_block_size = 1048576, kafka_num_consumers = 5
Вполне возможно у нас до этого было было в каждом топике 9 партиций и два CH в кластере (с одним шардом и репликами) каждый читал один топик с одной и той же консьюмер группой у одного kafka_num_consumers = 5 у другого kafka_num_consumers = 4 Всем все хватает аттачится и активный консьмер потребляет -
Думаешь kafka_thread_per_consumer поставить = 1 ? Или сделать теперь kafka_num_consumers а потоков по 5?
-
Добрый день. подскажите пожалуйста, в system.replicas кластера время от времени получаю ошибку типа
Code: 999. Coordination::Exception: Session expired (Session expired). (KEEPER_EXCEPTION) (version 21.11.4.14 (official build))
в какую сторону можно посмотреть? -
Возможно ZK и коннекты с ним. Посмотри что в его логаг, нет ли проблем с выбором лидера.
-
За репликацию именно он отвечает.
-
Спасибо, уже наблюдаю за эффектом. А где глянуть текущее суммарное число консьюмеров ?
-
Принял, спасибо огромное. Благодарю. 👍
-
И вам спасибо огромное. Благодарю. 👍
-
Привет, всем
Можете, пожалуйста, описать работу скрипта?
clickhouse-client --format=TSVRaw -q"select 'ALTER TABLE ' || database || '.' || table || ' ATTACH PARTITION '|| partition_id ||' ;\n' from system.detached_parts group by database, table, partition_id order by database, table, partition_id;" | clickhouse-client -mn
Не могу понять часть запроса:
"select 'ALTER TABLE ' || database || '.' || table || ' ATTACH PARTITION '|| partition_id ||' ;\n'
Что означает || и как сущности внутри || работают -
спасибо
-
|| - это конкатенация строк. https://clickhouse.com/docs/en/sql-reference/operators/#concatenation-operator
сначала исполняется запрос чтобы сделать результирующий запрос, который передаётся на исполнениеOperators | ClickHouse DocumentationOperators ClickHouse transforms operators to their corresponding functions at the query parsing stage according to their
-
спасибо
-
Привет, а у clickhouse keeper есть. cli? чтобы удалить и или посмотреть что-то, или zkcli юзать для этого? -
или как такое после кривого дропа побороть можно? REPLICA_IS_ALREADY_EXIST
-
коллеги, вопрос по обновлению ch в кластере
согласно документации, достаточно сделать
$ sudo apt-get update
$ sudo apt-get install clickhouse-client clickhouse-server
$ sudo service clickhouse-server restart
это можно сделать последовательно на всех нодах кластера? или планировать downtime все таки? Кластер из 3х нод -
Можно последовательно -
мы делали последовательно на всех нодах без даунтайма -
Главное не с 19 версии до 22
-
c 21 на 22)
-
По идее не должно быть проблем
-
только у нас в инструкции еще вывод ноды из кластера перед обновлением и ввод обратно после
-
в клике есть MV https://clickhouse.com/docs/en/engines/table-engines/special/materializedview/ это вполне себе триггер, крутить вертеть это можно по разному с разными движками для достижения нужных результатов. для запуска по расписанию - пишите скрипты, кидайте в крон)MaterializedView | ClickHouse DocumentationMaterializedView Table Engine Used for implementing materialized views (for more information, see CREATE VIEW). For stor
-
ну и по традиции
-
🤣🤣
-
👍
-
вопрос снят
-
Привет! Нужен совет...
Есть запрос условно на подсчет уникальных значений и там есть несколько условий. Но нужно сделать этот запрос с болшим кол-вом разных временных промежутков таймстэмпов. Все таймстэмпы есть в экселе, могу из них сделать отделную таблицу в клике.
Кто знает, как перебрать все промежутки таймстэмпов автоматически, а не руками каждый раз менять запрос? Условие таймстэмпа пишу так: where ts berween 1 and 2. Можно ли, как то это быстро сделать в клике? куда смотреть что читать.. -
А сколько промежутков времени ?
-
110
-
Нету такого функционала, если вы конечно руками не пропишите для каждого столбца условиями. Но лучше бы это реализовать через python и pandas
-
uniqIf(user_id, c_date = '21323')
-
Например как то так
-
ок спасибо
-
Всем привет!
Ситуация такая наплодили кучу alter через on cluster которые долго выполняются по времени, все это дело висит в zookeeper task_queue/ddl. Как можно почистить задачи пока они не начали выполняться ? -
что в строке? -
-
SELECT flatten(extractAllGroupsVertical(ifNull(a, ''), '"(\\d+)"'))
FROM
(
SELECT arrayJoin([CAST(NULL, 'Nullable(String)'), '["1", "2", "3"]']) AS a
)
Query id: 1f7bb473-98ab-406e-95bf-3202df2d0458
┌─arrayFlatten(extractAllGroupsVertical(ifNull(a, ''), '"(\\d+)"'))─┐
│ [] │
│ ['1','2','3'] │
└───────────────────────────────────────────────────────────────────┘ -
Кликхаус — классная база данных и главный опенсорс проект родом из Яндекса выпустил зявление о войне.
Они «осуждают агрессивную войну с Украиной, которую ведет Путин».
Говорят, что ничего с Россией их не связывает, кроме русских инженеров, которые сидят в Амстердаме. Публикуют обращение сейчас, когда закончили эвакуацию инженеров и их семей из России.
Такие дела.
https://clickhouse.com/blog/we-stand-with-ukraine/ -
Т.е. теперь Клик тоже надо проверять на закладки и обновляться очень осторожно?
-
Я не знаю, я не понимаю политизированных разработчиков
-
да удалят данные и будут просить биткоины -
причем здесь политика, сейчас либо ты осуждаешь кровавуюбаню, либо закрываешься, никто у тебя ничего покупать не будет
-
А это случаем не политизированное заявление?
-
Повестка именно такая, как вы говорите, однако я предпочитаю лозунг “работаем дальше”
-
не я вкинул сообщение, вообще могу вернутся в админы и устроить бан всем
-
Демократично устроить бан всем, кто не осуждает? :) Давайте работать дальше, Кликхаус-чатики вне политики. -
Я переслал только чтобы не я один был в курсе
-
во инженеры в спб ‘обрадовались’ сейчас, их то не релоцировали -
? -
Почему? -
аргументация 🔥
-
Согласен
-
я без идей как вам помочь с вашей проблемой ¯\_(ツ)_/¯
-
А мне интересно, ребята которые родом из России и являются разработчиками\соавторами ClickHouse тоже разделяют эту точку зрения ?
Или это в очередной раз попытка "пройтись по верхам" и выдать мнение меньшинства за мнение большинства ? -
у вас серьёзно чатов для вот этого всего недостаточно? -
это "ку" пацаков на планете чатлан -
Да мы как раз здесь недавно обсуждали политизированную рекламу площадки на которой размещался сайт документации python clickhouse_driver'а, и Костя кстати как я понял проплатил (нашёл как это сделать в условиях отключённого Visa\MC), как раз что-бы этой рекламы не было, и это по крайней мере в меня вселило уверенность, что хотя-бы ClickHouse не будет политизирован...
А тут вон какая новость, да ещё и на сайте clickhouse.com... Сказать, что я в шоке - ничего не сказать. -
А что у них с поддержкой случилось?
-
Ну просите манибек
Не ясно как это связано с позицией компании по данному вопросу -
Санкции -- это экономика, а не политика. Мы бесплатно поможем тут
-
А политика, как завещал Ленин, есть концентрированное выражение экономики. :)
Но вообще вроде всем понятно, что будь ты хоть тысячу раз аполитичен, живём и работаем мы не в сферическом вакууме. В этом плане спасибо КХ, что ограничились просто заявлением. -
- Нас кинули, осуждаю
- А вы кто?
- Не уполномочен обсуждать -
ботоферму и сюда запустили...
-
Александр, как я помню один из основателей Altinity :)
-
@den_crane Почисти пожалуйста
-
китайские товарищи не в счёт? -
они под санкциями уже много лет
-
уровень дискурса в чатике резко
-
-
Получилось? -
После обновления ClickHouse с 20.12 версии до 22.12 получаем такую ошибку [1002] ClickHouse exception, message: Code: 271. DB::Exception: Data compressed with different methods, given method byte 0x3d, previous method byte 0x82: (while reading column user_keywords): (while reading from part /home/clickhouse/data/data/develop/Impressions/20220401-14_1483_2232_4/ from mark 1516 with max_rows_to_read = 752): While executing MergeTreeReverse. (CANNOT_DECOMPRESS) (version 22.1.3.7 (official build))
-
22.12 ?
-
Извиняюсь 22.1.3.7
-
Может issue про вас ? https://github.com/ClickHouse/ClickHouse/issues/35181Data compressed with different methods (CANNOT_DECOMPRESS) · Issue #35181 · ClickHouse/ClickHouse
I have 3 ch servers with replication (without sharding) - 2 main ch servers + 1 for experiments with encryption. Main servers 22.2.2.1, encrypted 22.2.3.1. Storage config for encrypted server &...
-
Ещё это issue https://github.com/ClickHouse/ClickHouse/issues/34647
-
Похоже, но мы не отписывали. Подключусь к обсуждению там. Спасибо
-
не надо.
открывайте свое ишью, у вас абсолютно другое -
Правильно я понимаю, что идиоматически правильно вставлять значения типа столбца по умолчанию, вместо null?
т.е. если где-то из внешней системы приходит null, то лучше вставлять через toInt32OrDefault чем toInt32OrNull ? -
да. Избегайте Nullable типов, они занимают больше места и медленее работают
-
Лучше проектировать таблицы с типом default '' или default 0 и т.д., чем потом с Nullable разбираться. Как исключение - даты, там это бывает необходимо...
-
даты не проблема, положить 1970-01-01
-
вот температура например уже сложнее, приходилось -10000 градусов хранить
-
а что делать, если в БД тысячи дней рождения с такой датой? :)
-
дни рождения не надо хранить датой, зачем они, строка и все
-
ну это в случае с кликом и его ограничениями с датами в 1970 и 1925 есть такие нюансы. В других то БД таких нюансов нет.
-
в других базах и с null проблем нет
-
Ну тоже верно )
-
вон оракл вообще не хранит null если колонки в конце таблицы
-
нахер это надо в КХ ? CRM нету?
-
Намечается баттл? :)
-
Дата это дата. Не надо её приводить в тонну разных типов, если есть возможность этого не делать. С каждым типом данных удобно работать в зависимости от его типа.
-
Ну, могу сходу придумать кейс, компания, которая юзерам скидки на др делает или рассылку какую то. Им, думаю, может такое потребоваться и встречается нередко -
просто смешно слышать нытье про 1925, как дети, рассказывают бред про математику с датами и про 1925 год
-
да
-
Хотя другой вопрос, зачем это хранить именно в клике
-
При чем тут нытье то? Нормальный разговор про типы данных :)
-
ну вы упомянули 1925, не я
-
я лишь привел пример, что приведение к 1970-* не самый лучший вариант. :)
-
и мне иногда лучше иметь null в дате, чем 1970. Так надежней. Да, чуть медленней, но надежней.
-
ну отлично у вас куча людей родилось 01 01 1970. Вы не можете использовать эту дату, расскажите что вы делаете с теми кто родился 1969
-
И это касается только дат. В остальных случаях Null всегда можно заменить на default что то там.
-
Всем привет. Извините за нубский вопрос, в доке не смог найти четкий ответ
Работает ли функция uniqExact в связке с оконной функцией? -
да
-
Да что ж вы так нервничаете то :) Я же предложил вариант, а не говорил, что мое решение априори единственное верное )
-
Ну как минимум DateTime64. Тут уже 1925 год.
-
Спасибо!
-
create table data (user int, items int) Engine = Memory;
insert into data values (1, 9)(2, 8)(3, 7)(4, 2);
insert into data values (11, 9)(12, 8)(13, 7)(14, 2);
insert into data values (111, 9)(112, 8);
--slow
SELECT
items,
uniqExactMerge(s) OVER (ORDER BY items DESC Rows BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) AS _uniq
FROM
(
SELECT
items,
uniqExactState(user) AS s
FROM data
GROUP BY items
)
┌─items─┬─_uniq─┐
│ 9 │ 3 │
│ 8 │ 6 │
│ 7 │ 8 │
│ 2 │ 10 │
└───────┴───────┘ -
я вам больше скажу есть Date32
-
я не нервничаю, просто говорю что Nullable можно избежать, и для дат предлагается использовать 1970
-
это OLTP / CRM , ну никак не аналитика
или это анализ сколько человек получат скидку? -
это инсерт, в одной презентации говорили что можно, я не проверял
-
для того что бы поместиться в int32 и в int16 , таким образом яндекс съекономил десятки или сотни тысяч долларов
для кликстрима int16 вполне достаточно -
В MS SQL самая маленькая дата - где-то в 1500х годах. Попался когда переливали с ms sql в клику -
Речь не про экономическую выгоду, а про реальные методы выхода из ситуации, когда нельзя применять не Nullable значения. :)
-
если не получается не использовать Nullable, используйте
-
Проблема когда в стримах есть, например даты рождения
-
1925 это глупость, надо было брать пролептический календарь
-
Да можно тонну кейсов придумать с датой. Но это как танец с бубном. Речь о том, что гораздо проще использовать дату по назначению, чем танцевать с кучей доп. столбцов, приводя их к ДД ММ ГГГГ и так далее.
-
Ну ради честности, в 80% случаев расширение памяти хранения дат в привычном для всех виде, то есть менее 1970 или 1925 - не сильно то и уменьшило бы скорость...
-
Ну скажем так, ограничение с датами, было введено именно в клике. Все остальные БД тоже имели ограничения с датами, но они были очень отдаленными, типа 1900 года, и не было проблем с датами рождения тех людей, что до сих пор живы с 1925-го и тем более с 1970-го...
-
т.е. вы не в курсе почему именно 1925 год?
и что календарь в КХ это статическая таблица рассчитанная на каждый день -
Меня мало волнует статистика, когда мои данные в работе используют даты, где дата меньше 1925 используется очень часто.....
-
все ради быстрого between хранят спец. даты для начала и конца.
-
Denny, я уже понял, что у вас есть своя точка зрения, которая не меняется ни при каком раскладе. Попробуйте посмотреть на разные вариации, возникающие у специалистов :)
-
нет. Я же говорю избегайте Nullable типов пока это возможно
-
Так я же с этого и начал ))
-
И уточнил, что именно в датах это наиболее часто нужно )
-
у меня проблема с температурой, с датами проблем нет
-
Так расскажите, в чем проблема, попробуем подумать и решить
-
что использовать в поле Float когда температура неизвестна 🙂
-
а хотя Nan есть
-
default -1000.000 ?
-
про Nan я забыл
-
уж -1000 точно не будет ) Ну или nan )))
-
C Nan придется отдельно обрабатывать при агрегации
SELECT sum(arrayJoin([nan, 0.1]))
Query id: 7edf06dd-71c1-4af2-9c4a-54acefc5e487
┌─sum(arrayJoin([nan, 0.1]))─┐
│ nan │
└────────────────────────────┘ -
Если уж на то пошло, то можно в default задать температуру абсолютного минимума в -273,16 по Кельвину как константу. И дальше все как обычно.. Не вижу проблем с температурой....
-
ну с -1000 складывать тоже смысла нет и с Null тоже
-
я думаю забыли
-
Ну с Null агрегатные работают
-
Забыли да
-
:)))))))))))))))
-
Очень большое и важное дело сделали ребята из Clickhouse — написали свою позицию по поводу Украины. И я уверен, им было очень сложно, потому что половина компании — россияне, потому что важнейшая часть продукта была создана еще в Яндексе. Но посмотрите, как кристально четко и честно они написали. Большое спасибо вам, ребята, я даже что-то расчувствовался.
https://clickhouse.com/blog/we-stand-with-ukraine/ClickHouse - We Stand With UkraineClickHouse is vehemently opposed to and condemns the war of aggression in Ukraine waged by Vladimir Putin and his regime.…
-
Можно и в закреп,одно не понятно какие отношение дальше будут у CH c Yandex. Я конечно понимаю что от него отошли, но не будет ли попыток давить на яндекс чтобы давить на CH -
Я не в России, и у нас с беспокойством смотрят на CH
-
а какая причина? -
из-за инвестиций яндекса?
-
И за-то знают что CH родом из яндекса, и знают что яндекс подвержен влиянию гос структур.
-
мммм, вроде бы в блоге они указали на то, что КХ контингент был вывезен из России. Втоорое, - если их смущают корни CH, то тогда стоит направить письмо или в альтинити, или в кх от бизнеса с вопросом более политкорректным относительно того, будут ли данные safe'n'sound, имхо
-
Тут никто не гадает, беспокойства бывает достаточно чтобы пересесть. Как минимум у нас в компании ведется секьюрити аудит отдельной компанией, кторой это может не понравится.
-
Всем привет! Кто может помочь создать пару табличек в КХ и посчитать несколько элементов за ₽? -
и необходимо, чтобы письмо направила отдельная компания, ИМХО
-
которая в вашем случае и проводит аудит
-
Я обычный разраб, меня никто не спросит
-
доведите это до вашего топа
-
или тимлида, или EM слова
-
что ему нужно написать письмо?
-
а то что туда китайцы много коммитят это ок? -
да, ему необходимо будет обратиться в компанию, проводящую аудит, на мой взгляд, запрос на то, чтобы именно ОНИ (помимо него), удостоверились в целостности данных в случае использования КХ
-
и то, что нет уязвимостей, позволяющих воспользоваться получением данных вашей компании
-
Пока это не на слуху да
-
Каскадные мВ перестали работать с 19 версии примерно, где то даже был issue на гитхабе
-
К сожалению тут проще сменитьтехнологию чем кому-то чтото доказывать.
-
вам не надо доказывать, вам надо лишь проявить инициативу и узнать о дальнейших действиях EM и аудит-компании
-
Я все к тому-что чем большая ясность в том что нет влияния яндекса и тем меньше вероятность что кто-то скажет свое фи
-
здесь не в фи дело, а дело в том, что они не знают, стоит ли доверять компании, чьи корни лежат в компании, чья часть активов (?) принадлежит госу
-
в данном случае мною б на месте вашего EM было бы отправлено письмо в компанию-аудитор с просьбой уточнить текущее состояние
-
Это не понял к чему, но похоже на перевод на русский моих слов.
-
Заранее точно этого не хочу, тогда можно вообще обратить их внимание на это лишний раз
-
они не перестали, просто поменялось поведение как их создавать.
и materializedpostgresql это не matview -
@den_crane @alexanderzaitsev @milovidov_an я понимаю, что я немного DBA и не имею никакого отношения к вашим компаниям, но может, вы поможете человеку прояснить ситуацию?
-
Infinite ещё можно
-
там нет влияния яндекса, голандский яндекс там просто акционер
на сайте же видно кто CEO, кто президент и можно погуглить где они и где яндекс -
Просветите как сделать мв поверх мв? Можно ссылку на Доку?
-
Кстати по датам - можно ещё хранить в виде Int64
-
-
у меня стейджах стоит, проблем нет, у клиентов Альтинити есть и в стейджах и в проде.
-
на самом деле CI с каждым днем все больше и больше случаев покрывает тестами, поэтому каждый новый релиз получается стабильнее
-
То есть делаю таблицу, указываю в матвью to table, и следующую матвью вешаю на эту таблицу? Круто, попробую
-
вообще если вы никогда не видели этот документ и не смотрели видео, то рекомендую посмотреть
-
Вот только прочитал
-
в общем-то тоже самое что и pdf https://youtu.be/1LVJ_WcLgF8?list=PLO3lfQbpDVI-hyw4MyqxEk3rDHw95SzxJ&t=7597
-
но на русском
-
только надо читать changelog там backward incompatible дофига между 21.3 и 22.3
в 21.6 поменяли uniq(от UIID) и сломали всем агрегаты -
Спасибо большое, я смутно догадывался что примерно так нужно))
-
очередной тупой вопрос: берем CH последней GA-версии с коробочными конфигами, пытаемся влить три терабайта данных, и он в логах пишет что нужно еще 2 петабайта памяти. читаем в коммьюнити, что нужно понижать дефолтные max_block_size/max_threads/min_insert_block_size_rows с 10^60 до 2*10^3, и действительно, вливается гораздо больше до одиозных заявлений что 64 гигов памяти недостаточно. а вот теперь сам вопрос - это нужно на клиенте править, или на сервере ? потому что остаётся призрачная надежда, что если поправить на клиенте, то, возможно, при каких-то условиях без жёстких лимитов память имеет шансы расходоваться эффективнее, но формальная логика говорит о том, что править нужно таки на сервере. -
Вы неправильно держите
-
а научите
-
clarify пытаемся влить три терабайта данных
-
т.е. clickhouse способен все делать в stream manner, памяти много для инсертов не нужно, если не делать 50 тыс. колонок.
-
а все просто, у меня есть Yandex managed CH, который тюнили бойцы вон г-на Миловидова, там хранится десяток терабайт данных, и я пытаюсь отъехать в Хэтцнер, а как мы все тут знаем, ООО NDA не позволяет вставить репликой внешний кластер. поэтому я тупо выгрузил эти данные и пытаюсь влить в CPE-кластер что я поставил самостоятельно
-
выгрузил во что? в файл? TSV ?
-
в CSV конечно пожатые
-
- Неправильно: вставлять три терабайта данных одним INSERT'ом
- Правильно: вставлять батчами по ~1 миллиону строк, не забывая про существование партиций (желательно чтобы каждый батч затрагивал мало партиций, например одну) -
и как грузите эти CSV ?
-
я понимаю (примерно, если честно) о чем Вы, но с этого места нужен пример
-
с чего-бы ? и так получится по миллиону max_insert_block_size
-
не буду делать умное лицо - вот прямо беру и pv ${table}.csv.gz | gzcat | clickhouse-client --query="INSERT INTO ${table} FORMAT CSV"
-
(а как правильно ?)
-
Ну я утрированный пример привел, как я себе представляю, как можно делать совсем неправильно и совсем хорошо
-
попробуйте выключить input_format_parallel_parsing возможно баг, с проездом по памяти
pv ${table}.csv.gz | gzcat | clickhouse-client --query="INSERT INTO ${table} FORMAT CSV" --input_format_parallel_parsing=0 -
спасибо !
-
Если этот CSV это и есть все 3 Тб, то наверное по-другому и не получится :)
-
Но я бы вставлял по возможности в одну партицию за раз
-
он и есть. спасибо (ну мало ли, я когда не знаю, так и говорю что "не знаю" :))
-
а в чем проблема с 3TB файлом?
-
Если вставятся первые 2.5 Тб и отвалится что-нибудь (например, сеть, или место там от мержей временно закончится), то не перезалить только нужную часть
-
Вернее, можно, но тяжко
-
спасибо, я попробую осмыслить
-
это понятно, я про то что с памятью проблем быть не должно
-
Аналогично с партициями: вставка в одну партицию требует от сервера минимум усилий
-
ну вот так и происходит, да.
-
ошибку лучше покажите
-
Когда льем очень очень много, то это становится важно для стабильности и предсказуемости результата
-
и версию КХ
-
ClickHouse server version 22.1.3 revision 54455.
2022.03.29 22:40:24.999821 [ 235764 ] {} <Error> void DB::MergeTreeBackgroundExecutor<DB::MergeMutateRuntimeQueue>::routine(DB::TaskRuntimeDataPtr) [Queue = DB::MergeMutateRuntimeQueue]: Code: 241. DB::Exception: Memory limit (total) exceeded: would use 133.45 TiB (attempt to allocate chunk of 4291680 bytes), maximum: 64.00 GiB. (MEMORY_LIMIT_EXCEEDED), Stack trace (when copying this message, always include the lines below): (а дальше бинарь пострипанный, только смещения показывает, и bt бессмысленен без символов) -
>а дальше бинарь пострипанный, только смещения показывает, и bt бессмысленен без символов)
что? у вас КХ неофициальный?
там должен быть нормальный стектейс -
ну почему неофициальный, FreeBSD 13.0, databases/clickhouse
-
а ну все ясно. расходимся
-
а что именно вам ясно ?
-
Алексей не подписал порты своей кровью ?
-
[PATCH] MemoryTracking FreeBSD support · Issue #13859 · ClickHouse/ClickHouse
Clickhouse for FreeBSD updating no memory usage stats. In the case build without NDEBUG, allocator use 4KB chunk, those dont account when freeing and MemoryTracking metric grow up to ~6TB, after th...
-
gmake при сборке не упоминает Линуса Торвальдса ?
-
да не работает оно на FreeBSD
-
я не очень понимаю то что автор тикета считает английским
-
ну и это было 2 года назад
-
и что вы думаете оно само заработало что ли?
-
не знаю, причина закрытия может означать все что угодно
-
например то что этого блока кода уже не существует
-
я думаю можно попробовать спросить у самого Алексея, ток он чо-т не тажится
-
давайте вы попробуете залить в линксе и потом мы поговорим
-
@milovidov_an а нельзя ли пожалуйста попросить пролить свет на то как там нынче в FreeBSD дела и по реабилитирующим основаниям или нет был закрыт этот тикет ? :)
-
очень сложно заливать три терабайта в консольный браузер
-
я думаю он не вывезет больше десятка гигабайт
-
это раз; два - я эти терабайты-то уже залил, вопрос про другое был (и никто не ответил)
-
про заливку партициями - ну ок, принято; логично. а вот про то где снижать эти параметры раз это помогает так и осталось неясным.
-
Объяснение очень простое. Для линукс и интел и арм есть тесты которые миллионы cpu часов накручивают, для фри нету.
-
что за тесты такие ?
-
патч-то кстати так и накатывается в портах из тикета что вы показали. и судя по отсутствию ошибок - накатывается успешно.
-
только от беды что я показал не помогает.
-
как от неё помогают некие тесты по миллиону часов - не совсем ясно.
-
да и в общем проверять заливку десятка терабайт на линуксе трудоёмко. в коммьюнити где я обогатился скиллом радикального снижения упомянутых выше параметров, к слову, счастливые обладатели сервера тоже на линуксе его запускали
-
огромное спасибо
- 02 April 2022 (170 messages)
-
Вам не стыдно вообще такие заявления делать, вы конечно против режима и все такое , но лично Вы Алексей подписались под этим заявлением о том, что оказывается вы в Нидерландская фирма и оказывается вообще никакого отношения к РФ не имеете. И ладно бы вы сделали пресс релиз , но вы на офф сайт это все сделали, и ваше имя там стоит из тех кто подписался. Вы можете быть против режима и всей ситуации , но выждать месяц и только потом уже учесть интересы - обычная проституция. Программирование не место политике, но в заявлении ваше имя стоит. Лично вы получите и доход и все остальное , и даже ваши ведущие разработчики тоже, но компания Яндекс выжила только благодаря протекционизму режима. Идите вы в хуй с такими заявлениями, что вы к РФ никакого отношения не имеете, богатым проще и комфортным, но вы безродные. Вы даж какфка коннектор с бесплатной версии поправить не можете , а с тех 250 миллионов половину походу на штаб квартиру потратили
https://clickhouse.com/blog/we-stand-with-ukraine/ClickHouse - We Stand With UkraineClickHouse is vehemently opposed to and condemns the war of aggression in Ukraine waged by Vladimir Putin and his regime.…
-
Больше не комментирую, но про кенсел калчар Я понимаю
-
чисто исследовательские вопросы. вы в коде/запросе:
- тоже фигачите где-то одинарные, а где-то двойные пробелы?
- операторы (в данном случае запятая) иногда оформляете спереди пробелами, а иногда нет? -
У меня просто тройка по русскому была , и ещё обидно , что нет пробела перед запятой , словно не самостоятельная единица
-
Но спасибо за замечание
-
Поправка от Дэниел Крейга ⬇, изменился тип взаимодействия с ними
-
Нахуй кх. Го все в гринплам. -
We have no infrastructure, servers or people in Russia. The original engineering team successfully moved out of Russia and are now working in our Amsterdam office.
Чет противненько после таких заявлений. -
Хочется верить, что это бизнес, инвесторы, ответственность перед ними и пользователями, требуют этого всего, а не искренняя личная позиция. -
ждем, когда кх уйдет из рф))) -
Вы прямо сегодня можете удалить у себя все инсталляции КХ, тем самым проявив гражданскую позицию. В противном случае вы идете по пути экономической целесообразности за счет своих убеждений и не вам кого-то после этого осуждать. -
Хочется верить, что это искренняя позиция, а не продиктованная бизнесом необходимость.
Спасибо команде Clickhouse за позицию и смелость заявить обе этом -
Иногда можно просто поиметь яйца и просто промолчать
-
Очень странно, почему они про это написали только 31.03.2022🤔 -
В тексте объясняется почему
-
Так себе отговорка😐
-
Послушайте, вы сейчас разводите горячую дискуссию на пустом месте по причине, что заявление было сделано вчера, а не раньше. Вот факт, - заявление сделано. Давайте мы оставим словесные баталии и займемся уже тем, что получается в этом чате лучше всего, - поддержкой пользователей, где и при каких бы обстоятельствах они не находились.
-
только не чат кликхауса, господи, пожалуйста, нет 🙏
-
лучше давайте ещё про FreeBSD поговорим
-
А давайте
-
Здравствуйте, это канал о кликхаусе?)
-
-
Как пропатчить KDE2 под FreeBSD?
-
кажется, шутку не поняли -
в оригинале ответ должен быть "да"
-
да -
зумерский вариант будет)
-
переиграем давайте
-
Без понятия, я не админ, а всего лишь разработчик
-
эххх... старики мы, получается. те, кто поняли. пойду за пенсией схожу
-
Не флудите.😒
-
ься -
Ошибка какая, конвертации типов?
-
А можно полный текст ошибки?
-
Алексей между прочим для таких целей запилил https://pastila.nl/
-
Бывает. Попробуйте сделать в pg простую таблицу с 2-3 столбцами и простыми типами наподобие текст, число. И посмотрите будет ли падать, у меня было похожее что-то на типах данных int2[], КХ не мог преобразовать.
-
Погодите, есть ещё лайфхак, не знаю поможет ли.
-
PostgreSQL | Документация ClickHouse
https://clickhouse.com/docs/ru/engines/table-engines/integrations/postgresql/PostgreSQL | Документация ClickHousePostgreSQL Движок PostgreSQL позволяет выполнять запросы SELECT и INSERT для таблиц на удаленном сервере PostgreSQL. Соз
-
Попробуйте создать в КХ таблицу с движком PostgreSQL
-
Да, хорошая первоапрельская статья получилась. И красивый минималистичный сервис. Не хватает только R/O режима, чтобы после публикации текстик не завандалили. Наверное надо добавить установку и проверку куки владельца :) -
Отпишитесь помогло или нет :)
-
Удачи)
-
Всмысле, если изменяешь текст, то новая ссылка уже
-
Это заявление чревато тем, что КХ не зайдет в те места, где мог бы занять свою нишу. Я до прошлого года не использовал КХ, до сих пор сторонник PG и транзакций, но необходимо заметить, что КХ в некоторых случаях весьма и весьма к месту.
-
На рынке уже есть немало форков ClickHouse
Даже в РФ есть аренадата с ее QuickMarts и думаю кол-во будет расти.
Плюс экспертиза по кликхаусу в РФ достаточно сильная, так что почему не зайдет? -
Если на это так смотреть, то зайдёт туда, куда не зашёл бы без чёткой позиции -
Потому что. ClickHouse Inc. мимо пройдет однозначно, форки - это здорово до определенного момента. Сколько у них дивизий?
-
Я так понимаю, что потому и было сделано.
-
Вполне себе достаточно, внешние контрибьютеры принесли немало функционала в 2021 году.
Китайцы еще активно контрибьютят. -
Я бы еще по поводу экспертизы уточнил, что Вы под экспертизой понимаете. Одно дело - налить в БД петабайт и называть себя экспертом, другое - с той же ESB обеспечить интеграцию.
-
Китайцы - это вообще отдельная тема, с GaussDB не сталкивались? Huawei ее пользует, не особо известна, наверное, но местами интересна.
-
> другое - с той же ESB обеспечить интеграцию.
ClickHouse Inc строит ClickFlake, платного саппорта у них емнип пока еще нет.
Так в чем вопрос?
По поводу всяких ESB и интеграций, думаю у ареныдаты как интегратора с этим опыта будет побольше -
Я к тому, что у ClickHouse достаточно большое и международное коммьюнити, а не только одна ClickHouse Inc
-
Возможно, что Вы правы. Однако, стоить отметить, что кровавый ентерпрайз ищет в первую очередь саппорт, который много кто чего ентерпрайзу показал, во вторую специалистов с опытом и хоть какими-то бумажками а-ля сертификатов.
-
Привет. В версии 22.3 обещали полноценную поддержку ARM. Можно ли уже как-то установить CH на ARM-сервер через apt get? -
Не совсем так, примите, что "наше" теперь превалирует над "не наше". В универы, вроде как уже ушел заказ на... .
-
Нельзя жить в обществе и быть оторваным от общества. (С)
-
Заказ на что?
Если postgresql (pro) считается импортозамещением, то что говорить о ClickHouse где корней российских больше. -
Кстати, про универы и студентов. Немало фичей в кх запилены этими самыми студентами в рамках дипломов или курсовых.
Некоторые из них доводились до финала кор тимой, но тем не менее. -
Ой-вэй, в ПГ есть CoC, изгоним? Вот как раз пгпро есть, чем хвостом вильнуть.
А кто такие разрабы кроме Миловидова и компании? Я, честно, не в курсе, если есть что, расскажите. -
Как минимум arenadata что втащила авторизацию связанную с хадупом и еще было что то
-
Да, я читал пару работ, хз, не впечатлен, но даже абзац скопировал себе, на предмет то ли dremio, то ли чего-то подобного.
-
Constraints for optimization by nikvas0 · Pull Request #18787 · ClickHouse/ClickHouse
I hereby agree to the terms of the CLA available at: https://yandex.ru/legal/cla/?lang=en Changelog category (leave one): New Feature Changelog entry (a user-readable short description of the cha...
-
Я когда это читаю, музыка их Hacker с молодой Анжелкой в голове.
-
Так же бессмысленно, на первый взгляд, как включение противопожарной системы.
-
Ну вот вы как, а я вижу решение очень большой головной боли с написанием сложного оптимизатора запросов.
Убер вот статью написали, как решали эту проблему
https://eng.uber.com/logging/Fast and Reliable Schema-Agnostic Log Analytics PlatformAt Uber, we provide a centralized, reliable, and interactive logging platform that empowers engineers to work quickly and confidently at scale. The logs are tag
-
Ок, 5 сек.
-
explain analyze select * from siebel.control_load order by index_date desc limit 10;
QUERY PLAN
════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════
Limit (cost=0.28..0.56 rows=10 width=24) (actual time=0.017..0.022 rows=10 loops=1)
-> Index Scan Backward using control_load_pkey on control_load (cost=0.28..27.63 rows=945 width=24) (actual time=0.016..0.020 rows=10 loops=1)
Planning Time: 0.074 ms
Execution Time: 0.036 ms
камрад, это ACID -
свежий запрос
2022-04-02 15:51:00 127.0.0.1:5432 postgres@mqr=# explain analyze select * from siebel.control_load order by index_date desc limit 10;
QUERY PLAN
═════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════
Limit (cost=0.28..0.54 rows=10 width=24) (actual time=0.028..0.032 rows=10 loops=1)
-> Index Scan Backward using control_load_pkey on control_load (cost=0.28..55.87 rows=2179 width=24) (actual time=0.026..0.029 rows=10 loops=1)
Planning Time: 0.116 ms
Execution Time: 0.051 ms
(4 rows) -
В чем вопрос?
-
Вопрос в КХ, он всегда вычитывает данные целиком.
-
У меня такой же кх и он не вычитывает? Может не в кх проблема?
-
Само собой, про индексы я хнаю и умею применять.
-
Может быть.
-
Я даже допускаю возможность случая, когда нам источник данных дал неверную информацию о том, как данные будут организованы.
Соответственно, мы хотим и данные сколько-то там десятков ТБ сохранить, и на новую схему перейти. -
они просто не публикуются, не доделано
wget https://s3.amazonaws.com/clickhouse-builds/22.3/89a621679c69f94e04d1d24559adb62b2676abd9/package_aarch64/clickhouse-common-static_22.3.2.2_arm64.deb https://s3.amazonaws.com/clickhouse-builds/22.3/89a621679c69f94e04d1d24559adb62b2676abd9/package_aarch64/clickhouse-client_22.3.2.2_all.deb https://s3.amazonaws.com/clickhouse-builds/22.3/89a621679c69f94e04d1d24559adb62b2676abd9/package_aarch64/clickhouse-server_22.3.2.2_all.deb
dpkg -i *22.3* -
стрес и фаззи тесты много часов тестируют почти каждый пул реквест
-
а сколько латенси до pg и сколько времени запрос в pg выполняется?
-
там мне кажется на каждое изменение новый урл
-
на oracle cloud дают always free ARM размером 4CPU 24Gb RAM 150Gb . Clickhouse ставится без проблем и довольно шустро работает. А на стартовые $250 можно и нехилый кластер запустить.
-
русским больше не дают) -
Я там и использую. Только хотелось бы обновлять цивилизованно.
-
вы ещё не сделали себе пластиковую карточку белого человека? В Москве уже во всю продают недорогие туры в солнечный узбекистан. С пловом, архитектурой и заходом в банк.
-
я жду чью-нибудь саксесс стори в этом вопросе) продают сейчас много чего это правда
но оракл не по карточкам блочил, а по стране, тут другой картой не обойтись -
Так даже тур не нужен.
Телефон с esim и симка через приложение теле2 казахстан -
А там киви кошелек на эту симку
-
так а через psql нормально без ошибок работает с КХ сервера?
может просто сеть рвется за 5 минут? -
в целом да, у КХ могут маленькие receive timeout
-
По умолчанию 50 ms
-
Мде, то, что тут некоторые из ОПСОС, пофиг.
-
Нифига непонятно, Вы получали массив в строку, еще и меня спросили, это будет отдельно стоить
-
Всем привет!
Подскажите, а как вы решили\решаете случай, когда надо делать часто мутацию таблицы ( alter table delete where ) … на огромных таблицах ( под сотню гб ) ? может какой-то уровень абстракции-таблицы в которую вносятся “исключения” и уже при выборке из большой таблицы делается WHERE ‘date’ NOT IN (…) ? -
А зачем вы делаете delete? Какой в этом бизнес смысл?
Можно делать update колонки типа uint8 is_deleted. И скрыть удаленные записи либо прямо в селект в where либо через row policy. И например раз в неделю делать delete where is_deleted -
на тему колонки - хорошая мысль, мне казалось что это тоже мутации.
про row policy - не знаю, буду читать сейчас.
—
Зачем просят удалять — ну например, производят удаление ошибочной истории по контрагенту … что-то там такое далеко менеджерское, чтобы там ноль с единицей сошлись и получились красивые циферки — удаляют неактуальную\мертвую информацию -
и раньше раз в месяц такое было, что больновато выходило.. то сейчас чуть ли не каждый день, и конечно можно было сказать: “мы это не делаем, вот вам счёты, считайте сами”, но надо искать решение прежде всего
-
Я спрашиваю потому что хочу подобрать наилучшее решение. Вариантов море.
-
да я понимаю, да)
-
короче, для подвода статистики… удаление просходит за опр. день и по ID клиента, записей под удаление - десяток лямов
-
Update тоже мутация, но есть нюанс. Delete перезаписывает весь парт все колонки, это могут гигабайты, update uint8 перезаписывает микроскопическую колонку которая может весить меньше мегабайта
-
Л - логично, да. А потом с TTL эти записи удалятся через месяц
-
Update проще, чем delete ?
-
ну delete как минимум связан с освобождением места, а значит надо пустоты заполнять
-
что непонятно во втором предложении?
-
легко весные delete которые сейчас в разработке, тоже будут помечать удаленные записи, но в невидимой колонке
-
Да, забыл сказать: Спасибо! буду думать)
-
какие еще пустоты. Просто все записи из парта читаются и записываются в новый парт, кроме удаленных.
если парт размером 100ГБ, значит надо прочитать 100ГБ, декомпрессировать, зажать, записать -
Из-за колоночной архитектуры и блочной компресии по другому никак.
-
Ну чтобы быстро работал поиск по новой колонки разве её не надо будет в order by ?. А если её добавят, то будет пересортировка по логике, нет ?
-
нет, нет.
-
я могу ошибаться)
Просто представил как в ЯП производить удаление элемента из списка\массива) -
А если колонка находится в ORDER BY при UPDATE, разве не происходит пересортировка ?
-
хаха. Нет, в колоночных базах все совсем не так. Нету доступа к одной записи.
-
а какая колонка находится в ORDER BY?
-
Я уже не про пример Андрея, а вообще
-
нельзя колонки в order апдейтить
-
вообще нельзя, никак.
-
😂, я просто не использовал UPDATE никогда ещё в Clickhouse
-
ReplacingMergeTree или CollapsingMergeTree естественное и более надежное решение для модификации данных.
Но по сути update маленькой колонки должен быть легче чем мержи. -
А почему просто не добавить обычные диски ? И скидывать данные которые старше 90 дней например на них ?
-
Насчёт времени доступа с хардов - можно компенсировать процессорами и сильным сжатием (подбирать индивидуально к вашим данным) -
ReplacingMergeTree сильно бьёт по нагрузке? -
На чтении нет ;)
Запись, как я понимаю, тоже не сильно отличается от обычной (MergeTree): вся магия происходит при merge, а это отделено по времени и в любом случае необходимо. -
Фу таким быть. Если меньше десятков миллионов, не нужен КХ.
-
Впрочем, могу поделиться деталями. Сейчас стоит задача 300-350-400 тысяч записей в секундц обогащать
-
А что-то я не подумавши сказал, у мну задача стоит на КХ это перевести попробовать, второй и далее джойн КХ раком ставит...
-
КХ не умеет асинхронно выполнять запросы, вы про какую-то либу javascript спрашиваете?
-
Ого :) я тут со своими 5к рпс совсем дитё -
😳😳
-
нихрена себе) прсоитет
-
я конечно читал про badoo с их 2млн, н овсе таки Not bad
- 03 April 2022 (147 messages)
-
Ну это OLAP база вообще-то -
BНИМAHИЕ ΓEЙMΕРЫ И MAЙHЕPЫ!!!
Чёpный pынoⲕ κитайсⲕиⲭ видеoκарт
- Рабoта нaпрямyю с фaбpиⲕoй ⲃ Γуанчжoy
- Зaводсⲕo𝚎 ⲕaчecтⲃо
- Оригинaльный GPU
- Никaких ƃ/У κарт
- Bозможнocть н𝚎лeгально вын𝚎сти любyю видeокapтy
- Шиpoкий аcсоpтимент под закaз
- Дocтaⲃκа пo ⲃc𝚎й Рoccии и СHГ
- Цены в paзы ниже любoго pесypca ⲃ Китaе
📝 Cⲃязь: @ChinaGPU_manager
🎩 ƃoт для поκупκи @ChinaGPU_bot -
Всём доброе утро, день, вечер ) коллеги подскажите что можно сделать: есть относительно небольшая таблица 100+ млн строк, 30-40 столбцов. В ней нужно удалять раз в сутки старые записи, ttl не подходит поскольку то что нужно удалить - вычисляемое множество. Иногда выдаёт memory limit error - видно в логах мутаций. Что можно сделать, мб уменьшить кол-во обработчиков фоновых процессов?
-
По ttl всё равно не получится. Может я не точно выразился, попробую перефразировать: из таблицы выбираются те id, что уже неактуальны и это не критерий времени, далее удаляются всё эти id. Запрос там достаточно простой, без джойнов. Потому могу предположить что просто выборка не влезает в память, хм, может выборку тупо лимитом ограничить
-
покажите запрос.
сколько мутаций одновременно запускается? -
Alter table... Delete where id in (select id from... Where...) ;
Падало на 1 мутации с количеством parts_to_do 300+ -
речь про запись, и не в секунду, а про пакетную, и 400к - это средняя, а не пиковая
-
Нет, не может. Рассматривайте ее как OLAP - запросов в час.
-
Я бы на дверь показал, а когда пришел разбираться тот, кто на работу взял, СБ вызвал.
-
-
Борис, ты крепись!
-
50k rps в КХ? Хорошая тема для первоапрельской статьи про антипаттерны. Оно и для mysql/postgress уже как-то на грани получается.
Там у вас большое разнообразие запросов? Может закешировать получится? Redis? -
Реалистично больше пары тысяч QPS (с учетом max_threads=1 на запрос и прочих приседаний) я бы не расчитывал. Все-таки ClickHouse предназначен больше для того, чтобы пару миллиардов строк за запрос прошерстить и как-нибудь по-хитрому сгруппировать, чем для точечных запросов
-
Я бы на меньше 1к реально смотрел. Пробуйте.
-
Вы о чем вообще?
-
Я о ДБА, для них КХ - очередная БД, со своими шахматами и поетэссами.
-
Конечно все можно, я думаю в Яндекс метрики и больше запросов, только сколько миллиардов уйдет 👍
-
Я бы переформулировал, "сколько Вы готовы заплатить, что бы БД без транзакций начала себя вести именно так, как Вы хотите?"
-
Можно попробовать, спасибо
-
Что-то вы какой-то раздражённый, всем едкие комментарии раздаёте... Есть что по существу сказать - хорошо, а если нет то лучше промолчите
-
мутации могут падать, если их не через словарь делают а через сложный запрос
-
-
В условии отобрать все id которых нет в словаре, словарь содержит актуальные записи. Словарь 30+ млн строк и 2 столбца. В памяти занимает 4 Гб.
-
Спасибо почитаю
-
и даже в system.mutations не появляется?
на тест скорее всего просто данных нет которые вам нужны -
Всем привет. Нужен совет ребят. Есть ли толк в использовании других файловых систем, отличных от ext4 под клик? -
Толка нет -
Понял. Спасибо. Значит ковыряем дальше
-
Не логичней, ведь тогда придётся делать апдейт этой колонки, когда id станет неактуальным - что тоже будет тяжело для КХ.
-
Where dictGet(dictionary, dict. Attribute, table.Key) = table. Attribute что-то вроде латерального запроса к справочнику в памяти
-
Почему? И там и там насколько я понял читая статью на Хабре происходит клонирование куска, вычищение лишнего из куска или обновление в нём данных и потом замена новым куском - старого?
-
Апдейт по логике как раз тяжелее, ведь он затрагивает может больше 1 столбца, а удаление просто удаляет всю строку при нахождении?
-
Всё осознал
-
Почему нельзя? Работает же, и причём быстро достаточно...
-
Вы либо обновляете минимальный файл с uint8 изменяя 0 или 1. Либо удаляет и пересобираете парт в партиции по всем столбцам, вроде вывод очевиден
-
complex_key_hashed
-
Авто обновляемый, может кто то другой - этот вариант я тоже прорабатываю
-
Примерно 60 Гб
-
Loaded, тут всё норм
-
В понедельник посмотрю)
-
Добрый день! Вопрос)
У меня time-series таблица
Я беру остатки товаров, после чего по динамике остатков вычисляю заказы
Проблема этого запроса в том, что не учитывается разница остатков между днями, хотя это необходимо
Я бы хотел как-то модифицировать запрос таким образом, чтобы у каждого дня была колонка с последним значением остатка за прошлый день - так смогу учесть дополнительные заказы
Но, к сожалению, не очень понимаю, как это сделать
Как-то это возможно? -
То есть у вас есть остатки за каждый день ?
-
да
-
за один день много записей об остатке товара
-
Я бы отсортировал по времени и товару и брал бы neigbor -1
-
Например
-
-
вот так это выглядит
-
а что за нули, может знаете?
-
верно
-
Ну если был бы один 0
-
То сказал бы
-
А 2 не знаю
-
мне кажется, что это связано с партициями
-
взял neighbor из подзапроса и нолики ушли, остался только первый ноль
-
-
спасибо, о функции neighbor не знал)
-
Ещё с помощью оконных функций можно это делать, но я не знаю. Clickhouse полностью поддерживает весь синтаксис их из других БД.
-
это про запрос или про DDL?
-
есть пока что вот такая рабочая реализация
-
попробую еще вот это проверить
-
запрос просто исключает строки, где нули
значит точность не стопроцентная -
Привет. подскажите пожалуйста, можно ли как-то одним запросом решить такую проблему: рисую чарт в metabase на основании селекта типа
SELECT
Value,
Timestamp
FROM table
но на чарт мне надо нанести еще квантили
quantileExact(0.07)(Value) as lowerQuantile,
quantileExact(0.93)(Value) as higherQuantile
как это провернуть одним запросом? -
SELECT
Value,
Timestamp,
quantileExact(0.07)(Value) as lowerQuantile,
quantileExact(0.93)(Value) as higherQuantile
FROM table
Ну так сделайте так, в чём проблема ? -
там без группировки. рисуется линия цены. и я хочу считать квантили и рисовать по ним коридор, типа такого (там руками просто указаны значения для горизонтальных линий коридора):
-
в том что Code: 215. DB::Exception: Column Timestamp is not under aggregate function and not in GROUP BY
-
А зачем так усложнять? Есть же Kafka streams или KSQL
-
Сохранил, почитаю. Спасибо
-
Ну значит для общего развития :)
-
Вопрос в том - вы просто перекладываете данные из одного топика в другой, или донасыщаете данные из других таблиц в клике перед тем как положить в конечный топик
-
значит группировка всех данных в таблице. Тогда так:
with (SELECT (quantileExact(0.07)(Value),quantileExact(0.93)(Value)) from table) as q
SELECT Value, Timestamp,
q.1 as lowerQuantile,
q.2 as higherQuantile
FROM table -
С KTable единственное - на больших таблицах не пробовал. Когда прям много данных очень. Не знаю потяни ли
-
WITH (SELECT quantileExact(0.5)(number) as qy FROM numbers(10)) as quan
SELECT number, quan from numbers(10) -
🚨 Surfshark изменит ваш IP-адрес, защитит вас от общедоступного Wi-Fi и многое другое.
🔹https://bit.ly/3qksEis
🔹https://t.me/surfsharkapp -
Всем привет. Подскажите, пожалуйста, как дополнять вложенные таблицы по мат. вью при добавлении строк в таблице-источнике, чтобы в итоге получилась таблица с несколькими ключевыми полями и полем - вложенной таблице с остальными данными для этих ключевых полей? -
значения надо суммировать или конкатенировать?
sumMap или groupArrayArray
SimpleAggregateFunction/AggregateFunction groupArrayArray / groupUniqArray. -
не надо суммировать, просто увеличивать кол-во строк во вложенной таблице
-
SimpleAggregateFunction/AggregateFunction groupArrayArray / groupUniqArray.
могу написать пример или дать ссылку, если вы предоставите create table из трех полей, + insert, + и что нужно на выходе -
вот я с AggregateFunction щас эксперементирую, я полагаю должно быть поле nested_fied Nested (field1 AggregateFunction(groupArrayArray))?
-
так это же замечательно, отделаемся от КХ, одним головняком меньше
-
Nested это бесмысленный syntax sugar, который мешает в этом случае
-
то есть проще просто поля массивы создавать? а потом работать, как-будто с вложенной структурой?
-
нет никакой вложенной структуры. Есть только массивы.
Nested это syntax sugar, который существует только в момент create_table (почти, не будем упомимать flatten_nested). -
А выборку потом как делать, она же с nested через array join делается?
-
А тут, если без структуры как равномерно развернуть все массивы в строки, когда это понадобится?
-
from table array join xs as x, ys as y -
Понял, попробую, всем спасибо.
-
могу написать пример или дать ссылку, если вы предоставите create table из трех полей, + insert, + и что нужно на выходе
-
У меня, вроде, получилось, как мне надо без Nested, просто поля SimpleFunction(grouparrayarray). И select выдал, что нужно, завтра всю структуру замучу с мат вью. Если будут еще вопросы, предоставлю пример. Спасибо!)
- 04 April 2022 (102 messages)
-
Всем спасибо за помощь в вопросе, в итоге переспал) с вашими идеями ночь и придумал свой вариант.
- удаляю материализованный столбец если он есть is_actual - 9 секунд. (alter table ... drop column if exists)
- Создаю материализованный столбец в основной таблице is_actual в котором из словаря сразу рассчитываю его актуальность. 1-3 секунды (alter table ... add column if not exists ...)
- далее делаю alter table ... delete where is_actual = 0 and date_modify < today() — чтобы не зацепить те данные что в процессе укладки (допущение, но не планируется запускать такую чистку сразу в начале дня, часа в 3 ночи - там уже все будет уложено точно. date_modify - дата вставки строки в таблицу - дефолт на стороне КХ)
- жду 15-30 секунд - мутация успешно завершена.
- профит. -
Доброе утро. Подскажите пожалуйста по настройкам clickhouse-copier. При копировании некоторых партиций упераюсь в лимит по памяти и партиция не может приатачится и соответсвенно помечается как dirty. Не пойму что нужно подкрутить, чтобы не было этих ошибок:
https://pastebin.com/1kKT36MQ<Error> Application: An error occurred during copying, partition will be marked - Pastebin.comPastebin.com is the number one paste tool since 2002. Pastebin is a website where you can store text online for a set period of time.
-
Коллеги, вопрос касательно агрегации.
У меня есть две таблицы, в одной хранятся временные ряды (product_id, timecode, value), в другой ключ-значение (product_id, agg_time) - значение требуемой гранулярности для конкретного продукта.
Я хочу сделать запрос, который возьмет все данные из таблицы с рядами, съагрегирует данные по каждому продукту с требуемой гранулярностью. Типа у продукта 1 гранулярность 5 минут, у продукта 2 гранулярность 30 минут и т.д.
Похожий запрос должен выполнять требуемое
SELECT product_id,
toStartOfInterval(timecode, INTERVAL agg_time MINUTE) as timecode,
avg(value) as value
FROM timeseries ts
JOIN (
SELECT product_id, agg_time
FROM keyvalue
) kv ON ts.product_id = kv.product_id
GROUP BY product_id, timecode;
Но есть ограничение Argument at index 1 for function toStartOfInterval must be constant.
Подскажите, как его обойти, пожалуйста. -
не очень красивое решение, но рабочее, спасибо
-
А вторая часть , та что в join - больших размеров? Надо учитывать, что она будет разворачиваться в памяти полностью, не будет ли out of memory в итоге?
-
Это все таки, как мне кажется, задача больше для БД наподобие Postgres, нет?
-
подскажите, пожалуйста, попытались перевести словари на DDL (server 21.11.8.4), отказывается работать без явного указания бд. как то можно глобально задать, чтобы не переписывать скрипты?
сейчас приходится писать SELECT dictGet('db_name.dict_name',...), а хочется как раньше SELECT dictGet('dict_name',...) -
обычно это default, но могут быть и другие схемы при подключении
-
словари хранятся в схеме dictionaries
-
в той же схеме да, но получается что через DDL добиться такого же поведения как раньше нельзя?
-
я надеялся что можно например указать параметр схемы для словарей по дефолту, чтобы если база не указана то идет искать туда
-
небольшая 8-12 значений
-
Сделайте константу с типом map, вместо джойнов или словарей
-
Прошу прощения, я неправильно понял слова Алексея. Эта таблица keyvalue в действительности представляет собой view, которая при обращении формирует пары key-value. Количество этих пар может быть как 0 так и тысячи, зависит от количества продуктов. Поэтому map не подходит.
Значений аргумента agg_time 8-12 штук. -
Ну тогда словарь сделайте, ключ то уникален хоть? Value Сагрегируйте если там многие к одному
-
привет, кто-нибудь делал SYSTEM DROP REPLICA 'replica_name' FROM DATABASE database; ?
https://clickhouse.com/docs/en/sql-reference/statements/system/#query_language-system-drop-replicaSYSTEM | ClickHouse DocumentationSYSTEM Statements The list of available SYSTEM statements: RELOAD EMBEDDED DICTIONARIES RELOAD DICTIONARIES RELOAD DICTI
-
у меня с первого раза не вышло, возможно есть какие-то условия, типа запуска с соседней реплики того же шарда?
-
со второго раза с соседней реплики получилось, хочу разобраться почему не получилось с первого раза
-
Коллеги, кто успешно переехал на CH поделитесь опытом. Мне нужно расходы из директа и конверсии из метрики соединить на одном дашборде. И что-то начал настраивать ClickHouse и что-то поник. Какая-то сложная схема выстраивается для передачи данных.
Может я что-то неверное делаю?
Прокомментируйте схему, пожалуйста -
💸ОБУЧАЮ ЗАРАБОТКУ ОТ 100К В МЕСЯЦ💸
🏆РАБОТАЕМ с Партнеркой Перфлюенс
🏆ОБУЧАЮ полностью работе на пп, все способы заработка
✅В наличии ВСЕ пруфы(выплат на пп, зачислений на карту)
💎МОЯ Помощь по всем вопросам💎
💰СТОИМОСТЬ 7500₽
❗ПУСТОСЛОВЫ, БЕЗ ДЕНЕГ НЕ ПИСАТЬ❗
📝 Связь: @Mantekaccc
🎩 Гарант: @scrooge_garantbot -
Я думаю, что почти все в этом чате получают > 100 R -
кто-нибудь знает чем можно заменить ClickHouseExternalData? Из старого jdbc-драйвера (ru.yandex.clickhouse.jdbc) в новом (com.clickhouse.jdbc)? почему-то удалили этот тип. -
Есть ли какая-то разница в производительности между использованием ExternalData и прямым запихиванием огромной строки в IN-предикат?
-
Никто не отменяет размер запроса + скорее всего ExternalData сжимается на клиенте -
Коллеги, подскажите:
SHOW CREATE TABLE mydb.mytable;
показывает запрос создания таблицы в одну строку, можно ли как-то вывести этот запрос в человеко-читаемом виде с отступами? -
проверил на 21.12 - выводит отформатированно. Какая версия КХ/клиента?
-
Версия клиента с сервером не различается случайно? Выглядит как будто клиент не поддерживает тип, который ему вернул сервер?
-
ой старая) 19.чего-то там…
-
Установка | Документация ClickHouse
Установка Системные требования ClickHouse может работать на любой операционной системе Linux, FreeBSD или Mac OS X с арх
-
Думаю это было одно из улучшений - выводить в отформатированном виде. Поэтому врядли чем-то можно помочь (можно посоветовать только использовать какой-нибудь DataGrip/DBeaver , etc. У них есть функция форматирования.
-
все не JDBC штуки переехали в java clickhouse-client
-
есть, иногда большая, зависит от размера external data
-
я вроде нашел что-то подобное, кажется то, что нужно?
try (ClickHouseConnection conn = newConnection(new Properties());
PreparedStatement stmt = conn.prepareStatement(
"SELECT bitmapContains(my_bitmap, toUInt32(1)) as v1, bitmapContains(my_bitmap, toUInt32(2)) as v2 from {tt 'ext_table'}")) {
stmt.setObject(1, ClickHouseExternalTable.builder().name("ext_table")
.columns("my_bitmap AggregateFunction(groupBitmap,UInt32)").format(ClickHouseFormat.RowBinary)
.content(new ByteArrayInputStream(ClickHouseBitmap.wrap(1, 3, 5).toBytes()))
.asTempTable()
.build());
ResultSet rs = stmt.executeQuery();
}
Извините за джаву тут) -
Видимо сейчас нужно создавать как темповую табличку явно, а не прозрачно, как раньше через ExtrernalData
-
Или лучше такие "не-стандартные-для-jdbc" запросы делать через ClickHouseClient в стиле:
ClickHouseNode server = getServer(ClickHouseProtocol.HTTP);
try (ClickHouseClient client = ClickHouseClient.newInstance();
ClickHouseResponse resp = client.connect(server).format(ClickHouseFormat.RowBinaryWithNamesAndTypes)
.query("select toString(number) as query_id from numbers(100) where query_id not in (select query_id from ext_table) limit 10")
.external(ClickHouseExternalTable.builder().name("ext_table")
.columns("query_id String, a_num Nullable(Int32)").format(ClickHouseFormat.CSV)
.content(new ByteArrayInputStream("\"1,2,3\",\\N\n2,333".getBytes())).build())
.execute().get()) {
for (ClickHouseRecord r : resp.records()) {
Assert.assertNotNull(r);
}
} -
Добрый день. Как обеспечиваете кросс-ДЦ репликацию данных в КХ, если между ДЦ имеют место быть ощутимые задержки? В первую очередь интересует зукипер, насколько я знаю, он очень не любит задержки между нодами -
какая задержка вообще в первую очередь имеет значение? между КХ и ZK или между нодами ZK ?
-
а если всё же вставка довольно иненсивная, есть ещё какие-нибудь типовые советы? Про весь ЗК в "пишущем" ДЦ понял.
-
А если дц с зукипером придёт пушистый зверёк?
-
там похоже баг сейчас в jdbc. Я завел issue
-
да, этот же вопрос вертится
-
read only станут таблицы
-
Как это всё восстанавливать, если он с концами ушёл? Просто новый кластер зукипера поднять, что-то мне подсказывает, не подойдёт
-
почему? просто потом SYSTEM restore replica
-
и можно иметь observer в далеком ДЦ
-
А вы хотите именно все данные реплецировать? Может рассмотреть варианты держать два кластера не зависимо со своим ZK и писать и читать локально сырые данные, а агрегированные через дистребьютед таблицы держать в двух копиях?
-
а вот это уже интересно. пасибо
-
observer надо будет промоутить после потери основного кластера, но я бы не стал даже обсервер делать,
SYSTEM restore replica -
то есть переключить запасной КХ на локальный чистый зукипер?
-
SYSTEM restore replica разворачивает реплику вспять?
-
Кстати, а как дела с этим у clickhouse keeper? Его вообще уже стоит в прод ставить?
-
да, создает всю инфу в голом зукипере
-
спасибо, весьма ценные советы.
-
clickhouse keeper ничем в этом плане не отличается от ЗК
-
Да, я тоже воспроизвел Ваш код из issue, думал небольшое исправление поможет, но нет. Больше всего меня удивляет, что это код из тестов самого репозитория clickhouse-jdbc, который по идее должен запускаться регулярно и проходить...
-
а Кликхаусная дока развалилась чтоли?
https://clickhouse.com/en/sql-reference/ -
What Is ClickHouse? | ClickHouse Docs
ClickHouse® is a column-oriented database management system (DBMS) for online analytical processing of queries (OLAP).
-
как будто переделали
-
в Сафари весь css развалился, да и свою ссылку я нашел с этой страницы
-
потеряли тёмную тему :(
-
там пробел надо убрать оказывается {tt 'table1' }
-
Ага, и нигде не описано, что tt - это особый плейсхолдер типа ? для парсера.
-
на русском доку тоже потеряли походу -
и поиск не работает
-
Поиск вроде норм
-
судя по нетворку перед тем как поиск заработает, он делает запрос на https://clickhouse.com/docs/lunr-index-1649086858170.json который мне отдавался 2 минуты
-
Уф
-
походу он это грузит и потом поиск локальный
-
over чта?
-
Денис, доброй ночи. Подскажите пожалуйста вы когда вычитываете kafka через CH сильно тюните от дефолтных настроек и кафку и CH если нагрузка на кафку примерно такая по трем основным топикам:
сообщений в минуту. Суть проблемы в том, что случается иногда ребалансировка топиков и в сообщениях CH вижу ворнинги что он не может приасайнится к партиции либо такой
Consumer group session timed out (in join-state steady) after 312742 ms without a successful response from the group coordinator (broker 2, last error was Broker: Unknown member): revoking assignment and rejoining group -
select x, number, row_number() over ( partition by x ) from (select number%3 x, number from numbers(10));
┌─x─┬─number─┬─row_number() OVER (PARTITION BY x)─┐
│ 0 │ 0 │ 1 │
│ 0 │ 3 │ 2 │
│ 0 │ 6 │ 3 │
│ 0 │ 9 │ 4 │
│ 1 │ 1 │ 1 │
│ 1 │ 4 │ 2 │
│ 1 │ 7 │ 3 │
│ 2 │ 2 │ 1 │
│ 2 │ 5 │ 2 │
│ 2 │ 8 │ 3 │
└───┴────────┴────────────────────────────────────┘ -
select x, number, row_number() over ( partition by x order by number) from (select number%3 x, number from numbers(10)) order by x, number desc;
┌─x─┬─number─┬─row_number() OVER (PARTITION BY x ORDER BY number ASC)─┐
│ 0 │ 9 │ 4 │
│ 0 │ 6 │ 3 │
│ 0 │ 3 │ 2 │
│ 0 │ 0 │ 1 │
│ 1 │ 7 │ 3 │
│ 1 │ 4 │ 2 │
│ 1 │ 1 │ 1 │
│ 2 │ 8 │ 3 │
│ 2 │ 5 │ 2 │
│ 2 │ 2 │ 1 │
└───┴────────┴────────────────────────────────────────────────────────┘ -
зависит от жирности сообщений, сообщения бывают 3 поля, а бывают 600 полей.
у вас либо летенси до брокера, либо брокеры тормозят. -
Ну да вот не понятно, может сетка в ДЦ полагала, и сейчас отпустило
-
- 05 April 2022 (205 messages)
-
А что с русской документацией на офф сайте, кто-нибудь в курсе?
-
Вчера всё сломали
-
А починят?
-
Я думаю, это переход на новый дизайн документации, и кажись будет только английский язык
-
Поиск по слову "русский" не выдает ничего, по "russian" - аж 5 вхождений, одно из них - "chilled 100° Russian vodka". Поиск пока там не шибко работает.
-
Обзор | Документация ClickHouse
Что такое ClickHouse ClickHouse - столбцовая система управления базами данных (СУБД) для онлайн обработки аналитических
-
Подождем.
-
Но переключателя уже нет.
-
Впрочем, у меня en_US раньше ru_RU запрашивается, я не сильно много потерял 😂
-
Да, кстати, у меня где-то валяется в виде pdf.
-
С какой скоростью фичи добавляются, документировать некогда :)
-
Общий синтаксис - Документация ClickHouse
https://test.clickhouse.tech/docs/ru/query_language/syntax/ -
Тут осталось что-то)
-
У меня свалилось с ошибкой, но может это я криворук, ещё смотрю
-
Как я знаю, clickhouse по умолчанию читает и пишит в 8 потоков.
-
Ребята, подскажите по условиям в JSON_QUERY? Есть вообще такая функциональность у этой функции? -
Всем привет! В логах есть повторяющая ошибка вида
<Error> db.table.DirectoryMonitor .. DB::Exception: Column date is not under aggregate function and not in GROUP BY
Но запросы в приложении не падают, как на вставку, так и на чтение. Есть мат вью, но они также отрабатывают и туда пишутся данные. Да и блин полный запрос не отображается в логах.
Хочу спросить, может ли быть так, что КХ (версия 22.1.3.7) в логах крутит какие-то старые ошибки постоянно, или это исключено? Или может есть советы, куда можно также посмотреть? -
Да пока даже запросов не уходит в кластер, а ошибка эта постоянно появляется. В query_log посмотрю, спс
-
initial_query_start_time: 2022-01-31 10:24:07
initial_query_start_time_microseconds: 2022-01-31 10:24:07.613998
вот что в логах. Все таки получается запрос был очень давно инициирован и КХ его сам переотправляет? Такое может как-то регулируется в настройках? -
Я не нашёл в гугле, чтобы JSON_QUERY имеел такую возможность в SQL, но нашёл что он умеет так делать в JS. Скорей всего вы не туда смотрите.
-
SELECT * FROM system.settings
WHERE name like '%max_threads%' -
Понял, спасибо
-
INSERT там, то есть на мат вью ругался. Но суть в том, что это было раньше, 3 месяца назад и сейчас это не актуально, а вот в логи срет. Что-то с этим можно сделать?
-
в том и вопрос, что это уже не воспроизвоится, но в логах ошибки есть и постоянно появляются. initial_query_start_time как раз и говорит о том, что ошибка была еще 3 месяца назад
-
Вопрос как КХ хранит данные одинаковые данные в партах.
У него же есть оптимизация, что дублирующиеся значения хранятся как одно (100 одинаковы строк будут весить как одна)
Это работает с value-type по типу int8, int16, int32?
Делаю две таблицы Marker1 и Marker2.
Что выгоднее две таблы или одну но партом по MarkerId будет одно то же по месту на диске?
или в одной таблице они будут чуть экономнее храниться? -
Но дока говорит обратное:
https://clickhouse.com/docs/en/engines/table-engines/mergetree-family/replication -
<Information> TablesLoader: 39.86013986013986%
это неизбежная норма, что на 3 ТБ КХ стартует очень долго? -
Долго это сколько?
Вообще вам такое может помочь
https://github.com/ClickHouse/ClickHouse/pull/32928Speed up parts loading process of MergeTree by metadata cache by taiyang-li · Pull Request #32928 · ClickHouse/ClickHouseChangelog category (leave one): Performance Improvement Changelog entry (a user-readable short description of the changes that goes to CHANGELOG.md): Speed up parts loading process of MergeTree t...
-
до 10 мин
-
Многовато, у вас медленные диски?
-
ага
-
SATA WD 14 TB, 7200 оборотов. Медленные, но неужели настолько?
-
Кликхаус трогает все файлы партов при загрузке, что бы метадату подтянуть, так что вполне
-
поглядел. я не очень смыслю в цикле разработке. Этот коммит уже приняли в мастер, как я понял? То есть будет в одном из следующих релизов?
-
Да, в 22.4 думаю
-
Всем привет. Документация не раскрывает ответы на вопросы, мб кто-то сможет подсказать:
Вопросы про команду ALTER ... MOVE PARTITION TO TABLE
1. Правда ли, что она работает на уровне метаданных и не может привести к копированию данных?
2. Правда ли, что она применяется на всем кластере? Нужно ли по аналогии с DETACH PARTITION применять ее обязательно на leader replica или можно на любой?
3. Правда ли, что если я указываю партицию по ID и у нескольких партиций в system.parts одинаковое значение partition_id - перенесутся только активные? -
Также есть вопрос про движки: если планируется один раз залить данные в таблицу, дедуплицировать их и использовать без последующего долива - есть ли смысл использовать ReplacingMergeTree? Или в таком сценарии разницы (например по скорости заливки) с обычным MergeTree + OPTIMIZE ... FINAL DEDUPLICATE BY.. по окончанию заливки не будет? Дубликатов на входе - не более 10%.
-
Если вдруг кому то надо - сделал докерфайл для сборки документации на русском
FROM ubuntu:latest as base
ARG DEBIAN_FRONTEND=noninteractive
RUN apt-get update && apt-get install -y git npm pip
RUN TZ=Etc/UTC apt-get -y install tzdata
RUN npm install -g purify-css amphtml-validator
RUN git clone --branch 22.3 https://github.com/ClickHouse/ClickHouse.git
WORKDIR /ClickHouse/docs/tools
RUN sed -i s/^pymdown-extensions==.*/pymdown-extensions==9.0/ requirements.txt
RUN sed -i s/^MarkupSafe==.*/MarkupSafe==2.0/ requirements.txt
RUN sed -i s/^mkdocs==.*/mkdocs==1.2.4/ requirements.txt
RUN echo "mkdocs-material==8.2.6" >> requirements.txt
RUN pip install -r requirements.txt
RUN ./build.py --lang=ru,en --skip-amp --skip-single-page --output-dir=/docs
FROM nginx:latest
COPY --from=base /docs/ /usr/share/nginx/html/ -
Подскажите, пожалуйста, можно ли импортировать в format_schema_path через клиент clickhouse? А не через физическое создание файлов? -
Осталось заргрузить это в https://pastila.nl/
-
А локализацию доков-то на сайте зачем убрали? Балин. Мешала?
-
может санкции, может ошибка.
-
Спасибо.
Насчет 3. Создаю ReplacingMergeTree без явного ключа партиционирования, делаю 2 вставки. Получаю два активных парта с partition_id=all у обоих. Если выполнить optimize - эти два станут неактивными, появится третий активный c id=all -
это ожидаемое поведение, id=all это не id это префикс партиции в названии каталога парта, если PARTITION BY нет, то он просто all по умолчанию и как выше заметили перенесутся все парты в партишене, партишен у вас один
-
лучше AS any_B
и что то не помню откуда взялась функция any
вроде была только anyLast
SELECT * FROM system.functions
посмотрите? -
Добрый день! Подскажите пожалуйста, есть кластер на 21.3.12 хочу обновить до 22.3-lts, какие могут возникнуть проблемы, обновлять хочу без отключения кластера по 1 ноде в каждом шарде, zookeeper планирую оставить? -
Всем привет... Столкнулся с проблемой. не пойму в чем дело...
Добавляю колонку:
ALTER TABLE test.user_counter ADD COLUMN `n` UInt64 DEFAULT (row_number() OVER (PARTITION BY uid ORDER BY d ASC)) AFTER oid
При этом возникает ошибка:
Code: 47. DB::Exception: Unknown identifier: row_number() OVER (PARTITION BY uid ORDER BY d ASC); there are columns: uid, d: While processing _CAST(row_number() OVER (PARTITION BY uid ORDER BY d ASC) AS n_tmp_alter2331953492248545715, 'UInt64') AS n: default expression and column type are incompatible. (UNKNOWN_IDENTIFIER)
В чем может быть дело? -
а как это вообще должно работать? на каждую вставку должна пересчитываться вся таблица?
-
ну было бы здорово)
-
у меня у одного документация на русском не открывается, 404 выдает?
-
И до Кликхауса добрались
-
Ждём clickhouse+ -
Удалили :)
-
закенселили, получается(
-
внезапно) -
Утром писали -
Новый движок
-
Языки пропали
-
Добавят потом
-
А так пусть что угодно делают, чтобы кх жил)
-
а окей
-
ну молодцы, что смогли вывезти команду. Вполне ожидаемо)
-
Всем привет!
Есть табличка ReplicatedReplacingMergeTree которая содержит примерно 100 лярдов событий.
События могут обновляться в течении 2х последних месяцев.
Для исключения дубликатов мы используем запросы с агрегацией и функцией argMax().
Если не использовать argMax() то запросы отрабатывают примерно в 5 раз быстрее, но содержат не верный результат из-за дублей.
Собственно вопрос, можно как-то оптимизировать запросы, убрать дубли и функцию argMax? ) -
можно пример?)
-
LIMIT 1 BY <поля в ORDER BY>
-
-
Спасибо! Покурю этот вариант
-
посмотрите в ссылке, там примеры со всеми вариантами финализации
мое личное наблюдение limit 1 by быстрее всех отрабатывает -
Это довольно неожиданно (для меня), но может у вас данные такие особенные :)
-
наверное, я для конкретного примера тестил, там превосходство было не очень большое
-
Да, уже смотрю. Спасибо за наводку!
-
пожалуйста
-
на самом деле да, там ORDER BY бахнуть для 100% гарантий надо
-
Понял, спасибо!
-
Приветствую, а кто сможет пояснить, почему тут есть деб пакетики с последним v22.3.2.2-lts
https://github.com/ClickHouse/ClickHouse/releases
а тут нет
https://repo.yandex.ru/clickhouse/deb/stable/main/Releases · ClickHouse/ClickHouseClickHouse® is a free analytics DBMS for big data. Contribute to ClickHouse/ClickHouse development by creating an account on GitHub.
-
репозиторий переехал:
deb https://packages.clickhouse.com/deb stable main -
оу. спасиб
-
DirectoryMonitor это монитор Distributed db.table таблицы, там завис инсерт который не может протолкнутся в шард.
ошибка странная, скорее всего в mat view причина
можно просто удалить этот инсерт (файл.bin) -
как узнать какой объем данных получен при выполнении запроса ? туплю чет -
а, вот оно что, застряло там, это похоже на правду, можно просто удалить файлик получается?
/data/clickhouse/store/cc7/cc704f24-3ca1-4d39-a1d4-aa867605bc37/shard2_all_replicas/1.bin
не поломается ж продакшн? :) Это вот в логе такое:
: While sending /data/clickhouse/store/cc7/cc704f24-3ca1-4d39-a1d4-aa867605bc37/shard2_all_replicas/1.bin. (NOT_AN_AGGREGATE), Stack trace (when copying this message, always include the lines below): -
просто удалить, ничего не сломается
-
Спасибо большое!
-
Прошу прощения, а документация на русском не пропала?
upd.: разобрался, жду восстановления -
можно очень широко трактовать термин получен. Получен из S3? Из шардов? Из диска? Из финальной группировки?
смотрите в profile events в system.processes или в query_log -
а где ключик gpg для него взять подскажите ?
-
ClickHouse - Fast Open-Source OLAP DBMS
ClickHouse is a fast open-source column-oriented database management system that allows generating analytical data reports in real-time using SQL queries
-
Installation | ClickHouse Documentation
Installation System Requirements ClickHouse can run on any Linux, FreeBSD, or Mac OS X with x86_64, AArch64, or PowerPC6
-
это старое
-
Кхм, в старой версии было новое на русском,а в новой всё плохо
-
вот здесь норм. спасибо.. как-то бы выравнять все эти туториалы
-
Кто бы вернул нормальную доку 🤔
-
Есть кластер из двух шардов по 2 реплики, базы - атомик. Настроили сегодня выгрузку кучи данных из кафки средствами KafkaEngine + MV в Distributed таблицы.
И тут заметил, что в какой-то момент на двух серверах одного шарда уверенно стала расти метрика DistributedFilesToInsert (уже под 5000), хотя на втором - по нулям.
В доке про метрику написано: shows the total number of files in filesystem that are selected to send to remote servers by Distributed tables.
Где-то криво настроены распределённые таблицы? Что это может быть? Куда смотреть? -
system.distribution_queue
-
Table is in readonly mode на одном из серверов второго кластера (где очереди нет)
-
select FQDN() h, count() from clusterAllReplicas('', system.replicas) where is_readonly group by h
-
Пусто (имя кластера подставил). На всякий случай проверил system.replicas локально на каждом сервере - нигде нет ничего в ридонли.
-
Всем привет, копаюсь в доке и не понимаю вот этого примера, кто нибудь может объяснить почему так?
arrayReduce('maxIf', [3, 5], [1, 0]) == 3
почему?
https://clickhouse.com/docs/en/sql-reference/functions/array-functions#arrayreduceArrays | ClickHouse DocumentationArray Functions empty Checks whether the input array is empty. Syntax empty([x]) An array is considered empty if it does
-
условием If из maxIf выступает второй массив [1,0] в котором удовлетворяющим условию является 1, которая находится на позиции 1, а позиции 1 из целевого массива [3,5] будет 3, а max(3) = 3
-
сравните результат выполнения с arrayReduce('maxIf', [3, 5], [1, 1]) мб станет полегче)
-
здесь будет 5, так ведь?
-
да
-
т.к. будет поиск max уже между обоими элементами 3 и 5
-
а в arrayReduce('maxIf', [3, 5, 4], [1, 0, 1]) результат соответственно 4
-
понял, спасибо большое!
-
ver 21.11.4.14
;
--таблица источник для мат. вью - компании
CREATE OR REPLACE TABLE Test.Company
(
concern String,
branch Int32,
company String,
inn String
)
ENGINE = MergeTree
ORDER BY (concern, branch)
;
--таблица, аггрегирующая данные компаний по концернам и веткам во вложенную структуру
CREATE OR REPLACE TABLE Test.Concern
(
concern String,
branch Int32,
company SimpleAggregateFunction(groupArrayArray, Array(String)),
inn SimpleAggregateFunction(groupArrayArray, Array(String))
)
ENGINE = AggregatingMergeTree
ORDER BY (concern, branch)
;
INSERT INTO Test.Company (concern, branch, company, inn)
VALUES('concern1', 1, 'company1', '1234')
;
INSERT INTO Test.Company (concern, branch, company, inn)
VALUES('concern1', 1, 'company2', '2345')
;
--при прямой вставке данных в аггрегирующую таблицу Test.Company из Test.Company массивы заполняются, как надо
INSERT INTO Test.Concern (concern, branch, company, inn)
SELECT concern, branch, array(company), array(inn)
FROM Test.Company
;
concern branch company inn
concern1 1 ['company1','company2'] ['1234','2345']
;
SELECT concern, branch, company, inn FROM Test.Company
;
SELECT concern, branch, company, inn FROM Test.Concern
;
SELECT concern, branch, company, inn, inn_dif FROM Test.Concern ARRAY JOIN inn as inn_dif
;
DROP TABLE Test.mv_Concern
;
------ИСПОЛЬЗОВАНИЕ МАТ. ВЬЮ
--мат. вью вариант 1
CREATE MATERIALIZED VIEW Test.mv_Concern TO Test.Concern
AS
SELECT concern, branch, array(company), array(inn)
FROM Test.Company
;
--мат. вью вариант 2
CREATE MATERIALIZED VIEW Test.mv_Concern TO Test.Concern
AS
SELECT concern, branch, groupArray(company), groupArray(inn)
FROM Test.Company
GROUP BY concern, branch
;
-- при вставке данных в таблицу - источник для мат. вью Test.Company, массивы в Test.Concern пустые
concern branch company inn
concern1 1 [] []
concern1 1 [] [] -
в общем, с мат.вью, почему-то не получилось, в коде выше все описано
-
Я бы сказал, что это ожидаемое поведение. И почему это не выходит на первом слайде https://www.youtube.com/watch?v=1LVJ_WcLgF8&list=PLO3lfQbpDVI-hyw4MyqxEk3rDHw95SzxJ&t=7597s
-
Нет, вроде как само исчезло
-
Коллеги, а кто знает как зашейпить и ограничить скорость у kafka engine? Чтобы не весь vpn туннель ел -
я понимаю, что вставляются в указанную в мат.вью не из таблицы источника, а вставляется блок и в целевую таблицу и в мат. вью, но он же содержит нужные данные, но я, все равно не поняла, почему он эти данные не может превратить в массив, можно для идиотов на пальцах? о_О
и, есть ли, все-таки, вариант накапливать данные во вложенных структурах внутри Clickhouse, без работы внешних сервисов? -
Ещё раз посмотрите видео, вы не поняли. Каждая вставка разбивается на несколько десятков потоков, и каждый поток отдельно обрабатывает MV
-
Честно, я не знаю как это решить в Clickhouse, но у Denny гораздо больше опыта и возможно он предложит решение
-
а где вы нашли Table is in readonly mode тогда ? покажите
-
я идиота кусок, дело в алиасах в запросе в мат. вью, вопрос снимается, но если есть предложения сделать это лучше, буду рада!
-
дело в алиасах было
-
лучше не сделать.
вариант мат вью без групбай вставляет больше строк, но optimize_on_insert включен по дефолту поэтому это не важно, AggregatingMergeTree само сделает групбай в момент инсерта.
вариант мат вью с групбай вставляет меньше строк, но ест больше памяти.
наверное надо тестировать какой вариант быстрее -
понял, я просто еще думала, может с Nested удасться это провернуть, чтобы потом в select делать array join с одним полем - вложенная структура, а не с каждым, которое просто массив
-
в любом случае, спасибо, буду тестировать оба варианта мат.вью
-
У кого-то была проблема, что на больших объемах строки на вставку клик теряет строки?
-
то есть вставил X строк, сохранилось Y, при этом X > Y и проблем с дубликатами нет
-
В таблицу с каким движком вставляете? Какой клиент? Завершается ли вставка успехом?
-
Я сделал
select FQDN(), * from clusterAllReplicas('fdp-cluster', system.distribution_queue) t where t.data_files > 0;
И увидел две ноды из второго шарда, у которых для распределённой таблицы Events data_files под 7000 и в поле last_exception написано:
Code: 242. DB::Exception: Received from chi-clickhouse-replicated-0-0:9000. DB::Exception: Table is in readonly mode (zookeeper path: /clickhouse/tables/fdp/Events_local/shard1).
Значения в data_files медленно растут, в system.replicas с признаком is_readonly=1 по-прежнему ничего нет.
В какой-то момент мониторинг показал событие init ZK, после чего график по метрике DistributedFilesToInsert пошёл вниз, но вскоре снова начал расти. -
Добрый день, при подключении к кликхаусу питоном 3.8. выдает ошибку NetworkError: Code: 210. [SSL: WRONG_VERSION_NUMBER] wrong version number (_ssl.c:1131) (10.52.119.36:8123)
Библиотеки подключила вот такие
from clickhouse_driver import Client, connection
import clickhouse_driver
import clickhouse_sqlalchemy
Надо еще такие подключить или не из-за этого?
import socket, ssl, time, select
from OpenSSL import SSL
? -
Failed to connect to xx.xx.xx.xx:8123
Traceback (most recent call last):
File "/home/idi/jupyter/environment/lib/python3.8/site-packages/clickhouse_driver/connection.py", line 325, in connect
return self._init_connection(host, port)
File "/home/idi/jupyter/environment/lib/python3.8/site-packages/clickhouse_driver/connection.py", line 289, in _init_connection
self.socket = self._create_socket(host, port)
File "/home/idi/jupyter/environment/lib/python3.8/site-packages/clickhouse_driver/connection.py", line 261, in _create_socket
raise err
File "/home/idi/jupyter/environment/lib/python3.8/site-packages/clickhouse_driver/connection.py", line 252, in _create_socket
sock.connect(sa)
File "/usr/lib/python3.8/ssl.py", line 1342, in connect
self._real_connect(addr, False)
File "/usr/lib/python3.8/ssl.py", line 1333, in _real_connect
self.do_handshake()
File "/usr/lib/python3.8/ssl.py", line 1309, in do_handshake
self._sslobj.do_handshake()
ssl.SSLError: [SSL: WRONG_VERSION_NUMBER] wrong version number (_ssl.c:1131)
---------------------------------------------------------------------------
NetworkError Traceback (most recent call last)
/tmp/ipykernel_2239789/373079967.py in <module>
10 print("не получилось")
11
---> 12 result1 = client.execute("SELECT * from d_division")
/home/idi/jupyter/environment/lib/python3.8/site-packages/clickhouse_driver/client.py in execute(self, query, params, with_column_types, external_tables, query_id, settings, types_check, columnar)
282 start_time = time()
283
--> 284 with self.disconnect_on_error(query, settings):
285 # INSERT queries can use list/tuple/generator of list/tuples/dicts.
286 # For SELECT parameters can be passed in only in dict right now.
/usr/lib/python3.8/contextlib.py in __enter__(self)
111 del self.args, self.kwds, self.func
112 try:
--> 113 return next(self.gen)
114 except StopIteration:
115 raise RuntimeError("generator didn't yield") from None
/home/idi/jupyter/environment/lib/python3.8/site-packages/clickhouse_driver/client.py in disconnect_on_error(self, query, settings)
225
226 try:
--> 227 self.connection.force_connect()
228 self.last_query = QueryInfo()
229
/home/idi/jupyter/environment/lib/python3.8/site-packages/clickhouse_driver/connection.py in force_connect(self)
217
218 if not self.connected:
--> 219 self.connect()
220
221 elif not self.ping():
/home/idi/jupyter/environment/lib/python3.8/site-packages/clickhouse_driver/connection.py in connect(self)
344
345 if err is not None:
--> 346 raise err
347
348 def reset_state(self):
NetworkError: Code: 210. [SSL: WRONG_VERSION_NUMBER] wrong version number (_ssl.c:1131) (10.52.119.36:8123) -
еще вопрос
можно ли создать таблицу, у которой первичный ключ содержит больше колонок, чем order by? -
например, primary key brand, supplier, article, size
order by article, date -
а что делать, если нужно задать уникальность для большего количества колонок, чем в order by?
-
только расширять order by?
-
Первичный ключ не гарантирует уникальность
-
Замена в replacingmergetree идёт по order by, а не первичному ключу
-
да, просто у меня есть колонка товар и колонка размер
если добавить размеры товару, то при текущем ключе order by размеры дедублицируются -
заменяются
-
то есть вставил 5 строк, осталась одна)
-
а при добавлении размера в order by скорость запросов сильно проседает
-
чтож вы все никак не хотите понять про синтаксический сахар.
Там же просто колонки в таблице надо с точкой назвать типа A.a, A.b это тоже самое что и A Nested (a .., b..) -
в логе КХ того который chi-clickhouse-replicated-0-0 надо смотреть
-
первое: 8123 это HTTP не секурный
второе: clickhouse_driver работает через TCP
третье: TCP бывает секурный и нет.
четвертое: когда подключаетесь надо указывать в свойствах коннекта secure=1 -
Спасибо большое!
-
что? как это?
типа запрос с final? -
у меня таблица с названиями с точкой f.concern, f.branch не создается - ошибка
-
мне из канады не видно ошибку, очень далеко.
подозреваю что вы не указываете кавычки вокруг имен, либо двойные ", либо бэктики `
типа
`A.a` Int64,
`A.b` String -
CREATE OR REPLACE TABLE Test.Concern
(
concern String,
branch Int32,
f.company SimpleAggregateFunction(groupArrayArray, Array(String)),
f.inn SimpleAggregateFunction(groupArrayArray, Array(String))
)
ENGINE = AggregatingMergeTree
ORDER BY (concern, branch)
Code: 62. DB::Exception: Syntax error: failed at position 237 ('.') (line 6, col 3): .company SimpleAggregateFunction(groupArrayArray, Array(String)),
f.inn SimpleAggregateFunction(groupArrayArray, Array(String))
)
ENGINE = AggregatingMer. Expected one of: nested table, ALIAS, identifier, DEFAULT, data type, MATERIALIZED. (SYNTAX_ERROR) (version 21.11.4.14 (official build)) -
все, через "" получилось, и работает, спасибо!
- 06 April 2022 (204 messages)
-
типа починили? -
ну редиректа теперь нет =))))
-
а главная страница ещё жоще
-
блин у уменя собралось лучше через докер =) даже сайт работает
может вамшему девопсу помощь нужна?
https://t.me/clickhouse_ru/264447Aleksey Barabanov in ClickHouse не тормозитЕсли вдруг кому то надо - сделал докерфайл для сборки документации на русском FROM ubuntu:latest as base ARG DEBIAN_FRONTEND=noninteractive RUN apt-get update && apt-get install -y git npm pip RUN TZ=Etc/UTC apt-get -y install tzdata RUN npm install -g purify-css amphtml-validator RUN git clone --branch 22.3 https://github.com/ClickHouse/ClickHouse.git WORKDIR /ClickHouse/docs/tools RUN sed -i s/^pymdown-extensions==.*/pymdown-extensions==9.0/ requirements.txt RUN sed -i s/^MarkupSafe==.*/MarkupSafe==2.0/ requirements.txt RUN sed -i s/^mkdocs==.*/mkdocs==1.2.4/ requirements.txt RUN echo "mkdocs-material==8.2.6" >> requirements.txt RUN pip install -r requirements.txt RUN ./build.py --lang=ru,en --skip-amp --skip-single-page --output-dir=/docs FROM nginx:latest COPY --from=base /docs/ /usr/share/nginx/html/
-
а как под винду в докере это собрать? создаёшь пустой докер и вводишь эти команды?
-
да там всё само собирается, просто в репе неактуальные зависимости, ощущение что собирают не из репы билдом а гдето на ноуте чьемто
-
это докерфайл) создайте файл Dockerfile с таким содержимым, затем в этой папке запустите
docker build . -t clickdoc
после сборки (у меня гдето пара минут) запустите контейнер
docker run -d -p 9999:80 clickdoc:latest
ну и через браузер заходите на http://localhost:9999
на винде не проверял, но проблем не вижу -
Чёт вспомнил это сообщение из канала Алексея)
-
3.3. Исправить идиотский поиск по документации.
Не делает Иван Б., и есть подозрения, что он не в состоянии выполнить эту задачу. Сам сайт документации основан на треш-технологиях, которые трудно исправить. -
Видимо, технологии прям действительно полный треш
-
там сайт в самом деле целиком собирается вместе с документацией, с блогом. технологии конечно не свежие, но рабочие если использовать докервей
-
зпасисбо, вот этого в инструкции и не хватало, про билд )))
-
только непонятно, почему так называется докер. вроде в тексте докерфайла нет ничего подобного. откуда подтянулось?
-
Докер сам сгенерил, это нормально -
ʿIlm Аль-Kalām, обычно укорачивается до Kalām , а иногда называемого "Исламского схоластической теологии" или "спекулятивной теологии", является изучение исламской доктрины
-
чо, докер-исламист?
-
аллах акбар =)
-
ммм, исламская доктрина, звучит как какая-то этническая ORM
-
Если из бесплатных - bookstack ничего так
-
Она удалит нечестивые файлы с твоего компьютера -
Думается мне, что с naughty_kalam все наоборот) -
халал девопс -
-
да как то так
-
если заходить непосредственно с корня... при открытии напрямую страниц дальше навигация ок
-
https://clickhouse.com/docs/en/
в сафари вот так -
https://clickhouse.com/docs/ru/ Ру топчик :)Обзор | Документация ClickHouse
Что такое ClickHouse ClickHouse - столбцовая система управления базами данных (СУБД) для онлайн обработки аналитических
-
отрисовка разная, с русского IP - ломается вёрстка, с немецкого - всё нормально
-
-
-
-
таки да. ctrl+shift+R вылечил
-
доброго утра. Делаю по вашей рекомендации и возник вопрос: а если мне не важен дифф последних N минут данных, можно обойтись без остановки живого КХ? Или данные, по которым долго делается рсинк с живого будут в неконсистентном состоянии и доливка после остановки обязательна?
-
коллеги, подскажите плз, если мы используем bloom_filter индексы, мы не можем в CH их делать составнми? по нескольким полям? просто есть ряд запросов по полям с нихкой кардинальностью данных, которые не добавлены в ключ сортировки
-
диверсанты?
-
Привет!
Можете скинуть какой-нибудь онлайн-компилятор для ClickHouse, чтобы тестить функционал
Не смог в сети найти -
-
Не понимаю, откуда здесь авторизация, нет без паролей ничего?
-
По дефолту не правильный пользователь, стоит. Я исправил ссылку
-
Спасибо!
-
Спасибо!
-
Всем привет, ловлю странный баг, движок RabbitMQ, при чтении не читает последний символ, у меня там обычно скобочка ] или } и вот её пропускает... кто тосталкивался с этим?
Код создания таблицы
create table rabbitmq
(
json String
)
engine = RabbitMQ SETTINGS rabbitmq_host_port = 'rabbitmq:5672', rabbitmq_exchange_name = 'clickhouse', rabbitmq_queue_base = 'stream', rabbitmq_format = 'LineAsString', rabbitmq_num_consumers = 1, rabbitmq_exchange_type = 'fanout'; -
спасибо
-
можно ли в arrayMap как-то работать с индексами элементов?
-
если их туда передать
-
arrayEnumerate(поле)
-
а как передать?
-
как и любой другой массив
-
понял
-
arrayMap может работать с двумя массивами одновременно
-
Через запятую их передавать
-
понял
-
Я бы выбрал Uint8
-
почему не enum? -
доливка обязательна
-
принял. спасибо
-
будет
-
возможно ли как-то такую структуру привести к виду
строка = article, sizeOrigName, data, inderDaysOrder, dayOrder? -
ARRAY JOIN ?
-
а как сделать arrayjoin для тупла?
-
Вы можете взять только один элемент из tuple. Например так array.1
-
Все равно е получается client = Client('xx.xx.xx.xx', user='dev', password='1', secure=1, verify=True, database='dwh_dev', port='9000')
ругается, что не та версия ssl NetworkError: Code: 210. [SSL: WRONG_VERSION_NUMBER] wrong version number (_ssl.c:1131) (xx.xx.xxx.xx:9000) -
Всем доброго дня. Подскажите, у меня сомнения. Пишем данные в ch через спарк, в 4 потока в таблицу. Данных много. Насколько это скажется на производительности ch? Сдается мне, писать в параллель - не верное решение. -
не нужно указывать порт, если он не менялся в настройках сервера. драйвер сам знает нужный. вы же говорите ему идти на обычный 9000, который без шифрования, с шифрованием -
Добрый вечер
Не подскажете как можно группировать данные по изменениям в Speed поле?
Т.е. должно получиться 4 куска (1-2, 3-5, 6-8, 9-10) -
Ура, заработало!!!!🥰
-
Желательно)
Вообще цель - получать периоды в которые машина двигалась, а в какие нет (соответствеено время начала и конца движения) -
Много
-
Хреново
А на джойнах это примерно как выглядеть может? -
Спасибо, подумаю
Может через оконные функции ещё чё получится -
КМК в skip индексах все поля отдельно кодируются. Т.е. фактически skip индекс по двум полям равен двум скип индексам. Но есть ньюанс https://github.com/ClickHouse/ClickHouse/issues/8168#issuecomment-574385187
-
верное если у вас достаточно CPU
-
на stack overflow множество примеров в разделе КХ, искать по gaps and islands
-
Спасибо
-
на самом деле это надо делать до заливки в КХ.
КХ это MPP у вас задача не решается в параллель, надо последовательно строки обрабатывать -
через 5 минут отваливается? или все время разный таймаут?
-
Там прикол в том что телематика вразнобой приходит
Тут или из бд на уровне запроса это делать, или при обработке постоянно ходить в бд и смотреть нужно ли границы периода раздвигать -
ну а зачем вам заливать половину данных в КХ?
ну задержите заливку на час в ETL -
Данные могут приходить вразнобой вплоть до недели (тут не предскажешь)
-
ну если часть данных задержалась на неделю как вы доверяете резултатам запросов? Они же по части данных работают?
-
На неделю - редко, разве что если машина в гараже стояла.
В основном в течении дня всё прилетает. -
в общем быстрее всего работает вариант с arraysplit
https://stackoverflow.com/search?q=%5Bclickhouse%5DarraysplitHuman verificationStack Overflow | The World’s Largest Online Community for Developers
-
groupArray положить все массив, arrayDifference найти границы переходов состояний, arraysplit порезать по границам
-
При попытке удалить индекс запрос зависает, с чем это может быть связано?
alter table my_table drop index my_idx;
Создавал так
alter table my_table add index my_idx(text) type ngrambf_v1(2, 1024, 2, 0) GRANULARITY 8192; -
таблица replicated ?
возможно merge идет и блокирует
select * from system.merges -
Добрый день, после удаления все равно вот такие ошибки есть в логах "<Error> executeQuery: Code: 215. DB::Exception: Column date is not under aggregate function and not in GROUP BY:", правда ошибки про файлик .bin пропали, может стоит еще бутнуть ноды или еще откуда-то вычистить старые данные, которые не могут протолкнуться?
В логах c "initial_query_start_time=today() AND type='ExceptionBeforeStart'" пусто, хотя в clickhouse-server.err.log продолжается то, что выше :( -
а полностью ошибку, целиком со стеком покажите
-
всем привет! а есть ли возможность в ClickHouse создавать вьюху с CTE внутри? У меня при создании такой вьюхи ошибку пишет Table default.web_stat doesn't exist -
Подкажите пожалуйста.
Почему
SELECT toDateTime('0') падает с ошибкой парсинга
SELECT toDateTime(0) не падает? -
Во втором выходит 1970-01-01 ?
-
да
-
Всем привет, есть такой вопрос с кликом:
Ессли выбираю с вьюхи все поля (select * from table) то показывает все, если выбираю поля атрибут | метрика (0) то нифига не показывает -
Тогда при получение int считает, что это время в unix timestamp
-
Не replicated, MergeTree
-
SELECT toDateTime('10000') вот так не падает и тоже считает что unix timestamp
-
Мб встречался кто с таким мракобесием?
-
при чем SELECT toDateTime('9999') упадет. А 5 символов уже работает. Но суть понятна, буду кастовать к int'у
-
Ну кстати, возможно за 4 символа считает, как год, а дальше понимает, что unix
-
тоже так подумал, но SELECT toDateTime('2001') не работает
-
потому что ожидается строка в формате yyyy-mm-dd hh:mi:ss
-
да, был такой баг. Во вьюхе у вас есть union/ distinct ?
-
так и есть
-
так и не должно. На самом деле, вы делаете какую фигню, если надо чтобы КХ при SELECT func('2001') делал 2001-01-01 00:00:00 то есть такая функция parseDateTimeBestEffort
-
SELECT parseDateTimeBestEffort('2001')
─parseDateTimeBestEffort('2001')─┐
│ 2001-01-01 00:00:00 │
└─────────────────────────────────┘ -
это я экспериментировал, что бы понять как работает функция. Но вопрос решил явным кастом к UInt'у
Спасибо за ответы -
Вот create table точно работает, а create view чет не хочет)
-
Всем привет, кто ставил ODBC для ClickHouse чтобы к PostgreSQL коннектится. На одном сервере поставил все как описано в доке, вроде работает, на другом выдает ошибку что файла нет.
Code: 86. DB::Exception: Received error from remote server /schema_allowed?connection_string=DSN%3Dhprofits_prod. HTTP status code: 500 Internal Server Error, body: Error getting schema usage from ODBC 'std::exception. Code: 1001, type: nanodbc::database_error, e.what() = ../contrib/nanodbc/nanodbc/nanodbc.cpp:1046: 0100: [unixODBC][Driver Manager]Can't open lib '/usr/lib/x86_64-linux-gnu/odbc/psqlodbcw.so' : file not found (version 22.1.3.7 (official build))' . (RECEIVED_ERROR_FROM_REMOTE_IO_SERVER) (version 22.1.3.7 (official build)) Хотя лежит на файловой системе -
Кхм, а зачем ODBC, если сам Clickhouse поддерживает подключение к PG ?
-
Linux - SO file not foundI have a program which requires liblog4cpp installed to run. Now, I want the program to run on another machine without liblog4cpp. So I just find the log4cpp.so and move it to the same directory ...
-
Может мы отстали в этом вопросе, используем для DSN подключений словарей, которые лежат в PG
-
GitHub - ClickHouse/clickhouse-odbc: ODBC driver for ClickHouse
ODBC driver for ClickHouse. Contribute to ClickHouse/clickhouse-odbc development by creating an account on GitHub.
-
Я тестил недавно словари от PG, и даже в доке было написано, что не работает с PG, по итогу работал. Мне кажется работа напрямую из Clickhouse, будет быстрей чем через ODBC
-
https://pastebin.com/nn2EE0BX вот, там много, выложил отдельно
-
Не, нет такого. Ток group by есть
-
Скорей всего у вас пинг до сервера большой
-
вроде не настолько
-
Не знаю почему именно в этом примере так, но импорт данных датагрип идёт через одиночные инсерты в КХ :(
-
когда вы ставили pg odbc драйвер, вы использовали какую команду? (скорее всего не стоит либа icu)
-
Named connections | ClickHouse Documentation
Storing details for connecting to external sources in configuration files Details for connecting to external sources (di
-
летенси? vpn
-
а греп лога по d1ffe709-029d-4a50-9082-19504a8ce1f7 что выдает?
-
Попробуйте с курлом сравнить
-
можно кстати одним инсертом все строки вставить
-
Действительно она не поставилась
-
-
https://pastebin.com/ZA8YTzsT две строчки только. Но блин, это старые запросы, они просто в логах сыпяться и все
-
у меня с пингом 4-5, этот же пример за ~8ms вставляет.
У вас пинг 80+ и вставка 160
Выглядит как будто так и должно быть -
да, все из-за этого, она нужна. Что за дистрибутив ? debian 11 ?
кстати вам верно говорят, что odbc не нужен -
ну вот я из браузера пробую через ...:8123/play
получается похоже на те цифры что справа (100-200мс), хотя через раз получается и меньше 100 мс, что я бы и ожидал при пинге 80мс -
так это посылает 10.164.0.28
там тоже файлик в Distributed таблице поди -
Лучше использовать то что вы посоветовали? По ссылке https://clickhouse.com/docs/en/operations/named-collections/#named-connections-for-accessing-postgresql-databaseNamed connections | ClickHouse Documentation
Storing details for connecting to external sources in configuration files Details for connecting to external sources (di
-
я советую потому что вы упомянули DSN
named-collections это просто путь как скрыть пароли -
Хранение реквизитов для подключения к внешним источникам в конфигурационных файлах
Реквизиты для подключения к внешним источникам (словарям, таблицам, табличным функциям) можно сохранить
в конфигурационных файлах и таким образом упростить создание объектов и скрыть реквизиты (пароли)
от пользователей, имеющих только SQL доступ. -
А словари смогут использовать это подключение?
-
Дистрибутив Ubuntu 20.04
-
да
source/>
<postgresql>
<name>mypg -
вот блин, спасибо. Логи читать надо уметь 😔
-
Спасибо, пробую.
-
Надо ли рестартить сервер после создания named_collections в config.xml?
-
Подскажите, в чём проблема? err.log сервера забит вот такими ошибками:
2022.04.06 21:22:15.398114 [ 100597 ] {} <Error> void DB::SystemLog<DB::QueryLogElement>::flushImpl(const std::vector<LogElement> &, uint64_t) [LogElement = DB::QueryLogElement]: Code: 49. DB::Exception: Invalid number of columns in chunk pushed to OutputPort. Expected 44, found 65
Header: - дальше идёт перечисление типов колонок -
Да
-
Rename table system.query_log to system.query_log_old
-
я пробовал. создалась новая, но ошибки продолжают сыпаться в логе
-
вернее, я её дропал
-
А сколько колонок в ней?
-
69
-
и записи новые в ней постоянно появляются
-
Сейчас попробовал rename на другой ноде, там новая таблица создалась с 46-ю колонками. Версия 21.12.4.1 везде.
-
Привет ребята, хочу поделиться классным сервисом (http://jobs.talentservice.com/?utm_source=tg_free&utm_medium=relocate) по трудоустройству IT-специалистов. Там публикуются вакансии от Американских и Европейских компаний и есть программа по релокации. Можете не благодарить 🙌Open jobs for software developers, QA engineers, and data scientistsWork for an American or European company remotely or relocate to work abroad! Find your perfect job match with Talent Service
-
𝙔𝙤𝙪 𝙘𝙖𝙣 𝙞𝙣𝙫𝙚𝙨𝙩 𝙖𝙣𝙙 𝙢𝙖𝙠𝙚 𝙞𝙣𝙘𝙤𝙢𝙚 𝙖𝙨𝙞𝙙𝙚 𝙥𝙖𝙮𝙘𝙝𝙚𝙘𝙠 𝙬𝙞𝙩𝙝 𝙚𝙭𝙥𝙚𝙧𝙩 𝙜𝙪𝙞𝙙𝙚 𝙄 𝙝𝙖𝙫𝙚 𝙚𝙖𝙧𝙣𝙚𝙙 $98,000 𝙨𝙤 𝙛𝙖𝙧 𝙛𝙧𝙤𝙢 𝙢𝙮 $6000 𝙞𝙣𝙫𝙚𝙨𝙩𝙢𝙚𝙣𝙩 𝙞𝙣 𝙁𝙤𝙧𝙚𝙭 𝙩𝙧𝙖𝙙𝙚. 𝘾𝙤𝙣𝙩𝙖𝙘𝙩 𝙝𝙞𝙢, 𝙞𝙛 𝙮𝙤𝙪'𝙧𝙚 𝙞𝙣𝙩𝙚𝙧𝙚𝙨𝙩𝙚𝙙 𝙖𝙣𝙙 𝙨𝙩𝙖𝙧𝙩 𝙢𝙖𝙠𝙞𝙣𝙜 𝙖𝙢𝙖𝙯𝙞𝙣𝙜 𝙛𝙞𝙜𝙪𝙧𝙚𝙨 𝙬𝙚𝙚𝙠𝙡𝙮
👇👇👇
https://t.me/joinchat/9QTYf9xzwUIwNjhh - 07 April 2022 (113 messages)
-
Подскажите как исправить, пожалуйста
alter table tutorial.visits_v2c delete where StartDate != min(StartDate)
DB::Exception: Aggregate function min(StartDate) is found in WHERE in query: While processing min(StartDate). (ILLEGAL_AGGREGATION) -
У вас логика такая:
если минимальное время, то удали
То есть нужно удалить все строчки где время минимально ? Но оно же будет изменяться, то есть вы удалили например все строчки со временем 2001-01-01, то потом минимальным станет 2001-01-02 и т.д. -
это обучалка
-
тут конкретные примеры, и надо выполнить конкретные задачи, это не прод
-
нупский вопрос , можно ли поменять ключ партицирования ? думаю ответ нет , но мало ли -
Можно скопировать в другую таблицу данные при этом поменяв ключ, clickhouse-copier умеет это
-
Спасибо
-
То есть у вас есть 3 колонки уже ? И вы хотите чтобы они были в Tuple ?
-
как копировать все данные из одной таблицы в другую? а то конкретного примера запроса не нашел
-
insert from select же
-
insert куда from откуда select *?
-
спасибо
-
Придумал только так
CREATE TABLE test_tuple
(
t1 Tuple(a1 String,a2 UInt32),
asdad UInt8
)
ENGINE = MergeTree()
ORDER BY tuple()
;
INSERT INTO test_tuple VALUES (('asdadsa',1),12);
INSERT INTO test_tuple VALUES (('asdad',2),13);
INSERT INTO test_tuple VALUES (('asdaasddsa',3),21);
INSERT INTO test_tuple VALUES (('asdasdas',14),12);
INSERT INTO test_tuple VALUES (('asdaasdasddsa',5),12);
ALTER TABLE test_tuple MODIFY COLUMN t1 String;
ALTER TABLE test_tuple UPDATE t1 = tuple(untuple(CAST(t1,'Tuple(a1 String,a2 UInt32)')),'') WHERE 1
ALTER TABLE test_tuple MODIFY COLUMN t1 Tuple(a1 String,a2 UInt32,a3 String); -
А есть какая нибудь интерактивная обучалка по кликхаусу? -
Не видел
-
Там есть конструкция экспорта insert multirow
-
Я про импорт. Не вижу там настроек таких
-
Импорт сделайте через insert - размер батча регулируйте сами. Ну или через клиента и там любые удобные форматы используйте
-
Я именно про дефолтную функцию datagrip "Import data from File"
-
Не надо кидать сюда пароли
-
"А я не видел 😢" (С)
Может, человек хотел, что бы добрые люди зашли, сделали, сами себе благодарность выписали? -
Всем добрый день. У меня при помощи Debezium данные с Postgres грузятся в топики Kafka. И мне нужно эти данные выгрузить в Clickhouse при помощи jdbc. Но как бы я не закидывал jar-ник и какой-бы sink не прописывал, итог один (см. фото). Заранее спасибо -
А почему стандартным путем не пойти, через движок таблицы Kafka ?
-
а почему jdbc?
-
Данные должны грузиться не только в clichouse, но и в другие колоночные бд. И в них уже настроено соединения с топиками. А как я понял для Clickhouse важно, чтобы json был не вложенным, а максимально простым.
-
Ну если вы кладете Json в String то ему без разнице
-
JSONEachRow, наверное?
-
предлагаете передавать строку, а потом ее парсить? Или к чему это
-
КХ умеет сам из кафки данные читать во множестве форматов, найди совместимый
-
т.е. jdbc здесь вообще не в почете и лучше думать над table engine kafka?
-
Это как граблями яму копать ....
-
здесь - это где? в чате? спрашивают, отвечают.
как подмена движка кафка - да, не стоит -
Кстати, что с документацией? Буквально вчера изучал разные способы здесь, а сегодня уже пусто
-
Choosing an option | ClickHouse Docs
The most common approaches for integrating Kafka with ClickHouse
-
Kafka | ClickHouse Documentation
Kafka This engine works with Apache Kafka. Kafka lets you: Publish or subscribe to data flows. Organize fault-tolerant s
-
От Миловидова смотрите сообщения, что-то они там переработали
-
с мимнимальной защитой от куки/js/прочей хрени это не работает
-
Это немного не то, там именно были расписаны все способы коннекта с kafka и по-моему даже на русском
-
Ладно, понял, всем спасибо
-
ClickHouse Kafka Engine Tutorial
Our colleague Mikhail Filimonov just published an excellent ClickHouse Kafka Engine FAQ. It provides users with answers to common questions about using stable versions, configuration parameters, standard SQL definitions, and many other topics. Even experienced users are likely to learn something new. But what if you are getting started and need help setting up Kafka and ClickHouse for the first time? Good news! This article is for you.
-
Я, кстати, пробовал engine kafka, таблица создавалась, но при селкте из нее, вылетала ошибка: ErrorCodes::QUERY_NOT_ALLOWED, "Direct select is not allowed. To enable use setting `stream_like_engine_allow_direct_select`"
-
Да, нужен materialized view
-
т.е. мне нужно было сделать вьюху и все заработало-бы?
-
kafka_reader => mv => table
-
хм, сейчас попробую, спасибо
-
Судя по вопросу, сразу вряд ли, но да.
-
Извините, не удержался. А можете менять 😂
-
а дока кликхауса в Safari все так же переломана?
-
а не, после рефреша заработало
-
system restart replica ... on cluster '{cluster}'
-
две команды разные
system restart replicas
system restart replica db.table -
>system restart replica ... on cluster '{cluster}'
предполагалось что ... будут заменены на имя таблицы
system restart replica db.table on cluster 'data' -
ну может и не было 21.3
-
Столкнулась с такой же проблемой. Раньше с такими симптомами бывало, что закрался косяк в определение локальных таблиц - перепутаны зеркала и реплики на нодах, поэтому результат возвращается с первой доступной реплики и потому нестабильный.
Но сейчас все ddl корректны, а ситуация максимально загадочна. Вам удалось разобраться в чем причина?
На версии КХ 21.3.4.25 всё отрабатывает корректно, а при переносе DDL на 22.2.2.1 - поломалось. -
КХ кэширует селекты?
Если да, то можно как-то отключить для тестов? -
Добрый день, знающие люди, подскажите пожалуйста, в CH запросы типа
Case WHEN row_number() over THEN как-то можно реализовать? -
А я ошибку получаю "Unknown identifier"
-
Я просто логику из BQ переношу в СН. Внутри штук 10 таблиц через CTE из одной базовой таблицы с nested полями.
-
If, multiIf
-
Так и придётся делать видимо.
-
в гитхаб, ишью
-
не кеширует. Диск кешируется файловым кешем линукса.
-
не доделано, только оборачивать в еще один запрос
-
Что не доделано?)?
-
SUM(col) / SUM(SUM(col)) OVER (PARTITION BY col2) aggregate function over WINDOW is not supported. · Issue #19857 · ClickHouse/ClickHouse
How to reproduce SELECT sum(number) / sum(sum(number)) OVER (PARTITION BY (number % 10)) FROM numbers(10000) GROUP BY number % 10 Query id: 76ed1093-b378-45c2-b644-1de44783734a 0 rows in set. Elaps...
-
т.е. вы выстрелили себе в ногу положив DateTime первым в индекс?
-
Приветствую.
Можно ли на ОДНУ таблицу DB3 навешивать несколько MV ?
Чтобы инсерты в DB3 сразу по разным параметрам улетали в нужные таблицы.
CREATE MATERIALIZED VIEW default.BD1 TO default.logs_to_DB2
... FROM BD3
CREATE MATERIALIZED VIEW default.BD1_1 TO default.logs_to_DB3
... FROM BD3 -
Ну конечно можно
-
Всем привет, имеется бд кликхауса, куда сливаются ивенты и много ещё каких сырых данных, сейчас приходится считать по сырым данным , запросы иногда выполняются минуты. Попросил создать матвью, скинул запросы разрабам 2 недели назад , они только сегодня сделали, от них требовалось просто запустить код в ide. Мне никто не дает(и не даст) права на create. Ждать каждый раз по тыщу лет не хочется, поэтому у меня такой вопрос . Могу ли я развернуть у себя кликхаус, и сделать средствами кликхауса чтобы все ивенты и транзакции из оригинального кликхауса летели и ко мне сразу Чтобы я там был царь и бог , и мог создавать что хочу
-
Да , что то типа репликации из одного кликахуса в другой без кронов)
-
можно
-
а вот как бы сделать обновление внешней таблицы для разных полей по одному ключу?
-
А то какая то коллизия не понятно где.. эти MV идут в одну таблицу на remote_host в таблицу SummingMergeTree
-
Вы бы показали, что не работает
-
а есть какая-то возможность выполнить запросы с proto под win10 и в C#?
пробовал хотя бы в power shell и curl вытащить, но файл пустой
curl -o proto.bin 'http://clickhouse.com/' --data-binary "SELECT * FROM test FORMAT Protobuf SETTINGS format_schema = 'schema:test'" -
всем привет - 08 April 2022 (160 messages)
-
нет, только в WSL2, КХ проверяет наличие /bin/sh и в случае отсутствия все файлы будут пустыми 😂😜🙈
-
/@milovidov_an кстати, а поддержка schema registry для kafka protobuf и json фоматов планируется?
-
фак, короче, Миловидову вопрос, надеюсь, увидит
-
Иногда сарказм...
-
Тут весь смысл скрывается в format_schema = 'schema:test'
-
🔥🔥Πлaчy 3000₽ за каждогo пpиведённогo ⲃaми ч𝚎лoⲃеⲕа, котоpый устpoится кyрьеpoм в Delivery. 🔥🔥
⚡𝖮плaтa послe 10 выпoлненныⲭ закaзoⲃ!⚡
(Oбязательно ⲃ тeчeнии 30 дней. Можнo сделать и зa oдин д𝚎нь)
🎁Зa вторoго пpиⲃeдённoго денежные бoнуcы! 🎁 -
А можно утром деньги, а человеки вечером? Завтра.
-
Коллеги, всем бодрого пятничного утра!
Подскажите, пожалуйста, немолодому и неопытному, могу я решить вот такую задачку в одно действие в CH?
В BQ я такое через last_value(col IGNORE NULLS) делал. А тут не могу найти решения -
Скорей всего тут найдёте ответ https://kb.altinity.com/altinity-kb-queries-and-syntax/lag-lead/
-
Посмотрю, спасибо!
-
Всем привет!
Хочу сделать подобный запрос, но использовать where in ((), (), ())
SELECT *
FROM table
WHERE filename = '{filename}' and
partner = {partner} and
upload_start > '{value1}' and
upload_start < '{value2}'
не пойму как указать с > и <
SELECT *
FROM table
WHERE (filename, partner) in {tuples}
как оставшиеся 2 поля туда включить с их условиями?
помогите плз -
вы хотите передавать несколько периодов для выборок ?
-
список например из 1000 кортежей в которых передам эти 4 значения
-
чтоб не делать 1000 запросов, а сделать одним
-
нет, так не получится. Для оператора IN строится хеш, а потом проверяется на вхождение в него. <> тут некуда применять. Поэтому filename/partner - можно, а время (или что у вас там) - нет. Если границы интервалов относительно стабильные (или их можно предсказать заранее), то можно попробовать применить range_hashed словарь.
-
спасибо, сейчас почитаю
-
Всем привет!
У меня есть таблица со стадиями продажи различных продуктов (у каждого продукта свой id). Мне нужно отобрать такие id_продукта, у которых не было некоторых стадий (1,2,29), но была 3 стадия.
Простой фильтр where тут не поможет явно.
Благодарю за любую помощь! -
первое, что пришло в голову
через
groupArray(<стадия>) AS arr создать массив для каждого id, в котором лежат все его стадии, естественно GROUP BY id
, тут же написать
HAVING NOT hasAny(groupArray(<стадия>), Array(<стадии, которых быть не должно>)) AND has(groupArray(<стадия>) ,3) -
|| это уже оператор конкатенации, имхо это только усложнит (мимокрокодил)
-
😂😂😂😂 Императивный vs декларативный.
-
кстати, || уже занят, это конкатенация
-
Схему положил, куда надо место
-
Такой вопрос по интеграции с Кафкой.
Есть MV, которая разбирает данные в формате JSONAsString. В структуру этого json добавляют новое поле, соответственно, надо поменять MV. Но в DDL для MV отсутствует конструкция OR REPLACE.
Можно только так:
DROP TABLE my_mv;
CREATE MATERIALIZED VIEW my_mv ...
Как правильно поменять MV под новую структуру без потери данных? -
Тоже вопрос волнует, exchange по документации работает для table|dictionary
-
tableau
-
а что значит не работает?) какая ему разница?
-
поскольку только что кто-то спасибо сказал, тему продолжу
<tiered00>
<volumes>
<fast00>
<disk>fast00</disk>
</fast00>
<arch00>
<disk>arch00</disk>
</arch00>
<default>
<disk>default</disk>
</default>
</volumes>
<move_factor>0.01</move_factor>
</tiered00>
наличие volume default позволяет делать для существующих таблиц
alter table db.table modify settings storage_policy = 'tiered00';
писал по памяти, прошу больно не тыкать
select version();
22.2.2.1 -
Да что же повадились сегодня пароли выкладывать?
-
что выдает curl?
"http://127.0.0.1:53755/tablemodelview/list/?pageIndex=0&sortColumn=changed_on_delta_humanized&sortOrder=desc" -
500 Internal Server Error, судя по тикету?
-
Invalid enum member name: 127.0.0.1
-
а если использовать SQLAlchemy URI просто clickhouse:// без native?
-
всем привет. юзаю clickhouse_driver и когда коннекшусь к локальной бд все норм и отвечает на запросы, а когда к серваку и прошу SHOW DATABASES он просто не отвечает ничего не выдает.
как быть? -
Хотя бы пример привести заполнения вами Client
-
client = Client(host='<ip>', port='<port>', user='<юзернейм>', password='<пароль>')
-
Сделайте select 1
-
тоже самое
-
да вроде мне доступ дали только на одну таблицу, щас чекну
-
блин когда через tabix делаю все норм а здесь ничего может я экзекьют неправильно делаю?
client.execute("""SELECT item_id,sentiment,created_at
FROM project_items
WHERE type = 1
AND project_id =10051
AND created_at >= '2022-04-06 00:00:00'
AND date>='2022-04-06 00:00:00'
ORDER BY created_at ASC limit 10""") -
у вас стандартный порт ? 9000 ?
-
нет
-
8123 ?
-
да
-
Вместо 8123 -> 9000
-
о, щас хотяб ошибки выдает
-
спасибо всем!
-
А можете уточнить, чем это плохо? -
clickhouse-bulk ведь селекты через себя не пропускает?
-
Тем, что у вас идёт фулл скан таблицы при любом запросе
-
либо явно указывать рамки, чтобы сканил только одну партицию?
-
Я ошибся, фулл скан партиций в которые попадает WHERE dateTime
-
а это будет в свежих версиях КХ поправлено? 😱
-
Это не проблема КХ, это проблема тех людей кто ставить DateTime первой в PK и ORDER BY
-
спс, кое где накосячили. сейчас спасаемся, что сканим явно одну партицию
-
Лучше DateTime ставить в конец
-
у нас запросы в основном на время заточены. Но есть нюанс, такая таблица была создана, чтобы на нее повешать кучу MV, напрямую к табле приложение не обращается. все в MV на основе нее
-
Нужно соблюсти грань использования в WHERE и кардинальности данных и тогда будет работать всё быстро
-
toHour
-
Какая версия кликхауса ?
-
Попробуйте сначала перевести в 24 часа время - parseDateTimeBestEffort , а потом взять часы
-
привет! у меня такая проблема: фильтрую данные через where ... in и подзапрос, выдает пустой результат, а если делать через global inner join аналогичную операцию, то все нормально, не empty. что может быть не так ?
случилось после обновления кликхауса, раньше все нормально работало -
может там settings какой-нибудь есть чтобы добавить и все было окей ?
-
Таблица distributed ?
-
global in?
-
тоже пустой результат дает (
-
да
-
Обращаетесь в эту же таблицу или в другую ?
-
Вообщем, скорей всего таблицы в которых данные совпадают лежат на разных шардах
-
Вот и всё
-
глобал должен был бы решить эту проблему
-
по факту global join и global in одинаковые операции
-
в этом кейсе
-
да, но как видим почему то не помогло
-
другую, да
-
Запросы не видели, может проблема в них
-
А так создавайте issue описывайте проблему.
-
Всем привет, если я создам MV TO, как данные из исходной таблицы быстро в таблицу которая под MV положить ? -
Ну тем же запросом, что и в MV
-
Insert делать в mv?
-
Делать в таблицу TO
-
Окау, спасибо. Попробую
-
Я в mv пробовал, ошибка была с какой то настройкой
-
добрый день! подскажите, какой ручкой можно увеличить connection timeout для http словарей?
Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = Timeout: connect timed out: xxx:80 (version 21.8.15.7)
кажется что http_connection_timeout = 0 не помогает -
Привет!
Подскажите, пожалуйста, по какой причине 2 одинаковых числа воспринимаются как разные?
При селекете использую округление:
round(li.found_quantity, 3) = round(fli.quantity, 3) as is_equal,
round(li.found_quantity, 3) - round(fli.quantity, 3) as diff -
там все очень тупо и надежно работает и там все очевидно.
но всплепую, без конкретики это не объяснить -
Хотел написать, что не совсем понял
-
Потом решил почитать
И теперь точно не понял😅 -
Перевел в Decimal64, ничего не изменилось
-
Реальные
-
3
-
Поменял на 10, заработало
Но смущает, что только сейчас вылезла подобная ошибка
Ранее не сталкивался с подобным -
Хотя на 3 тоже работает
-
например
select sum(0.2) from numbers_mt(100000000);
--
20000000.00000213
0.2 это бесконечная периодическая дробь в 2й системе
select sum(0.2::Decimal64(3)) from numbers_mt(100000000);
--
20000000 -
60 cекунд ? или 180,
-
через 1 секунду отваливается
-
похоже на дефолт:
SELECT value
FROM system.settings
WHERE name = 'http_connection_timeout'
FORMAT TSVRaw
1 -
скорее всего http_connection_timeout
но применяется при перезагрузке из-за пула коннектов
а почему у вас 1 секунда таймаутит? Через спутник коннект? По оптике вокруг земли 1 сек латенси тяжело получить. -
под сотню шардов и все одновременно идут в словарь. запросы попадают в tcp listen queue похоже. это тоже ковыряю
-
100м не так много, кажется проще и быстрее будет сделать полный дамп таблицы
-
Ну вы так спрашиваете...)) сдедайте ренейм, лейте прод в другую таблицу, поднимите другой кх, создайте другую таблицу а потом подмените
-
Вариантов много
-
Если у вас туда нонстопом льётся то я хз сколько будет выполняться апдейт на 100млн
-
У нас нет таблиц с непрерывной заливкой, мы архитектурно можем остановить вставку на любое время. Мб кто ещё подскажет
-
Для аналитики всего) льем кликстрим и хиты видеосмотрения. В моем опыте довольно необычно делать без предварительного накопителя в виде кафки или файлов хотябы
-
Всем привет! ✋
Пробую в ClickHouse (развернут в облаке) выполнить простой запрос вставки данные из одной таблицы ClickHouse в другую таблицу ClickHouse:
у каждой ENGINE = MergeTree(date, date, 8192)
insert into data.table1 select * from data.table2
Периодически всплывает ошибка DB::Exception: ServerException: Code: 241. Memory limit (total) exceeded <число>: While executing MergeTreeInOrder
Подскажите, пожалуйста, какой наилучший способ выполнить запрос, чтобы избежать этой ошибки. Возможно, есть стримминг, который память не нагружает (пробовал через python
from clickhouse_driver import Client через client.execute_iter с settings = {'max_block_size': iter_size} - работает, но не помогло - периодически тоже ошибка вылетает). Конкретного решения пока не обнаружил.
Если нужно что-то на сервере выставить, то что именно поможет? Вот параметры:
https://clickhouse.com/docs/ru/operations/server-configuration-parameters/settings/#max_server_memory_usage_to_ram_ratio
Заранее большое спасибо🙏Конфигурационные параметры сервера | Документация ClickHouseКонфигурационные параметры сервера builtin_dictionaries_reload_interval Интервал (в секундах) перезагрузки встроенных сл
-
а сколько памяти? <число> ?
insert into data.table1 select * from data.table2
Этот запрос и так стримается и батчит и ипользует лимитированное кол-во памяти, но можно подкрутить -
Сократил немного для наглядности:
Memory limit (total) exceeded: would use 3.02 GiB
(attempt to allocate chunk of 4446613 bytes),
maximum: 3.00 GiB:
(while reading column category_name):
(while reading from part /var/lib/clickhouse/store/.../
from mark 0 with max_rows_to_read = 212407): While executing MergeTreeInOrder. -
3.00 GiB
тут надо понимать что чудес ждать не стоит https://clickhouse.com/docs/en/operations/tips/#ram
изначально никто не рассчитывал что КХ будут запускать на железках с меньше чем 32ГБ
и соответвенно КХ хавает память гигабайтами.
попробуйте
insert into data.table1 select * from data.table2 settings max_threads=1, max_block_size=10000, max_insert_block_size=10000, min_insert_block_size_rows=10000 -
Спасибо вам большое, попробую 🍀
-
Как сделать так, чтобы запрос INSERT INTO SELECT _ FROM не падал по памяти?
- 09 April 2022 (25 messages)
-
Есть кейсы работы кликхауса с реббитом?
Не понимаю вот что
Клик в принципе может работать с большим количеством простых запросов
У меня такой кейс
Кубер 20 подов, каждый из которых параллельно обрабатывает 50 задач, в которой происходят запросы в клик
Задача перебрать 60 млн строк из одной таблицы, для каждой строки дополнительные запросы из других таблиц клика и вставлять 60 млн дополненных строк в другую таблицу клика
Со вставкой проблем нет
Проблема в том, что такая конфигурация упирается во что-то и запросы, которые выполняются за 50-150мс выполняются за 1-1,5с, иногда запросы ловят таймаут и иногда клик сам дропает запросы
В связи с вводными такой вопрос. Как заставить клик обрабатывать много маленьких запросов параллельно, чтобы он не захлебывался?
Клик работает с таким железом: 8 ядерный проц, 32гб оперативы и ssd -
Я не сильно в курсе, наш програмер на кролика жаловался, есть там где-то затык
-
А вот фиг там, именно работа с параллельной обработкой очередей
-
проблема в запросах на чтение
-
у нас, кажется, с записью проблемы были
я попробую спросить, но выходной... -
у нас супер распараллеленная архитектура и клик в стоке не справляется с объемом запросов, но при этом нагрузка на проц не очень большая)
-
спасибо)
-
Нифига я неправильно помню, проблема в развалах кластера. Теоретических. Хз. В общем, мы сейчас nats пробуем, хз, что это.
-
>Как заставить клик обрабатывать много маленьких запросов параллельно
мухаха,
как заставить карьерный экскаватор делать маленькие ямки быстро
посмотрите на зукипер, скорее у вас зукипер упирается в диски -
исходная таблица состоит из данных с dateTime
есть колонка, у которой 800_000 уникальных значений
я с помощью стрима получаю список этих значений и после с помощью дополнительных индексов получаю данные отдельно для этого ключа сортировки
повторений быть не должно
клик должен по насечкам быстро такие запросы резолвить -
Кхм, поймите что индекс в кликхаусе, и индексы в OLTP базах, это абсолютно разные вещи. Как вам уже ответили, кликхаус это вещь которая перерабатывает 1 огромный запрос с миллиардами строк, а не миллиард запрос с 1 строкой. Он просто не предназначен для этого
-
тип mergetree можно поменять не пересоздавая таблицу?
-
покажите что ли свои запросы и индексы, наверняка можно сделать лучше, ну и для таблиц с меньше чем 10млрд. строк наверное можно уменьшить index_granularity чтобы ускорить/уменьшить стоимость для мелких запросов
-
да, если partition by и order by не меняются, то движок поменять можно, способ зависит от того Replicated таблица или нет.
в общем случае есть способ attach partition from
парты устроены одинаково во всех движках MergeTree и вообще все MergeTree движки это один движок/единый код, различается только код мержа. -
да всегда был.
create table S (A Int64, D date) Engine=MergeTree partition by D order by A;
insert into S values(1, '2020-01-01');
create table D (A Int64, D date) Engine=ReplacingMergeTree partition by D order by A;
alter table D attach partition '2020-01-01' from S;
select * from D
┌─A─┬──────────D─┐
│ 1 │ 2020-01-01 │
└───┴────────────┘
rename table S to old_s, D to S;
show create table S;
....
ENGINE = ReplacingMergeTree -
Добрый вечер.
Попробовал эти настройки. Плюс менял их по разному - в большую и меньшую сторону. Результат всегда один:
DB::Exception: Memory limit (total) exceeded.
Решил проблему через python, используя в clickhouse_driver для insert обертку backoff - для восстановления подключения с места raise exception.
Лог выглядит так, когда появляется ошибка:
09.04.22 23:01:01 - [INFO] - __main__ - (clickhouse_defs.py).clickhouse_count_rows(8) - Количество строк для обновления: 1318903
09.04.22 23:01:04 - [INFO] - __main__ - (clickhouse_defs.py).clickhouse_insert_internal_data(49) - DB::Exception: Memory limit (total) exceeded
09.04.22 23:01:04 - [INFO] - __main__ - (backoff.py).retry_connect(30) - Попытка подключения...
09.04.22 23:01:07 - [INFO] - __main__ - (clickhouse_defs.py).clickhouse_insert_internal_data(49) - DB::Exception: Memory limit (total) exceeded
09.04.22 23:01:07 - [INFO] - __main__ - (backoff.py).sleep_func(17) - Ожидание подключения: 0.8
09.04.22 23:01:08 - [INFO] - __main__ - (backoff.py).retry_connect(30) - Попытка подключения...
09.04.22 23:01:16 - [INFO] - __main__ - (clickhouse_defs.py).clickhouse_insert_internal_data(47) - Затраченное время на вставку данных, сек.: 8.803952693939209
09.04.22 23:01:18 - [INFO] - __main__ - (start_clickhouse.py).<module>(55) - Итого затраченное время, сек.: 18.04178261756897
В итоге, все ОК👍 - 10 April 2022 (377 messages)
-
21.4 не поддерживается уже
-
вот есть у КХ одна проблема. Отсутствие толковой документации и комьюнити с опытом. Что бы начать использовать storage_policies нужно всякие телодвижения делать, что как бы не есть хорошо. И нифига непотнятно местами.
-
Я с КХ меньше года, опыт использования того же BRIN индекса играет злую шутку иногда. Это же минмакс? Да. Наверное, если отбросить предвзятость, оно как-то так же работает. Индейское народное жилище.
-
Где-то (кроме как в исходниках) можно почитать про различия работы в движках Dictionary и Memory с точки зрения последовательного чтения (типа select * from dict/memory)
Суть нашего кейса -- есть кластер на 40 нод, на которых создается словарь
Этот словарь пробуем заполнять с одной другой ноды NODE1 (то есть на 40 нодах создается словарь с SOURCE(CLICKHOUSE(NODE1))). сам источник для словарей на 40 нодах находится на NODE1 и
- если таблица с движком на NODE1 Memory все отлично отрабатывает
- если же эти данные положить в Dictionary с COMPLEX_KEY_HASHED_ARRAY layout, то NODE1 (на ней 64гб RAM) падает с OOM при обновлении словаря одновременно на 40 нодах
данных не так много -- всего 300к записей и сами данные занимают 2гб в Memory движке
данные для словаря собираются достаточно долго и дорого, поэтому и хотелось его один раз создать на NODE1 и чтобы остальные ноды периодически опрашивали словарь на NODE1 и забирали с него данные
в моем понимании Dictionary это по сути дела тот же HashMap, который должен быстро обходиться и отдаваться тому, кто запрашивает из него все данные, но, похоже, КХ пытается его сначала весь к себе в память прочитать, а потом уже отдать по сети (поэтому и ООМ)
Спасибо -
Это одна из проблем КХ, одновременное чтение из 2ГБ таблицы потребует x*2ГБ оперативы
-
+ накладные расходы
-
Dictionary это по сути дела тот же HashMap
учитывайте, что можно неудачно HashMap создать и потерять часть данных 😜 -
А я тут при чем? Я контрибучу в документацию по мере сил, в свое личное время.
-
Словарь не предназначен для select. Каждый атрибут лежит в своей хештаблице. Читать это селектами супермедленно и суперзтратно. Я как-то показывал тест что словарь на селект в 5000 раз медленее чем mergetree.
Мы для этой задачи используем ReplicatedReplacingMergeTree, просто создаете таблицу без макроса shard, получаете 100 копий, менять можно на любой ноде, словари читают локальный источник. -
спасибо большое
я просто думал, что COMPLEX_KEY_HASHED_ARRAY фактически содержит одну HashMap для всех аттрибутов (то есть образно говоря key -> List<fields>), т.к. как понимаю раньше в обычном (COMPLEX_KEY_HASHED) был как раз List<key -> field>
ReplicatedReplacingMergeTree, просто создаете таблицу без макроса shard
хитро 😁
и фактически вставляя всего лишь на одной ноде в эту таблицу данные будут обновлены на всех нодах через репликацию? -
в яндексе любят скорость, поэтому словари сделали множеством хештаблиц. Каждый атрибут словваря отдельно, или отдельный хеш или массив.
-
>и фактически вставляя всего лишь на одной ноде
> в эту таблицу данные будут обновлены на всех
>нодах через репликацию?
Да. -
еще раз спасибо большое!
-
Я использую этот трюк и для маленьких агрегатов (получаается что часть запросов можно обслуживать любой одной нодой кх)
и для маленьких таблиц-дименшинов с которыми делается джойн (если словарь не подходит).
(кстати мопед не мой, придумали это все мои предшественники еще лет шесть назад) -
А к Вам претензий нет, я просто в сообщении выразил свое мнение, если на свой счет восприняли, прошу прощения.
-
а что Вам мешает начать контрибутить в документацию?
-
Я весьма критично отношусь к себе. Думаю, не дорос пока.
-
Ох уж этот синдром самозванца. Можешь кому-то дать полезную информацию - значит дорос же?) -
ХЗ, завтра собеседование , чисто себя проверить. Может и правда что-то их себя представляю.
-
А может быть и правда, 400тыр - это 400тыр.
-
Добрый день.
Подскажите как лучше перетащить данные размером ~1тб c одного хоста на другой? -
БД КХ в смысле )
-
Мне вот rsync нравится. Каков вопрос, таков ответ.
-
-
-
-
-
-
-
-
-
-
-
Возможно неправильно сформировал вопрос. Как лучше снять дамп с кликхауса и развернуть его на другом хосте?
Или же просто в архив все внутренности и всё?)) -
clickhouse-copier - возможно то что Вам надо
-
1ТБ - это не так уж и много, если таблиц не много, быстрее через пайп селект и инсерт
-
таблиц немного. Объемных буквально 2, остальные мелкие
-
вот и сравните время изучения сторонних механизмов vs скорость чтения/вставки
-
или clickhouse-copier, или руками через скрипт, или через buffer+distributed попробовать.
-
https://clickhouse.com/company/events/getting-started-with-clickhouse-webinar/ 404 выдает, надо как-то регистрироваться? На ютуб тоже не нашел записи вебинара. Есть какие то хорошие курсы для быстрого вхождения в тему? посоветуйте пожалуйста. -
'{"fingerId":"XXX","userId":"XX","url":"","referrer":"XXX","ip":"XXX","userAgent":"XXX': While executing
Тут, кмк, не совсем корректный JSON -
Видел в логах офигеть какие длинные запросы, типа in ( bla-bla-bla ). Сомневаюсь. Я бы предположил, что Вы вместо запроса JSON пытаетесь обработать, то, что он некорректный - это вопрос уже другой.
-
фигасе, это что было? какой-то массовый лайк?
-
Света, звезда м-а?
-
Ну, с учетом того, как клиент тормозить иногда начинает, вролне себе тема для обсуждения.
-
А, сорян, прошу не обращать внимания.
-
eol тогда уж
-
да, очень похоже
"};\n{\" -
Коллеги, общий вопрос.
Как бы вы решали и какими движками момент, когда ваши данные должны требовать обновления/удаления за любой промежуток времени? Допустим, что размер таблицы не превышает 1 млрд. строк.
Необходимо - обеспечить максимальную производительность запросов (выбрать всё, сделать какую либо агрегацию и т.д.) и более-менее допустимую актуальность данных? -
Ну такая бизнес логика, что поделать...
-
Чтобы было понятней - есть, к примеру, мед. карта, наша с вами. Приходит пакет данных, в котором описано всё, имеющее отношение к пациенту. Пакет занимает, например, 10 записей. Через день приходит новый пакет, который уточняет сведения. Следовательно, предыдущие данные надо обновить.
-
Можно задать excat index или order by.
Нужно сохранить данные точно отсортированными,
чтобы потом достать их через LIMIT OFFSET (не сработало даже на обычном Int32 ид) а хотелось бы индекс посложнее
если вызывать дополнительно ORDER BY как-то долго получается -
Потому что PG на select count (distinct ...) просто умирает на таких объъемах
-
а когда надо сделать помимо отбора уникальных значений, еще и доп. агрегации, то PG нервно курит
-
Выборки слишком разнообразные..... В этом вся беда...
-
Вы точно не любите кошек? Может быть Вы их просто готовить не умеете?
-
Если вы сможете сделать count distinct на postgres на 150 000 000 данных за 1 секунду, то подскажите )))
-
это же лишь 1 пример )
-
Точно не умеете.
-
ну так я и говорю, подскажите )
-
Даже вопрос задать нормально не можете.
-
На каких типах вы хотите 150 миллионов дистинкта почситать?
-
На разных. От UInt 16 до строки. Все зависит от задачи.
-
Начнем с того, что ПГ не умеет в unsigned из коробки.
-
Я задал общий вопрос, и вроде бы даже обозначил это в вопросе.
-
Я про КХ.
-
КХ - это вообще отдельная тема, можно, например, количество шардов в кластере упомянуть.
-
Я понимаю, что у вас может быть более богатый опыт. Но я для того и задал вопрос в этом чате, чтобы мне подсказали направление...
-
При чем тут шарды, кластеры? Представим, что у нас 1 сервер без кластеризации и прочее. ПРосто тупо 1 сервер и описанная выше задача.
-
Именно для аналитики КХ и используется.
-
Ну, Вы понимаете, что для UInt16 и String со средней длинной в пару сотен байт потребуются совершенно разные объемы памяти?
-
Изначально так и есть, данные хранятся в PG в куче таблиц. Затем они сливаются в 1 таблицу в КХ по некоторым алгоритмам. В итоге получаем широкую таблицу, позволяющую производить вычисления в разных разрезах, не прибегая к JOIN разных справочников и других таблиц.
-
Кому бот полайкал посты легче всего выйти войти
-
Вопрос в скорости. Сейчас, чтобы обеспечить актуальность данных + реализовать псевдо операции с удалением/изменением, используется придуманная схема. ЧТо то вроде такого.
-
-
Long tap на лайк и прочитать всё
-
Именно. Это и было посылом к вопросу. Попробую сейчас расписать более конкретно.
-
Вводные данные:
1 сервер. Без реплик, шардов и т.д.
Таблица примерно на 150-200 млн. записей (пока). Около 200 столбцов.
Запросы - самые разнообразные, по любому набору столбцов. Отсюда минус - сложное партиционирование, не всегда возможно сделать оптимальное.
Требования - выводить результаты агрегационных запросов (sum, uniqExact) в нужных разрезах и, самое главное, за время, не превышающее 1-3 секунд.
Дополнительный минус - данные требуют обновлений/удалений. Удаления редки, но обновления могут быть частыми.
В итоге требуется - иметь более-менее приемлемую актуальность данных в каждый момент времени + указанную выше скорость выполнения запросов. -
Кто нибудь работает с object(json)? Можно ли динамическую колонку сделать nullable? -
ну, уже хорошо, что о милисекундах речь не идет
-
не не, речь не про милисекунды. Допустимо отставание вплоть до часа/дня.
-
а как же 1-3 секунды?
-
я про лаги в актуальности данных, не про время запроса )
-
а, так Вам еще и из пг в кх надо в рилтайме передавать?
-
не, про передачу из ПГ в КХ речь не идет, считаем по умолчанию, что данные поступают нормально.
-
Не понимаю, так о какой задержке мы говорим?
-
Там целая система обработки данных в ПГ/Kafka и т.п. и потом система укладывает данные в клик батчами.
-
Вероятно, можно применить projections. Но точного ответа никто не даст, поскольку непонятно, что именно вы делаете и где проблема.
-
Проекции пробовали. Увы, прироста скорости не дало...
-
Тоже пробовали. Получаем очень плохую актуальность данных. Пока идут мержи, прям совсем неактуально получается :(
-
Минуту
-
FINAL сильно сервер грузит. крон помогает, но опять же дикая нагрузка...
-
Так может быть запретить мержи после определенного объема? Или СХД другую выбрать?
-
Сдается мне, что троллинг это :(
-
Запросы примерно такие
-
-
Быстро, качественно, недорого.
-
Алексей, я не потроллить пришел, а спросить совета. Может, вы мне тупо ткнете в какое то место и я увижу причину своих проблем. На троллинг у меня нет времени.
-
да
-
Вам же предложили горизонтальное масштабирование и про смену СХД подумать.
-
огромный. Таблицы денормализованы, и дублей строк в определенных разрезах очень много
-
Коллеги, если бы всё было так просто, я бы не обратился в сообщество за советом )
-
Прежде чем делать масштабирование, надо изучить проблему от и до. Можно любую проблему размазать по куче серверов и получить хорошее время отклика запросов. Но надо сначала на минимуме выжать максимум производительности и потом уже расширяться...
-
Вот только не нужно меня в этом убеждать, я вообще сторонник выжать все до процента производительности. А потом мне рассказывают о том, что нагрузка выше 60% есть следствие неверного выбора КТС.
-
-
Это как раз пример предагрегата, весь запрос выполняется примерно за 15 секунд...
-
Так я и не убеждаю же ) Я пытаюсь найти решение проблемы, не уходя в сторону масштабирования серверов. Возможно, есть ошибки, их то я и пытаюсь найти..
-
Это одно из полей (Array(UInt32)), по которому нужна группировка.
-
Да, это требуется для вывода неких "счетчиков" на экран..
-
они в IF условиях в uniqExact
-
Беда в том, что даже 1 запрос вида
uniqExactIf(sender_message_id, ((sender_message_vmcl = 1))) AND (sender_message_client_datetime IS NOT NULL))
отрабатывает за 4 секунды.
И я пытаюсь найти проблему, из-за чего это может быть. -
Матвьюхи
-
uniq это слишком приближенно, к сожалению...
-
Есть. Как те, что в order by таблицы, так и доп. созданные.
-
сейчас проверю скорость запрос и результаты с uniqExact и просто uniq... Минутку
-
Не особо помогает...
-
-
как можно быстро вытягивать данные из КХ если идет обращение к одной той же таблице?
есть таблица на 500 миллионов, нужно вытянуть с нее кусками данные по 10
SELECT * FROM aggregation
ORDER BY id, type, offer, codes
LIMIT 10_000_000 OFFSET 10_000_000;
на графике трафик с БД. Видно, что ждем данные из-за выполнения запроса
в DDL таблице ORDER BY на эти же поля есть
Уточнение, данные хочу получить в C#. Net Framework 4.8 -
UUID
-
вам наверное хоть что-то скрывать, что у вас на скринах
вдруг что-то от Минздрава увидим -
Не увидите, не переживайте ))
-
Увы. Но так....
-
show create table покажете?
-
Столбцы показывать?
-
там просто их тонна
-
Просто интересно, скольку у Вас nullable столбцов
-
если кратко то так
-
-
nullable Только даты
-
CREATE TABLE pg_analitic.semd_connection_vimis
(
`sender_message_vmcl_array` Array(UInt16) DEFAULT [] COMMENT 'Направления оказания медицинской помощи в сообщении',
`sender_nmrc` UInt8 COMMENT 'Признак контрагентов являющихся НМИЦ',
`sender_message_id` UUID COMMENT 'Уникальный идентификатор принятого сообщения',
`sender_system_code` String COMMENT 'Код контрагента',
`sender_system_name` String COMMENT 'Наименование контрагента',
`sender_territory_tree_id` LowCardinality(String) COMMENT 'Текущая иерархия территории контрагента',
`sender_territory_tree_name` LowCardinality(String) COMMENT 'Наименование территории контрагента',
`sender_doc_type_code` UInt16 COMMENT 'Код типа документа в сообщение',
`sender_doc_type_name` LowCardinality(String) COMMENT 'Наименование типа документа в сообщении',
`sender_message_client_datetime` DateTime64(3) COMMENT 'Дата и время приема сообщения в UTC',
`sender_message_status` Enum8('Receive_Ok' = 1, 'XSD_Ok' = 2, 'FLK_Ok' = 3, 'SaveToDB_Ok' = 4, 'XSD_Err' = 5, 'FLK_Err' = 6, 'SaveToDB_Err' = 7) COMMENT 'Состояние обработки сообщения',
`sender_stage_description` String DEFAULT '' COMMENT 'Детализация по состоянию обработки сообщения',
`sender_stage_description_alias` String DEFAULT '' COMMENT 'Детализация по состоянию обработки сообщения (алиас)',
`sender_mo_id` UInt64 DEFAULT 0 COMMENT 'ID МО в СЭМД из EHR',
`sender_mo_oid` String DEFAULT '' COMMENT 'OID МО из sms_log.income_message',
`sender_mo_name_short` String DEFAULT '' COMMENT 'Cокращенное наименование МО в СЭМД из EHR',
`sender_mo_delete_date` Nullable(DateTime64(3)) COMMENT 'Дата удаления МО в ФРМО',
`sender_mo_mcl` Array(UInt16) DEFAULT [] COMMENT 'Признак профиля',
`sender_mo_mcl_subline` Array(UInt16) DEFAULT [] COMMENT 'Код профиля ОПМ',
`sender_mo_mcl_subline_name` LowCardinality(String) DEFAULT '' COMMENT 'Ключ - код профиля ОМП, значение - наименование',
`sender_mo_mcl_subline_filter_code` Array(Array(UInt16)) DEFAULT [] COMMENT 'Код фильтра профиля ОПМ',
`sender_mo_territory_tree_id` LowCardinality(String) DEFAULT '' COMMENT 'Иерархия территории МО',
`sender_mo_region_territory_tree_id` LowCardinality(String) DEFAULT '' COMMENT 'Идентификатор региона МО',
`sender_mo_region_territory_tree_code` LowCardinality(String) DEFAULT '' COMMENT 'Код региона МО',
`sender_mo_region_territory_tree_name` LowCardinality(String) DEFAULT '' COMMENT 'Наименование региона МО',
`sender_mo_fd_territory_tree_id` LowCardinality(String) DEFAULT '' COMMENT 'Идентификатор федерального округа МО',
`sender_mo_fd_territory_tree_code` LowCardinality(String) DEFAULT '' COMMENT 'Код федерального округа МО',
`sender_mo_fd_territory_tree_name` LowCardinality(String) DEFAULT '' COMMENT 'Наименование федерального округа МО',
`semd_doc_ehr_id` UInt64 DEFAULT 0 COMMENT 'Уникальный идентификатор СЭМД из EHR',
`semd_doc_type_code` UInt64 DEFAULT 0 COMMENT 'Код типа документа СЭМД из EHR',
`semd_doc_type_name` LowCardinality(String) DEFAULT '' COMMENT 'Наименование типа документа СЭМД из EHR',
`semd_mo_id` UInt64 DEFAULT 0 COMMENT 'ID МО в СЭМД из EHR',
`semd_mo_oid` String DEFAULT '' COMMENT 'OID МО в СЭМД из EHR',
`semd_mo_name_short` String DEFAULT '' COMMENT 'Cокращенное наименование МО в СЭМД из EHR',
`semd_mo_delete_date` DateTime64(3) COMMENT 'Дата удаления МО в ФРМО',
`semd_mo_mcl` Array(UInt16) DEFAULT [] COMMENT 'Признак профиля',
`semd_mo_mcl_subline` Array(UInt16) DEFAULT [] COMMENT 'Код профиля ОПМ',
`semd_mo_mcl_subline_name` LowCardinality(String) DEFAULT '' COMMENT 'Ключ - код профиля ОМП, значение - наименование',
`semd_mo_mcl_subline_filter_code` Array(Array(UInt16)) DEFAULT [] COMMENT 'Код фильтра профиля ОПМ',
`semd_mo_territory_tree_id` LowCardinality(String) DEFAULT '' COMMENT 'Иерархия территории МО',
`semd_mo_region_territory_tree_id` LowCardinality(String) DEFAULT '' COMMENT 'Идентификатор региона МО', -
`semd_mo_region_territory_tree_code` LowCardinality(String) DEFAULT '' COMMENT 'Код региона МО',
`semd_mo_region_territory_tree_name` LowCardinality(String) DEFAULT '' COMMENT 'Наименование региона МО',
`semd_mo_fd_territory_tree_id` LowCardinality(String) DEFAULT '' COMMENT 'Идентификатор федерального округа МО',
`semd_mo_fd_territory_tree_code` LowCardinality(String) DEFAULT '' COMMENT 'Код федерального округа МО',
`semd_mo_fd_territory_tree_name` LowCardinality(String) DEFAULT '' COMMENT 'Наименование федерального округа МО',
`semd_first_mo` UInt8 DEFAULT 0 COMMENT 'Признак первого сообщения от МО в EHR (СЭМД успешно принят)',
`semd_first_version` UInt8 DEFAULT 0 COMMENT 'Признак первой версии сообщения в EHR (СЭМД успешно принят)',
`semd_version` String DEFAULT '' COMMENT 'Версия СЭМД в EHR',
`semd_date` Nullable(DateTime64(3)) COMMENT 'Дата и время СЭМД в ВИМИС в EHR',
`semd_patient_id` UInt64 DEFAULT 0 COMMENT 'ID пациента в СЭМД в EHR',
`semd_patient_info_id` UInt64 DEFAULT 0 COMMENT 'ID пациента из МП',
`semd_first_patient` UInt8 DEFAULT 0 COMMENT 'Признак первого СЭМД по пациенту в EHR (СЭМД успешно принят)',
`semd_patient_status_mcl` Array(UInt16) DEFAULT [] COMMENT 'Направление ВИМИС для пациента',
`semd_patient_status_mcl_name` Array(LowCardinality(String)) DEFAULT [] COMMENT 'Наименование направления ВИМИС для пациента',
`semd_patient_status_submcl` Array(Array(LowCardinality(UInt16))) DEFAULT [] COMMENT 'Профиль ОМП ВИМИС для пациента',
`semd_patient_status_submcl_name` Array(Array(LowCardinality(String))) DEFAULT [] COMMENT 'Наименование профиля ОМП ВИМИС для пациента',
`semd_patient_status_submcl_date_begin` Nullable(DateTime64(3)) COMMENT 'Дата начала действия профиля ОМП ВИМИС для пациента',
`semd_patient_status_submcl_date_end` Nullable(DateTime64(3)) COMMENT 'Дата окончания действия профиля ОМП ВИМИС для пациента',
`semd_patient_registration_tree_id_code` LowCardinality(String) DEFAULT '' COMMENT 'Иерархия территории постоянной регистрации',
`semd_patient_registration_tree_name` LowCardinality(String) DEFAULT '' COMMENT 'Наименование территории постоянной регистрации',
`sender_message_vmcl` UInt16 DEFAULT 0 COMMENT 'Направления оказания медицинской помощи в сообщении (одно значение)',
`tx_id` UInt64 DEFAULT toUInt64(now64()) COMMENT 'Столбец с ID транзакции, ссылка на pg_analitic.onko_construct_disease_events',
`raw_id` UUID MATERIALIZED generateUUIDv4() COMMENT 'Идентификатор строки',
`date_modify` DateTime64(3) MATERIALIZED now64() COMMENT 'Дата создания или изменения записи',
`hash_date` String DEFAULT '' COMMENT 'Хэш даты',
`sender_mo_mcl_subline_filter_name` Array(Array(LowCardinality(String))) DEFAULT [] COMMENT 'Ключ - код фильтра профиля ОМП, значение - наименование',
`semd_mo_mcl_subline_filter_name` Array(Array(LowCardinality(String))) DEFAULT [] COMMENT 'Ключ - код фильтра профиля ОМП, значение - наименование',
`semd_mo_dept_code` LowCardinality(String) DEFAULT '' COMMENT 'Код ведомственной принадлежности МО',
`semd_mo_dept_name` LowCardinality(String) DEFAULT '' COMMENT 'Ведомственная принадлежность МО',
`semd_mo_organization_type_code` LowCardinality(String) DEFAULT '' COMMENT 'Код типа МО',
`semd_mo_organization_type_name` LowCardinality(String) DEFAULT '' COMMENT 'Наименование типа МО',
`semd_mo_agency_kind_code` LowCardinality(String) DEFAULT '' COMMENT 'Идентификатор вида деятельности МО',
`semd_mo_agency_kind_name` LowCardinality(String) DEFAULT '' COMMENT 'Наименование вида деятельности МО',
`semd_mo_agency_kind_code_spec` String DEFAULT '' COMMENT 'Идентификатор вида деятельности МО по спецгруппировке',
`semd_mo_agency_kind_name_spec` String DEFAULT '' COMMENT 'Наименование вида деятельности МО по спецгруппировке',
`semd_mo_agency_profile_code` LowCardinality(String) DEFAULT '' COMMENT 'Идентификатор профиля деятельности МО',
`semd_mo_agency_profile_name` LowCardinality(String) DEFAULT '' COMMENT 'Наименование профиля деятельности МО', -
`semd_mo_level_code` LowCardinality(String) DEFAULT '' COMMENT 'Идентификатор уровня МО',
`semd_mo_level_name` LowCardinality(String) DEFAULT '' COMMENT 'Наименование уровня МО',
`semd_mo_territory_code` LowCardinality(String) DEFAULT '' COMMENT 'Идентификатор территориального признака МО',
`semd_mo_territory_name` LowCardinality(String) DEFAULT '' COMMENT 'Наименование территориального признака МО',
`semd_ehr_vmcl_array` Array(UInt16) DEFAULT [] COMMENT 'Направление определенное в EHR ВИМИС',
`error_code_materialized` String MATERIALIZED multiIf((sender_message_status IN (5)) AND sender_nmrc AND (semd_doc_ehr_id = 0), 'XSD_NMIC', (sender_message_status IN (6, 7)) AND sender_nmrc AND (semd_doc_ehr_id = 0), 'FLK_NMIC', (sender_message_status IN (5)) AND (NOT sender_nmrc) AND (semd_doc_ehr_id = 0), 'XSD', (sender_message_status IN (6, 7)) AND (NOT sender_nmrc) AND (semd_doc_ehr_id = 0), 'FLK', ''),
`error_name_materialized` String MATERIALIZED multiIf((sender_message_status IN (5)) AND sender_nmrc AND (semd_doc_ehr_id = 0), 'Ошибка валидации по XSD схеме переданных НМИЦ', (sender_message_status IN (6, 7)) AND sender_nmrc AND (semd_doc_ehr_id = 0), 'Форматно-логический контроль переданных НМИЦ', (sender_message_status IN (5)) AND (NOT sender_nmrc) AND (semd_doc_ehr_id = 0), 'Ошибка валидации по XSD схеме переданных регионами', (sender_message_status IN (6, 7)) AND (NOT sender_nmrc) AND (semd_doc_ehr_id = 0), 'Форматно-логический контроль переданных регионами', '')
)
ENGINE = MergeTree
PARTITION BY sender_territory_tree_id
ORDER BY (sender_mo_fd_territory_tree_id, sender_territory_tree_id, sender_mo_territory_tree_id, semd_mo_territory_tree_id, semd_patient_id, sender_message_id)
SETTINGS index_granularity = 8192 -
заспамил чат...
-
в максимальном варианте - хоть ежесекундно... Зависит от количества пользователей..
-
А Array(Array(LowCardinality(String))) как работает? Реально как LowCardinality?
-
Отсутствие возможности по дате фильтровать тоже как-то совсем странно выглядит.
-
Да. В LowCardinality участвуют данные, не имеющие более 100 уникальных значений
-
Вся история напоминает "я хочу странного, у меня не получается, помогите" или качественный троллинг.
-
вообще это странное требование "потребность делать запросы ON CLUSTER с одного кластера на другой"
но в принципе в чем проблема выдать права двум ACL на одну и туже ноду? -
бекап - рестор?
-
Блин, да что ж вы меня троллем то считаете )
Есть глобальная всероссийская система. Она шлет в нашу систему XML документы. У нее в качестве ID используется UUID - уникальный идентификатор документа. Таких документов сотни миллионов и более. Физически невозможно присвоить им иные идентификаторы в виде простых числовых... -
Мы обязаны хранить и использовать эти идентификаторы...
-
today_date, today_date + toIntervalDay(-1)
-
Так, ладно, с UUID я принял в оборот, завтра будет обсуждать. Но что делать с кучей апдейтов? Брать CollapsingMergeTree и забить на актуальность данных?
-
Да, тут требуется вычислить данные за сегодня + вчера.
-
У меня тоже куча вопросов к разработчикам СМЭВ, только я это не тащу на всеобщее обозрение.
-
А при чем здесь это?
-
Здесь не всеобщее обозрение, а просьба помочь в решении проблемы. Часть я уже увидел, за что большое спасибо.
-
глобальная всероссийская система
XML документы
ID используется UUID -
Это не СМЭВ )) Я с ней тоже работал, но это не оно.
-
Я в курсе
-
Есть. Но в 99% случаев нужен отбор за все данные в БД.
-
Добавлял в order by - разницы в скорости выполнении запросов - 0.
-
я бы начал с отключения фичи
input_format_parallel_parsing arg Enable parallel parsing for some data formats. -
Не спорю )
-
@TGtraffic2022 забаньте плиз
-
Индекс есть
-
-
последняя stable 23.3
это какой баг у вас, возможно 22.2 сломана
clickhouse-client -s
Connection refused (localhost:9440)
кстати у клиента и сервера абсолютно разные конфиги, то что вы меняете конфиг сервера никак не влияет на клиент.
в конфиге клиента можно задать порт -
-
Более 50%
-
replacingMergeTree + принудительный optimize + все запросы с final +optimize_skip_merged_partitions do_not_merge_across_partitions_select_final
-
а не будет final давать чрезмерную нагрузку, в случае ежесекундных обращений? КХ вроде как не рекомендует его использовать на больших таблицах...
-
а я правлильно понимаю у вас есть возможность данные заливать раз в час или раз в сутки, потом делать optimize final и после этого запросы без final?
--do_not_merge_across_partitions_select_final arg Merge parts only in one partition in select final -
Да, раз в час - допустимо вполне
-
Ну точнее как - данные то заливаются постоянно. Но иметь временной лаг в актуальности из-за мутаций при мержах - допустимо.
-
Всем привет.
Нужен совет. Что можно покрутить в конфиге, чтобы ускорить merge партиций на движке MergeTree.
Замена дисков на ССД пока не принимается к сожалению. -
Выше ответил
-
вот
-
блин, телеграм-спамеры начали лайкать комментарии все подряд в этом чате, раздражает -
Кидали выше -
Там всего 5 колонок, нужны все
-
Нужно потом сделать групп бай на колонки search, type, offer, codes
Получить словарь key (search, type, offer, codes), value (agency, rule_id)[]
Или массив search, type, offer, codes, (agency, rule_id)[]
Это сериализовать и в редиску
Акция 3-4 раза в день, когда исходная таблица полностью обновляется -
/stat@combot -
Total messages: 265498 -
Привет
-
Лохи
-
Долго пупсы
-
-
Посоветуйте легкий батчинг в клик. Данных приростает примерно 500 млн строк за месяц. -
Сейчас юзается ассинхронная всавка.
-
Текущий процесс
1. Тянем все данные в не отсортированном виде List<(search, type, offer, codes, agency, rule_Id)>
2. Создаем из этого в Dictionary<(search, type, offer, codes), (agency, rule_id)[]>
3. Словарь кастим в List<(search, type, offer, codes, (agency, rule_id)[]>.
4. Лист сериализуем кусками и в редиску
Хочу поменять на
1. Тянем данные кусками отсортированные по ключу (search, type, offer, codes)
2. Т.к. данные отсортированы, складываем сразу в List<(search, type, offer, codes, (agency, rule_id)[]>
Если прочитанная строка равна предыдущей, то нужно добавить значение в (agency, rule_id)[]
Иначе добавялем в лист новую запись (search, type, offer, codes, (agency, rule_id)[]
3. Когда прочитали какое-то заданное кол-во строк, то сериализуем весь List, кроме последнего элемента -
бинарные куски потом грузятся на 6 серверов, там в инмемори кэш.
подготовка и потом загрузка бинарников значительно быстрее, чем на 6 серверах дергать БД 6 раз -
+ приложение может упасть или деплой идет.
оно эти бинарные куски потом локально хранит -
не нужно пользоваться LIMIT/OFFSET. Нужно пользоваться where id between 10000 and 10100. При условии что у вас order by id
-
Добрый день. Существуют ли какие-то подводные камни при обновлении с 21.3 на 22.3?
-
с ORDER BY rule_id проблем нет.
немного не корректно написал исходный вопрос.
SQL правильный так выглядит, нужно 4 полям ордер
SELECT * FROM aggregation
ORDER BY search, type, offer, codes
LIMIT 10_000_000 OFFSET 10_000_000; -
можно в чейнжлоге посмотреть под заголовками Backward Incompatible Change
-
я имел в виду order by/primary key таблицы - её первичный индекс. limit/offset вам не поможет, он фильтрует на выходе, после того как данные уже прочитаны (по крайней мере их начало). У вас каждый раз считывается вся таблица с начала, какой бы offset вы не поставили. Отсюда и такой профиль нагрузки
-
DLL таблицы
engine = MergeTree ORDER BY (search, type, offer, codes)
если делать селект на кусок данных через LIMIT OFFSET без order by (search, type, offer, codes),
то данные могут прийти не сортированные
Это не подходит
where id between 10000 and 10100. -
search строковый что-ли? Тогда можно фрагменты для выборки и по буквам сформировать.
order by (search, type, offer, codes) в запросе - оставляйте, если хотите чтобы сортировку делал КХ (но может и память сожрать свех меры)
там при таком подходе иная проблема - пока вы частями вычитываете, могут прийти новые данные, и вы их не получите.
Но все равно не очень понятно - для чего вы делите запрос на фрагменты, а не получаете его целиком?
Если памяти хватает отсортировать все, то выгребайте целиком, без лимита. КХ будет вам стримить - только принимайте. -
не заметил сразу, что у вас order by таблицы и запроса совпадают. Тогда проблемы с сортировкой нет вобще - КХ все отсортирует на вставках/мерджах. Вам нужен сеттинг правильный - https://clickhouse.com/docs/en/sql-reference/statements/select/order-by/#optimize_read_in_order
Будет работать быстро - читать с диска и кормить ваше приложение. Главное чтобы оно приняло. Не нужен вам limit/offset - забудьте про него. Он тут почти не работает при несовпадении order by. Но у вас совпадает. -
У хоста есть 64 ГБ оперативы, но я пытаюсь сделать потоковое формирование бинарников
Хост за раз не справляется, там до 500 миллионов исходных правил.
Типы (search, type, offer, codes) short, byte, short, string
Поглядываю также в сторону Nested -
какая версия КХ? Почитайте changelog про этот optimize_read_in_order. Там пишут что что-то меняли в 22.2, и у меня есть воспоминание, что раньше оно было выключено.
Но если вы сможете добиться, чтобы КХ не сортировал все в памяти, а стримил вам напрямую с диска, то ваше приложение может само делить на удобные вам батчи и распределять по многочисленным редисам. -
спамят же(
-
их кикать можно было просто
-
если описание профиля вроде «Ищу мужчину для здоровья», то сразу бан в чате
-
и кстати, не могу придумать как оптимизировать расход цпу кликхауса — у меня всего одна нода, на которой расположено всё, иногда нагрузка 20%, а иногда кликхаус грузит процессор в сотку
-
вставляю записи каждые 5 минут, примерно по 10к записей
-
настолько же быструю? Так она есть. Ты просто не успеваешь заметить)
-
да, запросы вне зависимости от нагрузки идут каждые 5 минут
-
24/7
-
очень грустно такую нагрузку видеть (кликхаус не отключался), стата за 12 часов
-
в идеале было бы как-то сместить приоритет нагрузки на ночь, чтобы хотя бы днём и вечером не грузило в 100%
-
а логи-метрики вы ведь уже отключили? https://kb.altinity.com/altinity-kb-setup-and-maintenance/altinity-kb-settings-to-adjust/
-
optimize_read_in_order включено по умолчанию после 19.16
-
господа, порекомендуйте надежный сервис managed clickhouse, в идеале где-нибудь в европе
-
перепроверю и отвечу
-
может да, может нет) если да, то давно наверняка
-
запросы INSERT?
-
я SELECT не так часто вызываю, чтобы грузить им хост целыми днями
-
ну.. 10к в среднем вставка
-
даже 12к сейчас
-
это по system.part_log
-
10к записей каждые 5 минут примерно
-
и что за мв
-
Матвью
-
нет, такого нет
-
как посмотреть?
-
вот кидали сюда такой запрос
-
по нему ориентируюсь
-
-
Yandex Cloud 🥺
Не совсем Европа, правда) -
Сейчас окажется что там виртуалка на пару ядер с кучей дисков 😂
-
Altinity.Cloud
A fully-managed ClickHouse service, Altinity.Cloud runs in any AWS and GCP region. Sign up and launch production-ready ClickHouse clusters today!
- 11 April 2022 (136 messages)
-
Из-за чего может появляться ошибка хоста?
Клик дропает входящие tcp реквесты?
Как можно лечить? -
Еще вопрос
request duration: 61ms
getArticleUrlTrees { elapsed: 0.000937145, rows_read: 8192, bytes_read: 369965 }
Неужели tcp съедает так много времени от запроса?)
1мс работы базы превращается в 61мс запроса -
Скорее TLS. Далеко клиент от сервера?
-
это не клик дропает это у вас DNS не резолвит endpoint яндекса
-
ping до сервера какой?
TCP syn / ack + TLS (если есть) + передача 300 килобайт по сети
протокол какой ? Native или HTTP?
если HTTP формат передачи данных какой? -
Ну так он не отменяется на стороне кликхауса ( как я помню). А настройка на время ожидание ответа устанавливается на клиенте вроде как
-
clickhouse-client --receive_timeout=3600 -q "SELECT .. " если из CLI запускаете
в других клиентах тоже timeout настройте -
Уточните, что такое кластер в вашем понимании.
Если вам нужно просто несколько шард, то clickhouse keeper для этого не необходим, например. -
Если у вас join простой (определенно inner), то можно смотреть сюда https://clickhouse.com/docs/ru/sql-reference/dictionaries/external-dictionaries/external-dicts-dict-sources/#dicts-external_dicts_dict_sources-clickhouse
Ну а если сложный, то вам вообще мало что поможет. Разве что репликация этой таблицы из второго кликхауса в первый.Источники внешних словарей | Документация ClickHouseИсточники внешних словарей Внешний словарь можно подключить из множества источников. Общий вид XML-конфигурации: <clickh
-
Не знаю текста, который покрывает ваш вопрос, но вот сюда посмотрите https://kb.altinity.com/altinity-kb-setup-and-maintenance/altinity-kb-converting-mergetree-to-replicated/ , например.
-
я правильно понимаю, что вы пытаетесь через select * вытянуть 30B записей с другого сервера и как-то их поджойнить? Нет, так оно не работает. Нужно эти 30B сгрупировать до 1M и вот этот миллион уже можно переслать. Покажите лучше свои селекты, без особой детализации колонок.
-
Идея рассказать клоудере (кто бы это ни был) про наличие в CH мастер- и дата- нод выглядит подозрительно, потому что в самом CH таикх понятий нет, хотя они могут появляться на каком-то логическом уровне.
Почитайте про кластеры и про репликацию в официальной доке и на сайте Альтинити, посмотрите какие-нибудь видео про то же. Скорее всего, станет понятно, что такое кластер в CH. -
Странно, что не работает remote. Вроде нет квот, в которые здесь можно было бы упереться. Но совет все равно один - почитайте логи. Скорее на host.clickhouse.com.
Можно попробовать использовать таблицу Distributed, это чуть правильнее, чем remote. -
ну это по идее параметр соединения, он до передачи самой query должен быть известен, чтобы параметры сокета задать, не знаю попробуйте
-
Всем добрый день. Делаю insert select по ODBC. 18 млн строк, 5 Гб. Оперативки, судя по графикам более чем достаточно. Но получаю ошибку:
DB::Exception: Attempt to read after eof: While executing BinaryRowInputFormat: While executing ODBC.
В чем может быть проблема? -
Установил
set max_insert_threads=32;
но не помогло -
проблема в ODBC source
SELECT ... FROM odbc(...) LIMIT 10
нормально работает?
какая субд в качестве источника?
max_insert_threads это паралельность вставок -
MSSQL
-
драйвера какие FreeTDS или официальные драйвера?
-
официальные. до этого уже работало.
-
Добрый день.
Странный баг. В ю таблице atable есть 2 колонки X,Y UInt64.
Делаю запрос вида INSERT INTO btable SELECT X, Y, ... WHERE...
Работает нормально.
Делаю запрос вида INSERT INTO btable SELECT X, X, ... WHERE...
Т.е. вставляю в 2 колонки того же типа одно значение - выполняется в 10-15 раз дольше.
Отчего так? -
Кто-нибудь использовал движок Kafka для AvroConfluent с реестром схем от apicurio?
-
стектрейс надо бы посмотреть
какая версия clickhouse? -
Добрый день! Нет ли функции для совмещения like и in? -
22.3.2.1
А вот со стек-трейсами не помогу(( -
multiSearchAny ?
-
а не multiMatchAny?
-
match это re2 выражения
-
зависит от задачи
-
да просто вместо Name like ‘Вас%’ or Name like ‘Пет%’
-
это можно через arrayFirst и startsWith/like/match/position или через multiMatchAny, в зависимости от объёмов можно попробовать разные варианты на скорость
-
ну найдите того кто поможет
/var/log/clickhouse-server/clickhouse-server.err.log
вот в этот файл надо смотреть
или в
SELECT * FROM system.query_log WHERE query NOT IN ('QueryStart','QueryFinish') AND event_date=today() AND query ILIKE 'odbc' FORMAT Vertical
еще можно вместо табличной функции odbc
пробовать табличку ENGINE=ODBC(...) или VIEW SELECT ... FROM odbc(...) сделать -
Спасибо!
-
Сейчас сделал на стороне MSSQL представление, в котором все поля перегнал в varchar. На стороне Кликхауса все заработало. Видимо есть какой-то косяк парсинга в дровах.
-
Почему то после удаления партиции место не освобождается. Может ли быть связано с тем, что с партиции сделан бекап и ch думает что есть какие то связи?
-
Добрый день! Подскажите, пожалуйста, из-за чего периодически может зависать clickhouse-odbc-bridge, помогает только киляние процесса -
Около 8 минут должно пройти, как удалятся данные физически
-
Всем привет, вижу вот в логах, что ошибки ExceptionBeforeStart идут только на дефолтную БД, current_database=default, хотя в DSN при вставке мы прописываем все.
Может кто-нибудь с таким сталкивался? Просто ошибка возникает Column date is not under aggregate function and not in GROUP BY в мат вьюхах, хотя запросы верные, группировка отдельно отрабатывает, странная хрень 🧐 Версия 22.1 -
Вы при подключение указываете БД ?
-
вот такая стринга
tcp://ch1sh1r1:9000,ch1sh1r2:9000,ch1sh2r1:9000,ch1sh2r2:9000,ch1sh3r1:9000,ch1sh3r2:9000/statistics
драйвер вот этот https://github.com/ClickHouse/clickhouse-go#dsn
Причем некоторые то данные вставляются, не все идут с такими ошибками. Магия какая-то -
Как понять в какое место файла нужно помещать данный конфиг?
-
-
либо в дровах либо в том как из clickhouse вычитываются данные из того что возвращает ODBC, как нибудь не так приведение типов на низком уровне работает или еще чего...
будет круто если поропбуете по одному поля убирать
и понять на каком именно столбце ошибка -
у вас Native или HTTP протокол?
это настройки профиля
можно в /etc/clickhouse-server/users.d/avod.xml
<yandex><profiles><default><format_avro_schema_registry_url>...</format_avro_schema_registry_url></default></profiles></yandex>
для Native
можно через SETTINGS format_avro_schema_registry_url=...
для HTTP
через query string
?format_avro_schema_registry_url= -
/stat@combot -
Total messages: 265636
-
Нет такой доки (или я ее не знаю).
Ну и не очень понятно, что в ней можно написать, потому что в CH понятие "cluster" эфемерное и мало к чему обязывающее.
Никто не мешает для некоторых Distributed таблиц описать отдельный, только им одним ведомый кластер, состоящий из части нод.
Типичный паттерн - наряду с "настоящим" кластером, в котором есть шарды, описать кластер, в котором все ноды кластера описаны как реплики; это позволяет иметь какие-то данные на всех узлах кластера.
Ну а ключ шардирования не нужен, если таблицы используются для чтения. По умолчанию Distributed не полагается на знание, где что лежит, а обращается ко всем таблицам, над которыми она создана. -
Добрый день! Очень хочется разобраться, возможно ли как-нибудь задать счётчик квот на весь кластер? Создаю квоту на чтение только 2 строк в минуту, для пользователя, у которого есть права только на чтение. Делаю запрос из двух нод на чтение из-под пользователя с правами только на чтение. Квоту read_rows установил на 3. Делаю запрос в первой ноды, читаю 2 строки, затем делаю запрос из второй ноды и тоже читаю 2 строки и запрос успешно выполняется. Делаю запрос в Distributed таблице.
create quota test on cluster test for interval 60 second max read_rows = 2 to user_reader;
Подскажите пожалуйста, возможно что-то неправильно сконфигурировано или неправильно создана квота? -
Подскажите, пожалуйста, а как можно почистить очередь system.distribution_queue?
Одна нода кластера не успевает мерджить всё что к ней прилетает. Отключили все прямые вставки и вставки в распределённые таблицы, чтобы пришла в себя, но там ещё 250к вставок в очереди distribution_queue. Хочется их тоже удалить. -
Здравствуйте, возникла проблема с фильтрацией. Требуется агрегировать у юзеров определенные поля вместе с фильтрацией. Проблема в том, что если ни один из юзеров не попал под фильтры. то агрегация становится невозможной даже null-данными, т.к. нету колонки для агрегация.. Есть ли возможность агрегировать юзеров null данными, если ни один юзер не попал под фильтры по дате?
сам кейс:
юзеры фильтруется по определенным действиям за промежуток времени и если хотя бы один юзер делал действия в этот промежуток, то остальные агрегируются null-данными, если ни один не попал под фильтр, то квери пустой
sql: https://pastebin.com/M7RTbERa -
В п.2 можно юзать HAVING SUM(sign) = 1 для CollapsingMergeTree и argMax(column, version) для ReplacingMergeTree
-
Добрый вечер! подскажите плз, с чем связана такая ошибка
Code: 241. DB::Exception: Memory limit (for query) exceeded: would use 9.31 GiB (attempt to allocate chunk of 4211808 bytes), maximum: 9.31 GiB: (while reading column log_file_path): (while reading from part /var/lib/clickhouse/store/f94/f948f5e0-a70e-4eb9-b948-f5e0a70e6eb9/202203_1_251033_10162/ from mark 720 with max_rows_to_read = 8192): While executing MergeTreeThread. (MEMORY_LIMIT_EXCEEDED) (version 21.11.11.1 (official build))
делаю такой запрос
```
select * from transactions tx
join nginx_logs n on tx.order = n.order
where tx.order ='e93bde37-ea6f-7743-b7bd-562e47ba714a'
order by n.time_local;
```
в тоже время если выполняю данный запрос отдельно по каждой таблице, то все выполняется хорошо . в одной таблице 1 запись, в другой 20. -
попробуйте where перенести в подзапрос
-
тоже самое
-
```
select * from transactions tx
join nginx_logs n on tx.order = n.order and tx.mdorder ='e93bde37-ea6f-7743-b7bd-562e47ba714a'
order by n.time_local;
``` -
в подазпрос а не ON )
-
понял, спасибо!
-
ну я да, просто обычный join делал, это я так для дебага. вместо * добавил определенное поле, все быстро вернулось.
-
Коллеги, подскажите пожалуйста есть ли возможнсть выполнить 2 запроса(один с лимитом, второй с каунтом) но за «один» проход по данным
то есть у меня есть 2 запроса
1) select a, b, c from my_table where my_fitler_expr order by c limit 100
2) select count(*) from my_table where my_fitler_expr
(понятное дело, что в пределе 1ый запрос без доп сортировок требуем чтения всех данных попадающих под условие)
хочется как-то за один проход по данным получить и 1 и 2
а не делать 2 запроса и ждать в два раза дольше -
select a, b, c from my_table where my_fitler_expr order by c limit 100 FORMAT JSON
-
"rows_before_limit_at_least": XXX,
-
но он может выдавать не совсем точные данные, лечим дефолтной сортировкой
-
вот, с оффсетами пока нету проблем, на «вторую» то страницу кликают крайне редко
-
типа при любой сортировке будет верный каунт, а без не верный? так получается?
-
иногда и без сортировки верный, в некоторых запросах без сортировки замечали что скачет постоянно. есть кстати PR который должен это полечить https://github.com/ClickHouse/ClickHouse/pull/25333add setting exact_rows_before_limit by MaxWk · Pull Request #25333 · ClickHouse/ClickHouse
I hereby agree to the terms of the CLA available at: https://yandex.ru/legal/cla/?lang=en Changelog category (leave one): New Feature Changelog entry (a user-readable short description of the cha...
-
Date Trunc
-
toStartOfMinute()
-
Всем привет , сегодня узнал что с кликхаусом не работает фишка df.to_sql() . Вначале нужно создать табличку , а уже потом в неё инсертить. А вот если у тебя датафрейм на 100 столбцов , то это уже как то и неохота делать) можно ли обойти как то создание таблички ?
-
самому написать) взять схему из датафрейма) ну и преобразователь типов
-
ясно , спаисбо
-
типы сам проставит ?
-
Добрый вечер. В таблице есть колонка с типом данных "Nested", каким-то образом она превратилась в тип Array. Изменений в структуре таблицы не производилось. Подскажите, пожалуйста, из-за чего такое может происходить? -
Nested - это и есть Array. Точнее несколько массивов одинаковой длинны. С именем соединенным точкой. Так просто удобнее объявлять типы колонок. Но можно и руками в несколько массивов - разницы нет. Но есть нюансы. Если вам интересно углубиться в эту тему, то можно почитать тут - https://clickhouse.com/docs/ru/operations/settings/settings/#flatten-nested
-
Обычно второй вариант -
Что есть заявка, какой их планируемый объем и какие массовые операции планируются над ними. Ответив на эти вопросы можно понять нужен ли вообще КХ.
Но как верно замечено даже если нужен, как первичное хранилище КХ редко когда подходит для таких вещей и скорей второй вариант. -
Бывают такие варианты, но там ещё кэш между игроками и кликом будет
-
Блин, не могу победить ошибку
DB::Exception: Column date is not under aggregate function and not in GROUP BY: While processing date, timeSlot(created_at) AS time_slot, advertiser_id, publisher_id, campaign_id, sub1, sub2, sub3, sub4, sub5, sub6, sub7, sub8, adv_sub1, adv_sub2, adv_sub3, adv_sub4, currency, count() AS clicks, sum(unique) AS hosts, sum(payouts) AS payouts.
это на мат вью такая ошибка, но сам запрос от мат вью работает, если его отдельно вызывать, а вот при вставке такая шляпа. А может быть это оттого, что date дефолтное значение в основной таблице, с которой вызывается AS SELECT .. GROUP BY? Вот так указано
`date` Date DEFAULT toDate(now()) - 12 April 2022 (165 messages)
-
https://clickhouse.com/docs/en/introduction/performance/amp/
> we recommend expecting a maximum of 100 queries per secondPerformance | ClickHouse DocumentationPerformance ClickHouse shows the best performance (both the highest throughput for long queries and the lowest latency o
-
Проблема как раз в названии колонок и есть. Изначально создается таблица с типом данных Nested, но через какой-то промежуток времени происходит смена типа и названия колонки.
-
Изначально созданная таблица
-
Вот что происходит потом
-
это ничему не мешает. ещё раз говорю - нет такого типа данных как Nested. Это синтаксический сахар. У вас есть колонка `debuginfo.pipelined` Array(String)
Nested - только для удобства описания в create table. Можно вобще не пользоваться, если смущает. -
На запись данных это влияет. В таком формате происходит запись данных при Nested 'debugInfo': [{'pipelineId': '58aafec494b5a9af5b2ad28e6f195c13'}], но при смене типа уже выдается ошибка, потому что колонки с именем debugInfo нет - " 'error': KeyError('debugInfo.pipelineId') "
-
разумеется у вас нет колонки debugInfo, но есть колонка debugInfo.pipelineId. Вот в нее и вставляйте.
-
Вопрос в другом. Почему происходит такая замена?
-
В таком случае надо пересобирать вставляемый пакет данных
-
Попробуйте по делать такой запрос через clickhouse-client. Возможно драйвер по-другому представляет данные вот и все
-
вероятно ваш визуальный инструмент вас обманывает. попробуйте в clickhouse-client спросить show create table - там все прозрачно.
-
При таком запросе выдает всё нормально - debugInfo Nested(pipelineId Nullable(String)). Тот же просмотр таблицы через веб-интерфейс яндекса рисует другую картинку
-
Сейчас создал по изначальному запросу новую таблицу и она выглядит по-другому
-
-
При создании таблицы устанавливаю параметр формата данных. SET flatten_nested = 0; При добавлении данных этот параметр не использую. Может ли он влиять на такое поведение?
-
не знаю. может яндексное облако чудит. Может в КХ что-то интересное есть. Я использовал flatten_nested = 0 только однажды, когда понадобилось сделать 5 (или 4?) уровня вложенности. Зачем это вам сейчас - непонятно. Оставьте 1 по умолчанию и пишите имена колонок через точку. Не ищите приключений - вы же не тестингом КХ занимаетесь.
-
Коллеги, привет. Могу ли я в КХ агрегировать значения так что бы строки собирались в массивы.
Например
1 а
1 б
1 в
собрать в cтроку: 1, ['а','б','в'] -
group by, groupArray
-
У меня есть таблицы с 4 уровнем вложенности. А механизм на создание таблицы и добавление данных сделан универсальным. Эта таблица с одним уровнем вложенности и для наглядности проблематики указал. С большой таблицей аналогичная история.
-
Всем привет. Есть ...СТРОКИ... сканы док, в наличии много стран.
Full- Info-Bizness (USA)-Info/szn/dop/dl !!! Кому нужны Обращайтесь!!!! -
благодарю
-
Во всех последних версиях база данных atomic
-
19 версия ?
-
Возможно поможет https://kb.altinity.com/engines/altinity-kb-atomic-database-engine/how-to-convert-ordinary-to-atomic/How to Convert Ordinary to Atomic
Clickhouse Howto Convert Ordinary to Atomic
-
Все прибита гвоздями, видео про MV https://www.youtube.com/watch?v=1LVJ_WcLgF8&list=PLO3lfQbpDVI-hyw4MyqxEk3rDHw95SzxJ&t=7597s
@clickhouse_ru / Public archive of Telegram messages.
- 01 Apr 2022 (329)
- 02 Apr 2022 (170)
- 03 Apr 2022 (147)
- 04 Apr 2022 (102)
- 05 Apr 2022 (205)
- 06 Apr 2022 (204)
- 07 Apr 2022 (113)
- 08 Apr 2022 (160)
- 09 Apr 2022 (25)
- 10 Apr 2022 (377)
- 11 Apr 2022 (136)
- 12 Apr 2022 (165)
- 13 Apr 2022 (192)
- 14 Apr 2022 (107)
- 15 Apr 2022 (236)
- 16 Apr 2022 (69)
- 17 Apr 2022 (124)
- 18 Apr 2022 (153)
- 19 Apr 2022 (172)
- 20 Apr 2022 (111)
- 21 Apr 2022 (131)
- 22 Apr 2022 (136)
- 23 Apr 2022 (42)
- 24 Apr 2022 (30)
- 25 Apr 2022 (142)
- 26 Apr 2022 (180)
- 27 Apr 2022 (113)
- 28 Apr 2022 (115)
- 29 Apr 2022 (80)
- 30 Apr 2022 (39)