- 02 January 2019 (57 messages)
-
Joined. -
Joined. -
Можете убрать, он вам не нужен. -
Привет. Нид хелп с, сдается мне, примитивным запросом. Нужно пронумеровать строки в результате, что-то типа select row_number, address from (SELECT DISTINCT address from users) -
а какой вопрос то? -
ты хочешь, что бы row_number был 1,2,3,4,5,6...?
-
вопрос в том, чтоб на выходе получить не просто список адресов, а пронумерованный
-
именно
-
rowNumberInAllBlocks
-
Документация ClickHouse | Документация ClickHouse
ClickHouse is a fast open-source column-oriented database management system that allows generating analytical data reports in real-time using SQL queries
-
Спасибо. Надо больше спать, наверное Я видел эту функцию, но подумал, что она считает количество вхождений записи в партициях
-
-
Вообще вполне себе нормально писать на родном языке иил языке на котором говорит команда )
-
this looks like a personal snippet, and definitely is not a C++ CH code -
а, ну да, судя по are horribly можно было понять что это не нейтив спикер...
-
если ты работаешь только в сызране и ваш бизнес не уходил дальше города - то да. Но обычно все стремятся покорять мир, у людей есть амбиции, и они хотят чтобы их понимали повсюду. Поэтому "на родном языке" - значит что ваш ларек никогда не станет магазином -
Ну, бизнесу все равно на чем комменты написаны, зачастую и на чем написан код тоже, это не мешает продавать.
-
тут ларек один выложил на своем языке https://github.com/baidu/openedge ))baetyl/baetyl
Extend cloud computing, data and service seamlessly to edge devices. - baetyl/baetyl
-
но завтра может придти Джон и сказать что ваш код гавно) а не, не скажет, он же не поймет русский))
-
ну тут скорее связано с тем, что у них не очень с английским, вот и пишут только для себя
-
Есть ли в КХ ограничения на джойн таблиц? -
Joined. -
правая часть должна помещаться в память -
Условия только == -
и работает медленно, если в правой таблице например 20млн. строк, а в левой 0 строк, то джойн будет идти 5 сек., насколько я понимаю столько занимает построение/размещение хештаблицы в памяти -
а вот интересно, кстати, есть ли бенчмарки использования джойнов и словарей? они в ряде задач пересекаются
-
словари в бесконечность раз быстрее
-
кайф, попробую заменить, спасибо
-
хотя.. у меня там джойн из Memory таблицы )
-
ну так есть такой специальный движок, прямо для этого случая engine=Join
-
ага, попробую все три варианта
- 03 January 2019 (71 messages)
-
Joined. -
Доброе, пытаюсь разобраться как сделать бекап через freeze, на сколько я понял больше нет возможности задавать партиции через префикс? Как можно выполнить freeze для всех партиций таблицы?
-
Мы откатывались обратно на 18.14 в итоге :) -
Если иногда падает соединение с зоокипером - то дальше начинается всякая фигня: https://github.com/yandex/ClickHouse/issues/3891
Вот как выкатят в релиз правки по этой issue - попробуем снова.ALTER timeout on ReplicatedMergeTree · Issue #3891 · yandex/ClickHouseOn release 18.16.0, when applying ALTER TABLE ... ADD COLUMN on ReplicatedMergeTree table, ALTER completed on current replica, but other replicas coudn't download and apply ALTER action. On...
-
Тогда да, можно попробовать. Мы иногда начинаем добавлять колонки пачками.
-
Возможно кому пригодиться. Вставка pandas dataframe в clickhouse вот что получилось. В очередной раз подсмотрел у @miptgirl . Маша спасибо за твои видео и гитхаб. Ну и Миловидову Леше за стендапы :) Всех с новым годом!
-
есть вот такой проект https://github.com/kszucs/pandahouseGitHub - kszucs/pandahouse: Pandas interface for Clickhouse database
Pandas interface for Clickhouse database. Contribute to kszucs/pandahouse development by creating an account on GitHub.
-
Привет! Подскажите почему не работает запрос HAVING x IN ( SELECT … ) ? -
Например HAVING positionId IN ( SELECT 1 FROM system.one) НЕ РАБОТАЕТ ( 0 records )
-
A. HAVING positionId IN (1) РАБОТАЕТ
-
Вроде это одно и то же, не?
-
в какой версии CH ?
вроде работает
select max(positionId) positionId from (select 1 positionId)
HAVING positionId IN ( SELECT 1 FROM system.one) -
это у меня тоже работает. Возможно дело в GROUP BY
-
что про версию-то КХ ?
ладно пофиг, перед запросом
set compile_expressions = 0
set enable_optimize_predicate_expression = 0 -
не помогло. Сейчас попробую запрос сделать попроще чтобы можно было повторить
-
Joined. -
привет, а подскажите, если мне в запрос нужно просто объеденить две таблицы так, чтобы просто иметь все строки обеих таблиц и в итоге по ним что-то посчитать, как будто по одной таблице, как лучше всего сделать?
-
при этом не хочется никакие строки объединять
-
UNION ALL ?
-
спасибо, видимо то что нужно
-
а в продолжение — если одно из полей, которое мне нужно в результате LowCardinalityString: есть в 1 таблице, но нет во 2. Как-то можно его застабить?
-
select a, b
union all
select a, toLowCardinality('') b -
работает, спасибо!
-
а где-то можно почитать про LowCardinality?
-
-
спасибо
-
Не смог сделать тест. На тесте все работает. Вот список вариантов - по мне они все одинаковые но работают по разному на реальной таблице
-
Особенно раздражает разница между первым и вторым запросом - какого черта он работают по разному? Это реально одно и тоже
-
а есть нативный для php? что лучше использовать -
это абсолютно два разных запроса с точки зрения пайплайнов многопотчности и дистрибьютид запросов, скобки () тянут резултат на инициатора, без скобок группировка выполняется шардами
-
я джавист, но есть куски пхп. сейчас использую оф либу. в сомнениях что есть лучше
-
Добрый вечер, подскажите как реализовано хранение вложенных данных. Я имею ввиду Nested. -
несколько столбцов типа массив. -
Насколько эффективно эти массивы сжимаются ?
-
Одинаково все сжимается, пишется в файл, а затем куски по 65кб : 1 мб сжимаются lz4 или zstd
-
Joined. -
Данные для остальных колонок хранятся так же как и если бы вложенных колонок не было. Получается это идеальный вариант когда нужны джоины ?
-
Как бы предварительно вычислененные джины, правильно ?
-
в 99% случаев джойны и словари используются для того чтобы обогатить данные постфактум, т.е. вы не знаете какая температура была на марсе, поэтому пишете в ивенте Марс, а затем постфактум во время селекта подтягиваете температуру, если вы сразу что-то знаете, и эти знания имьютабл, то конечно написать прямо в таблицу.
-
При выборе предварительный энричмент или постфактум в селект с джийн, что лучше ? Вероятно ответ зависит от размера словаря для джоина и каких-то других параметров. Каких ?
-
если в словаре будут все планеты и звезды, то на такой словарь не хватит памяти, т.е. если у вас миллион планет, однозначно надо писать в ивент, если меньше то можно и не писать, а использовать словарь (если у планеты куча атрибутов и они какие-то широкие), тут возможно выигрыш будет в i/o и цпу при записи, по занимаему месту вряд-ли (из-за компрессии).
-
разработчики КХ думали иначе, он займет гигабайты.
-
но будет очень быстро работать
-
я в общем эту кашу ел, у меня есть словарь на 25 ГБ, наслаждайтесь https://github.com/yandex/ClickHouse/issues/2738
-
не будет.
-
там 48 потоков, 35й прочитает из памяти середину, и вернет первым
-
в смысле нужен order by всегда
- 04 January 2019 (55 messages)
-
потому что иногда нужны отрицательные числа, тип Int64, а не UInt64.
мне flat например не подходит (500 тыс. подряд.), у меня в том конктретном случае весь диапазон чисел -MaxInt64 до +MaxInt64. -
с учетом того что в до обычные виртуалки а не саас то никаких проблем нет вообще -
в целом везде где виртуалки ксен или квм все одинаково , в рассмотрение опенвз и lxc не берем там свои проблемы есть
-
роскомнадзор до сих пор не разблокировал их подсеть? -
ну в кх все дублируется он такое будет просто не замечать
-
ну процы еще проседают ))) и диск ио как и везде
-
ну в кх такие данные стандартно лежат что несколько минут не влияют на результат
-
в другом шарде?
-
Это был ответ
-
Данные размазываются по доступным шардам, что у вас в функции шардирования в дистрибьютид? rand() ?
-
ну вот и попало в случайный шард из двух работающих
-
В distributed таблице смотрели? -
зачем?
-
Данные хранятся в distributed таблице на сервере где вставляли, пока не разойдутся по шардам
-
Там буфер для вставки
-
И если дропнуть таблицу до того, как данные разойдутся, то их больше не вернуть
-
Он в фоне пытается послать данные
-
У нас один день данные так лежали
-
Не знаю, есть ли там лимит
-
Пожалуйста
-
Joined. -
Ребята, а сама система аналитики какая к вашему этому ClickHouse прикручивается? Или все сами пишут себе велосипеды? Как это работает, подскажите плиз.
-
Графана табикс суперсет
-
Табикс как пишется? не гуглится
-
Tabix
-
Ну это самое простое
-
Люди там и сложное прикручивают
-
Спасибо 👍
-
А можно подробнее о проблемах ClickHouse on lxc ?
-
Не знаю, у lxc в целом есть набор проблем с перфомансом , так что для кх его даже не пробовал, да и сильно нагруженные бд с него пришлось смигрировать
-
Уж больно плохой оверхед на файлуху
-
http://youtu.be/7Wcq6_9727A тут было про обзор таких систем:)004. Блиц доклады пользователей ClickHouse
12 декабря в Яндексе прошла большая встреча, на которой мы подвели промежуточные итоги СУБД ClickHouse как открытого ПО. За это время сотни компаний начали ей пользоваться. Специалисты из известных компаний рассказывают о своём опыте использования ClickHouse. Чего удалось достичь и с какими проблемами довелось столкнуться. Другие видео встречи https://events.yandex.ru/events/meetings/12-dec-2017/
-
в суперсет какой-то построитель есть, но я бы не сказал, что он мне подошел. -
Joined. - 05 January 2019 (47 messages)
-
Redash тоже умеет
-
Доброе утро.
Попытка воспользоваться groupArray с Decimal колонкой заканчивается падением сервера:
Received signal Segmentation fault (11).
Трейс: https://pastebin.com/Am4VwE4E
Версия: 18.16.1
Это известная проблема? -
Спасибо 👍
-
LXC поддерживает работу с разными стораджами и там все настраиваемо, так что если уж и держать СУБД в контейнерах то в нем. Тотже гуглоклауд чуть более чем полностью LXC.
-
Ну перфоманс на мною любимой zfs оставляет желать лучшего.
-
Это не так, LXC и Docker это соверщенно разные вещи.
-
Откуда дровишки? -
Да ну? :) -
Здравствуйте! Мне нужно оптимизировать или заменить transform(). Был запрос где для группировки и итоговой агрегации использовался Case. На большом количестве групп запрос выполнялся медленно и был переписан на использование transform(). Но при большом количестве групп например 9 тыс. запрос не влезает уже в max_query_size и все опять тормозит. -
может тебе словарь заиспользовать?
-
Для каждого запроса группировка меняется
-
еще можно данные отельно от запроса передать вроде
-
В консольной клиенте можно файл передать, но это в app на php
-
расскажи про свой кейс, может придумаем альтернативные решения
-
И таблицы метрика нужно выбрать данные по условиям. Таблица вида asset, metric, value. Итоговая агрегацию по группам типа group1 => [ asset1, assetN ]. Группировка приходит в реквесте и групп может быть много и они меняются
-
На наших инстанцах в гуглоклауде замечен lxcfs и прочая атрибутика LXC) На самом деле в этом нет ничего такого, контейнеры давно выдают, даже ещё во времена когда докера не было и о контейнерах мало кто знал были провайдеры которые сидели на Виртуозо/опенвз и прекрасно себя чувствовали.
-
Присмотрись получше)
-
Ок)
-
-
Это должно быть так, но я сильно не уверен что это везде
-
Lxcfs и в обычной убунте есть в ps ax, а так все провайдеры нынче сидят в основном на квм , отстающие на xen , openvz свой рынок по большей части просрал, lxc ни у одного провайдера в паблике не видел
-
в паблике - это в смысле впс на этом?
-
Ну да
-
lxc такая же жесть как и netplan и mir от canonical -
Aws Firecracker должен взлететь, плагин для контейнеров тоже в активной разработке.
-
Ну почему же? Нормально работает, если хост подтюнить.
-
Это если у вас только Ubuntu.
-
Debian 9
-
h2:~# lxc-ls -1 | wc -l
518 -
Там, правда, именно контейнеры, а не впс.
-
Как их хранить?
-
В зависимости от реквеста расчет может быть в разных группах. Попробую с arrayJoin поиграть
-
Вы ведь сначала группируете и считаете по ассетам, а затем во внешнем запросе делаете transform и уже группируете окончательно?
-
Одним запросом
-
ну попробуйте двумя группировкам. Непонятна фраза про max_query_size, ведь падать должно с ошибкой. Можно использовать external data и сделать join с ней.
-
max_query_size по дефолту 265кб. Тестовый sql выходит 600кб при 8тыс групп по одному расчету в группе. Пришлось увеличить параметр
-
Ясно. Ну я бы попробовал join с мемори или с https://clickhouse.yandex/docs/ru/operations/table_engines/external_data/
-
Пока не нашел в php клиенте как это сделать
-
А зачем это делать в кх, почему не в php.
-
Замену и окончательную группировкк?
-
Joined. - 06 January 2019 (14 messages)
-
Привет.
а как мне правильно enum поле сгруппировать(groupUniqArray), что бы получить строки, а не числа? -
Я не Миловидов, но заранее рекомндую снять и приложить strace
-
https://github.com/yandex/ClickHouse/issues/3783 проявляется только на Decimal128. Если вдруг встретите на Decimal32/64 - заведите отдельный тикетSegfault on groupArray with Decimal128 · Issue #3783 · yandex/ClickHouseSELECT `time` -- groupArray((sensor_id, volume)) AS groupArr FROM ( SELECT (intDiv(toUInt32(received_at), 900) * 900) AS `time`, sensor_id, avg(value) AS volume FROM sensor_value WHERE sensor_id IN...
-
Понял, спасибо. Буду пока кастовать в double перед groupArray
- 07 January 2019 (83 messages)
-
если есть 2 колонки, ключи и значения, их можно как-то в кортеж трансформировать, что бы было одно поле с key -> value?
-
{
key1: value1,
key2: value2,
....
} -
смотри в сторону ARRAY JOIN -
select toString(arrayMap(x-> (x,b[indexOf(a,x)]) , a)), toString(b) from (select [1,2,3] a, [5,6,7] b)
-
спасибо и еще вопросик.
запрос например такой
select project, any(keys), any(values)
group by project
на что any поменять, что бы был(в принципе любой массив keys&values) но из одной строки -
groupArray
-
select project, groupArray(keys), groupArray(values)
group by project
? -
Да
-
а, я видимо не нравильно выразился
-
я имел ввиду, any(keys), any(values)
скорее всего выдаст какие-то случайные keys & values
а как мне получить
случайные keys & values, но которые лежат в одной строке? -
any(a,b)
-
(())
-
Aggregate function any require single argument
-
Я имел ввиду тупл any((a,b))
-
ааа)
-
❤️
-
привет -
а с отрицательными метриками памяти так и не было прогресса?
-
"metric":"MemoryTrackingInBackgroundProcessingPool","value":"-1294095600”
-
VERSION_FULL ClickHouse 18.16.1
VERSION_DESCRIBE v18.16.1-testing
VERSION_GITHASH 7624b0a20d25ea7021e33908cfcf6fdbc37938d1 -
у нас просто в одном кластере потребление памяти растет постоянно, там минимальная нагрузка
-
как-то так, от рестарта до рестарта
-
-
знакомая картинка https://github.com/yandex/ClickHouse/issues/3976
решение простое compile_expressions = 018.16.1 compile_expressions eats memory · Issue #3976 · yandex/ClickHouseWithout compile expressions CH eats ~3 GB (2 cache_marks + 1 dictionary) With compile expressions upto 30GB (maybe indefinite) RSS (top): 8.5GB metric value formatReadableSize(value) CompiledExpres...
-
у меня такое еще с 12. разница в двух кластерах в том, что в обоих есть словари, но в одном файл со словарем пустой, в другом нет (в остальном идентичны)
-
я пытаюсь по коду понять, релевантно это или нет
-
что за флаг require_nonempty?
https://github.com/yandex/ClickHouse/blob/5152e2b8fa43d71a88825c236339a4503c7b7619/dbms/src/Dictionaries/ComplexKeyHashedDictionary.cpp#L427
и может ли он повлиять на resoure safety?yandex/ClickHouseClickHouse is a free analytic DBMS for big data. Contribute to yandex/ClickHouse development by creating an account on GitHub.
-
в смсле, если бросается исключение, может, не закрывается стрим?
-
всем привет, а если дропнули БД - есть варианты ее восстановить их каких нибуть логов? -
если не было репликации или если дропнули на всех репликах то нет вариантов.
-
ну да
-
какой то бот удалил все бд с нидерладского ip
-
да сервер нигде не светился, ощущение что перебором нашли
-
вот техника дошла, первый раз про такие чудеса вижу.
-
не смертельно, но не приятно
-
о, значит нас ждет целая ВОЛНА удалений открытых серверов -
у вас clickhouse в интернет торчит?
-
я думаю, что там тупо светили интерфейсом в свободный инторнет -
торчал да, не успели закрыть )
-
https://cl.ly/8692290f2b4f - вот так вотImage 2019-01-07 at 7.14.39 ПП.png
Shared with CloudApp
-
сделайте nmap на остальные хосты, мало ли что открытого найдется
-
я бы хотя бы логи пока не сротировались схоронил
-
погрепать что там он еще делал
-
удалил штук 20 тестовых бд, пару штук не удалил
-
по таблично
-
http://185.107.47.171 tor exit-node :D
-
вот это без шансов
-
да и ладно, вобщем имейте ввиду )
-
нет, ценности в них не было
-
ну видимо бот - найшел и удалил, непонятно почему часть оставил
-
это да
-
ну кстати, там в логах еще запросов от него не осталось?
-
остались
-
просто интересно, какие там еще запросы были
-
с этим к сожалению не помогу, главный вывод - держать двери закрытыми с самого начала
-
:D
-
несколько лет уже ходят и сносят базы данных волной, то мускули, то монги, а мы все ненаучимся
-
вот более чем уверен, что ребята сидят и мониторят список популярных dbms и как только выше порогового значения, начинают сканить
-
++
-
получить список бд
получить список таблиц
что там попадать? -
ну вот потому и интересно, что было проигнорено, что осталось (намек на "а там были еще запросы?")
-
DETACH TABLE, DROP TABLE - с 185.107.47.171
DETACH DATABASE, DROP DATABASE - c 144.217.90.68
но получения списка БД и таблиц что-то не вижу -
обращение к system.tables только с моего ip
-
>https://twitter.com/IanColdwater/status/1082386334075867136
проститеIan Coldwater 👻🌿✨It's not dropping tables, it's discarding data that doesn't spark joy.
-
вот ето интересно
-
с двух ip зашли
-
Joined. - 08 January 2019 (119 messages)
-
Добрый день. Есть вопрос по вью. Чувствую что-то не так делаю или не понимаю очевидного.
Есть таблица (реплицированная, распределенная) в которую постоянно пишут (пишут в локальные таблицы), на основе ее создаем вью чтобы аггрегировать данные.
CREATE MATERIALIZED VIEW default.MetricStats ON CLUSTER metrics
ENGINE = ReplicatedAggregatingMergeTree('/clickhouse/tables/metrics/{shard}/MetricStats', '{replica}')
PARTITION BY floor(time / 86400)
ORDER BY (time, appId) POPULATE AS
SELECT
uniqExactState(tags.value[indexOf(tags.name, 1)]) AS `os.host`,
uniqExactState(tags.value[indexOf(tags.name, 72)]) AS `container.id`,
uniqExactState(tags.value[indexOf(tags.name, 1131263)]) AS `container.host.hostname`,
appId,
floor(timestamp / 60) * 60 AS time
FROM default.Metrics
WHERE timestamp > now()-300
GROUP BY
time,
appId
Распределенная над вью для чтения
CREATE TABLE IF NOT EXISTS default.MetricStatsDistributed ON CLUSTER metrics AS default.MetricStats
ENGINE = Distributed(metrics, default, MetricStats, rand());
потом выбираем из этой распределенноя (которая над локальными вью)
SELECT
uniqExactMerge(`os.host`) AS `os.host`,
uniqExactMerge(`container.id`) AS `container.id`,
uniqExactMerge(`container.host.hostname`) AS `container.host.hostname`,
appId,
time
FROM MetricStatsDistributed
WHERE appId = 13629
GROUP BY
appId,
time
ORDER BY time ASC
И получаем следующее
┌─os.host─┬─container.id─┬─container.host.hostname─┬─appId─┬──────────time─┐
│ 35 │ 486 │ 1 │ 13629 │ 1546932480000 │
│ 35 │ 486 │ 1 │ 13629 │ 1546932540000 │
│ 35 │ 486 │ 1 │ 13629 │ 1546932600000 │
│ 35 │ 486 │ 1 │ 13629 │ 1546932660000 │
│ 35 │ 486 │ 1 │ 13629 │ 1546932720000 │
│ 35 │ 480 │ 1 │ 13629 │ 1546932780000 │ >>> ТУТ СОЗДАЛИ ВЬЮ
│ 29 │ 287 │ 1 │ 13629 │ 1546932840000 │
│ 27 │ 376 │ 1 │ 13629 │ 1546932900000 │
│ 27 │ 330 │ 1 │ 13629 │ 1546932960000 │
│ 21 │ 309 │ 1 │ 13629 │ 1546933020000 │
└─────────┴──────────────┴─────────────────────────┴───────┴───────────────┘
35 это правильное значение. 29, 27, 21 это мы что-то потеряли. Такое ощущение что что-то во вью попало а потом не дописалось
Я что-то странное хочу или очевидно делаю что-то не так?
Спсб -
это нищехостинг, который даже на абузы почти не реагирует :) -
Согласен. У нас на текущем месте было 3, все ужасны.
Сейчас взяли 4 я оч скептически отнесся, но был оч неправ
Парень - золото -
Joined. -
Нет идей? Тикет создать как то неправильно будет
-
коллеги, подскажите как юзеру запретить некоторые операции -
например DROP Database
-
readonly есть
-
ага нашел
-
Приветствую. Что-то я неистово туплю. Что надо сделать, чтобы результатом запроса типа SELECT arrayConcat([1, 2], [2, 4]) AS res было 1,2,4, то бишь отсечь в результирующем массиве повторяющиеся значения
-
arrayUniq?
-
почти) не докрутилась страница функций по работе с массивами до конца. По идее, вот решение: SELECT arrayReduce('groupUniqArray', arrayConcat([1, 2], [2, 4]))
-
Правда, результирующий массив перевернут
-
эта функция считает количество уникальных значений в массиве
-
Joined. -
Всем привет! подскажите пожалуйста как программа клиент должна реагировать на ошибку вида "ZooKeeper session has been expired."?
-
просто попробовать записать абсолютно такой же блок данных немного позже? обязательно ли это должен быть идентичный блок данных (во избежание случайной дубликации)?
-
Если отвалилось по ZK значит блок не записался и чексум для дедупликации тоже нет. Просто ретрайте. PS: расчитывать на дедупликацию средствами КХ так себе.
-
спасибо!
а на какую дедупликацию можно рассчитывать? сейчас всё плохо с этим, постоянно хаваем дубли когда сеть нестабильная или ещё какие проблемы -
но сейчас просто мы не формируем идентичные блоки данных и думали что если начнём так делать и ретраить пока не запишем без ошибки то всё станет хорошо за счёт дедупликации ZK
-
а движок replicatedmergetree ?
-
да
-
там кажется около 100 последних блоков хранится
-
пишем в Distributed таблицу
-
короче 100 раз ретрай и приедете
-
где то можно в космос выкрутить параметр этот но я не помню точно
-
печаль, но всё равно хоть какое-то решение, пусть и не 100 процентное
-
сейчас ситуация такая что пишем в Distributed таблицу (под ней два шарда в каждом по две реплики, таблицы ReplicatedMergeTree и internal_replication = false)
-
Там по дефолту рандомно данные по шардам уедут, никакая дедупликация работать не будет
-
да, об этом тоже думали что пора прекратить писать в distributed
вот только прикол в том что дубликация оказалась не на шардах, а на репликах -
В репликах данные разные?
-
replicated_deduplication_window = 100
replicated_deduplication_window_seconds = 7 * 24 * 60 * 60 -
кажется нашел
-
сейчас копаю историю, было давненько
-
@gofort это прям в движке настройка:
https://github.com/yandex/ClickHouse/blob/0eed697623afd251c1908073c4a2850a9bfc9cdc/dbms/tests/integration/test_extreme_deduplication/configs/conf.d/merge_tree.xmlyandex/ClickHouseClickHouse is a free analytic DBMS for big data. Contribute to yandex/ClickHouse development by creating an account on GitHub.
-
это построчная дедупликация? или блочная?
-
не очень понятно чем это лучше чем дедупликация ZK
-
How many last blocks of hashes should be kept in ZooKeeper (old blocks will be deleted). */
-
You can set very big replicated_deduplication_window to avoid duplicating INSERTs during that period of time.
-
а ну это по сути и есть дедупликация через ZK
-
ну я про нее и говорю. по умолчанию она помнит последние 100 вставок
-
если во время ретраев у вас набежит 100 вставок то 101я стрельнет дубликатом
-
ну там zookeper expired, соответственно не встанет, судя по t.me/clickhouse_ru/82705Kirill Shvakov in ClickHouse не тормозит
Если отвалилось по ZK значит блок не записался и чексум для дедупликации тоже нет. Просто ретрайте. PS: расчитывать на дедупликацию средствами КХ так себе.
-
в репликах данные в общем были одинаковые, просто они были продублированы несколько раз
-
Ну, это ОК. Значит у вас проблема только с ретраями.
-
если я правильно понимаю то дубликация возникает только из-за того что я в следующий раз записываю теже даные но в рамках другого блока, так?
-
Там формируется блок для записи и чексумма этого блока проверяется. Поэтому нужно писать ровно тоже самое и в тот же шард
-
в рамках гошной либы возможно ли повторно сформировать такой же блок если tx не сохранился и был rollback?
-
-
ага)
-
Можно, но чуть сложнее. Можно создавать блок на стороне приложения и работать с ним
-
ClickHouse-Ninja/Proton
High performance Pinba server. Contribute to ClickHouse-Ninja/Proton development by creating an account on GitHub.
-
оО интересно, спасибо
а если мы берём теже самые данные, в том же порядке и делаем tx.Begin, stmt,exec то мы получим такой же блок или нет? -
Да
-
ещё вопросик такой, если запись происходит в distributed таблицу и произошла ошибка, то при повторе tx.Commit данные полетят на тот же шард (при том что шардирование рандомное в таблице указано) или нет?
-
Нет, только если пишите сами в какой-то конкретный шард
-
выходит что даже если сформировать одинаковый блок данных и писать его в distributed таблицу с рандомным шардированием, то можно с лёгкостью получить дубли данных только на разных шардах ...
-
Да
-
хорошо, спасибо большое!
-
спасибо за помощь 🙂
-
Если вам важно отсутствие дублей, и вы не формируете всегда одинаковые блоки при вставке, то самый лучший вариант по моему мнению — это шардировать самому и использовать ReplacingMergeTree или похожий (CollapsingMergeTree). Но при выборке тоже нужно будет удалять дубликаты или делать SELECT ... FINAL -
правильнее просто блоки одинаковые писать, поэтому так и сделаем 🙂
-
Данные, которые вставлялись в таблицу в то время, когда шел populate, во вьюху не попадут -
Они не попадают и потом
-
Вернее как я выше написал не все КМК
-
Тоесть populate закончился а данные и через час новые с "пропусками"
-
А пользователю default разрешено ходить с адресов кластера?
-
А то, помнится, наступал на что-то похожее...
-
Здравствуйте. Стал при запуске писать такое, не пойму что делать. Подскажите пожалуйста
-
limit x, y
-
Здравствуйте! Есть запросы с сортировкой типа ORDER BY (value=1, value=3, value=6...) DESC на что можно заменить сортировку и сохранить последовательность?
-
Joined. -
вопрос непотятный, т.е. у вас запрос order by value desc
выводит
6
3
1
а вам надо убрать секцию order by value desc
и что бы вывелось тоже самое
6
3
1 -
-
а что не так с notEmpty & null?
-
есть какой-то универсальный метод, который проверит пустой массив, пустую строку и null?
-
на питоне пишете?
-
JS)
-
на самом деле выведет как написано 1, 3, 6
просто этих value=group может быть и 10тыс и sql запрос получается на несколько страниц -
положи в таблицу?
-
а что написать в ORDER BY ?
-
ну ты поджойнить можешь и отсортировать по этому полю
-
дело в том что эта последовательность value=group не отсортирована по порядку
может быть 100, 5, 1001, 2, 10, 22, 6 -
т.е. еще один атрибут нужен у группы, порядок сортировки, 1,2,3 , а не проще на клиенте это все сделать?
-
1. нужно чтобы результат запроса был такой же как и раньше
2. там в запросе дальше еще LIMIT идет -
ну тогда либо join либо словарь
create table X ( val UInt64, group String, wei Int64) Engine = Join(ANY, LEFT, val);
insert into X values(1, 'a', 1),(6, 'b', 2),(3,'c',3);
select val, group from (select toUInt64(1) val union all select 3 union all select 6) any left join X using(val)
order by wei -
а если групп будет 5тыс? 5тыс all select N ?
упрощенно запрос такой
SELECT value, SUM(metric) ... GROUP BY value ORDER BY (value='169', value='117', value='153'...) DESC LIMIT 0,20 -
а у вас сорцы гифок ещё остались? тут с переводами косяк
-
какая разница, на 5тыс. join-ы и словари отлично работают, вот если 5млн. тогда да, уже несколько секунд будет работать.
-
я про то что ты написал
(select toUInt64(1) val union all select 3 union all select 6) -
ты добавил три елемента и написал три select
-
это пример левой таблицы, там где у вас данные лежат
-
а замены я предлагаю заинстертить в X
-
вместе с полем wei -- порядок сортировки
-
еще не понял зачем три колонки в X, про wei понятно. достаточно же group, wei
-
ну значит у меня ваш предыдущий вопрос подмешался в голове, который вы задавали 3 дня назад.
-
он кстати в этом же запросе, пытаюсь соеденить его с LEFT JOIN. сделал более простой вариант в transform() вместо перечисления массивов в коде, сделал slect из таблицы
- 09 January 2019 (229 messages)
-
Не знает никто?
-
-
а что не так с notEmpty & null?
-
есть какой-то универсальный метод, который проверит пустой массив, пустую строку и null?
-
😢👍😚🤪🤪 -
я на твой тлф из справочника звоню
-
Привет!
Решаем сейчас задачу предоставления доступа юзеру к определенным строкам таблицы. Т.к. нативно такого (пока) нет, решили сделать так:
1. Создать на репликах отдельную БД, и в ней копию таблицы (по структуре). Юзеру дать доступ только к этой БД.
2. Сделать mat view , который будет класть из основной таблицы основной базы в эту копию только нужные строки.
Взлетит ли? Может есть способ попроще?
Напрягает необходимость поддерживать структуру скопированной таблицы и mat view идентичной основной. Ну и необходимость дублирования данных тоже слегка мешает (хоть их и не много). -
Можно не давать пользователю делать запросы в базу напрямую, а через обертку. Добавить ещё поле в таблицу про права и чтобы обертка делала добавляла where по этому ролю автоматом
-
Ещё был доклад про примерно это у ребят из дойчебанка вроде.
-
http://youtu.be/7Wcq6_9727A вот тут004. Блиц доклады пользователей ClickHouse
12 декабря в Яндексе прошла большая встреча, на которой мы подвели промежуточные итоги СУБД ClickHouse как открытого ПО. За это время сотни компаний начали ей пользоваться. Специалисты из известных компаний рассказывают о своём опыте использования ClickHouse. Чего удалось достичь и с какими проблемами довелось столкнуться. Другие видео встречи https://events.yandex.ru/events/meetings/12-dec-2017/
-
А почему не в массив класть?
-
Две колонки. Keys, values
-
Да, в String. Имейте в виду, что парсить JSON можно только на уровне вложенности 1. Лучше всего создать потом несколько новых колонок, с нужным DEFAULT и выполнить OPTIMIZE TABLE ... FINAL, чтобы поиск по нужным колонкам был быстрым.
-
Не понял тебя
-
Из JSON вида {"a":{"b":5}} не получится получить вложенный b
-
А зачем так сложно?
SELECT visitParamExtractInt('{"a":{"b":5}}', 'b')
┌─visitParamExtractInt('{"a":{"b":5}}', 'b')─┐
│ 5 │
└────────────────────────────────────────────┘ -
Работает на любом уровне вложенности, но сам уровень контролировать нельзя
-
Не понял зачем final
-
Может и не нужен :), но так он точно материализует default колонки
-
Разве это не пофиксили?
-
Зачем же это фиксить? Это фича, а не бага
-
Так себе фича, имена ведь не обязаны быть уникальными
-
RTFM )
https://clickhouse.yandex/docs/ru/single/index.html?#funktsii-dlia-raboty-s-json
3. Поля ищутся на любом уровне вложенности, без разбора. Если есть несколько подходящих полей - берётся первое.Документация ClickHouse | Документация ClickHouseClickHouse-это быстрая система управления базами данных с открытым исходным кодом, ориентированная на столбцы, которая позволяет создавать аналитические отчеты о данных в режиме реального времени с использованием SQL-запросов
-
(несмотря на то, что мы сами составляем JSON, обычно именно JSON используется тогда, когда мы "не хотим думать", и тут эта фича становится наоборот очень даже багом, мешающим получить правильный ответ, причем только иногда)
-
Поэтому я и говорю о том, что JSON правильно парсится только с уровнем вложенности 1
-
Да, я видел issue с пометкой что "будет" :) Но надо сейчас, поэтому извращаемся.
-
Недавно на сервере подошло к концу место, кх перевёл одну таблицу в ro, что нормально, но при попытке записи в другую через clickhouse-client говорил, что всё ок, ничего при этом не записывая. Можно ли как-нибудь отменить поведение второго типа, чтобы кх сообщал о невозможности записи? Версия 18.14.15 -
и вдогонку: как посчитать, сколько свободного места нужно кх для нормальной работы?
-
CH будет объединять куски данных, чтобы производить оптимизации (хранения и чтения). Допустим у вас есть 2 куска размером по N Gb. Оценка сверху - надо места 4 x N Gb ( 2 x N - исходные данные, и 2 x N на случай если объединение двух кусков не дало выигрыша по месту - в какой-то момент на диске будут и исходные данные и объединённые). -
Спасибо!
-
Joined. -
Привет. Кликхаус как нибудь опирается на знание о выбранном ключе шардирования в distributed или select все равно улетают на все шарды?
-
Приветствую. Возник вопрос по поводу мониторинга скорости отработки запросов. Нашел обертку, реализующую нативный протокол КХ с lz4. По логике вещей, забор инфы на клиент через нативный протокол должен происходить существенно быстрей, чем через JSON (ведь тут сериализация, пусть и быстрая, на стороне КХ, а потом десериализация на клиенте). Простой же бенчмарк на одном и том же запросе (результат - одна колонка) показывает ужасные результаты через нативный протокол (16384 записей приходят за 25 секунд), в то время как через json все укладывается в в секунду. Хочу для начала посмотреть все, что думает об этих запросах (через нативный и через JSON) КХ, а потом уже искать косяки в реализации нативного протокола.Можно было бы, конечно, оставиться на JSON-е и не морочить голову, но при объемах>100к результатов парсинг на клиенте жрет как не в себя оперативу и процессорное время. Ткните, пожалуйста, как правльно проводить бенчмарк на стороне КХ
-
Ну возьмите просто не JSON формат для ответа, а TabSeparated, например, и будет вам быстро и парсится легко и потоково :).
-
(это я к тому, что лучше не связываться с нативным протоколом вообще, если только вы не пишете кусок самого КХ)
-
та я уже думал об этом, и, скорей всего, так и будет.
-
Меня взяло то, что в описании сказано, что это, мол, не просто какая-то обёртка над HTTP интерфейсом, а реализация нативного протокола которая взята и портирована из исходников КХ. Но ближе к делу оказалось, что что-то там не так)
-
всем привет, очень простой вопрос, как в clickhouse выбрать данные в +00:00 time_zone? -
Пробую вот так: при подключении добавляю параметр ?location=UTC
-
Добрый день.
Не подскажите разницы между системными таблицами query_log и query_thread_log ? -
А через http?
-
Воспользусь, что @milovidov_an гуру в треде. Мне там чуть ниже посоветовали не морочить голову, и юзать http интерфейс и парсить TSV. Так и быть? Или, может, есть какие-то советы?
-
Все привет, есть ли подводные камни при переходе с 18.12.17 на последнюю версию? Помню, какой-то был параметр, который влияет на селекты из вьюх, что-то такое
А, вроде поправили:
Настройка enable_optimize_predicate_expression выключена по умолчанию. -
Может сегодня больше народу в канале, продублирую
https://t.me/clickhouse_ru/82672Vladimir Tretyakov in ClickHouse не тормозитДобрый день. Есть вопрос по вью. Чувствую что-то не так делаю или не понимаю очевидного. Есть таблица (реплицированная, распределенная) в которую постоянно пишут (пишут в локальные таблицы), на основе ее создаем вью чтобы аггрегировать данные. CREATE MATERIALIZED VIEW default.MetricStats ON CLUSTER metrics ENGINE = ReplicatedAggregatingMergeTree('/clickhouse/tables/metrics/{shard}/MetricStats', '{replica}') PARTITION BY floor(time / 86400) ORDER BY (time, appId) POPULATE AS SELECT uniqExactState(tags.value[indexOf(tags.name, 1)]) AS `os.host`, uniqExactState(tags.value[indexOf(tags.name, 72)]) AS `container.id`, uniqExactState(tags.value[indexOf(tags.name, 1131263)]) AS `container.host.hostname`, appId, floor(timestamp / 60) * 60 AS time FROM default.Metrics WHERE timestamp > now()-300 GROUP BY time, appId Распределенная над вью для чтения CREATE TABLE IF NOT EXISTS default.MetricStatsDistributed ON CLUSTER metrics AS default.MetricStats ENGINE = Distributed(metrics, default…
-
Спасибо за комментарий и за волшебный продукт. На счет реализации вопросов нет, конечно, просто меня подкупило описание репозитория, что мол, это не какая-нибудь вам обертка над http-интерфейсом, а прям выдранная из исходников и портированная на .net реализация.
-
-
Из-за чего такая картина возможна?
-
Партицирование по суткам. В старых сутках куски большие, дольше мержатся
-
В начале нового дня куски маленькие, и мержатся быстро
-
Вчерашний день заканчивает мержиться к 4 утра
-
спасибо. будем думать
-
А можно партиционирование сделать как-нибудь равномернее?
-
Тут ещё важно, какой объем данных вы вытаскиваете. Я бы сказал, что Native протокол становится действительно необходим, когда вы переливаете таблицы целиком (сотни гигабайт данных в сыром виде), или же перешардируете их. В этом случае экономия CPU и сети весьма значительна, если переливка идёт из КХ в КХ. В других случаях этот формат вам только доставит головной боли и ничего больше.
-
Ну и ещё интересный факт — поскольку clickhouse-client содержит в себе и сервер, то он по возможности тоже общается с сервером по native протоколу прозрачно для вас
-
Он только по нему и общается. У КХ очень интересный протокол, очень многое нужно делать на клиенте, например преобразование типов (даты, UUID и т.д).
-
Я бы не сказал, что парсинг json результата большая проблема на небольших объемах. Но когда надо распарсить около 300к объектов, то это занимает больше времени, чем сам их забор. Что для юзера веб-интерфейса малоприятно. Вот и ищу оптимальные пути
-
Попробуйте TabSeparated, его легко парсить
-
В нативном протоколе к вам полетят не строки, а колонки, нужно вычитывать большие блоки прежде чем сможете отдавать клиенту что-то построчно
-
Да, попробовал, и это существенно быстрей, чем json, но все же это ещё одно колено
-
Для КХ составить ответ в любом формате не составляет труда, я бы рекомендовал Вам использовать тот вариант, который легче всего парсить на клиенте
-
Это может быть хоть JSONEachRow с ленивым созданием объектов из строки :)
-
300к это даже близко не тот объём, где разница на стороне сервера будет заметна
-
Так оно-то понятно, и у меня нет особых проблем с парсингом. Проблема в его скорости. Пока оптимальным остаётся tsv, но я все же не теряю надежды найти ещё быстрей вариант:)
-
Native, очевидно, колоночный, и не подходит для Ваших целей
-
Попробуйте RowBinary, его парсить легче всего и серверу легко его составлять
-
Но надо будет писать много кастомного кода, возможно, и нужно знать типы возвращаемых данных
-
Скорость и есть проблема, причем обычно самая сложная из всех :)
-
ну почему. Я могу могу заполнять поля объекта параллельно. Просто в той реализации нативного протокола существенный косяк в плане скорости забора результата, аж страшно: `262144 records: 316264 ms. IDataReader.ReadAll
262144 records: 309254 ms. ExecuteSelectCommand
262144 records: 6812 ms. JSON
262144 records: 3001 ms. TSV` -
в описании реализации заявлено что это чуть ли копипаста из исходников, вот я и понадеялся что это спасение. И она работает, и под парсинг результата удобно заточена. Но блин, как же медленно. Будто два маленьких гнома вручную переписывают
-
то бишь потенциально он должен быть быстрей TSV?
-
Для компилируемых языков это будет примерно в 100% случаев быстрее, если речь о скорости парсинга
-
Всем привет, с праздниками))
А не подскажете, есть ли способ преобразования hex - строки в int в строке запроса? -
-
Большое спасибо! Искал эту страницу, похоже))
-
В моем случае значения будут всегда больше ноля. Жаль только, что в документации суховато написано. Но я попробую
-
да не за что. я сам такой же. то до конца страницы не докручу, то посмотрю на решение, и подумаю, что оно мне не подходит
-
Интересно. Для 2^16 бинари оказлся медленеей, чем tsv. но дальше - круче
65536 records: 2306 ms. JSON
65536 records: 1095 ms. TSV
65536 records: 1481 ms. Binary
131072 records: 2901 ms. JSON
131072 records: 2228 ms. TSV
131072 records: 1492 ms. Binary
262144 records: 3963 ms. JSON
262144 records: 5214 ms. TSV
262144 records: 2990 ms. Binary -
Коллеги, есть вопросец.
Подумываем заиспользовать GraphiteMergeTree, чтобы самим не писать логику rollup и downsampling. Единственное, что меня беспокоит это решардинг (т.е. когда в кластер нод докинем, то метрики начнут в другие шарды сыпаться, и downsampling перестанет работать). Есть у кого идеи, как это элегантно порешать, не вынося, например, в клиента функции consistent-hashing и проч. ? -
"Короче добиться такой же скорости этой конвертации какой удалось добиться Алексею и его коллегам из Яндекса - почти не реально." не знаю как его, коллеги, но мне кажется, что Алексей находится на этой планете чтобы создать что-то невообразимое, например КХ =). А за комментарий спасибо, прояснилось
-
Но при добавлении шарда часть ключей всё равно съедет, я так понимаю
-
Есть ощущение, что нужен будет clickhouse-copier, и 2x места
-
Мне кажется, что если метрика переедет на другой шард, то rollup поломается
-
вот про них и речь :)
-
Интереснее граничный эффект на втором уровне агрегации, когда недели будут схлопываться в месяцы
-
С вашего позволения уточняющий вопрос. Имеется объект class Result {string val1; string val2; string valn;}
Правильно ли я понимаю логику, что оптимальным путем забора инфы в таком формате через нативный протокол будет создание коллекции объектов на основании значений первого столбца collection.Push(new Result (){val1=GetValue(i)}), после чего для каждого объекта из коллекции устанавливать значение следующего столбца collection[i].valn = GetValue(i) -
Joined. -
Оптимальным путём будет создание метода getVal1(), который внутри из внешнего массива возьмёт значение для i.
-
Т.е. массивы с данными колонок аллоцируются большими пачками, что уменьшает фрагментацию, и бла-бла-бла
-
ну, памятью тут GarbageCollector занимается, хотя можно и с unsafe'ом побаловаться. Я просто хочу устаканить сам процесс. По текущей логике добавление объектов в коллекцию будет вызвано столько раз, сколько есть значений в первом столбце. Это дешево. Дороже будет апдейтить оставшиеся пустыми остальные поля каждого объекта инфой из следующих столбцов.
-
Я предполагаю ходить по колекции по индексу, так что особой каши быть не должно
-
Вроде ясно пока. Спасибо!
-
а что за клиент и что такое abort?
-
я на ноде киляю
-
а какая разница до или после?
-
я все запросы в рамках сессии помечаю одним префиксом.
и перед тем, как пользователь обрывает соединение - убиваю их -
Кстати было бы прикольно, если бы можно было задать какую-нибудь опцию в HTTP или в настройках сервера, чтобы запрос убивался сразу же, как только соответствующий HTTP запрос отменен или соединение оборвалось 🙂
-
Вроде как в том же MySQL, например, запросы себя так и ведут
-
Поставил палец вверх 🙂
-
а как mysql узнает что http клиент отвалился?
-
MySQL общается по кастомному TCP протоколу 🙂
-
В любом случае, в HTTP есть возможность, как минимум, закрыть соединение
-
В HTTP/2, возможно, есть возможность отменить какой-то конкретный запрос, но я не смотрел детали
-
послать пакет с флагом, а что с этим пакетом сделает tcp-сервер, это отдельный вопрос :) -
нафига?
notEmpty(assumeNotNull( -
вот за этим и спрашивал, спасибо
-
ночь полянка в тайге, горит костерок, подходит мужик спрашивает "А, какой автобус довезет меня до лувра?"
-
Joined. -
Даже если некорректно, то только если не случился kernel panic или не пропала сеть на несколько минут, то всё равно будет всё хорошо. Ну или использовать TCP keepalive
-
Привет, скажите есть что-то типа group_concat в КХ ? -
Ну да, TCP keepalive как раз эту проблему решает.
-
Коллеги, всем привет!
Приглашаем вас на наш 4-ый митап Scale-out databases and engines - обсуждаем распределённые СУБД, их эксплуатацию, разработку и развитие.
В этот раз поговорим об open-source в enterprise-среде - опыт компаний, кейсы внедрений, слухи, скандалы, интриги, расследования. В частности, коллеги из Alytics.ru расскажут о создании data-платформы на базе связки CH + Greenplum.
Москва, 7 февраля, самый центр. Вход свободный, но нужна регистрация по ссылке. Будем рады вас видеть!
https://www.meetup.com/Scale-out-databases-and-engines/events/257153368/Open-source в Enterprise: это фантастика?Thu, Feb 7, 2019, 7:30 PM: Как найти DI TelegraphВход в здание со стороны Газетного переулка напротив церкци, которая за Макдоналдсом.Стеклянная дверь с вывеской DI TelegraphДальше поднимаетесь на 5-й
-
спасибо, то что нужно
-
Всем привет.
На одном сервере может быть несколько баз. В каждой базе нужно использовать одни и те же внешние словари, но суть в том, что каждая база должна ссылаться на словарь из нужной внешней базы (postgresql). Как такое организовать? -
никак, называйте словари по разному
-
clickhouse-client -mn
и тогда концы запросов парсятся по ; -
да странно, я не замечал, видимо по везению всегда писал в разных строках
-
и input_format_values_interpret_expressions не влияет
-
а ну понятно, фактически разделитель перевод строки, но для интерактивного режима есть костыль
Исполняется только один запрос, поэтому всё, что введено после точки с запятой, игнорируется. -
Joined. -
Joined. -
OOM убивает ваш КХ. Раз в 10 мин. упавший КХ стартует назад кроном. Сколько памяти у виртуалки?
-
ооо, анриал. У КХ есть параметры типа кушать для начала 5.
-
вот этот уменьшите в 10 раз
<!--mark_cache_size>5368709120</mark_cache_size--> -
отключите uncompressed_cache если включали
-
отключите <compile_expressions>0</compile_expressions> там возможно утечка в 18.16.1
-
А можно как то вывести на экран настройки, с которыми запущен clickhouse ?
-
Табличка есть же
-
System settings вроде
-
спасибо!
-
Приветствую При выполнении SELECT он возвращает только первые 10 000 результатов Как увеличить это ограничение? -
возвращает куда
-
в консоль, пробовал в файл
-
INTO OUTFILE '/tmp/aaa' FORMAT Vert
icalRaw; -
clickhouse-client --query "select * from numbers(100000)" | wc -l
100000 -
не знаю что такое VerticalRaw, но INTO OUTFILE '/tmp/aaa' тоже 100к строк записалось
-
а вот у меня тольк 10 000 и он в конце пишет
Showed first 10000. -
>не знаю что такое VerticalRaw,
да это просто форматирование, без него или с ним он 10 000 возвращает -
select * from system.settings where value='10000'
-
select * from system.settings where value='10000';
select *
from system.settings
where value='10000'
┌─name──────────────────────────┬─value─┬─changed─┬─description────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ mark_cache_min_lifetime │ 10000 │ 0 │ If the maximum size of mark_cache is exceeded, delete only records older than mark_cache_min_lifetime seconds. │
│ output_format_pretty_max_rows │ 10000 │ 0 │ Rows limit for Pretty formats. │
└───────────────────────────────┴───────┴─────────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘
Ok. 2 rows in set. Elapsed: 0.018 sec. Processed: 0 rows, 0.0B (0 rows/s, 0.0B/s) - 10 January 2019 (179 messages)
-
Joined. -
просто описать кластер в конфиге и потом создать дист таблицу
-
Кто нибудь подскажет для каких целей полезна таблица system.query_thread_log и много ли я потеряю если выключу логирование ? -
Там per-thread профилирование запросов
-
разные таймеры, что делали треды во время запроса
-
Joined. -
Добрый день!
У меня две реплики работали на версии 18.12.17. Обновил одну на 18.16.1. Теперь она потребляет в 4.5 раза больше памяти чем та, что осталась на старой версии и продолжает расти.
Это ожидаемо? В новых версиях что-то изменилось в плане работы с памятью? В ченджлоге не нашёл ответа. -
Попробуйте выключить настройку compile_expressions = 0 -
мы только что пробовали обновиться на 18.16.1, в лог посыпались ошибки, вернулись на 18.14.18 -
понял, спасибо
-
Joined. -
Спасибо, вы помогли нагуглить точно такую же жалобу: https://github.com/yandex/ClickHouse/issues/3976
-
Привет всем!
Как понять, почему не удаляюлся данные с помощью ALTER TABLE ... DELETE WHERE ...
в таблице с движком ReplicatedReplacingMergeTree
Мутации сразу становятся is_done=1 строки не исчезают -
на первый взгляд вроде помогло, спасибо!
-
Используем Tableau в связке с КХ с помощью https://github.com/yandex/clickhouse-odbc, часто в логах попадается вот такая ошибка
<Error> executeQuery: Code: 164, e.displayText() = DB::Exception: Cannot drop table in readonly mode, e.what() = DB::Exception (from 172.16.0.170:61687) (in query: DROP TABLE `XT01_58903EC7_5737_44A3_94CA_483644D99DC3_2_Connect`), Stack trace:
что это за таблица и где искать ошибку ?GitHub - ClickHouse/clickhouse-odbc: ODBC driver for ClickHouseODBC driver for ClickHouse. Contribute to ClickHouse/clickhouse-odbc development by creating an account on GitHub.
-
Табло при работе делает много разной магии похожей на такие таблицы, само создало и само удалило -
так, видно что прав нету прав, как на создание, так и на удаление
-
Господа, хочу я в рамках перехода от одного формата данных к другому узнать, были ли селекты к таблице со старым форматом. Можно ли узнать это не из логов?
-
Просто подумал, что может в новых версиях дополнительная статистика есть типа счётчиков запросов по-таблично...
-
В основном, объёмом, пожалуй.
-
Joined. -
Ну и тем, что некоторые метрики типа "сколько запросов за интервал делалось к таблице с данными по биллингу, дабы выразить своё фе программистам за упавший сервис" - это надо отдельно считать, а не просто сохранять счётчики скриптом по крону.
-
Ребят подскажите, есть такая пробелма - создал на нескольких нодах таблицу devices_local с движком - engine = ReplicatedReplacingMergeTree('/clickhouse/tables/{shard}/devices', '{replica}',
'ver') ORDER BY device_id, и создал дистрибьютед таблу devices движок - engine = Distributed(wifi, wifi, devices_local, rand());. и соотвтесвенно ожидаю, что данные запросы должны давать равный реультат - select count(*) from devices final;
select count(distinct device_id) from devices;. Но почему то final не удаляет все дубли, когда применяю ее на табле с distributed движком -
Это уже считай, ещё одна инфраструктура :-)
-
Таки да, ибо требует отладки.
-
Ну хотя бы проверки.
-
Впрочем тут-то и забить можно - дело одноразовое пока что.
-
Иногда таки проще счётчики, чем развесистый запрос, который заодно уронит сервер по oom...
-
Правда, это пока ещё не тот случай.
-
Но предусмотреть не помешает, по-моему...
-
select count(*) cnt, device_id from devices final group by device_id having cnt>1
-
никто не сталкивался с тем, что обычная view таблица и просто запрос ведут себя по разному?
-
)) да, мир тесен
-
А мы можем нашим комьюнити как-то форсить у табло нативную поддержку CH? -
Joined. -
Решилось, движок схлопывал данные только в рамках 1 шарда
-
@milovidov_an
-
тоесть я натурально меня from c таблицы на запрос, который во view и другие данные
-
yandex/ClickHouse
ClickHouse is a free analytic DBMS for big data. Contribute to yandex/ClickHouse development by creating an account on GitHub.
-
Вряд ли.
-
не проще форсить в обратную сторону, СH в сторону стандартов SQL ? Все 15 пользователей КХ вряд-ли что-то зафорсят в табло.
-
не доезжают данные во вьюху, но я вчера похоже игрался с enable_optimize_predicate_expression
-
может оно зааффектило, я сейчас выключу везде - попробую
-
я чего-то не понял видимо, под нативной поддержкой что понимается? Чтобы табло умел КХ SQL или чтобы КХ odbc драйвер в облачное табло приделали?
-
https://community.tableau.com/ideas/6454 вот сюда бы несколько тысяч голосов)
-
а как мне отменить эту настройку?
я ее "включал" через параметры в http запросе -
какая версия у вас? там был баг что выключить для view можно только рестартом
-
а удалить/создать - прокатит?
-
млин версия КХ ????????????
-
18.12.17 - enable_optimize_predicate_expression incorrectly masks rows in views · Issue #3149 · yandex/ClickHouse
Haven't tested with earlier versions or master however in 18.12.17 enable_optimize_predicate_expression incorrectly masks other rows. Steps to reproduce: set enable_optimize_predicate_expressio...
-
v18.12.17-testing
-
да это оно, 100500 лет назад исправлено
-
спасибо
-
обязательно рестартить или можно пересоздать вьюшку?
-
я не помню
-
А можете меня добавить в чат Табло, плиз? -
Я плюсанул -
и с title'ами тоже не в порядке
-
это не аналитический запрос.
КХ не предназначен для навигационных запросов по индексу, тем более там нет никаких оптимизаций для ORDER BY event_datetime desc limit 1
этот запрос будет работать все дольше и дольше с каждым днем, нужен фильтр хотя бы event_date >= и event_date в индексе. -
set max_threads = 1 перед запросом
mysql лучше возмите -
field), 8192);
замените на меньшее число, пока в кеш марков влезает -
может даже и 128 (у меня в одном месте так работает)
-
это значит что в индексе лежат отметки для каждых 8192 записей, поэтому ваш запрос
pptica_stat.newsfeed (SelectExecutor): Reading approx. 16384 rows with 2 streams
курочит 16384 записей -
уже все перезалили?
-
а set max_threads=1 меняет что-нибудь?
-
все параметры можно задать для запроса прямо урле, и часть через settings в самом sql
-
-
-
нет, просто КХ аналитическая база, он старается выделить все 100% ресурсов одному запросу, чтобы запрос за 20 мин. выполнился а не за 2 часа.
-
-
-
зачем использовать КХ для такой фигни? чем mysql не устраивает?
-
какая версия КХ, не видно, если 18.16 отключите compile_expressions и рестартуйте
-
кх сжимает хорошо
-
ну сжимать по колонкам явно эффективнее, с одним типом данных
-
скорее вопрос что у вас в постгресе за индесы на миллион строк на гиг -
может бинарь общий с соседними таблицами ?) что то задофига для примера данных выше
-
-
-
может дикты какие левые подклчюены по уникальным полям? несоразмерный размер базы к кол-ву записей как раз таки у вас на постгресе
-
у меня есть база прода на миллион с компейками пользовтаелей, так она на перконе целиком 6 гигов весит, а тут какой то лям новостей
-
ага )
-
-
-
мы когда прод с логами переводили с марии колумнстора то кликхаус нам места в 2 раза выйграл
-
единственный минус конечно что в марии хотя бы в теории можно было апдейт сделать …))
-
не совсем, в кликхаусе происходит детач и повторный аттач того участка где есть данные для апдейта
-
то есть по факту что бы сделать апдейт одной строки может быть затронут блок в 300 метров
-
я не об этом
сделайте и рестартуйте
# cat /etc/clickhouse-server/conf.d/compile_expressions.xml
<?xml version="1.0"?>
<yandex>
<profiles>
<default>
<!-- 18.12.17 It does not work yet -->
<compile_expressions>0</compile_expressions>
</default>
</profiles>
</yandex> -
ну так колоночные базы то впринципе для селектов where uuid=xxxx не используются )))
-
они обычно рядышком стоят, на отдельных серверах себе
-
ну я образно
-
плюс ваша боль связана с тем что для ваших запросов наверное надо матвью сделать с другим индексом
-
ну либо хотя бы prewhere доабвить в такой запрос
-
данных перелапатит столько же с диска, но быстрее
-
зависит от проекта, но в целом да
-
да, я в курсе, я это нашел.
https://github.com/yandex/ClickHouse/issues/397618.16.1 compile_expressions eats memory · Issue #3976 · yandex/ClickHouseWithout compile expressions CH eats ~3 GB (2 cache_marks + 1 dictionary) With compile expressions upto 30GB (maybe indefinite) RSS (top): 8.5GB metric value formatReadableSize(value) CompiledExpres...
-
что память течет и куча лишней работы для вашего запроса (https://github.com/yandex/ClickHouse/issues/3976)
и понял что у вас именно это глядя на rss в вашем htop. -
нуууууууу, каждый сам хозяин своих проблем 🙂
-
все таки для точечных запросов обычные базы лучше, там поиндексировать можно как угодно и что угодно )
-
а у кх деревце как ни крути, чем глубже тем дольше
-
гайз серьезная проблема. надо решать!1 -
поломали совместимость от версии к версии ооооооч неприятно
-
- 11 January 2019 (342 messages)
-
какой ад, участие в формуле 1 на садовой тачке.
-
на 8 гигах оом к вам придет через пару часов. Потом начнет все тормозить потому что данных слишком много и в кеш невлазят, в итоге 3 запроса параллельно будут работать.
-
5000 запросов в минуту это неправильный сценарий, КХ аналитическая бд, надо одним запросом сразу все окучивать.
-
А в я.метрике нет API? Там пользователи меньше 5к делают запросов чтения на кластер?
-
если что я не работник яндекса, и даже никогда не видел метрику, подозреваю что в Я 400 серверов с 500ГБ озу в каждом, потянут 5к запросов
-
Да, я понимаю, это был риторический вопрос) я к тому, что 5к надо наверно просто заскейлить а не говорить, что это плохой сценарий. Вполне нормальный для аналитического большого кластера
-
В любом случае 8гб это нереально, 5 гб займут марки еще гиг всякая фигня в кх еще гиг линукс и для кеша диска и выполнения запросов уже ничего не остается. У меня кх сервер который тупо данные заливает, и не выполняет селектов жрет 20гб RES.
-
при 600м записей марки столько не займут :)
-
У меня вот базу на 200гб/30млрд постоянно пишется и мало читается, и КХ занимает 2–3 гига памяти. Конечно, что от запросов зависит, но память под них может и найтись.
-
всем привет,
подскажите, cpp клиент в качестве либы есть где-то? правильно понимаю, что клиент только один - https://github.com/artpaul/clickhouse-cpp ?
кто-то его использовал, есть за и против?GitHub - artpaul/clickhouse-cpp: ClickHouse C++ client libraryClickHouse C++ client library. Contribute to artpaul/clickhouse-cpp development by creating an account on GitHub.
-
Я использовал, но только для написания программ массовой вгрузки данных. На вид и на ощупь очень прикольный. Но моё использование было очень коротким и поверхностным.
-
у меня аналогичная цель, пушить данные в КХ напрямую из приложения, минуя запись в файл
-
вижу, что как минимум тип Nested отсутствует
-
присутствует
-
но заморочено немного, пришлось разбираться
-
readme проэкспайрился?
-
а, не, всё верно
-
Nested же это просто массивы :)
-
а они поддерживаются
-
wooops :)
-
по производительности данных нет?
-
То есть надо создавать параллельные массивы, как-то так:
auto col_ot_b1 = make_shared<ColumnArray>(make_shared<ColumnUInt8>());
auto ot_b1 = make_shared<ColumnUInt8>();
ot_b1.Append(...);
ot_b1.Append(...);
col_ot_b1->AppendAsColumn(ot_b1); -
Точных чисел не помню. У меня была задача переложить кучу данных из Монги в КХ, слегка сконвертировав на лету. Так вот, узким местом оказалась не запись в КХ, а судя по всему парсинг BSON'ов (в одном потоке). Скорость получилась порядка полмиллиона-миллион строк в секунду на одной машине (но это не точно).
-
в один поток вставка шла?
-
в целом, думаю, подойдет, надо попробовать что-то простое написать
-
с клиентом
-
да, с батчингом по миллиону строк
-
У нас прод кластер 128 гиг оперативы на каждом шарде, каждую минуту пишется около 200гигов сырых данных(до сжатия) постоянно выполняются запросы глубиной до года. После перехода на кх не видел пиков выше 25 гигов оперативки. КАК у вас там 20 гигов на запись что то ест?!
-
а сколько у вас шардов при такой интенсивности записей, если не секрет?
-
15 штук на кликхаус
-
Годовые запросы в сырую таблицу? Или в агрегаты? Если второе - то вручную строите агрегаты (аля кроны) или через MV с чем-то вроде SummingMergeTree -
Intel(R) Xeon(R) Gold 5115 CPU @ 2.40GHz
строк очень много, ивенты маленькие, но сейчас сказать точный порядок не могу -
спасибо, но в моем сообщении вопроса про оптимизацию не было 🙂
-
хотя если мне кто нибудь раскажет почему шард на который прилетает запрос, ест меньше оперативки чем подзапросы на соседей и как следствие подзапрос на нем работает намного дольше я буду крайне признателен 🙂
-
а как пропускная способность сети на производительность веников влиять будет )
-
+
-
считайте свой трафик на запись, смотрите мониторинг загруженности канала, если увидите что переполнение бывает то ставьте 10ки
-
сложно так наобум без метрик сказать
-
но честно говоря гигабит в секунду…. у нас вроде шарды вообще медью связаны )))
-
Ну если у вас по этому же линку гоняются пользовательские запросы и что то ещё то вероятно смысл есть
-
А вообще при возможности их лучше физически разделить
-
Joined. -
Тогда смысла вам от той 10 на самом деле нету )
-
2 десятки это трафик мелкого интернет провайдера беларуси ))))
-
имхо, это может быть просто потому, что в пределах локалхоста нет накладных расходов на TCP и всё что ниже
-
Joined. -
48 метров в секунду
-
Ну если реплик 2 то уже впритык может быть
-
Кто-нибудь использует fluentd для вставки в КХ?
-
напрямую? -
или через кафку?
-
В виде
приложение - fluentd - clickhouse -
Или оно не батчит логи перед вставкой?
-
Пару лет назад не батчило. Правда, там не кх был, но тем не менее...
-
Если поток логов небольшой - можно и в буфер, по-моему.
-
-
Судя по доке - всё же буфиризирует перед вставкой. Спасибо, буду пробовать
-
У нас ребята его для вставки в hdfs используют. И говорят при росте трафика столкнулись с тем, что fluent теряет данные. Сейчас вот дебагают почему так
-
Причем вновь вставленные строки подходящие под условие удаления - удаляются. А старые - нет. Вставляю аналогичную строку с Deleted=1, Select final выводит только ее, но это не срабатывает. Grafana отображает данные.
-
Куда копать? Или только Drop table.... поможет?
-
Подскажите, можно ли сделать внешний словарь, который будет отдавать массив? В тип отдаваемой колонки записать Array(UInt32) не могу и в доках не вижу функции, которая бы работала с такими словарями.
-
Именно так. В реализации нативного протокола КХ клиенту и серверу надо обмениваться несколько раз обмениваться сообщениями. Чем быстрей пинг и толще канал - тем лучше. В идеале - вообще один хост для клиента и КХ, но одна зона доступности AWS тоже пойдёт весьма неплохо, или свои железяки в одной lan сети
-
Left.
-
clickhouse-serer присылает собственные метрики с таймстампом в 59ю секунду кадой минуты. Это имеет побочные эффекты. Как -то можно поменять это?
-
rename column пока нет?
-
есть способы без пересоздания таблицы?
-
О, хорошая идея, спасибо!
-
А optimize сам выполняется раз в какое-то время?
-
Нет
-
Но более мелкие куски в более крупные в фоне мержатся
-
Но нет гарантии, что они когда-нибудь станут как после явного optimize
-
Мы на некоторых серверах с GraphiteMergeTree гоняем OPTIMIZE раз а неделю из-за этого :)
-
А если у меня есть колонка, которая хеш вычисляет от поля. Она всегда это на каждый запрос делает? Или это разные кейсы
-
Разные :)
-
Спасибо!
-
Добрый день, коллеги.
В чейнджлоге есть вот такое:
» Для таблиц семейства MergeTree появилась возможность указать различный ключ сортировки (ORDER BY) и индекс (PRIMARY KEY). Ключ сортировки может быть длиннее, чем индекс. #3581
Собственно, вопросы следующие:
1. в чем заключается отличие "ключа сортировки" и "индекса" в терминах кликхауса?
2. можно ли изменить индекс (PRIMARY KEY) у существующей таблицы с данными и к чему это может привести? -
Так и сделал, но строки обрезались до 1023 символов
-
Нет. Можно сделать какой-нибудь comma-separated и передеать в КХ как строку, а потом в КХ разобрать строку в таблицу.
-
PostgreSQL array_to_string
-
Нашел уже другое решение проблемы. Без массивов.
-
о, спасибо.
-
В логе :
default.graphite_tree (StorageReplicatedMergeTree): Cannot select parts for optimization: Entry for part 20171201_20171201_0_7_1_470266 hasn't been read from the replication log yet
Кто сталкивался ? -
ALTER TABLE errors_replicated_index ADD COLUMN testIds DEFAULT experiments
select experiments, testIds from errors_replicated_index where notEmpty(experiments) limit 10 -
Code: 10, e.displayText() = DB::Exception: Not found column testIds in block. There are only columns: experiments, e.what() = DB::Exception
-
а что касается второй части моего вопроса, если мне нужно изменить именно индекс(primary key)? только переимпортом данных или create from select?
-
не знаешь в чем дело?
-
да, я хочу (float32, float32, datetime) -> (uint64, datetime)
-
последний идиотский вопрос - create from select не влезает в память. понятно, что можно разделить на несколько запросов, но может есть способ как-то в один запрос это сделать?
-
может связано, что у меня таблица относительно большая - 3млрд записей
-
оно в принципе не влезет, данных значимо больше, чем памяти в наличии
-
2 реплики в сумме, шардов нет
-
Привет, подскажите пжл куда копать - есть кластер из 6 нод (3 шарда по 2 ноды с репликацией в каждом). Есть ReplicatedMergeTree таблица и Distributed над ней.
4 ноды кластера версии 18.14.18 revision 54409 - работают без ошибок. На двух нодах 3го шарда обновлен КХ до 18.16.1 revision 54412. В err логе такие ошибки:
2019.01.11 14:24:22.498309 [ 14 ] {} <Error> table_local (StorageReplicatedMergeTree): DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageReplicatedMergeTree::LogEntryPtr&)>: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = No message received, e.what() = No message received
Из симптомов еще - на ноды где ошибки пишется меньше данных чем в остальные. С весом на каждом шарде по 1 - на проблемный шард пишется примерно 1/10 данных, вместо положенных 1/3 (1/6 на ноду) (впрочем через weight можно "отрегулировать" )
Вопрос основной - это фишка/баг новой версии? Стоит ли откатываться или апгрейдить остальные ноды? -
ок, попробую в один поток. не взлетит - ну, побью запрос
-
спасибо
-
спасибо огромное!
-
похоже на тот же баг
-
https://github.com/yandex/ClickHouse/issues/3209
если в where указываю, то нормально селектитException: Not found column in block · Issue #3209 · yandex/ClickHouseВерсия 18.12.17. Запрос ` CREATE TABLE default.test ( date_check Date , id1 UInt64 , id2 UInt64 , sign Int8 ) ENGINE = CollapsingMergeTree(date_check, (date_check, id1), 8192, sign); INSERT INTO de...
-
Есть специалисты по движку ReplicatedGraphiteMergeTree ?
-
Вопрос есть: в какой момент КХ прореживает данные, если партишен уже месяца 4 как не мерджится, правила такие:
<pattern>
<regexp>..............</regexp>
<function>avg</function>
<retention>
<age>0</age>
<precision>60</precision>
</retention>
<retention>
<age>7776000</age><!-- 90 days -->
<precision>600</precision>
</retention>
</pattern>
И в данных все ещё минуты:
SELECT
Value,
Time,
Date,
toDateTime(Time)
FROM graphite201809
WHERE (Date = '2018-09-01') AND (Path = '...................')
LIMIT 10
┌─Value─┬───────Time─┬───────Date─┬────toDateTime(Time)─┐
│ 67847 │ 1535749200 │ 2018-09-01 │ 2018-09-01 00:00:00 │
│ 67847 │ 1535749260 │ 2018-09-01 │ 2018-09-01 00:01:00 │
│ 67847 │ 1535749320 │ 2018-09-01 │ 2018-09-01 00:02:00 │
│ 67847 │ 1535749380 │ 2018-09-01 │ 2018-09-01 00:03:00 │
│ 67847 │ 1535749440 │ 2018-09-01 │ 2018-09-01 00:04:00 │
│ 67847 │ 1535749500 │ 2018-09-01 │ 2018-09-01 00:05:00 │
│ 67847 │ 1535749560 │ 2018-09-01 │ 2018-09-01 00:06:00 │
│ 67847 │ 1535749620 │ 2018-09-01 │ 2018-09-01 00:07:00 │
│ 67847 │ 1535749680 │ 2018-09-01 │ 2018-09-01 00:08:00 │
│ 67847 │ 1535749740 │ 2018-09-01 │ 2018-09-01 00:09:00 │ -
Оптимайз проходил, не поменялось ничего, сейчас выполняю команды, но получаю на 2й:
:) SET send_logs_level='trace';
SET send_logs_level = 'trace'
Received exception from server (version 18.6.0):
Code: 115. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Unknown setting send_logs_level.
0 rows in set. Elapsed: 0.079 sec. -
1я отработала
-
Весь партишен(1ТБ данных) сегодня был прооптимизирован.
-
правила rollup - верные. graphite-clickhouse отображает данные до 13 октября как агрегированные до 10 минут, в датафайлах за сентябрь - минутные точки
-
Заглянул. Что искать?
-
Сегодня прошёл именно optimize final и все слилось в один кусок. Данные не проредились
-
Ок, гляну, спасибо
-
а давно в кх миллисекунды завезли? -
-
очевидно же что ваш клиент криво конверитит,
или toString(_completed_at) или clickhouse-client -
так может там поле стринговое и лежит с миллисекундами?
-
ааа
-
прошу прощения, я кривой
-
-
Всем добрый вечер…
А можно как-то склеить массивы, группируя, при этом?
user_id Int32, params Array(Int32)
По 1 пользователю может быть много таких строк… хочу сделать такой такой group by user_id, чтобы получить уникальные user_id, params, где params состоит из всех значений.. Дальше, arrayReduce-ом уникализирую… -
groupArrayArray?
-
Я не знаю, что такое groupArrayArray
-
Это тоже что и groupArray, но с модификатором Array. Про модификаторы - читайте в доке
-
Да, то что нужно
-
Спасибо всем
-
правда после выполнения
Code: 32. DB::Exception: Attempt to read after eof: while receiving packet from…и хост отваливается очень грустно:
clickhouse-client -h ch810405
ClickHouse client version 18.16.1.
Connecting to ch810405:9000.
Code: 210. DB::NetException: Connection refused (ch810405:9000, 10.0.104.133) -
Да, уже прошу у админов
-
Неплохо
-
Да, у меня на руках select запрос, который кладёт сервер) Наигрывается 100%
-
Если и он, то странно, потому что суть запроса, который я делаю такая:
SELECT
dt,
user_id,
groupArrayArray(params)
FROM
(
SELECT
dt,
user_id,
params
FROM table_1
WHERE (dt = yesterday()) AND (user_id = 12345)
UNION ALL
SELECT
dt,
user_id,
params
FROM table_2
WHERE (dt = yesterday()) AND (user_id = 12345)
)
GROUP BY
dt,
user_id -
Внутренний select union all select отрабатывает быстро:
2 rows in set. Elapsed: 0.091 sec. Processed 40.29 million rows, 161.15 MB (441.69 million rows/s., 1.77 GB/s.) -
В логих ничего, даже на trace
-
SELECT
dt,
user_id,
groupUniqArrayArray(params)
FROM
(
SELECT
dt,
user_id,
params
FROM table_1
WHERE (dt = yesterday())
UNION ALL
SELECT
dt,
user_id,
params
FROM table_2
WHERE (dt = yesterday())
)
GROUP BY
dt,
user_id -
Да, при этом такой запрос отрабатывает. Хотя требует явно больше памяти
-
нет его
-
Ребята а где можно еще почитать про странное поведение между версиями 18.14.12 new и old 1.1.542
new:
SELECT max(adId) AS maxAdId
FROM d_events
WHERE date > '2020-01-01'
┌─maxAdId─┐
│ 0 │
└─────────┘
1 rows in set. Elapsed: 0.013 sec.
old:
SELECT max(adId) AS maxAdId
FROM d_events
WHERE date > '2020-01-01'
Ok.
0 rows in set. Elapsed: 0.007 sec.
Теперь всегда выдает резултат 0 если нету данных? -
SET allow_experimental_low_cardinality_type = 1;
CREATE TABLE test.table1
(
dt Date,
id Int32,
arr Array(LowCardinality(String))
) ENGINE = MergeTree PARTITION BY toMonday(dt)
ORDER BY (dt, id) SETTINGS index_granularity = 8192;
CREATE TABLE test.table2
(
dt Date,
id Int32,
arr Array(LowCardinality(String))
) ENGINE = MergeTree PARTITION BY toMonday(dt)
ORDER BY (dt, id) SETTINGS index_granularity = 8192;
insert into test.table1 (dt, id, arr)
values (toDate(now()), 1, ['aaa']);
insert into test.table2 (dt, id, arr)
values (toDate(now()), 1, ['aaa','bbb','ccc']);
select dt,
id,
groupArrayArray(arr)
from (
select dt, id, arr
from test.table1
where dt = today()
and id = 1
UNION ALL
select dt, id, arr
from test.table2
where dt = today()
and id = 1
)
group by dt, id -
Завести issue?
-
А кто в курсе, судьба per-column конфигурируемого сжатия какова? В частности интересует, будет ли delta-compression
-
Да при таких скоростях, всё простительно, если честно)))) Непростительна только самопроизвольная потеря при записи или утечки памяти))))
-
# cat /etc/clickhouse-server/conf.d/empty_result_instead_of_zero.xml
<?xml version="1.0"?>
<yandex>
<profiles>
<default>
<!-- 1.1.54362 We are not ready for aggregating functions to return 0 insted of an empty set -->
<empty_result_for_aggregation_by_empty_set>1</empty_result_for_aggregation_by_empty_set>
</default>
</profiles>
</yandex>
Релиз ClickHouse 1.1.54362, 2018-03-11
Агрегация без GROUP BY по пустому множеству (как например, SELECT count(*) FROM table WHERE 0) теперь возвращает результат из одной строки с нулевыми значениями агрегатных функций, в соответствии со стандартом SQL. Вы можете вернуть старое поведение (возвращать пустой результат), выставив настройку empty_result_for_aggregation_by_empty_set в значение 1. -
Огромное спасибо!
-
1.1.54394 самый стейбл
-
июнь
-
шашечки или ехать
-
ехать и проблесковые маячки )
-
билдим из мастера и в прод
-
жаль что КХ не спарк.
-
на всех, все ноды КХ независимы и не знаю друг про друга.
можно создать on cluster -
в доке вообще много чего не написано
-
Тут все чинно
SELECT *
FROM system.part_log
┌─event_type────┬─event_date─┬──────────event_time─┬─duration_ms─┬─database─┬─table──────────┬─part_name───────────────────────┬─────────rows─┬─size_in_bytes─┬─merged_from─────────────────────────────────────────────────────────────────────────────────────┬─bytes_uncompressed─┬──────read_rows─┬─────read_bytes─┬─error─┬─exception─┐
│ MERGE_PARTS │ 2019-01-11 │ 2019-01-11 11:57:53 │ 43605327 │ default │ graphite201809 │ 20180901_20180930_1_3_2_1143814 │ 243205159999 │ 1187658212930 │ ['20180901_20180930_1_1_0_1143814','20180901_20180930_2_2_1_1143814','20180911_20180911_3_3_0'] │ 34036679123426 │ 34036679124474 │ 34036679124474 │ 0 │ │
│ REMOVE_PART │ 2019-01-11 │ 2019-01-11 12:06:09 │ 0 │ default │ graphite201809 │ 20180901_20180930_1_1_0_1143814 │ 243205128308 │ 1183465936173 │ [] │ 0 │ 0 │ 0 │ 0 │ │
│ REMOVE_PART │ 2019-01-11 │ 2019-01-11 12:06:09 │ 0 │ default │ graphite201809 │ 20180901_20180930_2_2_1_1143814 │ 31691 │ 273323 │ [] │ 0 │ 0 │ 0 │ 0 │ │
│ REMOVE_PART │ 2019-01-11 │ 2019-01-11 12:06:09 │ 0 │ default │ graphite201809 │ 20180911_20180911_3_3_0 │ 8 │ 1018 │ [] │ 0 │ 0 │ 0 │ 0 │ │
└───────────────┴────────────┴─────────────────────┴─────────────┴──────────┴────────────────┴─────────────────────────────────┴──────────────┴───────────────┴─────────────────────────────────────────────────────────────────────────────────────────────────┴────────────────────┴────────────────┴────────────────┴───────┴───────────┘ -
Привет все вопрос про engine Kafka
Не записываются данные в конечную таблицу
Создал
1) Kafka engine таблицу
2) таблицу в которую должны сохранить яться данные
3 материализованное представление
Из уточнений
1) Kafka на сервере доступна по dsn xxx-kafka1-xxx.com:9092
2) данные в kafka хранятся в JSON
3) в созданных таблицах не перечислены все поля, которые есть в сообщениях Kafka
Никакой информации, что что-то не работает в Логах clickhouse не появляется( скорее всего я просто не вижу этого)
Был бы рад содействию в решении проблемы.
Спасибо! -
что подразумевается под JSON ? JSONEachRow ?
-
КХ понимает очень ограниченный json тренируйтесь на простых примерах {a:5,b:6}
-
Сообщения в kafka - это json’ы. Разделитель ‘\n
-
КХ не умеет JSON на input https://clickhouse.yandex/docs/en/interfaces/formats/
-
В json есть вложенные структуры с глубиной до 4
-
Но в примере из документации при создании Kafka engine указывается kafka_format = JSONEachRow.
Т.е на сколько я понимаю, Clickhouse принимает json на вход.
Или я что-то неправильно понимаю? -
отлично, КХ не умеет этого.
https://clickhouse.yandex/docs/ru/interfaces/formats/#jsoneachrow -
у меня одно сообщнюение кафки = одной строке clickhouse
-
Точнее должно быть равно одной строке Clickhouse
-
Сообщения в кафке разделены через разделитель
-
Возможно вы подскажете, что должно появиться в логах Кликхаус в случае успешного/ неуспешного подключения к Кафке ?
-
в случае успешного что-то типа
2019.01.11 21:53:51.438585 [ 20 ] {} <Debug> StorageKafka (KafkaTable): Started streaming to 1 attached views -
Sergey Спасибо!
-
Хотел бы на всякий случай уточнить: Я хотел бы писать толкько несколько полей из JSON сообщений kafka. С этим не должно быть проблем? Или же это реализовано таким образом, что нужно записывать все поля?
-
Sergey {
"hostname": "s2",
"adhash": "{*********}",
"ext": {
"adhash_ext": null,
"****_ext": {
"*****": "***************************************"
},
"****_ext": null,
"keywords": "*******:*****,*******,1111,******:11111"
},
"*******": 604800,
"*******": 0,
"*******": 0,
"****_****": {
"***_***": {
"****_***": {
"6007": 1111111111,
"6014": 1111111111,
"6016": 1111111111,
}
},
"timestamp": "2019-01-11 22:09:49",
"bid_timestamp": "2019-01-11 22:09:49",
"timezone": "-0500",
} -
это грубый пример сообщения, для таблицы в Clickhouse нужно доставать значения из только из первого уровня вложеннности ( например hostname timstamp, bid_timestamp)
-
Это DDL для создания таблиц
CREATE TABLE IF NOT EXISTS kafka_test.queue (
timestamp String,
bid_timestamp String,
hostname String
)
ENGINE = Kafka
SETTINGS
kafka_broker_list = 'localhost:9092',
kafka_topic_list = 'sometopic',
kafka_group_name = 'somwgroupid',
kafka_format = 'JSONEachRow',
kafka_row_delimiter = '\n',
kafka_num_consumers = 1;
CREATE TABLE IF NOT EXISTS kafka_test.topic (
date Date,
bid_date Date,
hostname String
)
ENGINE = MergeTree(date, (date, bid_date, hostname), 8192);
CREATE MATERIALIZED VIEW kafka_test.consumer
TO kafka_test.topic
AS
SELECT toDate(toDateTime(timestamp)) as date, toDate(toDateTime(bid_timestamp)) as bid_date, hostname
FROM kafka_test.queue; -
КХ умеет JSONEacherow, однострочные json, без вложенности
-
@snbulgakov Я ожидал, что Кликхаус где-то ругнется, что что-то не так, но в логах девственная чистота
-
Sergey В любом случае спасибо !
-
Да, конечно тут)
-
а уровень логгирования какой?
- 12 January 2019 (23 messages)
-
Joined. -
Всем привет)
Не могу побороть ошибку DB::Exception: Cannot read array from text. Больше ничего не пишет
Есть две одинаковые таблицы в clcikHouse, в одной есть некоторые поля String формата ['aa','bb'] в другой эти поля имеют тип Array(String).
Переливаю данные из одной в другую (insert into table target_table select * from table_str)
Какая то часть данных добавляется, массивы заполнены, потом возникает эта ошибка
Нашел пару подобных ошибок в данной группе, но не помогло. Может кто знает все случаи в каких возникает эта ошибка? и как можно отловить строку на которой падает? -
рекурсия -
Таблица которая со строками заливал spark, все поля обрабатывались
даже каунтами проверил на длину строк -
у меня 80млн))
-
а он их не рандомно берет?
-
ну кстати как вариант) спасибо
А ещё вопрос, почему
truncate distributed table выдает DB::Exception: Can't proxy this query. Unsupported query type. -
да, нет таких строк
-
и когда ему пустую строку подсовываешь он выдает ошибку то что должно начинаться с '
-
точнее вот эту
DB::Exception: Cannot parse input: expected [ at end of stream.. -
да
-
Вдруг кому пригодится
В одном из полей попалось значение ['кот д'ивуар']
так что надо проверять поля тщательнее)) -
Joined. -
Joined. -
Ох, это больно
- 13 January 2019 (15 messages)
-
Joined. -
Joined. -
Куда можно задавать тупые вопросы по кх?
-
сюда
-
Нормально, что у меня docker-compose build не собирает мастер?
-
-
А как плотность распределения построить? Как функцию распределения через квантили сделать - я разобрался. а вот разницу междусоседними квантилями теперь как?
-
а как функцию распределения через квантили сделали?
-
SELECT min(x), quantiles(0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9)(x) as quant_yield, max(x) FROM table
-
спасибо, подписшусь на ответы про плотность распределения
-
я пока разницу между соседними сделал в остальной части приложения на питоне, но, как понимаете, ценой снижения скорости
-
Проверил расчеты. там надо выдавать не разность квантилей, а step/(x_i - x_{i-1}) - это значение плотности распределения в точке (x_i+x_{i-1})/2, step - это с каким шагом берем квантили
-
С clickhouse_driver кто-нибудь работал? У меня на двух последовательных запросах в базу выдает ошибку:
clickhouse_driver.errors.UnknownPacketFromServerError: Code: 100. Unknown packet 4 from server clickhouse:9000
И причем только на одной странице сайта. остальные запросы выполняются штатно -
И периодически такая:
Unexpected packet from server clickhouse:9000 (expected Pong, got Data) - 14 January 2019 (179 messages)
-
Внешний словарь может выступать источником для мат.представления? В качестве источника внешнего словаря пробую файл. Мат.представление должно забирать данные из dictionary-таблицы, но не хочет этого делать. Так и должно быть? -
не может. MV это триггер на инсерт, вычисляется над вставляемым блоком.
-
Понятно. Какие тогда есть варианты перенести данные внешнего словаря в mergetree?
-
Ну, кроме ручного insert 🙂
-
А зачем? это бесмыссленно,словари ведь маленькие и статичные. Один раз можно и инсертом.
-
Суть задачи следующая :есть в Oracle таблица, содержимое которой постоянно меняется. Пускай, раз в час. Была идея забирать эту таблицу через словарь и складывать полученное в mergetree
-
Joined. -
есть табличная odbc функция, и есть engine odbc, тупо запросом раз в час insert select.
-
Заметил одну странность - колонку первичного ключа в clickhouse нельзя переключать с Enum16 на Enum8. Я один на такое наткнулся? -
https://github.com/mymarilyn/clickhouse-driver/issues/69
Нужны примеры запросов и данные на которых это возникаетclickhouse_driver.errors.UnknownPacketFromServerError: Code: 100. Unknown packet XXX from server · Issue #69 · mymarilyn/clickhouse-driverThis error happens for some queries only. File "/usr/local/lib/python3.7/site-packages/clickhouse_driver/client.py", line 137, in execute columnar=columnar File "/usr/loc...
-
Достаточно вместо данных команды, которой создавалась таблица?
-
-
Вот так создавалось и селектилось
-
в смысле селект у меня формировался в питоновском коде, но на выходе получилось такое. Из Табикса работает нормально
-
Дело в сочетании данных и самого запроса) в общем надо воспроизвести проблему, чтобы посмотреть, что не так. Или фиксить методом пристального взгляда
-
А, то есть вам еще и наполнение таблицы скинуть? Куда и в каком формате?
-
Там что-то не так с вычиткой строковых колонок из блока. Но у нас это не стреляет.
Данные можно залить в csv формате куда вам удобно будет. -
И да, вся таблица точно не нужна. Достаточно будет минимального куска, который вызывает проблему
-
как его определить? методом научного тыка?
-
Ну самый банальный выход, который приходит в голову: insert from select... order by some_date_field limit X. И уменьшайте X, пока не найдете кривую строчку.
-
Я вот так определял битую строку
Может поможет -
Уменьшал пополам X
-
Это тоже из кода питоновского драйвера, как я понимаю?
-
Минимальный максимальный порог по дате которая в выборке с ошибкой например, и весь кусок выгрузить, или внутрь питоновского драйвера залазите, где вычитка из блока, смотрите блок целиком
-
ох. ладно. К этому тогда вернемся вечером. сейчас еще порбаотать надо
-
Только учтите что в блоках инфа по массивам из колонок будет представлена, а не построчно
-
Плюс посмотрите аналогичный запрос на срр клиенте, возможно у вас старый питоновский клиент и новый сервер кликхауса
-
а если наоборот?
-
Новый питоновский вряд ли бы бил unexpected packet)
-
Плюс нативный протокол пакеты не убирал насколько я помню
-
Типы пакетов *
-
у меня КХ в докере запущен и работает, при этом при каждой сборке своего образа я ставлю из пипа драйвер.
Connected to ClickHouse server version 18.10.3 revision 54405
clickhouse-driver==0.0.16 -
Ну.... ок, можно попробовать обновить драйвер...
-
Я точно версионность не знаю у того который из пипа, мы форкнулись давно
-
обновление до 0,0,17 не помогло
-
хотя ошибки поменялись
-
clickhouse_driver.errors.UnknownPacketFromServerError: Code: 100. Unknown packet 4 from server clickhouse:9000
EOFError: Unexpected EOF while reading bytes
Code: 102. Unexpected packet from server clickhouse:9000 (expected Pong, got Data) -
А может есть менее костыльный способ строить плотность вероятности, а не отдельно через квантили?
-
То, что надо!
-
А можете просто вести где-нибудь список недокументированных функций. Просто, что она есть и пример использования. А то просто второй раз уже находится нужное в недокументированном. Первый раз помогло какое-то озарение, чтобы найти)
-
Или просто список функций
-
А) ок. Спасибо, проверю
-
А недокументированные джойны будут в system.functions?
-
Cross join
-
Упоминание о cross join нашлось случайно методом озарения на github. Вроде в пулл-реквестах и вроде от августа того года.
-
CROSS JOIN not documented · Issue #2857 · yandex/ClickHouse
Full cartesian product is quite usefull simetimes. It's supported in ClickHouse, but not documented.
-
нашли пример данных и запрос который валится? интересно у нас проверить
-
Ой. Это не раньше вечера. Я пока всё на локалхосте гоняю, ибо фдев даже пока рано
-
-
Или писать в Kafka
-
С настроенным zookeeper
-
кажется, чтобы распределить нагрузку на запись, нужно шардироваться, чтение осуществлять с distributed таблицы.
причем шардироваться желательно вручную, потому что запись в distributed обладает надежность уровня insert into /dev/null -
а chproxy синхронно пишет ?
-
тут как бы основная претензия к distibuted в плане каких либо гарантий это асинхронность
-
# Requests are spread in round-robin + least-loaded fashion among nodes.
# Unreachable and unhealthy nodes are skipped.
ну такое себе. поретраился, два одинаковых блока записал в разные шарды.
я поэтому шардируюсь вручную на клиенте. -
Шардирование для разных приложений может помочь, но я так понял, что у автора проблема с IO. Из-за чего она может быть? Например, из-за вставки значений маленькими пачками в базу. Значит, надо увеличить банч данных для вставки. Значит, нужна какая-то очередь, желательно, распределенная. Подходит Kafka. Если для каждой ноды КХ будет своя Kafka, и эта нода будет читать данные только из своей кафки не сильно часто, но большими пачками, то IO должно справиться. При этом можно писать в любую ноду кафки.
-
Вопрос опять же в потоке данных, который идет на кластер. Выглядит странно, что сеть с нагрузкой справляется, а диск - нет.
-
+1 за то, что вставляют мелкими пачками строк
-
По иерархии памяти скорость сети и диска отличается на порядки (в 10-100 раз обычно). Сомнительно, что размер вставки после получения пакета возрастает в те же 10-100 раз.
-
Joined. -
Коллеги, вопрос - а как лучше/эффективнее сделать 1 большой MV c группировкой по разным полям или разбить на более мелкие? -
А путь к файлу - относительный или абсолютный? Попробуйте абсолютный
-
Добро пожаловать в Клуб КХ
-
создал materialized view, в логах появилась ошибка
<Error> HTTPHandler: Code: 393, e.displayText() = DB::Exception: There is no query: while pushing to view,
из-за которой ломается инсерт в основную таблицу. что в таком случае можно сделать? -
array join, group by
-
Какое будет поведение у внешнего словаря, если по одному ключу будет несколько значений?
-
Несколько мелких, меньше строк быстрее селекты, к тому же можно разный order by сделать.
-
1й. массивы быстро работают, парсинг строк медленнее.
-
А какая версия? В changelog надо смотреть, эта фича появилсь полгода назад.
-
вернет одно из значений, при построении вычисляется хеш, по этому адресу кладется значение, если ключ повторяется то просто перезатирается значение.
-
а если тупо выключить реплики и дождаться конца мержей?
-
Память выжирает мерж?
-
Уменшите размер макс. кусков, мне однажды пришлось 45гб поставить
-
Привет!
А как нидуь можно в логах отследить работу мутации? Какие-нибудь ключевые слова? Хочется понять, она просто тупо висит, или лопатит что-то. -
ALTER TABLE ... DELETE .. запущено, если что.
-
Смотрите системную таблицу system.mutations
-
Там я смотрел, она висит уже полдня. Как был 1 партишн для обработки, так и остался.
-
В смысле, parts_to_do=1
-
Тогда смотрите в лог КХ. Такое может быть если условие для мутации некоректно задано (команда мутации не проверяет коректность записи условия в WHERE)
-
Вот я как раз и пытаюсь что-то там найти. Но ошибок нет, а в основном логе тяжко искать - там дико много сообщений. Понять бы по какому ключевому слову погрепать.
-
Я на ошибку в условии команды мутации натыкался, вот issue https://github.com/yandex/ClickHouse/issues/2588
Пока в логе КХ не увидел сообщение - так же было непонятно что делать. ИщитеЗацикливание команды удаления · Issue #2588 · yandex/ClickHouseСоздал реплицируемую таблицу (удалёный сервер) Залил туда данные (из обычной MergeTree через INSERT INTO ... SELECT ... примерно 200кк записей) На ноуте а. пробросил порты для Zookeeper и ClickHous...
-
max_bytes_to_merge_at_max_space_in_pool
-
Разобрался. Ошибок и правда не было, просто мутация вместо того чтобы перетряхнуть только нужную партицию, петеряхнула вхолостую всю базу. В логах было видно, что она берет каждую партицию, клонирует, применяет мутацию, видит что изменений нет, и переходит к следующей. Вот только что оно само таки завершилось.
@ztlpn , является ли это багом? Стоит ли зарепортить? 18.14.11. -
так а условие вообще в where было по которому можно определить что не надо заходить в партицию?
-
Подскажите, никто не знает, есть ли у ClickHouse какие-нибудь настройки, которые распространяются не только на размер партиции, но и на её возраст :)? Например, запретить удалять партиции моложе 3 месяцев.
-
Да, было.
-
нет. а как определить возраст? например для partition by floor(x/13.75)
-
В смысле, выражение партиционирования было RecordDate (старый формат создания таблицы), и условие было по RecordDate + ещё ряд условий
-
Ну для партиций на основе даты 🙂
-
RecordDate >= или там у вас километровая функция была?
-
BETWEEN
-
тогда бага
-
Ссылка на опрос 📢Вы теряли данные в Clickhouse?:
https://t.me/QuanBot?start=poll_1047039_94483 -
(оффтоп: с десктом версии можно встроенные в клиент опросы, в меню чата/канала)
-
Я из корня мастера делал docker-compose build, может в этом была проблема
-
а откуда может браться такая вот ошибка, после обновления с 18.12.17 на 18.16.1 , при этом реплики и запись все идут нормально
-
2019.01.14 16:26:01.962230 [ 16 ] {} <Error> default.asks (StorageReplicatedMergeTree): DB::StorageReplicatedMergeTree::queue
Task()::<lambda(DB::StorageReplicatedMergeTree::LogEntryPtr&)>: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() =
No message received, e.what() = No message received -
в error логе
-
-
Вроде не критично , буду ждать апдейт
-
будет ли существенная разница в скорости выполнения запросов (с указанием времени) к таблицам:
1) create table ... (ts Datetime, ...) ... order by ts...
2) create table ... (ts DateTime, ts_hour DateTime DEFAULT toStartOfHour(ts), ...) ... order by ts_hour
и как вообще каноничнее делать?) -
@milovidov_an Добрый вечер, Алексей. Появилась проблема после сбоя кластера, на репликах в логах ошибки вида ClusterProxy::SelectStreamFactory: Local replica of shard 2 is stale (delay: 38806s.) и не отвечают реплики нормально и отваливаются по таймаутам. И delay не сокращается. Как можно и нужно с этим бороться?
-
Ну вроде как круче, когда соседние записи похожи. А у тебя получается разные будут, раз сортировка по ts. Антипаттерн
-
А можно как-то корректно очистить очередь? Потому что у некоторых записей кол-во попыток репликации оч большое: num_tries: 18444
-
1.1.54343
а как запустить форсированно? в last_exception записи вида DB::Exception: No active replica has part 201901_1000788_1000793_1 or covering part, e.what() = DB::Exception -
Joined. -
Данных очень много, по 50Т на репликах. Страшно обновлять, так как много чего уже изменилось, и влучае фатального падения никто нам не поможет) то есть без обновления мы никак кластер не можем привести в порядок? А обновление может нам дать новых проблем? Или обновление с нашей версии до последней не сулит существенных изменений в самой БД?
-
а когда будет свежая версия с фиксом https://github.com/yandex/ClickHouse/issues/3891ALTER timeout on ReplicatedMergeTree · Issue #3891 · yandex/ClickHouse
On release 18.16.0, when applying ALTER TABLE ... ADD COLUMN on ReplicatedMergeTree table, ALTER completed on current replica, but other replicas coudn't download and apply ALTER action. On...
-
А есть какието советы по апгрейду кластера? Как лучше обновить все?
-
возможно и чтото потерялось. Но реплики все доступны. Можно ли как-то заставить кликхаус забыть об этом в нашей версии и чтобы он работал в штатном режиме? Потому что num_tries растет и не падает.
-
а как это сделать?
-
А если реплики будут разных версий - то есть какаято обратная совместимость?
-
вдруг данных успеют записаться по новому, и в результате кликхаус не поймет формат
-
@milovidov_an Спасибо большое, Алексей, за развернутые ответы! Также спасибо за прекрасный продукт! 👍
-
Что-то я совсем не понимаю, что происходит. По отдельности два запроса работают нормально, а если вместе, то плохо. Может быть дело в том, что отправляю я запросы в БД через клиентское приложение (jQuery -> Django -> clickhouse_driver -> clickhouse) асинхронно, драйвер их перенаправляет КХ, а потом не может понять, на какой из запросов пришел ответ? Просто я то же самое сейчас проделал тупо из терминала и ошибок не было. А когда с клиента запросы льются, то либо один отвалится с Code 100: Unknown packet 4 from server clickhouse:9000, либо другой с Code: 102. Unexpected packet from server clickhouse:9000 (expected Pong, got Data).
Если я прав, то дело не в данных, и драйвер должен вести себя некорректно вплоть до падения всего приложения, если асинхронно и примерно одновременно отправлять быстрый и медленный запрос, или два медленных. Например, SELECT histogram(10) FROM (...) CROSS JOIN (...) WHERE на числовых данных и SELECT ... FROM (...) ANY LEFT JOIN (...) на числовых и строковых. И такое должно быть на любых данных. -
соединение с базой одно, если что
-
Пора на aioch?
-
А можно еще вопрос, а после очищения нужно ребутнуть проблемные реплики или полностью зуу? потому что очередь в system.replication_queue не изменилась
-
А еще, очистили очередь, ребутнули реплики, но они все равно растут и не прекращаются. Может чтото нужно еще сделать?
-
Спасибо еще раз!
-
привет всем. я правильно понимю. тип таблицы CollapsingMergeTree
сделал ключ
ORDER BY (sipHash64(devtype), CreateDate, PlayerId)
ожидаю что все строки по этому ключу смержатся. откуда дубль взялся и как с ним боротся( -
я что-то неправильно делаю
-
Да. Меня разработчики здесь как раз выше и просили предоставить запрос и сами данные, на которых валится.
-
https://clickhouse.yandex/docs/ru/operations/table_engines/collapsingmergetree/
CollapsingMergeTree(sign)
При слиянии, для каждой группы идущих подряд одинаковых значений первичного ключа (столбцов, по которым сортируются данные), остаётся не более одной строки со значением столбца sign_column = -1 ("отрицательной строки") и не более одной строки со значением столбца sign_column = 1 ("положительной строки"). То есть - производится схлопывание записей из лога изменений.
....
Существует несколько способов получения полностью "схлопнутых" данных из таблицы типа CollapsingMergeTree:
Написать запрос с GROUP BY и агрегатными функциями, учитывающими знак. Например, чтобы посчитать количество, надо вместо count() написать sum(Sign); чтобы посчитать сумму чего-либо, надо вместо sum(x) написать sum(Sign * x) и т. п., а также добавить HAVING sum(Sign) > 0. Не все величины можно посчитать подобным образом. Например, агрегатные функции min, max не могут быть переписаны.
Если необходимо вынимать данные без агрегации (например, проверить наличие строк, самые новые значения которых удовлетворяют некоторым условиям), можно использовать модификатор FINAL для секции FROM. Это вариант существенно менее эффективен. -
да уже нашел про финал. как всегда недочитал доки.
-
я думал оно сразу мержит. данные просто за 11 месяц
-
некоторые куски не будут смержены никогда, из-за размера например или просто очередь дойдет через пару лет.
-
вот например я вижу 4 парта для 201801 (150 + 33 + 8 + 1) GB
- 15 January 2019 (147 messages)
-
а каким образом у вас работает "асинхронность в django" ?
-
А уиды кто генерит?
-
Может второй запрос с таким же улетает а дальше банальная проблема в коде и дохнут оба?
-
Хотя нет, первый умереть не должен, это надо постараться )
-
Нарываюсь на Received exception from server (version 18.14.15):
Code: 15. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Column '0' already exists: (while reading from part /var/lib/clickhouse/data/default/nr_views_t8/20160912_20160928_0_0_0_38620/).
при селектах с условиями типа where d>='2018-12-26 21:00:00' and d<'2018-12-27 21:00:00' ... and a_50p_o=0 and a_100p_o=0, где колонки UInt8.
Если убрать правое условие, запрос выполняется.
Если вынести ограничение по дате в prewhere, запрос выполняется
На 18.16.1 то же самое. Таблица была создана как MergeTree, потом переделана в ReplicatedMergeTree
Структура таблицы со временем менялась, но поля из условия были всегда -
Покажите как именно вы реализовали асинхронность. Можно в личку
-
Привет всем!
При перезагрузке сервров КХ кластера с изменеием конфига (таблица ReplicatedGraphiteMergeTree) один сервер успел перемерджить пару кусков по старым правилам, а второй - нет. В результате 2й сервер постоянно пишет checksum mismatch и мерджит 4 куска непрерывно, сбрасывая результаты. Это длится уже около суток. Поможет ли временный останов 2го сенрвера, что бы он не мерджил а скачал потом эти куски ? На какое время сервер должен отстать, что бы стянуть себе с реплики и не мерджить? -
А может на 1ом партицию детач, на 2-ом просто грохнуть ее, и на 1ом снова аттач. Второй просто партицию скачает и все
-
Ну или не грохать, а на втором зайти в папку detached и удалить битые куски
-
такой вариант попробуем через время, если не разрешится само, так как в партишене весь январь, который читается постоянно, надеюсь на
We will download merged part from replica to force byte-identical result. -
Спасибо!
-
Товарищи, а у меня пара вопросов по detach/attach
1. в каталоге detached показываются каталоги ignored_* - что c ними по канону надо делать?
2. При attach не все партиции переностятся из тех, что лежали в detached - это нормально? в них, в целом, данных немного, но очень не хотелось бы на них просто забивать -
В аналитической бд. Пытаются получить одно сообщение из 4млрд. Что за бред?
-
похоже, они захотели посчитать worst case, но как-то странно это подали -
В метрике примерно также наверное, получают данные для 1 юзера (id), только у них индекс нормальный, а не как там, по created только, ещё и id стринговый. И одна нода всего.
-
На таймсериес различия на порядок два в пользу кх к сожалению, так что все ок
-
Можно и 20 млрд грузануть с индексом только по created, а потом выбирать по стринговой id и говорить что медленно :)
-
Я после селекта по id закрыл
-
Так они и показывают как не надо использовать ch.
Наоборот хорошо. -
Нет.
-
Можно вот так
-
Всем привет! Один кусок долго мержиться на ноде (данные с system.merges):
elapsed: 11865.068640084
progress: 0.17395293991257757
num_parts: 10
source_part_names: ['201901_1144003_1145634_6','201901_1145635_1145856_3','201901_1145857_1146704_4','201901_1146705_1147837_5','201901_1147838_1148763_4','201901_1148764_1148918_3','201901_1148919_1149297_4','201901_1149298_1149977_5','201901_1149978_1150167_3','201901_1150168_1150371_3']
result_part_name: 201901_1144003_1150371_7
total_size_bytes_compressed: 144000203938
total_size_marks: 131790
bytes_read_uncompressed: 313667301961
rows_read: 1079587421
bytes_written_uncompressed: 359078264525
rows_written: 1079587421
columns_written: 21
memory_usage: 54231811
thread_number: 31
как можно понять, с чем проблема, почему так долго, и что можно сделать чтобы быстрее такое мержилось? -
не уж то никто не встречал?
-
@ztlpn, видимо, только ты сможешь помочь ) В прошлый раз тоже никто не ответил
-
У меня как-то и то и то бывает, в кх лежат сырые показы, а в mysql сгруппированные, я их мониторингом мониторю, чтобы сходились. Без сожаления сношу все из detached, если показы сходятся :)
-
К сожалению, сравнивать не с чем
-
Можно создать рядом такую же таблицу, туда аттачнуть эти куски, посмотреть есть ли они в исходной, и если что заинсертить туда
-
Но мне так думается, что это могут быть артефакты слияния кусков
-
никто не сталкивался?
-
Покажите запрос создания вьюхи
-
CREATE MATERIALIZED VIEW local.view__broadcasts ON CLUSTER sports ( site String, match_id UInt32, user_type String, event_date Date, views UInt64) ENGINE = ReplicatedSummingMergeTree('/clickhouse/tables/{shard}/view__broadcasts', '{replica}', event_date, (site, match_id), 8192) AS select site, match_id, user_type, event_date, sum(start) as views FROM (select site, path(url) as pt, event_date, argMax(page_id, page_id) as match_id, multiIf(user_is_mobile = 0, 'web-desktop', lower(user_browser_name) LIKE '%view%', 'apps', 'web-mobile') as user_type, count() as start from local.clickstream_new WHERE is_event = 1 AND event_category = 'broadcast' AND event_label = 'click' GROUP BY site, url, user_type, event_date) WHERE match_id > 0 AND user_type IS NOT NULL group by site, match_id, user_type, event_date
-
В ClickHouse можно значительно уменьшить накладные расходы от выборки 1-100 строк по ключу, если:
1. Выбирать только нужные колонки вместо *
2. Уменьшить гранулярность индекса (который 8192 все ставят не задумываясь)
3. Уменьшить max_threads до 1
После этих манипуляций становится реально получить до 1-2k qps на сервер на довольно простых селектах -
Если выполнить запрос после AS - отрабатывает?
-
Да, конечно. Таким образом сделал инсерт старых данных – залилось без проблем.
-
Возможно именно у матвью проблемы с запросами с подзапросами. Создавайте issue. А насчёт попробовать заксотылить - попробуйте тут
http://joxi.ru/Q2KGdVKi4V1vb2
всё что в первом FROM - заменить на обращение к обычной view, а уже во вьюхе - запрос с подзапросом. Возможно поможет1547545483484 (179 kb) uploaded January 15, 2019 Joximade using Joxi.net
-
Received exception from server (version 18.6.0):
Code: 49. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Part 20181001_20181031_1_6_2 intersects next part 20181001_20181031_2_2_1_1634300 (state Committed). It is a bug..
0 rows in set. Elapsed: 235265.541 sec.
это уже починили, кто-то знает ? -
это опытным путем найдено или можно в доке найти такие советы?
-
спасибо, заведу issue.
-
Комбинация и того и другого, плюс опыт CloudFlare и разговоров непосредственно с Алексеем Миловидовым :).
-
Ах, клаудфлер:3
-
В документации нет советов, но про гранулярность индекса там хорошо расписано, про КХ выбирает только нужные колонки (он внезапно поколоночный) тоже. Про max_threads на запрос тоже есть, по умолчанию создается несколько потоков, для простых селектов которые выгребают мало данных это может быть излишне, поэтому уменьшение max_threads в плоть до одного может положительно влиять
-
Еще важный момент что настройки можено указывать на конкретный запрос добавляя в конце SETTINGS key = value....
-
Спасибо! А что делать с теми кусками которые не переместились после attach ?
-
Спасибо большое
-
после обновления с 18.12 до 18.16.1 сломалась заливка в одну реплицированную таблицу, на каждый инсерт ругается:<Error> executeQuery: std::exception. Code: 1001, type: std::bad_variant_access, e.what() = Unexpected index
-
встречал кто-то такое?
-
Они не inactive_* каталоги выглядят как нормальные части партиций
-
Я правильно понимаю, что КХ обрывает соединение после каждого запроса?
-
Добрый день, есть такой вопрос: как можно сделать 2 конфига graphite_rollup для разных таблиц типа GraphiteMergeTree ?? -
что если перед запросом выполнить
set compile_expressions = 0; -
ничего не меняется
-
Joined. -
пришлось откатиться обратно, теперь работает норм
-
кто-нибудь знает должны ли автоматически аттачиться MATERIALIZED VIEW при рестарте ClickHouse сервера?
-
да, там еще и вьюхи есть, но не было времени разбираться на проде =) не ожидал просто такого. попробую сэмулировать на тесте, напишу
-
В докере крутится ClickHouse версии 18.16.1, детачу view, там же делаю service clickhouse-server restart, и ничего не происходит
-
спасибо
-
@milovidov_an отлично, а как это можно сделать? положить 2 файлика рядом или в одном описать 2 конфига?
-
@milovidov_an thx a lot :)
-
Кстати, есть фича реквест, по крайней мере уже несколько людей спрашивали. Есть необходимость видеть информацию по активным соединениям, можно сделать запрос SHOW *** + системную таблицу, там информация переданая на хендшейке + время когда соединение установленно.
-
А какие планы по ближайшим релизам? Видел коммиты по нескольким join в рамках одного запроса
-
Да. Сейчас там прочто счетчик чтоб в метриках показывать количество соединений, но хочется больше информации.
-
@milovidov_an мне бы хоть какую-нибудь идею почему такое может происходить
-
да, если под перезапуском понимается рестарт именно службы "service clickhouse-server restart"
-
Спасибо за ответ. Очень ждём join-ы
-
я вижу данные на диске, метаданные тоже на месте, я могу выполнить запрос SHOW CREATE, руками приаатачить обратно, но рестарт не дает ожидаемого эффекта ((
-
в логе какие сообщения про эту MV при старте? Может таблица не существует в этот момент? Какая у вас таблица во from у MV ?
-
да, с uptime какая-то проблема, судя по этому параметру сервер не перезапускается
рестарт выдает мне такой результат
service clickhouse-server restart
Start clickhouse-server service: Path to data directory in /etc/clickhouse-server/config.xml: /var/lib/clickhouse/
DONE -
может вы перезапускаете КХ в другом контейнере?
-
да он у меня один, именованный, сложно ошибиться
-
вижу там свои view в метаданных
-
ок, что за контейнер у вас? официальный с докер хаб?
что в логе КХ при перезапуске? -
образ официальный
сделала тест, новый контейнер, без бд, без таблиц, при рестарте в логах такое:
<Error> Application: DB::Exception: Cannot lock file /var/lib/clickhouse/status. Another server instance in same directory is already running. -
а, я посмотрел docker file. На самом деле там нельзя так рестартовать КХ.
В обычном линуксе есть init процесс с pid 1 , в этом контейнере pid 1 это КХ, если убить КХ (1) то контейнер умрет. И стартовать КХ назад будет нето чтобы некому, а просто негде.
Поэтому рестарт КХ === рестарт контейнера.
docker restart {container_name_or_id} -
@den_crane @milovidov_an спасибо за помощь
-
Привет!
Есть ли возможность видеть данные из Clickhouse в PostgreSQL (или MySQL)? Для select и insert.
Наоборот я знаю что можно.
Что кейс странный - это понятно :) -
postgres_fdw вам в помощь
-
Спасибо. Я об этом читал. Но как я понял из описания это работает только как PG <-> PG
-
нет, в частности например вот есть проект https://github.com/Infinidat/infi.clickhouse_fdwInfinidat/infi.clickhouse_fdw
A PostgreSQL foreign data wrapper for ClickHouse. Contribute to Infinidat/infi.clickhouse_fdw development by creating an account on GitHub.
-
Круто! Спасибо!)
-
Кстати, для PostgreSQL делается "нормальный" fdw без Multicorn :)
-
А есть какой-нибудь пример?
-
Нет, просто он делается человеком который сильно знаком с внутренностями PostgreSQL и есть надежда что получится очень хорошо
-
Звучит интересно. А это можно где-нибудь отслеживать (github там) или это внутренний проект?
-
Я думаю что ребята из Percona, как придет время, везде об этом напишут )
-
нет, не изменилась.
появилась такая штука
Для таблиц семейства MergeTree появилась возможность указать различный ключ сортировки (ORDER BY) и индекс (PRIMARY KEY). Ключ сортировки может быть длиннее, чем индекс.
но это для сравнения в движках типа summing / aggregating -
можно, работает.
что показывает select * from system.dictionaries where name = ....
и какая версия КХ -
своппинг? сколько строк в таблице в КХ ?
-
смотрите в логах
create table x_r(a Int64, d1 Date, d2 Date, v String) Engine = MergeTree order by (a,d1);
insert into x_r values(1,'2019-01-01','2019-01-05','1-01-05'),(1,'2019-01-06','2019-01-15','1-06-15')
cat x_r.xml
<?xml version="1.0"?>
<dictionaries>
<dictionary>
<name>x_r</name>
<source>
<clickhouse>
<host>localhost</host><port>9000</port>
<user>default</user><password/><db>default </db><table>x_r</table>
</clickhouse>
</source>
<lifetime>60</lifetime>
<layout>
<range_hashed/>
</layout>
<structure>
<id>
<name>a</name>
</id>
<range_min>
<name>d1</name>
</range_min>
<range_max>
<name>d2</name>
</range_max>
<attribute>
<name>v</name>
<type>String</type>
<null_value/>
</attribute>
</structure>
</dictionary>
</dictionaries>
SELECT dictGetString('x_r', 'v', toUInt64(1), toDate('2019-01-01')) AS v
┌─v───────┐
│ 1-01-05 │
└─────────┘ -
Joined. -
Спасибо большое. Табличка нереплицированная, аттач в неё и делал. Что между detach и attach?
-
А есть драйвер к базе на каком-либо языке, который поддерживает асинхронность? Или сам протокол синхронный и даже не планируется асинхронность вводить ни в каком виде ни для нативной версии, ни для HTTP? Если я отправлю 2 запроса подряд, то ответ мне придет совсем вперемешку или просто неизвестно, на какой из запросов этот ответ?
-
Этот вроде неплохой https://www.npmjs.com/package/clickhousenpm: clickhouse
Client for ClickHouse
-
А на го?
-
Ну по питоновским и плюсовым прошёлся. Не устраивает.
-
Недостаточно. Я сейчас попробовал сделать хттп клиент на boost.asio с асинхронщиной, так оно не умеет в keep-alive, и колбэк на чтение результата вызывается только при Connection: close; В противном случае я даже отследить момент не могу, что данные пришли.
-
Там максимум, что можно сделать - это очередь запросов с имитацией асинхронности. Скорости не добавит, но хоть данные в кашу не превратятся
-
Задача такая: желательно без лишних затрат ресурсов сделать многопоточный асинхронный клиент с обвязкой на питоне. По 3 из 4 требований boost подходит. Осталась только асинхронность. Хочется просто 1 раз на каждый поток соединиться с базой и потом интенсивно дергать селекты из питона. Чтобы они между собой перепугались. На данный момент питоновский драйвер или мешает в кашу всё, или нужно делать синхронную очередь на питоне, что на порядки медленнее будет.
-
Асинхронность с многопоточностью слабо связана. Дополняют они друг друга хорошо, но и друг без друга жить могут
-
Ну я пока 3 драйвера перерыл в поисках ответов. Не нашел. Думаю теперь из родного выдрать весь клиент в библиотеку, но это надо запотеть, чтоб такое сделать...
- 16 January 2019 (162 messages)
-
так а aioch не подошел?
-
Почему вот такие вещи случаются и как их предвидеть и бороться с ними?
-
Доброго дня, кто-нибудь ClickHouse Я.облака работал из .Net по нативному протоколу (ClickHouse.Ado) ?
-
Ребят, а когда добавляешь новый шард в кластер, распределенную таблицу всегда пересоздавать нужно? А также если партицирование по месяцам PARTITION BY toYYYYMM(date) - то это как влияет на новый шард? Партиции в него не будут просто сохранятся, пока новый месяц не наступит?
-
Протокол синхронный, в планах было про то что его стоило бы переделать на асинхронный, в протоколе есть вещи которых не хватает
-
Нативный при параллельных запросах открывает по новому соединению (там рулятся настройки времени жизни и максимального количества соединений) и держит их в пуле.
-
Я работал, только с гугл клаудом. Небось проблемы со скоростью?
-
Новый бенчмарк от Mark Litwintschik
https://tech.marksblogg.com/billion-nyc-taxi-rides-clickhouse-cluster.html1.1 Billion Taxi Rides: 108-core ClickHouse ClusterBenchmarks & Tips for Big Data, Hadoop, AWS, Google Cloud, PostgreSQL, Spark, Python & More...
-
Коллеги, добрый день, в последнее время начали наблюдать трафик на гео-апи яндекса с наших серверов CH. С гео сами не работаем. Никаких других приложений на серверах не стоит. Вопрос напрашивается сам собой. -
теперь и вас посчитали -
Да, можно, например, в хедеры добавить время в наносекундах запроса клиента, чтоб хоть как-то понимать, какой запрос какому ответу соответствует, и не ломать обратной совместимости.
-
Каждому запросу можно присвоить свой идентификатор, это есть в протоколе
-
Ладно. Тогда я ещё раз внимательнее прочитаю протокол...
-
yandex/ClickHouse
ClickHouse is a free analytic DBMS for big data. Contribute to yandex/ClickHouse development by creating an account on GitHub.
-
А там протокол поддерживает раздельную отправку запросов и ответов? Например, если я завожу 2 сокета - один на отправку, другой на прием ответов сервера, и на каждый вешаю по очереди.
-
серьезное заявление ) а детали какие? например URL запросов?
-
geocode-maps.yandex.ru
-
нет, он же синхронный, открываете соединение и пишите/читаете из него. Соединений может быть много
-
У нас тоже кликхаус какие то данные на yandex отправляет, еще и наши ip из-за трафика заблокировали, но это же их трафик....😱 -
Joined. -
а в sudo netstat -ptw что пишут? -
А насколько часто дока обновляется на сайте? При каждом релизе?
-
стихийно, к сожалению
-
без всякого CI/CD...
-
полагаю, он имеет в виду, что из репо она быстро обновляется, но в репо не коммитят достаточно быстро после изменения в коде, а как придётся
-
Добрый день! У меня следующий запрос:
SELECT *
FROM test.candidates_states
WHERE _status_id = 'employment'
AND _status_set_by_id in (
SELECT _member_ids
FROM test.user_team
WHERE _name = 'Total'
)
в _member_ids лежит массив из строк. Как правильно обратиться к этому массиву для проверки на вхождение в него. -
добрый день, есть такой вопрос: возможно в кликхаусе вычивать сообщения из определенных партиций топика кафки, допустим в одну таблицу читать только из 1й и 3й партиции, а в другую таблицу из 2й и 4й
-
таблицу пересоздавать не нужно, только добавить новый шард в xml файл с описанием кластера.
данные начнут писаться сразу, со следующим инстертом. -
только уменьшение max_block_size , теперь его можно поставить для кафки таблицы, емнип.
-
Последний коммит в мастер не виден на основном сайте. Следовательно, обновляется не чаще, чем при релизе
-
SELECT *
FROM test.candidates_states
WHERE _status_id = 'employment'
AND _status_set_by_id in (
SELECT arrayJoin(_member_ids)
FROM test.user_team
WHERE _name = 'Total'
) -
Отлично! Спасибо
-
Joined. -
Привет, перешел с MySQL на ClickHouse. В секунду выполняется около 500 инсертов и около 200-300 селектов.
В мускуле в конфиге был установлен параметр который отвечает за запись на диск, данные сначала пишутся в память, а потом только на диск.
В CH как я понимаю для этого есть буферные таблицы.
Данные пишу в буфер, а читаю с основной. Но появилась задержка в выборках т.к данные с буфера доходят в основную таблицы через 30-60 сек (в зависимости от настроек буферной таблицы).
Если чтение повесить на буфер, то появляются жуткие тормоза при выборке.
Как я понимаю это из-за того что буфер во время записи блокируется.
Нужно убрать задержки при выборке (сделать realtime) и убрать тормоза при выполнении запросов выборки.
Как быть? -
В аналитике сутки это уже риалтайм, минута ничто.
-
можно чуть изменить сервис который пишет, что бы писал чуть по реже сразу в таблицу основную
-
не согласен
-
Нет возможности уменьшить кол-во инсертов. Запросы идут от других сервисов.
В мускуле всё работает хорошо, в кх решил перейти из-за больших объёмов данных которые с каждым днём растут.
А тут такая проблема, думаю её можно как-то решить? -
Типа у вас и словари обновляются раз в секунду и Кафка и 100500 других источников и ETL и все быстрее 1 мин?
-
У меня не совсем аналитика, логи храню.
-
я не про словари, а про формулировку, что в аналитике пофиг на актуальность данных.
когда зависят большие деньги, то не пофиг -
Согласен абсолютно. Я тоже хочу все и сразу согласен взять купюрами даже по 10 долларов.
-
Хммм я на совсем несильном железе пишу «логи» из JMeter напрямую в таблицу, 1000+ инсертов сек, но я их пакетами отправляю штук по 100, сжимаю (средствами библиотеки) и на стороне сервера использую chproxy, попробуйте может что из этого поможет -
Может попробовать в буферной таблице сделать запись каждую секунду?
Таким образом будут собираться пачки по ~500 запросов и залетать на диск -
Всем привет!
Подскажите плиз, кто нить завел MS SISS c CH для перекачки данных из MS SQL -
Привет.
На ежедневной основе нужно будет перегружать несколько партиций данных с PostgreSQL в CH.
Есть следующий вариант:
1) Используя COPY postgres'a сгенерировать нужную CSV'шку.
2) Дропнуть нужные партиции (опять же вопрос как лучше? DROP PARTITION или DETACH с дальнейшим удалением файлов партиции)
3) Загрузить данные в CH командой типа: cat data.csv | clickhouse-client --query="INSERT INTO table FORMAT CSV"
Есть ли еще какие-нибудь хорошие варианты реализации этого? -
Можно немного подробнее?
-
Коллеги, а подскажите плиз, для словарей из ODBC (pgsql) есть ли аналог опции where (нужно фильтровать данные, которые в словарь попадают) или придется вьюху со стороны пг делать?
-
Подскажите, почему постоянно падает? -
-
восстанавливается периодически минут через 10
-
Oom убивает? Сколько памяти у сервера?
-
-
бывают перегрузки
-
У вас 2 гига??? У кликхауза кеш марков 5г по умолчанию. Надо памяти больше и свопа и настроить кх.
-
окей спасибо
-
Joined. -
В тестах работало на 4, но всякие кеши резал
-
а есть публичные словари?
-
марки - это что?
-
ок, спасибо.
-
Добрый день.
Есть ли тут кто-то, кто использует плагин Clickhouse для Grafana? Конкретно меня интересует работа табличной функции merge() внутри данного плагина. На данный момент я вижу, что если использовать GROUP BY внутри запроса с FROM merge(...), то данные не агрегируются и графики строятся не верные.
Кто-нибудь сталкивался с такой проблемой? -
он не все "5г по умолчанию" использует, это только кэш. работать будет медленно, но будет. а на минимальных данных в каких-нибудь интеграционных тестах он вообще на копейках памяти может отработать
-
Попробуйте откатиться на версию плагина 1.4.3. -
к сожалению, не помогло
-
Joined. -
Здравствуйте, можно ли отключить запись логов в таблицу system.query_thread_log? логируются все по умолчанию
-
Коллеги, кто пентахой пользуется и КХ, у вас получилось куб из нескольких таблиц собрать? Упираюсь в Logical error: unknown combination of JOIN :(
-
Привет! -
Можно ли задать FINAL для последней (для указанной) партиции?
-
Исторические данные оптимизируем, а вот в последний месяц данные идут постоянно
Требуется получить данные за N лет. С FINAL это работает долго. Без FINAL данные за последний месяц приходят искаженными (нужны точные результаты) -
Таким образом было бы очень удобно указать FINAL и партицию, чтобы ускорить запрос
-
Это реализуемо? Имеет ли смысл попататься сделать PULL REQUEST с добавлением этой возможности или проще разделить запрос на отдельных?
-
А есть тут кто-нибудь, у кого ClickHouse бегает на Azure?
-
а какая разница на каких виртуалках он бегает?
-
у них же вроде нет кх as service
-
Огромная. Разное железо, разная виртуализация, разный storage
-
У них есть просто аналог EC2
-
ну мне кажется особой разницы нет , там по сути просто цпу память диски, нынче все на хардваре виртуализации, так что не сказать чтобы были сильные разлиция в перфомансе.
-
К сожалению периодически приходят дублирующиеся данные (испоьзуется replacingMergeTree)
-
я гонял много виртуалок в азуре когда давали на тест деньги , никакой разницы с дигитал ошен, ец2 или хетзнер клауд не заметил
-
вообще давно не помню какой то специфики в хардварно виртуализированных впсках
-
Вернее обноленные данные
-
Ну, скажем, у них есть сейчас инстансы на AMD Epic, есть на Intel Broadway, и другие. Номенклатура сильно отличается от Амазона и большинства хостингов.
-
ну у меня сейчас много на эпиках , тоже специфики не заметил , в прошлом году много перевел на них в силу очень много ядер за очень дешево , в квм и lxc отличий не было
-
за последние лет 10 смены интеловых процов , траблы были только с одной волной процов где тупо висло ядро с патчами для openvz
-
Меня в меньшей степени траблы интересуют, в большей — сравнение производительнсти и опыт эксплуатации ClickHouse в Azure. На Амазоне много кто хостится, а на Azure почему-то нет. Почему?
-
cmake -DENABLE_RDKAFKA=0
-
потому что у амазона самая большая доля на рынке облаков + он очень старый + он более линуксоориентирован а азуре более виндо ориентирован + у аамазона на порядок больше as service вещей где только больше плати и меньше думай
-
похоже что да, но нужен macos для экспериментов
-
а LowCardinality уже, так сказать, продакшн-реди?
-
спасибо
-
Товарищи, в последнем релизе есть поддержка hdfs import/export
Пытаюсь потестить, но он заявляет:
StorageHDFS write is not supported yet
Может что нужно в конфиге изменить? -
Похоже, что скорее накодить поддержку write :)
-
Joined. -
Joined. -
Привет
Есть задача получить данные по заказам по двум периодам дат в csv файле
Сложность в том, что есть подзапросы с ANY INNER JOIN
и условие WHERE выполняется в последнем из них
пока не могу придумать как это провернуть
может кто-то делал подобное? -
Можно. Также как для атрибутов тип указывайте. Если тип не указан используется date для совместимости со старыми версиями.
-
текущий запрос для одного товара
https://pastebin.com/vRkzPKVkSELECT createdAt, prodlevid, productName, specification, vendor, mainCategory, s - Pastebin.comPastebin.com is the number one paste tool since 2002. Pastebin is a website where you can store text online for a set period of time.
-
Два запроса и соединить union all.
-
🤔
-
спасибо, сейчас попробую
-
Я не вам отвечал. И на другой вопрос. Just in case.
-
внезапно помог другому, че😅
-
<type>UInt32</type>
-
Joined. -
Пока так и делаем
-
Joined. -
Кто может подсказать как победить проблему в кх кластере, когда рандомные запросы начинают падать с такой ошибкой
<Error> ServerErrorHandler: Code: 210, e.displayText() = DB::NetException: Connection reset by peer: while reading from socket (x.x.x.x:47758), e.what() = DB::NetException, Stack trace:
и дальше небольшой не информативный трейс
где x.x.x.x это айпишник какого нибудь из шардов соседей
канал не забит, ресурсы на сервере целые, одновременно с этим падением в системе обрабатываются запросы за эти же даты без ошибок -
рестарт запроса тоже проходит без каких либо ошибок
-
проблемы по сети проверили первым делом, есть небольшой хендшейк по tcp который совпадет по времени, но это уже следствие.
ClickHouse server version 18.14.15 revision 54409.
на сервере который резет бай пир
{be99b680-1979-11e9-a208-d9862abc84cd} <Error> executeQuery: Code: 394, e.displayText() = DB::Exception: Query was cancelled, e.what() = DB::Exception (from 127.0.0.1:37724) (in query: XXX), Stack trace:
.
.
.
<Error> ServerErrorHandler: Code: 210, e.displayText() = DB::NetException: Connection reset by peer: while reading from socket (10.2.0.137:45964), e.what() = DB::NetException, Stack trace: -
https://pastebin.com/C3FXxbWj
полный лог для отвалившегося запроса с этого сервера -
это именно с него и лог
-
сейчас сделаю пасту с сервера который инициировал запрос. Может еще важная инфа - запросы идут через Distributed таблицы которые смотрят на ReplicatedMergeTree
-
вот паста на сервере который запрос выполнял - https://pastebin.com/pv2DCNi7
-
аналогичный еррор лог на всех шардах которые участвовали в запросе(только что догадался проверить), то есть если бы не паралельные большие запросы все выглядит так как будто 137 по сети отваливается, за исключением 394 кода на нем
-
executeQuery: Code: 394, e.displayText() = DB::Exception: Query was cancelled, e.what() = DB::Exception (from 127.0.0.1:37724)
это начала всей цепоки умирания запроса -
на драйвер тоже сначала грешили, но один раз словили тоже самое обычным консольным клиентом
-
повторить почти нереально, в среднем 1 запрос в 4 дня появляется
-
Ага, то есть 137 это может быть и не виновник, а виновник какая то другая нода которая его прислала? Просто 394 только на одном сервере(137)
-
Мне тогда надо время ещё раз все логи за это время со всех нод перешерстить, спасибо за наводку!
- 17 January 2019 (159 messages)
-
лучше с подзапросом, потому что не доделано примерно все, не только enable_optimize_predicate_expression
select *
from (select 1 a) any left outer join (select 2 b) on (a=b)
where b = 1
┌─a─┬─b─┐
│ 1 │ 1 │
└───┴───┘
проталкивание не сделано для правой таблицы
set enable_optimize_predicate_expression = 1;
select 1 from (select '666' lp_name) left outer join dim_lp using(lp_name) where lp_key=666;
Elapsed: 6.085 sec. Processed 11.65 million rows
select 1 from (select '666' lp_name) left outer join (select * from dim_lp where lp_key=666) using(lp_name);
Elapsed: 0.080 sec. Processed 65.54 thousand rows
И возможно это хорошо. В секции where пишутся пост-джойн предикаты, джойн (и пре-джойн) пишутся с секции on.
т.е. проталкивать нельзя как минимум предикаты по которым джойнится.
пре-джойн предикаты on (t1.x = 5 and t1.id=t2.id) тоже не работают. -
т.е. при
select 1 from t left outer join s on (t.id=s.id) where s.id is null
where s.id это поле проекции t_s а не таблицы s
поэтому результат отличается от
select 1 from t left outer join s on (t.id=s.id and s.id is null) -
Joined. -
Добрый день. Подскажите, пожалуйста, по работе distributed-таблиц.
Есть три шарда, на каждом создана база DB и таблицы dist_T1(Distributed), T1(MergeTree). Запись и чтение идет через dist_T1. При записи все отрабатывает корректно, данные разбиваются согласно ключу шардирования. Но при чтении не идет склейка данных, а идет запрос на один из трех шардов.
Создавалась таблица запросом:
CREATE TABLE db.dist_t1 AS db.t1
ENGINE = Distributed(db_replica, db, t1, sipHash64(name))
Почему чтение из Distributed-таблицы не склеивает данные? Из-за того, что через нее производится одновременно чтение/запись или ошибка настроек:
<db_replica>
<shard>
<default_database>db</default_database>
<host>192.168.0.1</host>
<port>9000</port>
</shard>
<shard>
<default_database>db</default_database>
<host>192.168.0.2</host>
<port>9000</port>
</shard>
<shard>
<default_database>db</default_database>
<host>192.168.0.3</host>
<port>9000</port>
</shard>
</db_replica> -
Разобрался, причина в номере шарда в system.clusters.
-
причина - реплика из одного шарда была переделана на 3 шарда без реплицирования и при этом не была переименована.
-
не, сертификат там нужен. Разобрался. Добавил проверку сервера по сертификату, надо запулить в репу.
-
Joined. -
Почему КХ может отдавать пустые поля в селекте? Вручную проверил: пустых полей в таблице нет.
Запрос такой:
SELECT
sector,
countIf(x<y) as profitable,
countIf(x>=y) as unprofitable
FROM (
SELECT
ticker,
argMin(date, low) AS x,
argMax(date, high) AS y
FROM quotes.stocks
WHERE low!=0
GROUP BY ticker
) ANY LEFT JOIN
(
SELECT
ticker,
sector
FROM quotes.stock_info
WHERE sector!=''
) USING ticker
GROUP BY sector -
В одной из строк sector - пустое
-
А как вы проверяли что пустое? Попробуйте length и lengthUTF8 посчитать
-
lengthUTF8 = 0
-
Можно, конечно, костыль вставить WHERE lengthUTF8(sector)!=0, но хочется разобраться, зачем он понадобился
-
или INNER JOIN
-
Joined. -
Так если у вас для таблицы stocks по ключу ticker не будет найдена запись в stock_info - значит в поле из join будет пустая строка
-
Если бы колонка была nullable - был бы null
-
а. теперь понятно
-
добрый день
подскажите, пожалуйста, как правильно произносить названия этих функций?
LAG/LEAD
Лаг/Лед? -
да, как раз пошла с ним поговрить))
но он же с обывательской точки зрения переводит
а мне хотелось - с програмистской)) -
У меня на ажуре кх, просто в виртуалке бежит. Данных не много так что по перфомансу подсказать не смогу. -
Joined. -
Всем привет
у меня есть табличка с движком GraphiteMergeTree я кидаю каждую секунду в нее метрики
┌─metric─ ────────┬─value┬──timestamp─┬───────date─┬────updated─┐
│ main.dev.metric │ 24 │ 1547728662 │ 2019-01-17 │ 1547728662 │
│ main.dev.metric │ 22 │ 1547728662 │ 2019-01-17 │ 1547728662 │
│ main.dev.metric │ 17 │ 1547728662 │ 2019-01-17 │ 1547728662 │
│ main.dev.metric │ 7 │ 1547728662 │ 2019-01-17 │ 1547728662 │
│ main.dev.metric │ 4 │ 1547728662 │ 2019-01-17 │ 1547728662 │
...
graphite_rollup выглядит следующим образом:
<yandex>
<graphite_rollup>
<default>
<function>avg</function>
<retention>
<age>0</age>
<precision>60</precision>
</retention>
</default>
</graphite_rollup>
</yandex>
Как движок должен прореживать данные, должно ли у меня уменьшиться количество строк в таблице после прореживания и можно ли его (прореживание) запустить руками, если да, то как??
спасибо -
Всем привет! Кто знает, почему так может быть, кластер состоит из 5 шардов по 3 реплики, и когда идет много чтения (читаем через Distributed-таблицы), то обычно нагружается в потолок одна реплика только из трех, с чем это вызвано и как это можно забалансить между всеми репликами? Данные читаются те, которые уже есть на всех репликах, то есть не только что прибывшие
-
А также было заметно, что одна реплика когда в большом нагрузе и не отвечает - запросы вообще перестают работать. Как сделать реплики отказоустойчивыми и сбалансированными на чтения?
-
Сам по себе упал кликхаус сервер, в логах ошибка
2019.01.17 16:13:51.896733 [ 1 ] {} <Error> Application: Access to file denied: /var/lib/clickhouse/data/master/users_notifications_hide/tmp_delete_201901_124_4608_4368/key.mrk
Что делать? -
Ну либо диск отвалился либо прав нет
-
Вы хотите что бы много одновременных запросов ходили в разные реплики? Или чтобы один запрос выполнялся тремя (это трудно)?
-
Много запросов? Или один?
-
Хотя бы первое, да
-
много запросов
-
Жаль конечно что это чат, уже 180 раз это обсуждали
-
Да, но читать нереально все :(
-
Директория есть
-
haproxy юзается. Но все равно реплика одна в потолке всегда от шарда
-
Так владелец рут а кликхаус
-
Хм, а как он сам мог поменяться?
-
Если запросов много оно и так через дистрибьютед же размажется
-
Ну он не сам, а вы поменяли
-
-
нет, я сутки на сервер не заходил.
-
Магии не бывает
-
Если неправильно настроен лоад балансинг в кх , то не будет
-
Подскажите, нужно такую команду выполнить?
chown -R clickhouse:clickhouse /var/lib/clickhouse/* -
а дефолтный load_balancing=random это неправильный балансинг уже? То есть этого не достаточно?
-
А как по-правильному сделать WHERE date<argMin(date, value)?
-
то есть вывести все данные, которые были до минимума функции
-
HAVING ? не?
-
можно сделать ддл запрос ON CLUSTER и все само найдется
-
в новой версии вроде как пофиксили и можно с не мастера запускать но сам не проверял
-
18.16.1 новая
-
GROUP BY date, value
HAVING date<argMin(date, value)
Так не сработало -
а чего написало? вообще странное какое-то сочетание group by и having
-
Hi!
-
ничего не написало. совсем
-
я вот на Эльбрус не смог :~)
-
Это извращенство
-
минуту
-
ты просто завидуешь :)
-
нет. Altinity уже даже пакеты собрали. -
смотря в каком виде
-
если в одну таблицу, то еще как-то жить можно
-
заполмни два правила про бигдату:
1. никаких джойнов
2. максимальная денормализация
3. никаких апдейтов
4. это не OLAP
^) -
Если тысяча таблиц будет, то все повиснет намертво
-
апдейтов в бигдате нету, есть новая версия данных, с этим лучше смирится
-
есть еще промежуточные версии данных.
-
а что мешало ?
-
жмутся данные хорошо если не бинарные будут силньо меньше чем в мускуле занимать
-
компилятор там древний как говно мамонта, 4.8, а чтобы собрать gcc-7 из сырцов они зажали machine description файлы :(
-
тяжела работа в госкомпаниях )
-
нифига, я в интригаторе работаю :)
-
А если выполнить запрос без ch proxy - всё хорошо?
-
ага -
Короче разобрались, ток непонятно почему chproxy так делает. Там в коде сделано, что если запрос идёт через POST, то он в параметры добавляет no_cache=1 и шлёт это в кх
-
А в кх о такой настройке ваще упоминаний нету
-
это правильный для каких-то случаев.
запрос приходит на одну из нод - инициатор
инициатор смотрит у себя в описание кластера
понимает что у данных три реплики, при random посылает запрос рандомно выбрав одну из
собирает результат -
спасибо
-
Привет! Это я что-то не так делаю, или это баг?
CREATE TABLE t (d Date, z UInt32) ENGINE = MergeTree(d, (z), 1)
WITH (d < '2018-01-01') AND (d < '2018-01-02') AS x
SELECT 1
FROM t
WHERE x
Received exception from server (version 18.12.14):
Code: 1001. DB::Exception: Received from 127.0.0.1:9000. DB::Exception: std::bad_typeid.
Запрос валится только если условие вынесено в WITH и только если оно несколько раз трогает колонку d. И только если d не входит в первичный ключ. -
Joined. -
csv как лучше отправлять, файлом или по строчно?
-
всегда кучей. не забудь, что есть ограничение на количество инсертов в секунду
-
да уперся видимо в него уже (
-
ну и кстати говоря BULK/ARRAY DML завсегда и везде во всех БД привествуются
-
Коллеги.
А есть возможность нативно из JSON инсёртить? -
cat {json} | client --db blablabla
-
я правильнно понимаю, что не используемые данные можно вынести на другой сервер, а для экономии памяти на рабочем хранить только актуальные за определенный срок данные?
-
да, вполне хорошая идея, как по мне
-
Насколько я знаю, кортежи нет -
Каждый insert это тяжелая операция с созданием нового парта (файла), потом их надо мержить, поэтому bulk лучше. Но нельзя вставить сразу миллиард особенно в широкую таблицу одним куском -- не хватит памяти, поэтому по умолчанию инсерт будет разбит на блоки по миллиону строк. Если у вас мало памяти вы можете уменьшить max_insert_block_size например до 100тыс. (параметр clickhouse-client).
-
Спасибо!!
-
cat ...|clickhouse-client -q 'insert into tttt format JSONEachRow'
jsoneachrow особый упрощенный формат -
Кто-нибудь сталкивался с ошибкой вида:
ZooKeeper session has been expired.: while pushing to view ...
Интересует, что произойдет тогда с данными? Они не вставятся никуда? Вставятся только в основную таблицу? Вставятся только в таблицы мат вьюшек?
Может кто-то знает как это лечиться? -
Нашел issue на эту тему: https://github.com/yandex/ClickHouse/issues/2621
Только не очень понятно, где конфигурировать параметры таймаутов зоокипера, в confix.xml ветке zookeeper?[MV] неполные данные · Issue #2621 · yandex/ClickHouseверсия: 1.1.54385 ZK: 3.5.2 после обновления - появилось расхождение между таблицей и MV: проверочный запрос: SELECT date, h, shows1, shows2 FROM (SELECT date, toHour(timestamp) as h, sum(ev_type =...
-
Ага, пример конфига зоокипера в исходниках есть. Можно попытаться поиграться с таймаутами.
<zookeeper>
<node>
<host>example1</host>
<port>2181</port>
</node>
<node>
<host>example2</host>
<port>2181</port>
</node>
<session_timeout_ms>30000</session_timeout_ms>
<operation_timeout_ms>10000</operation_timeout_ms>
<!-- Optional. Chroot suffix. Should exist. -->
<root>/path/to/zookeeper/node</root>
<!-- Optional. Zookeeper digest ACL string. -->
<identity>user:password</identity>
</zookeeper> -
В большинстве случаев вставка прошла в таблицу и во все вью у которых имя меньше в лексографическом порядке. Т.е. все предыщие вставки прошли. Но поведение зависит от настройки про параллельную заливку во вью. Сама ошибка никак не связана с таблицей и вью. Чините зукипер, сеть, железо, кол-во транзакций в зукипере порождаемое вставкой (маленькие блоки/много партиций).
-
Существует какой-то способ организовать словарь с составным ключём, но без склейки?….
В основной таблице у меня есть события
дата, пользователь, город, всякие колонки
Я знаю, что активность зависит от погоды. Думаю отыграть словарём с температурой в городах… Типа дата, город, температура..
Ключ у меня дата город… Городить строку вида dt + ‘_’ + city_id не хочется -
А есть способ создать свою аггрегатную функцию?
-
git clone и вперёд
-
боль
-
что-то можно на лямбдах-массивах извернуться, наверно
-
complex* словари позволяют таплы в ключах.
Точнее они именно для этого. -
спасибо. Почитаю, что найду
-
Да… То, что нужно, спасибо большое!
-
А JOIN-ы в репозитории где лежат?
-
Добрый вечер
Если колонка типа String ,в которой содержится дата 26.10.2018
Как преобразовать к типу Date?
Если использовать toDate возвращает 0000-00-00 -
Разобрать substring потом склеить конкатенацией.
-
спасибо,думал есть стандартные средства конверта
-
Как из правой таблицы в джоине передать значение в WHERE левой таблицы?
-
У меня просто с одним запросом совсем мозг плавится. Не могу придумать, как его правильно написать уже который день.
-
Задача: Необходимо из таблицы в формате (name, date, value) для всех одинаковых name вытащить локальный максимум левее глобального минимума, если функция в целом возрастающая (глобальный минимум находится левее глобального максимума).
Что я делал:
1) Для начала - примерный запрос, который разберем по частям
SELECT
name,
prevMax
FROM
(
SELECT
name,
argMax(date, value) as prevMax
FROM db.mytable
WHERE date<x
GROUP BY name
)
INNER JOIN
(
SELECT
name,
argMin(date, value) AS x,
argMax(date, value) AS y
FROM db.mytable
GROUP BY name
HAVING x<y
) USING name
2) Для начала надо составить временную таблицу глобальных экстремумов, где минимум левее максимума. Это делается запросом
SELECT
name,
argMin(date, value) AS x,
argMax(date, value) AS y
FROM db.mytable
WHERE value!=0
GROUP BY name
HAVING x<y
3) Дальше по идее мне надо снова пройтись по таблице, но применяя условие, полученное из второй таблицы. Поэтому использую INNER JOIN
4) Выставляю условие, что ищем левее минимума WHERE date<x и выводим дату максимума
SELECT
name,
argMax(date, value) as prevMax
Проблема в том, что date<x делать нельзя, так как левый запрос ничего не знает о правом.
Any suggestions? -
Или может есть среди недокументированных какой-нибудь CONDITIONAL JOIN, который позволит передавать значения из одного запроса в другой, которые можно использовать в HAVING/WHERE?
-
Только что нашел решение, но там аж 6 селектов с двумя джоинами. И по ходу перерасход памяти там неслабый.
-
а кстати, есть, в каком-то смысле
select toDate(parseDateTimeBestEffort('2019.01.19')) -
только дата в другом формате
select toDate(parseDateTimeBestEffort('26.10.2018'))
так не работает -
а блин, я затупил.
-
есть 2 вопроса
1) можно ли использовать КХ для органиции файлового хранилища(аналог GridFS в MongoDB), ели можно, насколько такой подход правильный?
2) чем пользуется яндекс, в своем яндекс диске, для развертывания хранилища? -
Как устроены облака Яндекса: EllipticsЗа последние несколько лет в мире IT появилась модная тенденция – использование всего «облачного» для разработки новых продуктов. Публичных облачных провайдеров...
-
данный софт у себя уж не развернуть, там все ссылки уже не рабочие, на страницы яндекса
эту статью я читал -
в интернете много статей по этой теме. А это лишь ниточка за которую стоит просто потянуть
-
многие используют в этом плане CEPH
-
есть такое дело
-
а на первый вопрос может кто ответить?
-
многие, наверно, в шоке от такого поворота событий. а... зачем? для кх это совершенно несвойственная нагрузка.
-
спасибо
.... про аналитику вкурсе -
Вы производите впечатление уверенного человека, который все знает.
-
я про КХ много читал и смотрел видосы ... просто решил спросить про конкретный кейс
-
так же, сами им пользуемся
-
@kshvakov клиент на го умеет минифицировать/сжимать запросы к базе? Я боюсь, что рано или поздно с учетом отступов и комментариев запрос не поместится в 16 кб...
-
Привет, да, клиент умеет сжатие блоков.
- 18 January 2019 (126 messages)
-
в buffer вроде бы тоже рекомендуют пачками вставлять
-
там количество инсертов в секунду поболе будет - несколько сот, а не пара десятков
-
GitHub - VKCOM/kittenhouse
Contribute to VKCOM/kittenhouse development by creating an account on GitHub.
-
Блоками только куски данных для инсерта называются? Если так, то у меня другая ситуация
-
Пока что селект 2 экрана занимает. Будет больше.
-
Если не влезает можно настройки размера запроса для пользователя поправить
-
Да, kittenhouse в режиме reverse proxy как раз для этого и создан.
-
Всем привет. Вопрос то ли по кафке, то ли по materialized view. Пример: КХ слушает брокера. Для того, дабы иметь и сырую инфу с брокера, и аггрегированную (но не слушать два одинаковых потока), надо создать MergeTree таблицу, аналогичную кафке и к ней матвью, а потом еще одно матвью к, например SummingMergeTree таблице, которое будет дергать MergeTree таблицу? Или лучше делать две кафка-таблицы и из них уже тянуть?
-
а для еще одного мат вью потом - 3ю кафка таблицу?:) -
имхо вытаскивать сырые данные из кафки в обычную mergetree таблицу а потом уже из нее строить всё что угодно.
-
не, ну чтоб была таблица с аггрегатами
-
ну в принципе да, зачем усложнять. Не знаю, как с этим бороться, чтоб не из пушки по воробьям
-
Code: 27. DB::Exception: Cannot parse input: expected ; before: \n2019-01-18 11:50:07
————
в чем может быть проблема после отправки файла? -
не хватает ; перед строкой, начинаюшейся с 2019-01-18 11:50:07? -
дата это вторая строка и до нее перевод строки
-
Было бы здорово чтоб в документации или где-то еще были примеры по нахождению аномалий с помощью ClickHouse )
-
У нас есть такая штука, статью на Habr бахнем
-
так гридфс тормозная поделка на обьемах просто никакая, какой смысл использовать его не очень понятно.
-
Не совсем аномалии, но "ранжирование наиболее сильно отклонившихся метрик"
-
Нет, каскадно пока ничего не пишется. 1 МВ - 1 таблица
-
Когда ?)
-
Я думаю, что в этом месяце сяду, напишу
-
❤️
-
Спасибо
-
Я так понял, в планах есть реализация возможности прикручивания к кафке нескольких матвью с разными движками? А ля одно матвью собирает сырую инфу, а второе ее аггрегирует? Ну а сейчас самый простой выход - матвью с MergeTree, а потом уже аггрегируй как хочешь, так?
-
уберите кавычки вокруг массива, должно завестись
-
а вообще при выгрузке обычно указывюат optionally enclosed by а не форсом все в кавычки загоняют
-
это временное решение
-
Добрый день. Не нашел в документации описания <distributed_ddl> в документации, но ощущаю что он мне нужен.
Где можно узнать, что именно делает этот параметр? -
<!-- Allow to execute distributed DDL queries (CREATE, DROP, ALTER, RENAME) on cluster.
Works only if ZooKeeper is enabled. Comment it if such functionality isn't required. -->
<distributed_ddl>
<!-- Path in ZooKeeper to queue with DDL queries -->
<path>/clickhouse/task_queue/ddl</path>
</distributed_ddl> -
в дефолтном конфиге есть описание же
-
позволяет делать распределенные запросы сразу на весь кластер
-
Спасибо :)
default конфиг утрачен, не подумал там искать -
И сейчас так можно, но в этом случае эффективнее писать самим, а на таблицу с сырыми данными вешать МВ.
-
Спасибо!
-
Поясните, пожалуйста, как работать с runningAccumulate, а то она на меня матерится Argument for function runningAccumulate must have type AggregateFunction - state of aggregate function. Запрос вроде как элементарный, хочу посмотреть органический рост юзеров:
SELECT count, runningAccumulate(count), day FROM (SELECT uniqExact(usersDailyCount) AS count, toDate(firstSeen) AS day FROM -
Нашел, всех благодарю:
SELECT
number,
runningAccumulate(state)
FROM
(
SELECT
number,
sumState(number) AS state
FROM numbers(10)
GROUP BY number
ORDER BY number ASC
) -
Вообще ищите по чату, тут пробегают примеры использования почти всех функций. Или в исходниках тестов на гитхабе.
-
Кто бы мог подумать, что в чате можно нажать Ctrl+F=) Спасибо, попробую
-
я правильно понимаю, что данные /var/lib/clickhouse/data/database/table/ это очередь на вставку?
-
~# /usr/bin/clickhouse-extract-from-config
-bash: /usr/bin/clickhouse-extract-from-config: Operation not permitted что бы это могло значить? -
Решил... Длинно получилось и выполняется почти секунду
-
~# strace /usr/bin/clickhouse-extract-from-config
execve("/usr/bin/clickhouse-extract-from-config", ["/usr/bin/clickhouse-extract-from"...], 0x7ffe9a579d30 /* 10 vars */) = -1 EPERM (Operation not permitted)
fstat(2, {st_mode=S_IFCHR|0600, st_rdev=makedev(136, 0), ...}) = 0
write(2, "strace: exec: Operation not perm"..., 38strace: exec: Operation not permitted но зачем? -
Joined. -
Вроде рекомендуют столько, сколько нужно, чтобы они все целиком в памяти поместились
-
коллеги, подскажите. alter table delete/update уже в живом состоянии (да, еще бета) или лучше не трогать? -
На простых запросах проверено — работает 🙂
-
Но вроде тут в чатике у людей в каких-то сложных случаях возникали проблемы или вопросы
-
например если хочется остановить идущий alter … delete , то нужно самому в ZooKeeper лезть, или что-то такое
-
или если делается update с подзапросами, то тоже всё очень медленно будет идти
-
ясно, значит надо где то всторонке проверять ))
-
Стабильно работает если запросы не сильно сложные
-
Ни одной проблемы с августа с ними не было
-
ок
-
Вообще все ровно наоборот.
MV не каскадируются.
Кафка энжин таблица проталкивает во все мат.вью которые на нее смотрят.
Т.е. создаем одну кафка энжин таблицу и навешиваем на нее несколько MV. -
О. Так я так и думал сделать изначально. Замылился в документации, решил переспросить. Спасибо, буду пробовать
-
На одной машине - максимально просто
-
У нас крутиться, нормально. Правда бекапов нет, очень стремно. Потому планируем все же сделать репликацию, хотя одной ноды хватает
-
Коллеги, всем привет!
Приглашаем вас на наш 4-ый митап Scale-out databases and engines - обсуждаем распределённые СУБД, их эксплуатацию, разработку и развитие.
В этот раз поговорим об open-source в enterprise-среде - опыт компаний, кейсы внедрений, слухи, скандалы, интриги, расследования. В частности, коллеги из Alytics.ru расскажут о создании data-платформы на базе связки CH + Greenplum + S3.
Москва, 7 февраля, самый центр. Вход свободный, но нужна регистрация по ссылке. Будем рады вас видеть!
https://www.meetup.com/Scale-out-databases-and-engines/events/257153368/Open-source в Enterprise: это фантастика?Thu, Feb 7, 2019, 7:30 PM: Как найти DI TelegraphВход в здание со стороны Газетного переулка напротив церкци, которая за Макдоналдсом.Стеклянная дверь с вывеской DI TelegraphДальше поднимаетесь на 5-й
-
P.S. как раз в тему предыдущего обсуждения про сложность эксплуатации - мы (arenadata.io) как раз делаем универсальное средство управления и развёртывания для распределённых систем, там будет поддержка Clickhouse. На митапе будет релиз)
-
Будет так же, но для КХ: https://www.youtube.com/watch?v=PJXuICqe3FcDeploying Arenadata DB (based on Greenplum) in Google Cloud Platform with Arenadata Cluster Manager
This short demo shows the process of deploying distributed MPP database, Arenadata Database (Greenplum), in Google Cloud Platform using Arenadata Cluster Manager. Arenadata Cluster Manager (ADCM) simplifies deploying and management of data services on premise, in private or public clouds. By splitting data landscape on two independent management layers – infrastructure layer and application layer – your platform becomes flexible, predictable and repeatable. ADCM is a modular system – you can add specific modules to support new applications, containers and cloud providers. You can develop your own modules to support your specific applications and proprietary systems. ADCM comes with open powerful REST API – you can easily integrate ADCM with your infrastructure. Arenadata Database (ADB) is a distributed database based on using MPP (massively parallel processing) principle. It takes its origin from Pivotal’s Greenplum database. ADB suits applications, where there is a large amount of semi-structured and unstructured…
-
я вот смотрю, что для хранения булевых значений используется UInt8 1 и 0. А как быть с кафка-движком, брокер будет продюсить в Json true и false, не хотелось бы морочить голову с пересериализацией инфы, стрим ожидается мощный. Но и хранить булевые значение строкой тоже вроде как не комильфо
-
dynamic conf позволяет менять конигурацию (добавлять обсерверов например), без ролинг рестарта нод зукипера. По-моему нет способа смержить два зукипер кластера, импротнуть данные КХ из одного зукипера в другой нельзя из-за автоинкременов.
-
Беда пришла в мой кликхаус-дом
-
Не первый раз, но в первый раз горбатая гора имеет столь стремительный уклон
-
из того, что заметил залётного:
SELECT *
FROM metrics
WHERE metric LIKE 'Memory%'
┌─metric───────────────────────────────────┬───────value─┐
│ MemoryTracking │ 1307062507 │
│ MemoryTrackingInBackgroundProcessingPool │ -3493881520 │
│ MemoryTrackingInBackgroundSchedulePool │ 0 │
│ MemoryTrackingForMerges │ 348253156 │
└──────────────────────────────────────────┴─────────────┘ -
отрицательное значение метрики
-
у меня после апдейта была проблема с памятью из за кеша выражений
-
добавил строчку в конфиг и все стало ок
-
паттерн воспроизведения - интенсивно считает hyperloglog агрегации и квантили. Есть ощущение что где-то leak
-
обновлялся с 18.12 до 18.ё6
-
compile_expressions?
-
да compiled_expression_cache_size=500
-
не актуально - 18.6.0 у меня
-
нет там такой настройки
-
строго говоря, оно и на более ранних релизах воспроизводилось
-
но не столь драматично
-
compile_expressions однажды уже включали и выключали.
-
compile и compile_expressions в нули выставлены
-
оу, delete/update записей появился? -
прост в доке на сайте сказано, нет их
-
куда глянуть про нюансы?
-
-
спасибо!
-
Всём привет. Сделал партициирование По месяцам для таблицы, но в system.parts эти куски разделены не по месяцам, а по ~полмесяца. Нормально ли это и будет ли drop, attach, detach partition работать с месяцами?
-
У меня по неделям для нескольких таблиц сделано - без проблем вобщем-то
-
У меня по дням, в дне 200-300 млн строк, без проблем
-
У нас, бывает, косячат, приятней пару дней перезалить, а не весь месяц
@clickhouse_ru / Public archive of Telegram messages.
- 02 Jan 2019 (57)
- 03 Jan 2019 (71)
- 04 Jan 2019 (55)
- 05 Jan 2019 (47)
- 06 Jan 2019 (14)
- 07 Jan 2019 (83)
- 08 Jan 2019 (119)
- 09 Jan 2019 (229)
- 10 Jan 2019 (179)
- 11 Jan 2019 (342)
- 12 Jan 2019 (23)
- 13 Jan 2019 (15)
- 14 Jan 2019 (179)
- 15 Jan 2019 (147)
- 16 Jan 2019 (162)
- 17 Jan 2019 (159)
- 18 Jan 2019 (126)
- 19 Jan 2019 (54)
- 20 Jan 2019 (32)
- 21 Jan 2019 (183)
- 22 Jan 2019 (93)
- 23 Jan 2019 (118)
- 24 Jan 2019 (151)
- 25 Jan 2019 (108)
- 26 Jan 2019 (198)
- 27 Jan 2019 (70)
- 28 Jan 2019 (94)
- 29 Jan 2019 (246)
- 30 Jan 2019 (228)
- 31 Jan 2019 (177)