- 01 July 2018 (13 messages)
-
Вроде бы insert атомарен до 1 000 000 строк -
Впрочем, это относится к движкам *MergeTree
-
Может кто видит почему ругаеться КХ -
ENGINE = ReplicatedMergeTree('/clickhouse/tables/metrics/{shard}/Metrics', '{replica}')
PARTITION BY (floor(timestamp/86400)) ORDER BY (appId, metricId, timestamp)
SAMPLE BY (appId, metricId, timestamp); -
Sampling expression must be present in the primary key
-
Согласно этому https://github.com/yandex/ClickHouse/blob/master/dbms/src/Storages/MergeTree/MergeTreeData.cpp#L125yandex/ClickHouse
ClickHouse is a free analytic DBMS for big data. Contribute to yandex/ClickHouse development by creating an account on GitHub.
-
Должно работать вроде
-
ага
спсб -
metricId в моем случае получается
-
спсб за презентацию
- 02 July 2018 (211 messages)
-
NOC 🙂 -
укладывается в clickhouse, достаточно компактно
-
давайте в личку
-
noc / noc
GitLab Enterprise Edition
-
всем привет. объём базы КХ растёт, и бэкапить его селектом уже не представляется возможным. как быть? м.б. LVM-снапшот? -
а в чем проблема селектом только новый день скажем забирать ? -
а остальное?
-
а остальное бекапить вчера -
наверное потому что ничего не знаю про это
-
щас почитаю
-
на highload.ru была статья по бекапам, емнип -
А там было про бекапы зукипера вместе с кх? -
Просто сейчас лично у меня есть проблемы с пониманием, как восстанавливать весь кластер из бекапа...
-
ну каждый день бекапите предыдущй в итоге у вас есть все дни
-
какое тут остальное ?
-
Я хочу защититься от случая падения зукипера
-
Вместе с датацентром :-)
-
Просто у меня уже был случай съезжания крыши у зукипера и не хотелось бы повторять.
-
ну тут надо распределенный зукипер просто
-
Возможны проблемы со связностью в сильно распределённом зукипере...
-
ну вы не сильно распределяйте по чуть чуть
-
Привет!
Используется кворумная запись, для чтения стоит по дефолту select_sequential_consistency=1. После перехода на следующий месяц (партиционирование таблицы по месяцам), предыдущий перестал попадать в результаты селекта (но никаких ошибок не кидает). Ставим select_sequential_consistency=0 - данные видны. Запись идет нормально. Это баг или мы что-то неверно настроили? -
не нужно
-
безопасно
-
насколько помню само подхватывает конфиг кластера
-
ммм, а вот например запихнуть туда пачку ip и получить соответствие ip<->подсеть? это можно как-то сделать через, условно говоря, where IP IN (ip_trie_clause) -
т.е. без цикла по запихиваю одного айпи пачками (извините если вопрос совсем страшный)
-
Извините что туплю
-
Может кто видит почему семплинг не помогает по скорости?
-
SELECT sum(value)
FROM Metrics
SAMPLE 1 / 10
┌───────────sum(value)─┐
│ 17577274172239137000 │
└──────────────────────┘
1 rows in set. Elapsed: 9.238 sec. Processed 3.69 billion rows, 44.23 GB (398.96 million rows/s., 4.79 GB/s.)
tsf-data11.us.sematext.com :) select sum(value) from Metrics;
SELECT sum(value)
FROM Metrics
┌───────────sum(value)─┐
│ 17577889402538699000 │
└──────────────────────┘
1 rows in set. Elapsed: 7.030 sec. Processed 3.69 billion rows, 29.48 GB (524.30 million rows/s., 4.19 GB/s.)
tsf-data11.us.sematext.com :) select sum(value) from Metrics SAMPLE 1/100;
SELECT sum(value)
FROM Metrics
SAMPLE 1 / 100
┌───────────sum(value)─┐
│ 17578875733901701000 │
└──────────────────────┘
1 rows in set. Elapsed: 9.241 sec. Processed 3.69 billion rows, 44.23 GB (398.87 million rows/s., 4.79 GB/s.)
tsf-data11.us.sematext.com :) show create Metrics
SHOW CREATE TABLE Metrics
┌─statement───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ CREATE ... ORDER BY (appId, metricId, timestamp) SAMPLE BY metricId SETTINGS index_granularity = 8192
└─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘
1 rows in set. Elapsed: 0.001 sec. -
Судя по сумме семплирования не происходит
-
а metricId у вас равномерно распределен по значениям своего типа?
-
Joined. -
Спасибо) может быть попозже еще спрошу если протуплю
-
День добрый! Можно ли для клика использовать zookeeper с kerberos? Если да, то где прочитать о настройке?
-
господа, а как truncate table сделать? -
truncate по партишенам
-
сорян ...drop partition
-
мне целиком табличку почистить
-
Если туда не пишется ничего - подропать все партишны и всё
-
не совсем понял вопроса
это поле имеет значение от 1 до 10000 и распределение не совсем равномерное
Ну тоесть значении 2 может быть миллион а 2002 может быть 20 миллионов -
sample 1/100 эквивалентно условию metricId < max_value/100
-
теперь понял
-
в таком случае все равно должно работать, может немного криво из-за неравномерного распределения
-
судя по запросам семплинг вообще не работет
-
max_value это не 10000, а 2^32 или какой у вас тип у metricId
-
упс
-
это все поменяло
-
в таких случаях можно семплировать например по inthash32(.)
-
и как быть если надо аггрегировать по метрикИд но значении может быть так много что нужно только по 10% например
-
но нужно чтобы на один appId было много metricId
-
так и есть
-
это как?
-
это при создании таблицы
-
как эту част переписать?
-
ORDER BY (appId, metricId, timestamp)
SAMPLE BY (metricId); -
я понимаю что при создании я имею в виду что как семплтинг ключ написать
-
вместо metricId
-
inthash32(metricId) ?
-
угу
-
но если вы селектите отдеьные metricId, то наверное надо будет тоже запрос поравить чтобы индекс использовался.
-
и это же выражение в первичном ключе?
-
угу, если не отсортировать, то фокус не получится.
-
а условие metricId=xxx будет при таком ключе по ключу отрабатывать?
ORDER BY (appId, inthash32(metricId), timestamp)
SAMPLE BY (inthash32(metricId)); -
Скорее inthash32(metricId)=inthash32(xxx) -
или в запросе надо будет писать inthash32(metricId)=xxx ?
-
уфф, красота будет
-
предположу что нет. но metricId=xxx and intHash32(metricId)=intHash32(xxx) должно.
-
понял
спсб -
спсб большое
-
уфф только что понял что мне это не подходит
У меня в запросе есть условие *metricId=2* например и мне надо чтобы сумма была построена не по всем точкам а только по 10% например
Получается мне семплирование по таймстемпу надо но это вроде бы не есть гуд -
Joined. -
Всем привет!
А где почитать про ORDER BY и как его лучше указывать?
Вот допустим у нас есть Immutable Event Log по userId с eventType и eventId, а так же timestamp (DateTime).
Мы используем ReplacingMergeTree (на случай если два раза одно и тоже событие запишется в ClickHouse), на данный момент вот так:
ENGINE = ReplacingMergeTree PARTITION BY toYYYYMM(timestamp) ORDER BY (userId, eventType, eventId)
на сколько это правильно \ нет? ORDER BY очень сбивает с толку названием, я так понимаю он тут больше как кассандровский PRIMARY KEY, не? -
зависит от того как вы потом будете все это читать.
-
Планируем отдать на Business Analytics
-
и создавать materialized views
-
в основном ad hoc запросы в стиле "а сколько у нас юзеров <...>"
-
юзеров - это userid?
-
Угу
-
тогда наверное не имеет смысла по ним сортировать, у вас же не будет на них условия.
-
т.е. только по eventId?
-
зависит от запроса. у вас нет сортировки по дате, значит вы всегда будете читать данные месяцами
-
может вам так и надо.
-
А вынесение event_id в PKEY не сожрёт всю память? -
не совсем тогда ясно как обеспечить replacing поведение
-
не должно, это же разреженный индекс.
-
Я конечно извиняюсь за повторение вопроса, но до конца понять так и не удалось 😄
ORDER BY - это Cassandra/Dynamo-like PKEY, по которому так же происходит merge, верно? -
ORDER BY - колонки или список колонок, по которым в MergeTree (первичный ключ):
- данные всей таблицы упорядочены
- создан разреженый индекс
- в "слопывающихся" движках данные слопываются по этому ключу -
Сформулирую полный вопрос с вашего позволения.
Есть
CREATE TABLE XXX
...
ORDER BY (appId, metricId, timestamp)
SAMPLE BY (metricId);
Есть запросы вида
SELECT SUM(v) FROM XXX where appId=1 and metricId=1 and timestamp>YYY and timestamp<ZZZ;
Для некого metricId данных может быть очень много и запрос выполняется долго. Думали прикрутить семплинг для этого
SELECT SUM(v) FROM XXX SAMPLE 1/10 where appId=1 and metricId=1 and timestamp>YYY and timestamp<ZZZ
Но похоже все работет не так как думалось
Нужно заводить искусственную переменную sampleId значения которой равномерно будут распределены от 0 до 9
И делать так
CREATE TABLE XXX
...
ORDER BY (appId, metricId, sampleId, timestamp)
SAMPLE BY (sampleId);
Но тогда запросы без семплирования будут работать медленнее ТК мы "запохабили" немного первичный ключ, верно?
Есть какой-то способ ровнее? -
а если помимо timestamp добавить в индекс день (day Date toDate(timestamp), и дополнительно в where также указывать day, быстрее не будет? -
Учитывая что у нас партицирование по дням то не должно быть быстрее как я понимаю
-
на уровне партиции отрежется лишнее и в ключ добавлять день не надо
-
Вот с семплингом засада как-то после чтения документации по другому думалось оно работает, а сейччас вроде как пришло понимание а что делать непонятно
-
Кто то нибудь в курсе появились ли вложенные структуры, т.е вложенность более одного уровня ? Вроде обещали эту функциональность завести в первом квартале 2018 года -
Я имел ввиду структуру Nested
-
Я у КХ уже спрашивал) не работало) но из роуд мапа это фича исчезла
-
а чем массивы массивов не подходят?
-
Многомерные массивы не придерживаются для таблиц типа mergetree
-
А что будет работать эффективнее, 2 таблицы с джоином или таблица с nested структурой)
-
Это не мои слова, так в доке написано, видимо уже устарело)
-
Ну да, получется или rand()/10=0 использовать или sampleId добавлять
Верно? -
Такая ситуация и складывается
-
А как можно осуществлять эффективный поиск по многомерным массивам ?
-
Допустим у меня есть древовидная структура, сессия -> хиты -> товары
-
В одной сессия несколько хитов, в одном хите несколько товаров
-
timestamp%10=0 детерминированно будет, но что-то меня смущает
скорости не даст, читать все равно все -
в моем случае можно случайно выбросить
-
неправильно выразился
как раз каждое 10 по времени надо оставить например -
Joined. -
допустим 100000 измерении в минуту
и так 30 дней
можно оставить 100 измерении в минуту но каждую минуту оставить -
извините за двусмысленность
-
Звучит как костыль, на самом деле многомерная Nested структура бы решила все проблемы, интересно все таки услышать от мейнтейнеров будет ли все таки реализована это фича
-
Привет!
CREATE TABLE test
ENGINE = Log AS
SELECT arrayJoin([1, 2, 3]) AS a
SELECT
b,
b NOT IN
(
SELECT *
FROM test
)
FROM
(
SELECT arrayJoin([1, 2, 3, 4]) AS b
)
┌─b─┬─notIn(b, _subquery1)─┐
│ 1 │ 0 │
│ 2 │ 0 │
│ 3 │ 0 │
│ 4 │ 1 │
└───┴──────────────────────┘ -
Также
SELECT b
FROM
(
SELECT arrayJoin([1, 2, 3, 4]) AS b
)
WHERE b NOT IN
(
SELECT *
FROM test
)
┌─b─┐
│ 4 │
└───┘ -
Да, конечно
-
Мне не очень нравится привязка данных к позиции, у меня планируется около 70 полей для вложенной структуры, смекаете ?)
-
Сейчас почитаю Спсб
-
вам все равно надо будет разложить их в 70 колонок
-
+1. Чтобы записать Nested-структуру по http, фактически формируется инсерт с несколькими колонками на каждую nested-колонку
-
Не соглашусь с вами) сейчас у меня вся древовидная структура просто сложена в большую плоскую таблицу, и в принципе меня это устраивает , но меня мучает сомнения что nested структура будет работать быстрее
-
ну залейте так и так и проверьте
-
Все верно
-
А что значит "не работает"? Какой exception отдает БД?
-
Очень интересный момент
-
Не буду вас пытать, почему для всех полей в Nested структуре у них тип array
-
Это позиция на текущий момент, но с ростом количества данных, думаю не лучший вариант
-
Вы читаете мои мысли) поэтому и пришёл сюда с этим вопросом
-
На данный момент большинство запросов по хитам, т.е это не самый глубокий уровень, но чем больше период тем тяжелее расчеты
-
Наконец то я понял о чем вы говорите) благодарю )
-
+1
-
Еще как вариант думаю завести materialized view и вставлять туда только 10% данных.
На размере диска почти не скадется зато можно будет тяжелый запросы для которых точность не критична перенапрявлять туда.
Норм идея? -
GraphiteMergeTree как я понял требует определенной структуры таблицы + материализованное представление мне понятнее и управление тем что туда должно вставляться как то через ДДЛ нагляднее
-
люди, .NET-овский драйвер падает с ошибкой "Max query size exceeded"
-
где в доках прочитать про ограничение?\
-
А materialized views можно из старых данных делать?
-
Да, если добавить в команду создания MV слово POPULATE (пока MV будет создаваться, вставляемые в исходную таблицу данные не попадут в MV)
-
О, спасибо!
-
Советую при использовании MV сначала создать обычную таблицу MergeTree со структурой запроса. И прицепить MV к этой таблице
-
Тогда вы сможете например отцепить MV, изменить таблицу и обратно прицепить MV
-
Угу, именно так и делаем, спасибо!
-
есть где подробные примеры по sequenceMatch и windowFunnel? -
yandex/ClickHouse
ClickHouse is a free analytic DBMS for big data.
-
спасибо, но мало 😊
-
Господа, просто на всякий случай - а Кликхаус словари с сорсом в монгодб нормально работает с кластером? -
-
спасибо
-
А скажите пожалуйста почему таймстампы в примерах хрянятся как числа а не как честные datetime. Есть какая-то хитрость?
-
ну таймстемп потому что число
-
А технически в этом есть преимущество какое-то? Просто я только учусь мыслить кликхаусом, у меня сейчас даты честные...
-
Ну таймстемп это число, везде, о каких преимуществах может идти речь?
-
очень удобно и нативно можно даты сортировать и вычитать.
Это unixtime.
И как бы, вы сами спрашиваете о таймстампе, это именно число -
Они и типизированные также сортируются а при вычитании секунды получаются...
-
unixtime можно в любом языке складывать и вычитать и не париться о тонкостях парсинга даты или ещё чему.
Жизнь не только в кликхаусе существует -
кликхаузный datetime всё равно инфу о часовых поясах не хранит, зато вы можете поиметь проблем, о чём в доке написано
То есть, при работе с датой в виде текста (например, при сохранении текстовых дампов), следует иметь ввиду о проблемах с неоднозначностью во время перевода стрелок назад, и о проблемах с соответствием данных, при смене часового пояса. -
Вот с этим ужо воюю, вроде бы победил...
-
я пока на самом деле сам не представляю что делать, если у кого-то из правительства айфон поломается и он снова часы решит подвигать.
Склоняюсь к тому, что всё абсолютно буду хранить в UTC, а костыли уже на стороне приложения иметь -
Вот я тоже все в utc. Только как datetime...
-
Ещё интересные статейки есть? Очень интересный пример, показано чем заменить оконные функции...
- 03 July 2018 (140 messages)
-
Коллеги, точно помню, что была функция вычисления гистограммы, но не могу найти ее -
bar?
https://clickhouse.yandex/docs/ru/functions/other_functions/#bar -
да!
-
так и не нашел где выставить max_query_size в настройках. в config.xml доавляю в корневой элемент yandex, рестартую клинхаус и пофиг
-
нашел - надо в users
-
Всем привет! Начала расти память и пул-таски на кластере Кликхауса - вот скрин https://yadi.sk/i/RwkO1fqZ3YhuXg - а после и ноды начали падать совсем, и перестает отвечать БД.
Нагрузка на кластер не выростала извне, количество запросов было такое же, как и примерно последние два месяца. Но вот сегодня что-то случилось непонятное. Может кто-то с таким сталкивался или есть примерные причины происходящего роста графиков и падений нод? -
посмотрите логи и топ на сервере
-
Кстати, а вот чем можно объяснить такое:
-
-
Запросы на узлы раскидываются равномерно, объём места в этих репликах также изменяется синхронно, как и нагрузка на процессор.
-
Да, версия - 1.1.54381
-
После рестарта проблемного узла какое-то время всё нормально, потом снова начинается жор.
-
Регулярно с такой же проблемой сталкиваемся, и решения не нашли.
-
Выжирает память в ноль и падает
-
При попытки использовать DELETE для таблицы MergeTree пишет такую ошибку
Received exception from server (version 1.1.54388):
Code: 48. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Mutations are not supported by storage MergeTree.
Тогда вопрос: а для каких движков поддерживается DELETE? -
А почему для MergeTree не поддерживается? Всмысле разве MergeTree и ReplicatedMergeTree не одного семейства?
-
Лично у меня настройки дефолтные в смысле кешей. То есть, лежит себе config.xml, а что надо - меняю в config.d
Пока понадобилось поменять - listen, логирование, макросы и вообще репликацию и зукипер. Для пользователей поменял лимит по-умолчанию, чтоб запросы влазили в память. -
словарей нет
-
зомбей тоже
-
SELECT
name,
value
FROM system.settings
WHERE changed = 1
ORDER BY name ASC
┌─name─────────────────────────────┬─value───────┐
│ background_pool_size │ 48 │
│ connect_timeout_with_failover_ms │ 1000 │
│ insert_distributed_sync │ 1 │
│ load_balancing │ random │
│ max_memory_usage │ 10000000000 │
│ use_uncompressed_cache │ 0 │
└──────────────────────────────────┴─────────────┘ -
┌─name───────────────────┬─value──────┐
│ load_balancing │ random │
│ max_memory_usage │ 4000000000 │
│ use_uncompressed_cache │ 0 │
└────────────────────────┴────────────┘ -
Как-то искуствено выглядит, ведь для друг операций разницы нет между ними
-
только буферы
-
+1
-
Общий объём точно меньше, чем сожранное. Где-то раз в 10, если не в 50.
-
show create? -
не ту таблицу значит смотрите
-
вероятно есть другая таблица которая собственно является вьюхой и перегоняет данные в ту запрос которой вы сейчас смотрите
-
т.е. сама вьюха и целевая таблица не обязательно совпадают.
-
Спасибо, очень жду
-
как рандомно отсортировать массив [1,2,3,4,5,6]
-
SELECT arraySort(x -> rand(x), [1, 2, 3, 4, 5, 6]);
-
при использовании новой функции windowFunnel CH начала падать
`2018.07.03 14:07:55.182888 [ 150 ] <Error> BaseDaemon: (from thread 77) Received signal Segmentation fault (11).
2018.07.03 14:07:55.182892 [ 150 ] <Error> BaseDaemon: Address: NULL pointer.
2018.07.03 14:07:55.182896 [ 150 ] <Error> BaseDaemon: Access: read.
2018.07.03 14:07:55.182899 [ 150 ] <Error> BaseDaemon: Unknown si_code.
2018.07.03 14:07:55.203467 [ 150 ] <Error> BaseDaemon: 0. clickhouse-server(tcmalloc::ThreadCache::ReleaseToCentralCache(tcmalloc::ThreadCache::FreeList*, unsigned long, int)+0x11b) [0x59de79b]
2018.07.03 14:07:55.203478 [ 150 ] <Error> BaseDaemon: 1. clickhouse-server(tcmalloc::ThreadCache::Scavenge()+0x44) [0x59de8c4]` -
есть таблица MergeTree, по ней нужно прогнать несколько тяжелых запросов с агреггацией. Имеет ли смысл пытаться запустить эти запросы параллельно из разных потоков?
-
Обычно нет
-
КХ сам умеет использовать все доступные (указаные в конфиге) ресурсы
-
Изучаю репликацию, создал две реплики (на удалёном сервер и на локальном компе). Пробросил порт zookeer-а с удалёного на комп.
SELECT active_replicas
FROM system.replicas
WHERE table = 'load_stat'
показывает что две активных реплики, но в локальной базе 0 записей. Я так понимаю, чтобы КХ мог передавать данные реплики должны видеть друг друга. Но какой порт он использует для репликации, 9000? -
Подскажите, какой BI умеет стучаться в clickhouse без odbc-драйвера? -
Я Pentaho использовал, Apache Zeppelin (не совсем BI), redash (какой-то употорый как по мне)
-
Приветствую. Подскажите пожалуйста, хватит ли прав «select» для словаря в MySQL? -
В Пентахо я до join не дошёл, у меня он в течении 10 минут зависал. Скорее всего я не умею java настраивать
-
пентахо - это етл, там джойны делаются из серии "загрузим первую таблицу в память и потом джойним вторую" -
памяти если нет - падает
-
это уже более гибкое решение джойна, однако результат это не отменяет
-
вам все равно надо держать в памяти один "отсортированный кусок", чтобы джойнить на другой
-
господа а есть ограничение на union_all? сколько запросов можно соединить? 10000 можно?
-
Вообщем пробросил 9000 порт (порт КХ с удалёного сервера виден на локаальной машине), подождал 10 минут и таблица отреплицировалась
-
При написании команду удаления из ReplicatedMergeTree опечатался в WHERE с датой и в логе пишет такое
<Error> ukit.load_stat (StorageReplicatedMergeTree): DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageReplicatedMergeTree::LogEntryPtr&)>: Code: 0, e.displayText() = DB::Exception: String is too long for Date: 20178-06-01, e.what() = DB::Exception, Stack trace:
Оно там циклично появляется. Можно как-то убрать эту команду? В processlist пусто -
Помоги пожалуйста победить проблему
конфигурация:
2 ЦОДа (ДЦ1 и ДЦ2) по - 5 шард по 3 реплики в шарде.
ипользую табличный движок ReplicatedMergeTree
сделал:
1. Сопировал БД ДЦ1 на ДЦ2 через detach/attach по партишенам по одной реплике из каждой шарды
2. Репликация внутри каждой шарды прошла успешно
есть проблема с zookeeper:
2018.07.03 17:00:02.378153 [ 1 ] <Error> Application: DB::Exception: Cannot create table from metadata file /clickhouse/metadata/SOMEDATABASE//SOMETABLE.sql, error: zkutil::KeeperException: Can't get data for node /clickhouse/tables/01/SOMETABLE/metadata: node doesn't exist (no node), stack trace:
На стороне ZK ошибок нет. -
Ощущение что вы метаданные скопировали вместо того чтобы создать таблицу через консоль
-
таблицы создал перед копированием через detach/attach
-
можно ли по существующим данным воссоздать необходимое в zk?
-
ну сперва мне кажется надо вам разобраться куда делись данные из зк , не каждый же раз востанавливать
-
по autopurgeinterval судя по всему.
-
а зачем он нужен?
-
ну а так видимо надо детачнуть все и создать снова таблицы
-
а потом аттачнуть
-
Создал issue по моей проблеме https://github.com/yandex/ClickHouse/issues/2588Зацикливание команды удаления · Issue #2588 · yandex/ClickHouse
Создал реплицируемую таблицу (удалёный сервер) Залил туда данные (из обычной MergeTree через INSERT INTO ... SELECT ... примерно 200кк записей) На ноуте а. пробросил порты для Zookeeper и ClickHous...
-
очевидно да. Спасибо
-
а почему с обоих сторон одна таблица?
-
а вот так работать не будет
-
а если не писать as field3, что-нибудь вставляется?
-
INSERT INTO x (a) SELECT 42 AS b, странно у меня такое работает.
-
Надо с подзапросом
-
В подзапросе реальная filed3, а сверху фейковая
-
insert into tableB (field1, field2, field3) select field1, field2, 'sometext' as field3 from (selext field1, field2 from tableA where date=today() and field3 = 'othertext') -
Еще можно вообще field3 не вставлять, а сделать его DEFAULT 'sometext'
-
После вставки уже проальтерить как надо
-
insert into tableB (field1, field2) select field1, field2 from tableA where date=today() and field3 = 'othertext'
-
Почему нельзя
-
2018.07.03 18:34:38.751066 [ 25 ] <Error> HTTPHandler: Code: 50, e.displayText() = DB::Exception: Unknown type Array(String), e.what() = DB::Exception, Stack trace:
А как указать в словаре массив строк правильно? -
Опубликована документация по ALTER TABLE ... DELETE: https://clickhouse.yandex/docs/ru/query_language/queries/#_7 -
В словаре массивы не поддерживаются, только простые типы. Есть запрос на добавление такой функции -
:( спасибо
-
Хорошо, тогда я буду делать таблицу справочник и тогда есть вопрос - что эффективнее. Одна строка в которой будет два массива с множеством элементов (и дальше array join) или по строке на запись?
-
Привет. Вопрос на засыпку - как можно проверить, что макросы для реплицированных таблиц успешно подгрузились из отдельного файла, кроме как создать тестовую таблицу? -
Но ведь сравнение чисел будет работать гораздо быстрее чем поиск по строке
- 04 July 2018 (233 messages)
-
Есть таблица engine= memory столбцов около 2000. По ней надо прогнать 1000 однотипных запросов каждый из запросов обращается к 2 разным столбцам. Один запрос отрабатывает практически мгновенно. 1000 запросов в цикле долговато при этом загрузка ядер на КХ никакая и памяти свободной море... Пробовал склеить 1000 запросов через union all - утилизация ядер улучшилась но всё равно ниже 50%... Долбить 1000 запросов из разных потоков не хочется... Есть идеи?
-
Joined. -
Привет всем! Начали внедрять кликхаус для ряда задачек. Ищем простое и рабочее решение для репликации из мускула в кликхаус, пока смотрим на https://github.com/Altinity/clickhouse-mysql-data-reader
Может есть что-то получше ?GitHub - Altinity/clickhouse-mysql-data-reader: utility to read mysql datautility to read mysql data. Contribute to Altinity/clickhouse-mysql-data-reader development by creating an account on GitHub.
-
мы просто через движок MySQL базу в CH подтянули -
А где почитать? Или как загуглить? =)
-
-
-
а не подскажите синтаксиси создания такого движка ? Нужно ли создовать все поля в КХ или они динамически подтянутся из msql ?
-
имена полей должны совпадать.
структура - вроде не обязательно. если в CH полей объявлено меньше, чем в MySQL - у нас работает. -
синтаксис - в доке вроде доступно описан.
-
а как решили проблему с джоинами ? если боьшинство таблиц нормализованно, джоины на уровне КХ ?
-
да
-
КХ делает запрос в Мускуль, берет оттуда данные и приджоиневает их к результату
-
Создал реплицируемую таблицу, залил данные через INSERT INTO .. SELECT
Вроде всё нормально, но в логе постоянно пишется такое
2018.07.04 12:19:31.594641 [ 2 ] <Debug> load_stat (ReplicatedMergeTreeQueue): Not executing log entry for part 20180317_20180319_285_290_1 because source parts size (30.02 MiB) is greater than the current maximum (4.45 MiB).
На что это влияет и что можно подкрутить в настройках чтобы такого не писало? -
вроде можно собрать самим увеличив лимит -
это точно был параметр MAX_PAGES, надо только вспомнить где)
-
у меня был кейс с iptrie
https://github.com/yandex/ClickHouse/blob/master/contrib/libbtrie/include/btrie.hyandex/ClickHouseClickHouse is a free analytic DBMS for big data.
-
размер словаря он же из-за потребления памяти ограничен, кажись
-
вроде проскакивало это где-то
-
#if !defined(BTRIE_MAX_PAGES)
/// 54 ip per page. 8 bytes memory per page when empty
#define BTRIE_MAX_PAGES 1024 * 2048 /// 128m ips , ~16mb ram when empty
// #define BTRIE_MAX_PAGES 1024 * 65535 /// 4g ips (whole ipv4), ~512mb ram when empty
#endif -
Почему не сделать справочную таблицу?
-
Включить 0 или NULL в одну группу?
-
SELECT if(a IS NULL OR a = 0, null, a) AS k1, COUNT(*) FROM (SELECT arrayJoin([null, 1, 0, 10, null]) AS a) GROUP BY k1
-
Это репликация по этим портам данные гонятет что ли?
-
А почему не хотите сделать таблицы которые будут наполняться новыми данными, а потом два ренейма?
-
Ну я так буду решать проблему с массивами. А у вас, я так понял, есть проблема с поисками в словарях?
-
вот
-
Как оказалось, репликация идёт по отдельному порту 9009. Пробросил его и репликация пошла
-
Joined. -
привет! мы делаем эксперименты в рамках clickhouse базы и разных BI тулзов. сейчас пытаемся подключить BI tool которые умеет работать с MySQL базок к Clickhouse базе. Поставили ProxySQL, который умеет переписывать синтаксис с MySQL на Clickhouse. Пока что оно заводится, держит connection, и в целом работает.
Столкнулись пока что только с одним косяком - запросы типа
SELECT col1
FROM table
GROUP BY 1
не проходят. Rewrite rules в ProxySQL под такое писать не хотелось бы, потому что жесть. Есть ли в обозримом будущем в Clickhouse базе планы на поддержку GROUP BY 1,2 / ORDER BY 1,2 запросов? -
всем привет. Запрос
SELECT * FROM track_log t WHERE (track_id=462739066) AND (date='2018-05-20')
на 1.1.54236-4.el7 работает мгновенно. Переехали на 1.1.54385-1.el7, там этот запрос 8 секунд работает. Что может быть, что посмотреть? Базу переливали Select ... format native | insert into -
киньте структуру старой и новой таблиц
-
а также селект из клиента весь, с выводом доп.инфы
-
а структура разве разная? show create table — этой командой создал на новом сервере
CREATE TABLE trk.track_log ( date Date DEFAULT toDate(unix_timestamp), unix_timestamp DateTime, track_id Int64, repeat_track_id Int64, campaign_id Int32, split_from_campaign_id Int32, source_id Int32, offer_id Int32, ip String, params String, status Int32, redirect_url String, price_rub Float32, price Float32, currency_id Int32, user_agent String, url String, fraudscore_status String, referrer String, device_locale String) ENGINE = MergeTree(date, (date, track_id), 8192) -
1 rows in set. Elapsed: 7.698 sec. Processed 73.73 thousand rows, 51.42 MB (9.58 thousand rows/s., 6.68 MB/s.)
1 rows in set. Elapsed: 0.016 sec. Processed 8.19 thousand rows, 5.28 MB (498.23 thousand rows/s., 321.26 MB/s.) -
какой-то печальный сервер, 6.68 MB/s
-
таблицы-то точно одинаковые? Processed 73.73 thousand rows и Processed 8.19 thousand rows
-
в том-то и дело
-
ну у вас чтение в 15 раз медленее
-
что сервер совершенно не печальный. 48тредов, SSD
-
ну что то не так явно с чтением проверьте диск
-
а почему у вас индекс такой (date, track_id), а не (track_id, date), как в доке советуют
-
перелейте в (track_id, date), посмотрите, будет ли разница, для интереса
-
щас диск попробую по hdparmить
-
[root@gala3 etc]# hdparm -t /dev/nvme0n1
/dev/nvme0n1:
Timing buffered disk reads: 4414 MB in 3.00 seconds = 1470.86 MB/sec -
буфферед конечно ни о чём. но всё же не 6mb/s
-
регресс из-за какого-то сильного бага в этой версии исключён?
-
у многих КХ на продакшене, тут бы ор стоял
-
ну явно что-то не то с КХ
-
+1. Явно есть какое-то несоответствие. Сам запрос прям к trk.track_log делается? Случайно не к какой-нибудь Disturbed-таблицы поверх trk.track_log?
-
да не. всё отлично работало на старом сервере
-
структуру данных никто не менял
-
Попробуйте перелить через tsv формат, может что-то не так с format native
-
А лучше просто скопируйте партиции
-
уже не получится, прод-данные со вчера льются в это новое глючащее место
-
Так не только кх новый, но и сервер под ним новый?
-
Странный ssd конечно
-
да, перееххали на новый сервер, на него же новая версия КХ прилетела
-
На тысячах строк оно должно работать моментально
-
может там рейд ребилдится по этому IO в ноль?
-
неа
-
# hdparm -t /dev/md1
/dev/md1:
Timing buffered disk reads: 4314 MB in 3.00 seconds = 1437.32 MB/sec
с рэйда тоже нормально -
iowait ваще нулевой
-
Обновите версию на старом просто и сразу будет ясно проблема в версии или сервере
-
кстати да
-
Привет, кто скрещивал КХ с superset, может сталкивались с ошибкой `'str' object has no attribute 'db_type'` когда подключаешь базу. Когда жмешь тест пишет ОК, но потом выкидывает с ошибкой. -
докладаю. в новой версии регресса нет. на новом сервере КХ отожрал слишком много памяти, 122G virt, 75G RES. после мучительного рестарта работает быстро
-
Я сталкивался что у него были проблемы с версий какого-то python-модуля, из-за чего при создании конекта к КХ падало (не с этой ошибкой). Покажи настройку подключения к КХ
-
что за утечка — непонятно
-
Joined. -
подскажите как мониторить статус репликации кликхауса?
-
все по умолчанию, там нужно что то еще прописывать кроме clickhouse://localhost:8123/ ?
-
вот тоже смотрю. в документации хороший запрос приведен
-
-
Только что попробовал создать коннект - такая же ошибка
-
Просто много людей писало что у них все работает, а тут бац, и чет не гуглится. Явно что то делаю не так.
-
ставил на ubunte 18.04 может там что наломали
-
неа, я уже ловил на разных сборках (периодически обновляю контейнер) самые разные глюки
-
А в чем проблема?
-
По дефолту в убунту вроде логротейтятся
-
а ну может быть
-
граждане, особенно разработчики.. нет ли в 1.1.54385-1.el7 проблемы с жором памяти?
-
час поработал после рестарта, опять память выжрал и тормозит
-
вот он после рестарта первое время работал очень быстро, пока памяти много не сожрал. потом сожрал 70гиг и начал тормозить на селектах
-
можно ли откатить версию на 1.1.54236-4.el7 обратно, или хранилище обратно не совместимо?
-
а есть где-нибудь самый свежак в RPM-пакетах?
-
щас это: https://packagecloud.io/altinity/clickhouse/el/7/$basearch
не самый свежак -
вопрос про репу снят, в личке добрый человек направил на путь истинный
-
Joined. -
нет, вопрос не снят. пытаюсь поставить из Яндекс-репы yum'ом:
Transaction check error:
файл / из устанавливаемого пакета clickhouse-server-1.1.54388-2.noarch конфликтует с файлом из пакета filesystem-3.2-21.el7.x86_64
файл /lib из устанавливаемого пакета clickhouse-server-1.1.54388-2.noarch конфликтует с файлом из пакета filesystem-3.2-21.el7.x86_64
файл /usr/bin из устанавливаемого пакета clickhouse-server-1.1.54388-2.noarch конфликтует с файлом из пакета filesystem-3.2-21.el7.x86_64
файл /etc/init.d из устанавливаемого пакета clickhouse-server-1.1.54388-2.noarch конфликтует с файлом из пакета chkconfig-1.7.4-1.el7.x86_64 -
это я что-то не так делаю?
-
а при удалении он тебе / удалит, интересно?) -
max_block_size в 8192 можно выставить или подобрать какой там удобнее для вас -
т.е. в сессии перед insert select нужо set max_block_size = 8192
-
Там размер максимального куска увеличили с 100 до 150 gb, возможно он у вас мержами был занят и сильно на диск давил
-
вы количество одновременных мержей временно уменьшите, он данные помержит спокойно и все будет ОК
-
А это что такое? Как меняется?
-
Для реплицируемых таблиц max_replicated_merges_in_queue в конфиге для merge_tree секции и background_pool_size там по дефолту по 16
-
yandex/ClickHouse
ClickHouse is a free analytic DBMS for big data.
-
Для применения этих настроек нужен рестарт сервера КХ
-
Спасибо, завтра попробую
-
Joined.
-
Tima указание max_block_size/max_insert_block_size перед insert into select лучше взять за привычку, в зависимости от того как вы храните данные и какие они можно сильно уйти по памяти, возможно это нужно сделать в самом КХ или как-то адаптивно просчитывать его и размер мержей при этом @milovidov_an ?
-
ну и max_threads тоже в 1
-
Спасибо, буду пробовать
-
С этим тут проблемы во весь рост: если вы делаете просто insert он отвалиться и все будет ок, т.к. КХ пишет в папку tmp_name_of_block по max_insert_block_size или как вы ему блоки передаете и если все Ок то он просто папку переименует и в ZK статус блока поменяет, но если вы делаете insert select - вы попали, часть данных будет вставлена в таблицу. В ответах exception есть коды, но я не помню есть ли код на out_of_space
-
Можно по репозитарию поискать
-
кх отдас т ошибку что места нет
-
Да, похоже что вот эту https://github.com/yandex/ClickHouse/blob/2be2b8520b99043b790eb081264b8429f3a1c105/dbms/src/Common/ErrorCodes.cpp#L250yandex/ClickHouse
ClickHouse is a free analytic DBMS for big data.
-
Joined. -
Скажите, а для complex_key_hashed как делать таблицу с движком Dictionary?
-
там не таблицу, а базу нужно делать
-
Из документации: create table products (product_id UInt64, title String) Engine = Dictionary(products);
-
У меня есть словарь, я его теперь хочу отобразить в таблицу
-
CREATE DATABASE dict Engine=Dictionary;
-
В ней как таблицы будут все ваши словари
-
Ох красота то какая.... Спасибо большое!
-
Там сильно все сложно, я про ProxySQL, нужно делать поддержку какого-то wire протокола MySQL/PostgreSQL в самом КХ, но там сильно много нюансов.
-
В любом случае в этом направлении нужно идти, как пример в КХ нет подготовленных выражений и это сильно местами афектит, взять хотя бы cached словари которые в ряде случаев просто генерят "портянку" SQL который не пролезает по дефолтовым лимитам. Да и вообще с подготовленными запросами может быть сильно больше оптимизаций (а тут уже вышеупомянутый ExpressionAnalyzer:))
-
Joined. -
Вот не ОК, у нас просто сильно старая версия
-
Не думаю что настолько сильно, сейчас нет доступа к серверам, 543* скорее всего, но, мы храним много данных в массивах ***Map и если не выставляться по блокам - мы сильно страдаем при переливе insert select, а такое бывает
-
страдаем так что пару дней назад я реально скрещивал пальци чтоб 128 gb хватило, и он дошол до 120 и OOM его не прибил
-
Скажите, а как можно инициировать обновление mongo словаря? Есть SQL какой-то для этого?
-
system reload dictionary name
-
Спасибо!
-
У нас внезапно по уникам в массив прилетело в 1500 раз больше данных, это не сильно проблема КХ, а того как у нас это хранится
-
И при мержах/ переливе данных там сейчас все страшно, мы решим - не сильно страшная вещь )
-
Я примерно понимаю как оно работает и при самом аккуратном обращении у нас вот так, там 30кк уникальных элементов на одного из клиентов стало прилетать вместо 20к
-
Это для группировки в тот самый массив **Map
-
Мы просто на такое сильно не закладывались, такие вещи нужно хранить не так
-
К сожаленюю я это тоже знаю и нам вот сильно в этом месте нехватает адаптивного index_granularity, сейчас чтоб сильно не афектить всех он сильно маленький, но он нужен не всем. Еще беда в том что в КХ нет транзакций и мы считаем стату в отдельных таблицах, но когда все это копировалось пришел OOM и все убил - как результыт куда-то что-то приехало, а куда-то нет. Может есть смысл расмотреть транзакции, как в том же посгреме (min/max видимости), но не на уровне строк (в КХ это бесполезно), а блоков ?
-
И, это был последний день месяца и соответственно чтоб порешать нужно было перелить месяц
-
Я понял, там просто нужно сильно две вещи: во первых делать это в сторонке, а во вторых не мержить до совершения комита - это сильно не нужно и отъедает ресурсы когда так что-то считается
-
Да, это факт, тут как бы сильно много проблем
-
@milovidov_an Еще о "боли" у нас "старенький" КХ и freeze partition не работают по префиксу с кастомными партициями. Но у нас больше чем одна таблица и хотелось бы freeze tables a,b,c partition 201805 или freeze a,b,c 2018 - мы сами можем добавить, нужно только синтаксис утвердить и, наверное, складывать не в increment, а от даты + какой-то постфикс
-
С момента выхода сами собрали и гоняем кластер на этой версии, проблем нет -
Вот у нас сильно время пришло, мне просто не очень охота сидеть на кастомной версии КХ.
- 05 July 2018 (126 messages)
-
Joined. -
Оно сейчас достаточно не плохо работает, основная сложность что не все через rewrite rules можно сделать адекватно :)
-
Если будут какие-то вопросы по ProxySQL — пишите в Altinity или напрямую Рене, поддержка clickhouse протокола там была сделана по нашей просьбе, но далека от идеальной.
-
А какие у вас трудности с clickhouse-mysql? Обращайтесь — поможем настроить.
-
Joined. -
привет. как вы бэкапите кликхаус? по одной табличке, делаете alter ... freeze, или есть менее замороченные методы?
-
Подскажите, чем можно посмотрить логи запросов в clickhouse?
Интересует какие запросы приходили от клиентов. -
-
Спасибо
-
Joined. -
а что вы ожидаете увидеть?
вы же по факту делаете следующее:
:) SELECT 1 as a1, AVG(1) as a2
SELECT
1 AS a1,
AVG(1) AS a2
┌─a1─┬─a2─┐
│ 1 │ 1 │
└────┴────┘ -
SELECT a AS a1, splitByChar('b', a) AS a2 FROM (SELECT 'abc' AS a)
-
select number as n, pow(number, 2) as nn from system.numbers limit 10
дак вроде работает же -
какую функцию вы пытаетесь использовать?
-
делать можно, но работать будет не так как обычно.
-
кто-нибудь с таким сталкивался?
[63/868] Building CXX object dbms/CMakeFiles/dbms.dir/src/Dictionaries/CacheDictionary.cpp.o
FAILED: dbms/CMakeFiles/dbms.dir/src/Dictionaries/CacheDictionary.cpp.o
/usr/bin/g++-7 <params> -c ../dbms/src/Dictionaries/CacheDictionary.cpp
{standard input}: Assembler messages:
{standard input}:212615: Warning: end of file not at end of a line; newline inserted
{standard input}: Error: open CFI at the end of file; missing .cfi_endproc directive
g++-7: internal compiler error: Killed (program cc1plus) -
это при билде из исходников после запуска ninja
-
Подскажите плз - max_bytes_before_external_group_by и max_bytes_before_external_sort работают? Я делаю запрос с жирным groupby, который валится по отсутствию памяти, но выставление max_bytes_before_external_group_by не помогает (и в system.settings я его не вижу)
-
в англ чате только что писали о похожем. это настройки MergeTree, а не system
-
А как тогда правильно из применить к таблице?
-
ну да, вмето ru напиши en
-
я на вторую часть ответил. запросить можно через SELECT *
FROM settings
WHERE name = '' -
Да, нашёл, у меня из-за лимита не показывалось
-
господа вопрос а как можно узнать сколько RAM съела engine=Memory()
-
нашёл, не хватало памяти компилятору
-
Господа, есть табличка соответствий число-строка. Общее количество порядка 30 штук. Сия табличка будет использоваться в десятке-другом запросов. Как правильнее сделать применение сего соответствия в паре десятков запросов? Таки словарь? Если да, то печально - хотел дать возможность поредактировать табличку человеку с r/o правами.
-
как же он будет редактировать с р/о правами? если словарь будет внешний, например монго, а у оператора будут права на соответсвующую запись в монго, то он может править там. а потом настроить возможность релоада в кх по запросу.
-
r/o - в кликхаусе и других БД.
-
Меняться будет в любом случае не чаще раза в месяц, так что проще попросить перечитать с бОльшими правами.
-
вот в варианте со внешним словарём, в кх у него р/о, а в словаре будут права. или напрямую таблицу в кх завести. я что-то не вижу проблемы таблицу из 30 записей заджойнить. кх её должен в памяти держать.
-
Впрочем, увидел https. Вопросы по нему такие:
1) что выразит кликхаус, если будут проблемы с коннектом?
2) что выразит кликхаус, если в конце/начале/середине будут лишние пустые строки?
Остальное - не проблема, товарищ достаточно аккуратен, чтоб написать простой txt (он же csv) -
Joined. -
В обоих случаях будет ошибка и останется предыдущая версия данных в словаре. -
по дате оно и так у вас будет отсортировано, поэтому дату ставят в конец
-
В первичном ключе его вообще можно не указывать, если есть партиционирование по дате
-
Но если нужно делать выборки по сильно меньшему диапазону, чем партиционирование, то тогда первым, конечно
-
Но всё зависит от ваших данных
-
если у вас есть запрос id = 42 and date between date1 and date2, и при этом партиционирование по месяцам и сортировка по id, date, то данные по диапазону дат окажутся (в каждой партиции) одним куском, а если сортировка по date, id, то данные по каждому дню будут в своем куске, т.е. менее локальны.
-
при других запросах и других данных могут лучше работать другие варианты.
-
Благодарю. Осталось отловить ошибку.
-
Вопрос по регекспам. Читаю https://clickhouse.yandex/docs/ru/functions/string_replace_functions/#replaceregexponehaystack-pattern-replacement
Делаю и получаю:
SELECT replaceRegexpOne('voip.in.123.answered', '(\\d{3})', '\\1') AS num
┌─num──────────────────┐
│ voip.in.123.answered │
└──────────────────────┘ -
Это только у меня так? Или требуется как-то обозначить, что регексп может быть не в начале строки?
-
Просто в документации никак не отражено, что регекспы требуют совпадения всей строки.
-
Э... И каким образом тут строка с буквами заматчилась на число?
-
а d3 разве не число ?
-
Тут регексп не сработал и не заменил. Правильный регексп тут .*(\\d{3}).*
-
он вырезать хочет
-
ну пусть там пустую строку оставит )
-
Не-не-не! Хочу получить из строки цифрами только цифры.
-
Но вообще - понятно.
-
Правда, не из документации.
-
Впрочем, мне, видимо, больше подойдёт extract, а не replace
-
У меня вопрос по использованию индексов.
Есть таблица с движком merge tree, каждый день в нее льется порядка миллиарда записей. Есть строковый столбец, выглядящий примерно так: a.b.c.d.{*id*}.e, где в качестве id может быть разношорстная информация, а сам id может располагаться в разных частях строки, но всегда обрамлён и его можно без проблем выкинуть регуляркой. А a.b.c.d. определяют класс принадлежности значений.
Обычно субд не используют индексы, если в левой части условия столбец из индекса каким либо способом преобразуется. Но кх то необычный :)
Поэтому я решил попробовать добавить в индекс столбец с регекспом, который выбросит из него все айдишики (как-то так MergeTree(date_column, (date_column, replaceRegexpAll(str_column, *regexp*, '')))). Ну и в дальнейшем в условиях запроса указывать этот регексп + конкретное условие с id.
Некоторый отчёт по этой таблице за сутки рассчитывается за ~30-40 минут.
После добавления индекса с регэкспом он стал выполняться за 10-20 секунд. Похоже, что индекс таки используется, несмотря на то, что в условии запроса к нему применяется регексп. Ну и собственно вопрос: насколько адекватен такой подход? Какие могут быть подводные камни?
P.S. да, разумно было бы хранить класс где-нибудь рядом, и положить в индекс его, но представим, что мы не можем на это повлиять (: -
O_o -
так регэкспы совпадают в запросе и индексе или нет?
-
а сделать вычисляемую колонку (materialized) и ее проиндексировать? заодно тип со String на UInt64 поменять?
-
что-то вроде
valueclass UInt64 default replaceRegexpAll(str_column, *regexp*, ''), -
да, совпадают
-
хз, сработает или нет
-
тогда всё логично
-
а можно делать индекс по materialized колонке? она ж на лету вроде считается всегда?
-
на лету alias считается.
-
хм, ну если хранится, то индекс по ней будет более подходящим решением. Спасибо :)
-
Меня раздирают противоречия "В таблице типа MergeTree обязательно должен быть отдельный столбец, содержащий дату, здесь это столбец EventDate. Тип столбца с датой — обязательно Date (а не DateTime)." - у меня в любом случае есть колонка DateTime, получается мне этот столбец надо дублировать а потом еще и в WHERE указывать (у меня запрос по диапазону DateTime)... Никак низя чтобы оно "само" без лишних ухищрений?
-
date_column Date DEFAULT toDate(dateTime_column). А в WHERE все-таки придется указать -
а никак не планируется в будущих версиях КХ пофиксить чтобы можно было вместо чистого date указывать datetime чтобы оно "само" внутри toDate при партиционировании делала и при запросах сама в where "дублировала" ограничения наложенные на datetime?
-
А зачем? Так же быстрее.
-
еще очень унизительно - нужно буквально пяток "нормальных" табличек небольших и ненагруженных - настроечки там хранить, простейшие справочники итп ради этого мускул рядом подымать... прикрутили бы какой-нить engine=SqlLite()
-
кому быстрее? движок может сам все это сделать и производительность будет идентичная зачем повторять два раза то? Если ему нужно поле типа date пусть создаст невидимое для меня поле и извлекает в него дату из datetime. А при поиске если видит константные ограничения на datetime пусть время отбросит и сам к date применит. зачем мне это дублировать то?
-
Разработчик всего одну строчку добавит и всё будет работать. А невидимо городить - можно сделать лишнюю работу или не сделать нужную.
-
Я думаю, что может быть с кастомным партиционированием так можно сделать. Т.е. завести primary key на DateTime и партиционирование по toYYYYMM(time) и оно будет работать. Но лучше проверить, конечно.
-
Просто зачастую Date добавляют именно в primary key и тогда она становится нужна. Пример, как у Яндекс.Метрики:
(CounterID, Date, cityHash64(userID)) — и по последнему полю сэмплирование -
Ну так я и предлагаю эту date создавать автоматом из datetime чтобы корректно работало
-
Вам лучше Date Materialized toDate(datetime) -
EventDate materialized as toDate(EventDateTime) то я смогу ;) вот только в WHERE писать EventDateTime>=toDateTime(...) AND EventDateTime<=toDateTime(...) AND EventDate>=toDate(toDateTime(...)) AND EventDate<=toDate(toDateTime(...)) - вторая часть унизительна
-
Чего-то не прокатило. Спустя пару десятков инсертов начало падать не очень информативное Code: 44, e.displayText() = DB::Exception: Cannot insert column str_column_mask, e.what() = DB::Exception. Этот str_column_mask materialized колонка над str_column. В инсерте ее не указано.
-
Запись через буффер. Может буффер не учитывает, что в родительской таблице есть materialized колонка и явно перечисляет все при вставке?
-
Уважаемые разработчики, а вот скажите x between 10 and 20 это для движка (не логически а именно для движка) тождественно x>=10 and x<=20? Если x проиндексирован никаких хитростей не применяется? Вообще поиск по вхождению в диапазон можно представить на поиск пересечения точки с отрезком - для этого есть очень быстрые spartial-индексы. КХ их часом не поддерживает?
-
between при парсинге разворачивается в >= and <=, на этом при желании можно например экспоненциальную длину ast получить.
-
понятно т.е. это именно синтаксический сахар.
-
select ((1 between 2 and 3) between 4 and 5) between 6 and 7
-
да. что касается оптимизации попадания в отрезок, обычно у вас один отрезок (запрос) и много точек (строк), два неравенства и без индекса вроде ок.
-
жесть... но вторая часть вопроса была об использовании геометрических индексов для ускорения поиска в диапазоне значений. Особенно при обратном поиске: where 10 between column1 and column2
-
чего-то специального, думаю, нет.
-
подскажите, куда сунуть background_pool_size ?
-
сунул в конфиг в виде xml, рестартанул, не схавало
-
<background_pool_size>8</background_pool_size>
-
а то всё очень плохо, упал в out of memory
-
всё равно SELECT *
FROM system.settings
WHERE name = 'background_pool_size'
16 -
получилось, спасибо
-
в acl совал
- 06 July 2018 (173 messages)
-
так если у вас индекс (column1,column2), то он достаточно быстро найти должен
-
Joined. -
Пишем в Clickhouse маленькие пачки событий, по 1000-2000 строк (плюс мат вью, которые их копируют). Но в течении суток отмечаем, что несколько событий в базу не попадает (из десятков миллионов). Может ли бытьпричина где то в Clickhouse? Куда можно копнуть?
Непонятных ошибок в логах нет. Используется кворумная запись.
Скорее всего причина всё таки не в Clickhouse, но хочется как-то проверить и его. -
Именно несколько, а не 1000..2000 строк?
-
а тип таблицы какой? не collapsing какой-нибудь?
-
Обычный ReplicatedMergeTree. Именно несколько, причем интервалы между ниим бывают 30-40 строк.
-
вот, кстати, хотел похожий вопрос задать, но более теоретический - можно ли в кх хранить важные данные, которые нельзя терять?
-
так что мне этот случай интересен
-
Ага, спасибо! Наметил пути.
"включенаа толеранция ошибок" - каким образом это делается? Не гуглится что-то. -
Мы вот например пытаемся :) Теоретически да, при соблюдении ряда условий: реплицировать, использовать кворумную запись, использовать sequential select (пока что нельзя, т.к. баги)
-
При этом sequential select уже относится только к "чистому" чтению, а не к хранению.
-
идея была в том, чтобы сделать больше на тех же ресурсах.
-
у нас не финансы, а данные с датчиков. старая база на вставку не справляется(
-
99% можно потерять иногда, но есть один вид сигналов, который обязательно нужен. возможно есть смысл только его дублировать в ACID базу
-
А есть штатный механизм, с помощью которого можно узнавать, что при живой сети и живом КХ и без ошибок строки не вставились по какой-нибудь КХ-причине?
-
Ну т.е. жить в ситуации "угадай, сколько строк КХ сохранил" чёт больно. :)
-
О. Этого хватит. Спасибо.
-
Подскажите, почему запрос с GLOBAL IN может выводить данные с одного узла, а не со всех? т.е. запрос:
SELECT *
FROM tbl
preWHERE EntityID GLOBAL IN (
SELECT EntityID
FROM tbl
preWHERE EntityID = 'value'
)
показывает меньше данные чем запрос
SELECT *
FROM tbl
preWHERE EntityID = 'value' -
и ещё: почему запрос:
SELECT *
FROM tbl
WHERE EntityID = 'value'
зависает, а с prewhere отрабатывает, хотя столбец "EntityID" - первый в индексе, и, согласно документации, where и prewhere должны в этом случае отрабатывать одинаково -
Если дело в конфигурации, подскажите какие настройки нужно проверить
-
Это какой-то ссылочный тип? Нет, в таблице только строки, числа и даты
-
Хм, вроде нет
-
а подскажите если запрос в файле на жестком диске - как его выполнить из интерактивного режима clickhouse-client ?
-
как source в mysql?
-
этого я тож не знаю ;( надо чтобы зачитал с винта sql и выполнил
-
cat sql.sql | clickhouse-client работает вроде но хочется из интерактивного режима
-
А в чем разница? Все равно ошибки выползень в аутпут.
А вообще такой команды вроде нет. -
мне не ощибки мне статус с прогресс-баром итд... запрос очень жирный через клипбоард тормозно вставлять
-
господа я тут бъюсь над одним страшным запросом, может быть есть мысли как можно ускорить? https://pastebin.com/9kDPTXB7
-
упирается с CPU я так понимаю.
-
Joined. -
Как именно перенести результаты в нужную колонку? Я как раз через anyif это делаю
-
Следует иметь ввиду, что указывать в PREWHERE только столбцы, по которым существует индекс, имеет мало смысла, так как при использовании индекса и так читаются лишь блоки данных, соответствующие индексу.
https://clickhouse.yandex/docs/ru/query_language/queries/#prewhere -
неа, в 99.9999% в рамках одной session_id только одно событие "xxx", сверткой не спасешься... по колонкам разнести - надо считать дельту времени между различными событиями и выявлять нарушение максимально допустимого времени. этих правил (дельт которые надо считать и контролировать) в макете 2000... Думается сначала собрать такую широкую таблицу в memory а потом тейблсканами по ней 2000 запросов...
-
что именно? данные о событиях летят кладутся отдельными записямив КХ.
-
toStartOfQuarter
-
Привет!
Есть табличка с полем UInt8
При фильтрации типа field = 1 все работает нормально,
но при фильтрации типа field in (1,2) кликхаус ругается на нестыковку типов
Как тут правильно сделать? -
вот так точно ошибка выглядит:
DB::Exception: Types of column 1 in section IN don't match: Int8 on the right, UInt8 on the left
походу разобрался, читаем из merge-таблицы, в ней Int8, а в нижележащих таблицах UInt8 -
причем ошибка повторяется только в prewhere
-
Привет.
Есть web api, который возвращает данные в формате json. Пример: [{"id": 1, "name":"abc"}].
При подключении api к clickhouse в качестве внешнего словаря, получаю ошибку: Format JSON is not suitable for input.
Существуют ли какие то варианты использования такого формата? -
Progress: 554.31 million rows, 16.63 GB (9.62 million rows/s., 288.67 MB/s.) 99% дошло до 99% и думает, КХ при этом непонятно чем занимается (ядро даже одно полностью не занято)....
-
спасибо
-
а не знаете аналога toStartOfFifteenMinutes в mysql? ну так совершенно случайно:)
-
Так и не дождался. Переписал запрос чуток (раскрыл скодбки убрал any вообще) https://pastebin.com/6azBGvVQ → Progress: 19.86 million rows, 595.22 MB (198.30 thousand rows/s., 5.94 MB/s.) 3%Received exception from server (version 1.1.54388):
Code: 1001. DB::Exception: Received from localhost:9000, ::1. DB::Exception: std::bad_alloc.
120.525 -
преобразовать в unix-timestamp (получится чиселко) потом разделить на 900, отбросить дробную часть, умножить на 900 и потом FROM_UNIXTIMESTAMP-получится дата/время
-
просто со строк перешел на числа (ID-ы) - сравнивать проще. groupArrayInsertAt(0,4000) - выделить сразу 4000 элементов, заполнить нулями. Пофиг и с ним и без него падает
-
Joined. -
Как-то слишком жирно 4000 элементов на строку, не находите? Зачем столько? По моему опыту с таким порядком цифр вам не к КХ, а куда-то в сторону Hadoop и ему подобных
-
требование заказчика - макет с 10+ кратным запасом по объемам
-
ИМХО - больше 100 байт - уже много
-
поменял на Log жду...
-
Терпимо, но зачем так делать? Я пока не очень понимаю какую проблему пытаются решить создавая такой массив
-
сделать PIVOT по 4000 точек
-
сделал engine=Log не взлетело... ← Progress: 20.05 million rows, 601.11 MB (108.74 thousand rows/s., 3.26 MB/s.) 3%Received exception from server (version 1.1.54388):
Code: 1001. DB::Exception: Received from localhost:9000, ::1. DB::Exception: std::bad_alloc.
186.830 -
Попробуйте MergeTree
-
ест 128 гигов и падает....
-
нет наверное
-
я счас развернул алгоритм... сначала отбираю в memory table "окно" с событиями. А потом уже "разворачиваю" для каждого правила из 2-х тысяч
-
такое чуство что быстрее
-
окно строилось 16 секунд, 250 правил вычисляются одним запросом за 15 секунд
-
все правила в union all не получается говорит AST Complexitiy Превышен
-
можно кстати как-то его подкрутить?
-
Насколько я знаю - да, сейчас посмотю
-
yandex/ClickHouse
ClickHouse is a free analytic DBMS for big data.
-
max_ast_elements
-
2000 запросов через union all
-
↓ Progress: 12.04 billion rows, 336.98 GB (287.62 million rows/s., 8.05 GB/s.) Received exception from server (version 1.1.54388):
Code: 1001. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Resource temporarily unavailable.
42.069 -
запросики идентичные только цифры меняются
-
select 1705 rule,
ts,
c1,
c2
from
(
select
toStartOfMinute(toDateTime(t1)) ts,
count() c1,
countIf(t1 - t0 > 900) c2
from
(
select
b>0?b:(b+901) t1,
a t0
from
(select sid, anyIf(ts,cc=11078065251486343680) a, anyIf(ts,cc=10964831536725407699) b
from tmp0.`t_2018-07-04 10:00:00_c6eeccb44e75416b8ff51fa8e7b26e52_d`
where ts >= toUInt32(toDateTime('2018-07-04 10:00:00', 'UTC')) -1021
AND ts <= toUInt32(toDateTime('2018-07-04 10:00:00', 'UTC'))
and cc in (11078065251486343680,10964831536725407699)
group by sid)
WHERE
a >= toUInt32( toDateTime('2018-07-04 10:00:00','UTC')) - 1021
)
where
t1 > 0
group by
ts
)
where ts>=toStartOfMinute(toDateTime('2018-07-04 10:00:00','UTC') - 120) -
Создаю таблицу
create table x (a Int64) Engine=MergeTree Partition by tuple() order by tuple()
settings max_bytes_to_merge_at_max_space_in_pool = 214748364800
А как потом поменять max_bytes_to_merge_at_max_space_in_pool?
alter ...
detach поправить x.sql attach
какой легальный путь вообще?
таблица репликейтид -
Посмотрите в сторону redash. Он умеет с кликхаусом работать. -
Вы про redash? Он абсолютно бесплатен хостить у себя. Опенсорсный, есть докер компоуз.
-
У меня так и не получилось увеличить встроеный в redash таймаут на 30 секунд. Причем запрос выполняется 1 секунду, а redash тупит 30 секунд и всё
-
Хм, не сталкивался. А у вас точно все нормально поднялось? У редаш там сложная архитектура, постгря, мессадж сервис, экзекьютор... Нужно что бы все друг друга видели. Пробовали свежие версии?
-
Пробовал в докере, пару месяцев назад. Простой запрос типа count проходит, просто в консоле запрос за десятую секунды выполняется. А в редаш полминуты непонятно-что делается
-
superset с последней версией КХ не работает https://github.com/cloudflare/sqlalchemy-clickhouse/issues/23Does not work with ClickHouse no more #23
Current version does not work with latest ClickHouse (1.1.54385). Please grab a patch from https://github.com/JustOnce/sqlalchemy-clickhouse, it's fixed there with latest commit.
-
именно на Executing query висит или другое сообщение? пользуемся redash+clickhouse почти два года, такого не замечали. могу посмотреть, если опишете подробнее -
еще не пробывал, хочется конечно чтобы все работало из коробки😔
-
+1. Пока табикс стабильнее всего
-
Да, но там с интерфейсом не ок)
-
три скрола на странице например
-
может это только у меня конечно беда, 4к монитор и браузер эдж
-
То что он лучше всего остального - факт. Но есть проблемы. Баги, неудобный скрол результатов, непонятные подсказки
-
я думаю это проблема с маштабированием, если ставлю дпай как у всех становится один скрол, но разглядеть тогда уже не реально)
-
В текущем скролле мне не нравится что для горизонтальной прокрутки надо крутить пару экранов вниз
-
И очень не хватает нормального хелпа по горячим клавишам
-
о я даже не знал что он есть) жал стрелки
-
А вообще хорошо иметь возможность выразить лично благодарность за классный ui :)
-
А не было идеи сделать переименование используемого поля или переменной везде где она используется?
-
Спасибо большое!
-
очень не хочется ставить лишнего в систему когда встроенное работает, если новая версия не заведется то тогда уж да, а пока я к этом интерфейсу привык)
-
Присоединяюсь, респект!
-
что-то типа такого - иннплейс рефакторинг. Ну, вдруг
https://www.youtube.com/watch?v=RExpDf3xG4YIn-place Rename RefactoringIn PhpStorm when you need to rename a variable, parameter, class, method, constant or goto label, you can do it in-place, right in the editor pane.
-
да, он еще в контексте смотрит, то есть не затрагивает другие област видимости.
но я так подумал, кажется что это далеко не самый частый юзкейс -
присоединяюсь к благодарностям за табикс. а когда новый можно будет пощупать? ) -
здорово, ждем
-
А митапы в Германии раз в год только бывают, кстати?
- 07 July 2018 (9 messages)
-
Joined. -
Скинь ссылку на репу, если есть
-
Спасибо
-
привет. есть проблема с взрывным ростом потребления памяти, непонятно чем вызванным.
http://joxi.ru/823jnOahJPEl5m
https://pastebin.com/1tmB76Ga в еррор-логе с этого момента, но это наверное следствие, а не причина1530982339813 (31 kb) uploaded July 7, 2018 Joximade using Joxi.net
-
количество бэкграунд-воркеров снизил с 16 до 8, потом до 6. разницы нет
-
@garikanet Игорь, подскажите пожалуйста, а вы для вывода таблиц таких универсальных какой-то собственный компонент используете или это что-то опенсорсное?
- 08 July 2018 (5 messages)
- 09 July 2018 (97 messages)
-
Подскажите, почему запрос с GLOBAL IN может выводить данные с одного узла, а не со всех? т.е. запрос:
SELECT *
FROM tbl
preWHERE EntityID GLOBAL IN (
SELECT EntityID
FROM tbl
preWHERE EntityID = 'value'
)
показывает меньше данные чем запрос
SELECT *
FROM tbl
preWHERE EntityID = 'value' -
Уточнение по вопросу:
CH развёрнут на 3-х шардах: 1, 2, 3.
На каждой есть копия таблички со своими данными + представление, выводящее данные со всех шард.
Я подключаюсь к шарду 1, выполняю запрос к представлению, и из результатов выпдают данные с шарда 1. Что не так с настройками или запросом? -
Задал вопрос: https://stackoverflow.com/questions/51237599/global-in-dont-return-results-from-all-nodesGLOBAL IN don't return results from all nodes
Why when I use "GLOBAL IN", I do not get results from all nodes? Example 1: SELECT * FROM tbl PREWHERE EntityID GLOBAL IN ( SELECT EntityID FROM tbl PREWHERE EntityID = 'value' ) Exa...
-
Joined. -
А что происходит с MATERIALIZED views когда исходная таблица из запроса меняется?
-
дайте CREATE TABLE всех таблиц и представлений, тогда будет понятней
-
через pastebin какой-нибудь
-
> We don't recommend using POPULATE, since data inserted in the table during the view creation will not be inserted in it.
А как лучше всего достигать consistent views, если POPULATE не позволяет этого, а без него только новые данные попадают в view? -
останавливать запись в таблицу при POPULATE
-
а это можно сделать в СН?
-
Мы изначально приняли решение, что все записи идут через кафку с одним универсальным сервисом-консюмером, который пишет в кх, и я с тех пор только радуюсь этому - подобные ситуации вообще не составляют проблемы. Рекомендую -
В смысле, мы просто останавливаем консюмер, делаем мейнтенанс и дальше продолжаем
-
так а если этот 1 сервис не справится?
-
Консюмеры масштабируются горизонтально
-
@milovidov_an а какой юзкейс многоуровневого шардирования?
-
так всё-таки масштабируются, а не один
-
у нас так же, но тогда нужен глобальный лок для всех consumer-ов. Так же, views создаются вне consumer-ов, аналитиками
-
@Imaskar имеется в виду сервис как логическая единица. Нет других источников трафика в кх, кроме кафка-консюмеров.
-
@bsideup в смысле лок? Между консюмерами одной группы записи раунд-робинятся
-
Можно аналитикам выдать строго контролируемую кнопку “остановить запись” (со всеми предосторожностями), которая будет их всех останавливать. Хотя, наверное, создание вью - не такая уж и частая операция, можно по договоренности это делать.
-
люди а подскажите оптимальную последовательность полей в индексе. Если было бы строгое равенство при поиске то все понятно но тут и диапазоны итд, нужно минимизировать индекс скан. условие where такое: WHERE event_date IN (constDate1, constDate2) and event_datetime >= constDateTime1 and event_datetime<=constDateTime2 and event_name in (constString1, constString2)
-
по "обычным" реляционкам и если бы не было event_date я бы сделал event_name первым, выполнял бы 2 запроса со строгим равенством event_name и собирал бы их через union all т.е.: where event_name=const1 and eventr_datetime between .... UNION ALL ... where event_name=const2 and eventr_datetime between ....
-
Здесь достаточно хорошо расписана логика работы индексов
https://groups.google.com/forum/#!searchin/clickhouse/%D0%B8%D0%BD%D0%B4%D0%B5%D0%BA%D1%81%7Csort:relevance/clickhouse/eUrsP30VtSU/p4-pxgdXAgAJ -
а что именно некорректно?
-
почему?
-
результат вызова агрегатной функции при группировке по пустому туплу
-
по идее это uniqExact(visit_id) AS visits без группировки по page
-
тогда возможно, что один из юзеров на 3 страницы заходил, остальные по однй. и тогда сходится
-
этот же селект сделайте без GROUP BY page
-
должно быть 4
-
А зачем их вместе-то устанавливать?
-
Всё ж разные сервисы
-
Рад был помочь :)
-
а разве за счёт схождения сетки на полюсах там не особые правила расчёта? tile38 говорит об этом явно. тогда если поменять местами, могут быть и расхождения.
-
А что это вообще такое? У вас нет презентаций или видео про это? Я пытаюсь понять, как это работает, по упоминанию в документации и пока не осилил)
-
Можно только руками подчистить базы после удаления.
-
Обычно в /var/lib/zookeeker всё лежит.
-
Если требуется не удалить, а получить свежеустановленный зукипер - достаточно остановить, удалить базы (у меня лежат в /var/lib/zookeeper/version-2) и потом запустить.
-
Лично мне это понадобилось только когда у кластера съехала крыша (неправильно расчитал требуемый объём памяти) и его содержимое пришлось восстанавливать из бекапа, выбирая узел с самым последним сбекапленым содержимым и очищая остальные...
-
Joined. -
Joined. -
а где можно список изменений глянуть? -
yandex/ClickHouseClickHouse is a free analytic DBMS for big data.
-
спасибо
-
так гораздо больше :) но удаления пока нет?
-
👍
-
всем привет, запрос возвращает значения колонки
1
2
3
4
можно сделать так, чтобы вернулась одной строкой: 1,2,3,4?
тк нужен по сути хеш последовательности -
то что надо, спс
- 10 July 2018 (119 messages)
-
Всем привет. Подскажите пожалуйста. У меня есть данные в json по типу
{"number":1,"string":1}
{"string":9,"number":2}.
Мне нужно их разложить в следующем виде:
number,1
string,1
string,9
number,2
Искал в доке функции для работы с json или регулярками, но ничего подходящего не нашел. -
/clickhouse
-
файрволлом лишнего не прикрыто? В частности, коннект с/на соседний сервер. И на соседнем сервере.
-
Ошибка единичная или постоянная ? -
Кто нибудь подскажет почему так рапарсилась CSV строка, проблема возникает именно с полем типа DateTime когда оно имеет пустрое значение
-
но она у вас наверно первичныйключ, и не должно быть пустым?
-
по-моему проблема уже в 33 строке, даже раньше
-
потому что он String (не наллабл) распарсил как эмпти, а потом строку из тучи запятых выдал
-
так начала не видно. там колонка Nullable(DateTime), в которую пришёл null? а если поставить кавычки двойные?
-
нет, это не первичный ключ
-
проблема именно в строке 33, про нее и спрашиваю
-
Запустил команду удаления на реплицированой таблице, в system.mutations появилась команда, parts_to_do упало до 1568 и дальше не идёт. В логе КХ ничего криминального нет. Что может быть не так? Где-то ещё можно посмотреть что с операцией удаления?
-
вставка работает корректно, если в поля с типом DiteTime вставить дату, с кавычками не работает
-
Простой пример при котором вставка пустой даты не работает, может кто ни будуть подсказать почему так происходит
CREATE TABLE apps (
date Date,
name Nullable(String),
birthday DateTime
) ENGINE MergeTree PARTITION BY (date) ORDER BY (date);
INSERT INTO apps FORMAT CSV 2018-01-01,,; -
в этом примере DateTime не указано как nullable
-
это не влияет, в доке написанно что при отсутсвтие значение у поля DateTime будет использованно дефолтное значание
-
так в таблице не задано дефолтное
-
и тут в csv строке именно null. некоторое время назад проверял, и кликхаус не заменял null на дефолтное
-
INSERT INTO apps FORMAT CSV 2018-01-01,; а вот так сработает?
-
документация говорит следующее
Если выражение для значения по умолчанию не указано, то в качестве значений по умолчанию будут использоваться нули для чисел, пустые строки для строк, пустые массивы для массивов, а также 0000-00-00 для дат и 0000-00-00 00:00:00 для дат с временем. NULL-ы не поддерживаются. -
думаю, проблема именно с парсингом, а не вставкой в таблицу. да, таблица поддерживает. но парсинг строится на описании таблицы и работает дальше по нему.
-
насколько я помню, что бы указать null можно сделать вот так
INSERT INTO apps FORMAT CSV 2018-01-01,,\N; -
и это рабочая схема, но мне не подходит
-
проьлема точно в парсинге, я так понимаю что ожидается именно дата и ни чего другого
-
Всем привет. Подскажите, а можно как-то ускорить запрос OPTIMIZE TABLE table_name PARTITION $date FINAL
Потому-что когда происходит эта операция постоянно валятся <Error> ServerErrorHandler: Poco::Exception. Code: 1000, e.code() = 104, e.displayText() = Connection reset by peer, e.what() = Connection reset by peer -
Коллеги, добрый день! Есть кластер из 3 шардов по 2 реплики + еще одна нода, на которой есть распределенная таблица смотрящая на эти шарды. Подскажите имеет ли смысл настраивать zookeeper на машине с Distributed таблицей? Кроме нее ничего на ноде нет. И как настроить репликацию на уровне шардов,а не только реплик? -
этот запрос вряд ли получится ускорить, при FINAL он же в любом случае будет все данные в партиции шерстить и пытаться схлпнуть. Диски побыстрее поставить...
-
Для Distributed не нужен zookeeper. А что значит репликация на уровне шардов?
-
см. countIf -
Все вопрос отпал, спасибо
-
Можете уточнить как эти параметры влияют. Я их меняю, но не вижу разницы, в логе по прежнему сыпится
ReplicatedMergeTreeQueue): Not executing log entry for part 20180119_20180122_0_6_1 because source parts size (43.08 MiB) is greater than the current maximum (4.45 MiB)
И команду удаления не проходят -
коллеги а как то можно дать доступ только к одной БД в КХ ?
-
<allow_databases>
<database>telegraf</database>
</allow_databases> -
Правда, system всё равно доступна, как и список БД.
-
ПОдскажите, обязательно ли в запросе insert into ... select ... результат select должен поместиться в memory limit ? -
спасибо
-
а какой тип у последнего столбца ?
-
И произойдет ли вставка, если запрос сфэйлится по памяти?
-
ну скопируйте данные ее , но вообще это что то странное
-
Я пробовал с простой фильтрацией по одному индексному и одному не входящему в индекс полю.
Упало по памяти -
Я же тоже помню, что память не должна сильно использоваться
-
А в какую сторону начинать копать, если периодически натыкаемся на "Another quorum insert has been already started"? При этом не системно, выявить закономерность не получается пока.
-
И я правильно догадываюсь, что это может быть следствием попытки записать что-то до того, как подтвердился кворум предыдущей записи?
-
неа, обычный, из MergeTree в ReplicatedMergeTree
-
Хм, а что лучше? Мап выглядит красивее, почему вы его выделили как "в лоб"?
-
Спасибо за разьяснение!
-
Joined. -
localhost:8123
-
а, https
-
тогда не думаю.
-
Но при этом в доке: As there is no quorum acknowledgment of inserts, just-inserted data might be lost if one node fails.
Вроде бы понятно, но ошибка выше очень смахивает на недо-ack. -
Добрый день. Удалось ли решить эту проблему? Возможно ли достать вложенные атрибуты в описании словаря?
-
можно
-
Покажите запрос создания таблицы и сам запрос
-
Если я правильно все понял, вам вообще не нужно юзать prewhere, все поля из условий есть в индексе, prewhere отсекает данные, по которым нет индекса.
-
Например, вы дополнительно указываете type=2 в prewhere, которого нет в ключе, и prewhere просто отсекает другие type, а потом по type=2 уже начинает работать where
-
Если не ошибаюсь, поправьте если что
-
Какой ужас
-
Верните мне SQL из 2007
-
Почему 2007? Не было ж стандартов этого года.
-
зато сентябрь горел
-
Joined. -
create table test.test(a UInt64,b UInt64) Engine=MergeTree partition by a order by tuple ();
insert into test.test select round(number/1000000), throwIf(number=8000000) from numbers(15000000);
select count() from test.test
7340032
drop table test.test;
create table test.test(a UInt64,b UInt64) Engine=MergeTree partition by a order by tuple ();
set max_block_size = 15000000;
set max_insert_block_size = 15000000;
insert into test.test select round(number/1000000), throwIf(number=8000000) from numbers(15000000);
select count() from test.test
0 rows in set.
правда max_block_size наоборот, увеличивает расход памяти. - 11 July 2018 (132 messages)
-
На самом деле эти параметры позволяют чуть меньше ушатывать сервер при insert select, обычно этого достаточно. Эта запись в логе означает что, условно, сейчас работают несколько тредов на мерж которые суммарно превышают max_bytes_to_merge_at_min_space_in_pool, там немного сложнее, но примерно так. Как только будут ресурсы сервер эти куски помержит. Если критично, можно копаться дальше, если нет то можно понизить уровень логирования с debug на какой-нибудь более приемлемый.
-
Т.е. они влияют косвено
-
Таких записей в логе много, и судя по всему из-за этого у меня мутация зависает примерно посередине. Вот и хочу разобраться как делать INSERT INTO чтобы таких больших блоков не появлялось
-
CREATE TABLE log.AggregateEventsLog (
SysRowDate Date,
SysRowKey FixedString(36),
EntityID FixedString(36)
...
) ENGINE = Distributed(central, 'log', 'EventsLog')
CREATE TABLE log.EventsLog (
SysRowDate Date,
SysRowKey FixedString(36),
EntityID FixedString(36),
...
) ENGINE = ReplicatedMergeTree(
'/clickhouse/tables/{shard}/EventsLog',
'{replica}',
SysRowDate,
(EntityID, SysRowKey),
8192
) -
Товарищи, нигде в документации не нашел информацию о том могут ли в репликами быть разные версии кликхауса? Например такой кейс возможен при обновлении
-
вроде в докее было написано что не могут
-
насколько помню раньше точно не могли
-
и это на мой взгляд правильно
-
а как обновлять кластер тогда? весь разом? это было бы странно
-
обновляем по очереди проблем нет
-
ну реально даже если репликация не работаеет на время обновления данные подтянутся как только оно закончится
-
а это реально быстрый процесс
-
Всем привет, может сталкивался кто-то, добавлял табличку ReplicatedMergeTree на одной из нод, таббикс повис, а после рестарта стали валиться ошибки вида
2018.07.11 09:36:57.253583 [ 1 ] <Warning> ZooKeeper: Error on attempt 0: connection loss. Retry
2018.07.11 09:37:07.254277 [ 1 ] <Warning> ZooKeeper: Error on attempt 1: connection loss. Retry
2018.07.11 09:37:17.257471 [ 1 ] <Warning> ZooKeeper: Error on attempt 2: connection loss. Retry
2018.07.11 09:37:17.259287 [ 1 ] <Error> Application: zkutil::KeeperException: connection loss, path: /clickhouse
После это CH падает. -
Блин, опяь хаки :(
Было бы круто если б можно было параметром взять лок на исходную таблицу -
на всех нодах падает? судя по всему что то сильно сломалось в зукипере, проверьте есть ли там пути кх
-
Другие не трогал пока, одну ноду мучаю
-
ну проверьте с нее коннект до зукипера через телнет
-
достаточно ведь лочить мерджи, а не запись в таблицу. тогда можно будет точно знать, из каких партов осталось докинуть данные
-
мерджи и создание новых партов*
всё валить в один новый парт. вью проинициализировать из старых + текущих. потом снять лок на парты. всё. -
У нас как раз юзкейс где можно остановить запись т.к. стримим из кафки, а вот каждому аналитику объяснять как делать заполнение после создания вьюшки - это боль
-
на плюсах не пишу(
хотя возможно стоит начать -
Аналогичная проблема с крестами :D
-
Угу, на нашем объёме это минуты, плюс они не меняют структуру, они заводят под себя вьюшки, этакий self service
-
Eventual consistency здесь ок, а вот матвьюшки очень нужны т.к. исходный поток - события юзера, где потеря одного события может полностью исковеркать результат :(
-
Господа, а кликхаус из коробки умеет мониторить и показывать состояние кластера?
-
смотря что вы имеете в виду
-
На каждом сервере есть таблицы в system
-
Ну задетектить что нода упала
-
Мы это делаем другим способом
-
zabbix например
-
Он ещё и в нотификацию умеет
-
Joined. -
Joined. -
можно так
select toString(round(1234.5678, 2)) -
Мы ансиблом рулит, он генерит конфиги кх
-
Самописное что-то?
-
нет ансибл не самописный
-
я имею в виду модули конечно же)
-
вроде не использую
-
там же конфиг простой
-
пару циклов и готово
-
ну и в целом у нас по себе кх простой
-
, -
Joined. -
Увы, нельзя. И это засада, если всё строится на обязательной кворумной записи, как у нас, например - больше одного потока записи не пустишь. И воркеры, которые иногда просыпаются чтобы внести корректировки в данные, в результате иногда спотыкаются - приходится это учитывать и повторять операцию.
-
Есть 2 таблички одинаковой структуры с частично дублирующимися записями, как скопировать данные в третью, но что бы все строки были уникальными. Кто знает? -
CollapsingMergeTree ?
-
или insert as (select ... union select ...)
-
так если union all, то дубликаты не удалятся
-
так группирнуть надо
-
чтоб дубликаты схлопнуть
-
таблички GraphiteMergeTree
Спасибо, буду пробовать. -
Спасибо обоим. Ушёл думать о том, как жить дальше.
-
Пока parts_to_do не опуститься до 0 и is_done не станет 1
-
а кто нибудь расширял зукипер с 3 нод до 5 ? нет ли каких то проблем?
-
Joined. -
Есть способ выполнить OPTIMIZE TABLE, который падает по памяти?
Code: 241. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Memory limit (for query) exceeded: would use 12.11 GiB (attempt to allocate chunk of 131072 bytes), maximum: 12.11 GiB: (while reading column originalUrl): (while reading from part /clickHouse/clickhouse/data/default/prodstats/20160715_20160715_61128_61128_0/ from mark 0 with max_rows_to_read = 8192).
Размер указаного парта на диске 2.1 Мб -
Я на такое поведение натыкался при обычных запросах, что-то типа
SELECT url FROM table WHERE id = 1 LIMIT 1
и такой запрос выедал 10 Гб и падал. Хотя видно что вернуть должно одну запись. И куда делись 10 Гб - не ясно (до сих пор) -
может парт битый? select <не помню как размер посмотреть> from prodstats where _part = '20160715_20160715_61128_61128_0'
-
или в system.parts на этот кусок глянуть
-
select sum(cityHash64(originalUrl)) from default.prodstats where _part = '20160715_20160715_61128_61128_0'
-
-
да по идее норм
-
у меня просто когда был битый парт, не хватало оперативы сделать такой селект
-
я бы попробовал отцепить этот part и сделать optimize без него
-
ну или просто сделать detach partition и attach partition, может прочекает этот кусок, если что отцепит, скачает с другой реплики...
-
Таблица prodstats типа ReplacingMergeTree, сегодня перезалили большой кусок данных за несколько месяцев из прошлого, залили не сильно большими кусками и словили ошибку "Too much parts". Стали выполнять ручками OPTIMIZE TABLE и словили указаную выше ошибку
-
У нас нет репликации (похоже это очередной сигнал сделать её)
-
Спасибо, буду пробовать
-
Это больше всего и напрягает. Спасибо
-
Я уже удалил парт, завтра перезалью и посмотрим что будет
-
Joined. -
Можно ли применить bitOr в качестве агрегатной функции к столбцу? Или к массиву?
-
“это фича, не баг” - есть реплицируемая таблица, есть партиции, две реплики, если на одной из реплик сделать alter table … detach partition … запрос реплицируется без проблем, далее alter table … attach partition … - локально отработаеть норм, а на соседней реплике данных так и не будет. Оказывается подобные запросы надо делать на лидере. Вопрос в том, почему detach/attach работают так не предсказуемо (хоть бы ошибку показал)? 🙂 -
ой, если потом на лидере выполнить alter table … attach partition … данные будут реплицировать по новой и на соседней будет задваиваение данных 🙂 это ж так круто!
-
version 1.1.54390
-
Ну вроде все логично, кх не может знать есть у вас в детаче на реплике данные или нет
-
я потому и написал “это фича, не баг”. это такие тонкости КХ о которых надо знать, ибо будет очень весело это потом это исправлять..
-
Ну в этом плане они пока что логичные
-
с другой стороны так можно данные легко попортить. в доке об это сказано не очевидно. ИМХО запретить делать диттач не на лидере
-
А какая разница где сделать детач?
-
чтоб понимать где потом делать аттач 🙂 ну или в документации описать внятно
-
А какая разница где сделать аттач?
-
Атач разве реплицируется как команда?
-
я выше описал к чему это может привести
-
реплицируется если сделать на лидере, дитач можно делать где угодно
-
Ну я не понял как это может привести к задваиванию данных, а если реплицируется то по идее задваивания данных быть не должно
-
Кх просто увидит что парты такие уже есть и не будет реплицировать
-
в тестовой среде у меня выходит на одной реплике 2k зписей, на другой 1k, ранее везде было 1000
-
я думаю разработчики могут прояснить проблему и почему это работает так как работает.
-
я конечно могу замарочится написанием скрипта эмуляции поведения, но только если разработчики скажу “что то тут не то и это баг” 🙂
-
В доке есть такое
ALTER TABLE [db.]table DETACH PARTITION 'name'
…
The query is replicated – data will be moved to the 'detached' directory and forgotten on all replicas. The query can only be sent to a leader replica. To find out if a replica is a leader, perform SELECT to the 'system.replicas' system table. Alternatively, it is easier to make a query on all replicas, and all except one will throw an exception.
Но исключения нет ни в каком случае 🙂 похоже таки на баг -
Ну с детачем понятно
-
Проблема же не в нем
-
А в аттаче
-
А они в любом случае появлятся будут, тут можно смотреть либо в сторону увеличения max_bytes_to_merge_at_min_space_in_pool либо уменьшения количества тредов для мержа. По сути это нормально что он откладывает мержи и ждет появления ресурсов. Насчет мутации не совсем понял, почему она должна зависить от insert'a?
-
так себе идея, можно на время отсановить запись и запустить insert into select и включить запись )
-
А вот и я не знаю почему мутация не проходит, если делать её по таблице, заполненой через INSERT INTO
-
Если есть пример для воспроизведения то, я думаю, @ztlpn с удовольствием посмотрит )
-
Попробую сделать
- 12 July 2018 (251 messages)
-
Joined. -
Коллеги, привет.
Есть около 1,5ТБ данных, запись и чтение каждую секунду, но небольшими партиями.
Какие будут требования по железу?
Понятно, что никаких HDD, только SSD.
Два CPU, вопрос по объему RAM, читал что CH очень любит память. -
И второй вопрос, по поводу репликации мастер-мастер, насколько повышенные требования к каналу между ДЦ?
-
Никаких
-
Это полностью зависит от вас. Для самого КХ памяти нужно немного. Остальное - память для запросов. Или должно целиком влазить или применять до определенной степени хитрости. С телефона неудобно подсказать, но поищите здесь по сообщениям что-то вроде query limit, будет ссылка на презентацию.
-
У нас такой объем на хдд нормально лежит, память наверно больше зависит не от данных а от запросов
-
У кх только один тип репликации, канал не важен, что не подтянулось сейчас, подтянется потом.
-
По памяти у нас кстати ноды кх по шесть гигов памяти или по семь
-
Доброе утро, в документации CH есть описание конфиг-файла ZK zoo.cfg, но там не прописаны ноды:
#server.1=xxx.xxx.xxx.xxx:2888:3888
#server.2=xxx.xxx.xxx.xxx:2888:3888
Если их не указывать, ZK запускается в режиме standalone. Соответственно где прописывать ноды? Только в конфиге CH? -
можно положить отдельным файликом в config.d
-
А, пардон, вы про сам zookeeper
-
Если нужен кластер - таки надо прописать все ноды в каждом конфиге зукипера
-
Что-то типа такого:
server.1=192.168.110.101:2888:3888
server.2=192.168.110.102:2888:3888
server.3=192.168.110.103:2888:3888 -
Спасибо, проблема в том, что при указании серверов кластера ZK, zk-сервер не стартует...
-
А они друг для друга доступны вообще?
-
Только 2 из трех, без кворума не стартанет вообще?
-
Ну а накой кластер без кворума?
-
спасибо, сейчас проделаю все тоже самое с кворумом
-
кстати, у зукиперов должны быть разные id, иначе таки да, друг друга не признают
-
И 3 для зукипера мало, лучше 5 хотя бы -
А с чем связано количество?
-
ну с тем что из трех может отвалиться один а из пяти два могут отвалиться и система будет работать , если в кз нет кворума или он упал полностью блокируется записть в кх
-
А... Я почему-то про быстродействие подумал.
-
Быстродействие, наоборот, уменьшается
Но что вам это абстрактное быстродействие?
Главное, на сервера с КХ не кладите зукипер -
Хотя да, соблазн положить рядом велик :)
-
А можно поподробнее? Собственно так и хотели сделать, на серваках с CH развернули ZK. А как у вас реализовано?
-
ZK отдельно
-
Суть в том, что CH ест все доступные ресурсы. Если ZK не будет хватать ресурсов, он будет тупить, за ним сразу будет тупить CH.
Это на графиках у нас выражалось в пиках снижения произвдительности/недоступности -
ну или зажмет по памяти и его убьет оомкиллер что полностью парализует кластер
-
Ну это вариант, скорее, из невероятных.
Из опыта, быстрее упадет CH, если не тюнить OOM score -
Т.е. если у меня 6 нод с CH разворачию столько же под ZK?
-
нет
-
кх отдельно зк отдельно
-
Под ZK есть смысл разворачивать нечетное кол-во нод
-
5 или 7
-
зк должно быть не четное количество
-
или 3
-
или 9
-
Можно и чётное, но смысла нет
-
Т.к. кворум = N/2+1
-
ну при четном будут проблемы с кворумом
-
нет, не будет, он себя будет вести так, так будто у него N-1 нод
-
Ок, тогда еще вопрос, сколько нужно ресурсов под ноды ZK? Хотя бы примерно.
-
ну у меня крутится на одном гиге оперативы и одном ядре
-
но и данных в кх у меня немного
-
сам зк потребляет чуть меньше 200 мб
-
данных всего поллтора тб
-
ну и ложу я их правильно пачками и редко
-
У меня - итого полгига памяти занято на любом узле зукипера + база в 4.6Гб, но я уменьшил количесво логов и интервал сброса. По диску точно не стоит ужиматься хотя бы на первое время.
-
В самом зукипере сейчас порядка 130к записей
-
Спасибо, т.е. я сейчас делаю 5 нод под ZK, прописываю их в config.xml в CH и zoo.cfg на всех нодах ZK,а после этого просто создаю Replicated* таблицы в КХ? Ничего не упустил из виду? На нодах с CH ведь все равно нужны клиенты ZK?
-
не нужны клиенты зк
-
кх умеет сам в них ходить
-
ммм, понятно
-
а ни у кого не умирал полностью зукипер?, что делать если пришлось его поднять с нуля ? какой лучше сценарий применить для востановления ?
-
восстановить одну ноду из последнего работающего бекапа, у остальных прибить базу.
-
Потом долго и нудно делать attach на сброшенные партиции...
-
прибивать данные надо в зк
-
чтобы не было конфиликта данных
-
что такое рутовая нода ?
-
речь про фс или про содержимое зк?
-
рутовых нод вроде нет ни у зк ни у хк
-
а какой смысл удалять /clickhouse?
-
то есть по сути это уже и так случилось в случае падения зк глобального
-
Удалять надо БАЗУ зк. Всю.
-
Тогда узел подтянет её оттуда, где данные есть.
-
ну там по сути будут просто пустые зк и на один из них надо положить бекап
-
Удалять файлы базы перед запуском зк-неудачника
-
ну там просто на диске он хранит снапшоты
-
снапшотами вирталки
-
тупо копировать их можно
-
Так оказалось проще всего
-
да
-
кх скажет "а у меня партиции зк не соответствуют - сброшу их нафиг"
-
ну в детач просто ?
-
да, но часть партиций таки упадёт и потребуется их зааттачить на одном из узлов.
-
select * from system.functions where name = 'toStartOfFifteenMinutes'
-
Господа подскажите, а можно ли в clickhouse делать алиасы для однотипных конструкций, если да то как =)?? -
x as y
-
а можно забиндить/за алиасить visitParamExtractType =) ?
-
Select (150+150) as traktorist, (traktorist + 50 + 50 + 50) as vse
-
спасиб
-
Привет!
Обновил кликхаус с 1.1.54245 до 1.1.54388
Потребление памяти внезапно упало раз в 10, это нормально? -
зависит от абсолютных значений
-
хотя я вру, это только с VIRT так
-
ее добавили Fri Dec 22 12:36:39
-
а релиз твой вышел Dec 20, 2017
-
Еще вопрос, настройки merge_tree
max_parts_to_merge_at_once и max_parts_to_merge_at_once_if_small в новой версии заменены на что-нибудь? -
А как думаете, в какое место в рейтинге КХ можно здесь ввернуть Apache Kudu? -
-
Apache Kudu - Fast Analytics on Fast Data
A new open source Apache Hadoop ecosystem project, Apache Kudu completes Hadoop's storage layer to enable fast analytics on fast data
-
На русском
https://en.wikipedia.org/wiki/Apache_KuduApache KuduOpen Source Software
-
Вертику с чем сравнивали - с КХ или с Куду?
-
Да надо бы. Говорят, они из пару месяцев назад в бету вышли
-
Ябыпосмотрел
-
Про SQL согласен, а с масштабируемостью то что не так )
-
У нас с ним нет особых проблем
-
тоже 12
-
4 шарда в репликейшен фактор 3
-
у нас 15*2ДЦ на кх, полет нормальный
-
поделитесь?
-
Я вам, конечно, тоже могу жути ещё той поднакидать, но оно либо решаемо, либо от моих кривых рук
-
У нас и с вертикой, кстати, тоже проблемы были
-
Joined. -
может отдельный чат организуете ClickHouse vs Vertica vs KUDU?
-
именно
-
У вертики самый большой минус в том, что исходники закрыты и туда, если что-то нужно, ничего не дописать
-
и не почитать
-
Joined. -
некоторых еще смущает цена
-
даже яндекс смущала )
-
ентерпрайзу понятно что как бы пофиг
-
И нас смущала и еще есть ряд людей которых смущала
-
ну там просто такой ценник что за все железо проекта мы отдаем меньше чем за лицензию вертики , а кх это малая часть проекта
-
Зависит от методики проведения тестов. На плоской таблице без джойнов КХ обычно быстрее Вертики в два раза (при прочих равных, то есть одинаковая сортировка, и нет большого числа колонок, которые можно супер-эффективно заэнкодить на Вертике). С джойнами Вертика может быть быстрее.
-
Доброго дня. Знакомлюсь с кх, подскажите пожалуйста. Чтобы настроить реплику из 2-х нод достаточно подключить зукипер с replicated талблицами? Или также нужно в конфиге прописать шард с адресами реплик на каждой ноде?
-
в конфиге шард надо прописывать если хотите юзать дистрибьтед таблицы, в вашем случае они не нужныможно и не конфигурить
-
Понял, спасибо большое!
И еще вопрос по зукиперу. В конфиге кх нужно прописать все ноды кластера зукипера? или можно использовать балансер между кх и зк? -
а какой смысл в балансере
-
?
-
там идёт соединение кх сразу ко всем узлам из конфига, балансер не нужен, достаточно прописать нужное куда надо
-
ну просто балансер у вас в итоге станет единой точкой отказа
-
какой в этом смысл
-
если у вас много зк в разных дц то может какой то смысл и есть нно опять таки это крайне сложный конфиг
-
Я прописал все ноды кластера зк, но при отключении одного узла зукипера кх уходил в режим чтения и переставал писать в таблицы. Поэтому решил провести экперимент с балансером, как единственным узлом зукипера в конфиге кх.
-
это не будет влиять
-
вы криво настроили зк
-
либо у вас два узла зк
-
а для зк надо больше половины нод для кворума
-
два двух нод зк это 2
-
то есть надо зк иметь 1 -3 -5 -7 -9 и тд
-
Не обязательно четное, ПРОСТО КВОРУМ ТАМ ПОЛОВИНА + 1
-
всего 3 узла. Один отключаю (остается 2 - кворум), и подключаю кх, потом включаю 3-й узел кластера, и отключаю один из предыдущих (лидер меняется с одного узла на другой). в этот момент запись прекращается.
-
случайно капс жамкнул, сорри
-
Перед отключением второго дожидаетесь синхронизации зк?
-
на три секунды или что ?
-
или вы одновременно выключаете и включаете ?
-
друг за другом, один включил - другой отключил. Подскажите, пожалуйста, как отследить статус синхронизации в зукипере?
-
в логах смотреть надо. Правда, что там по этому поводу должно писаться уже ен помню.
-
Спасибо еще раз) стало понятнее в какую сторону двигаться
-
ну это печаль
-
Просто я только повстречал этих друзей) пытаюсь разобраться в логике работы связки, к сожалению в документации не нашел информации про это
-
ну логика она слава богу общая для всех
-
логично) я имел ввиду процесс хождения данных от кх, принимающего запросы, на реплику через зукипер
-
не могу запустить кликхаус из-за ошибок вида "Cannot create table from metadata file /var/lib/clickhouse/metadata/database/table.sql, error: ZooKeeperImpl::Exception: Session expired"
на старой версии вроде работало терпимо
Как с таким бороться? Есть какой-то таймаут зукипера? -
ну он не может видимо подключиться к зк
-
Joined. -
попробуйте телнетом работает ли коннект ок
-
20+ старых кликхаусов прямо сейчас работают нормально, а новые не хотят стартовать
-
Зк-то работают, проверял
-
Тогда тем более, почему оно до сих пор не в сравнении?
-
@milovidov_an
Алексей, не хочешь добавить в бенчмарки Apache Kudu?
https://clickhouse.yandex/benchmark.html -
вроде этот момент поправят в ближайших версиях
-
Joined. -
Что такое ета
-
Тут же опенсоурс как сделают так сделают
-
Удаление вообще обещали в первом квартале а появилась аж в третьем в итоге
-
Всем привет, я немного подзастрял, и буду очень благодарен за пинок в нужном направлении, допустим я пишу в Clickhouse статистику по http кодам, в виде инкрементных каунтеров и хочу посчитать rate при помощи runningDifference() если я беру к примеру и ставлю в where http_code = code и считаю по одному коду, все отлично, но если кодов больше 1 никакой group by не спасает, и функция считает дельту между каунтерами разных кодов. -
куда смотреть?
-
последнее не вариант, над первым думал
-
не хотелось генерировать лишний трафик, реквестов достаточно много, ладно, в любом случае спасибо, если красивых вариантов нет, может придется писать без инкремента
-
Ну он же опенсоурс можно менять как хочешь
-
к сожалению если это нельзя построить динамически вокруг произвольного количества кодов не прибивая гвоздями ничего, то тоже не вариант
-
инсерты не поштучно конечно, но точек откуда приходят данные много и они нагружены, собственно для этого и задумывались когда то инкремент каунтеры "на местах", чтобы уменьшить "обьем" передаваемых метрик
-
Joined. -
кстати, господа, объясните мне такой вопрос.
Есть тип таблиц Buffer, но кого не почитаешь, все в качестве очереди используют либо каффку, либо тупо в MySQL вставляют, откуда пачками уже отправляют в КХ.
Есть какие-то минусы использования Buffer?
То что хранится в памяти меня устраивает -
ну, применительно к моему случаю, можно, конечно и так попробовать, 1 поток == 1 файл
-
у меня в рамках потока конкуренции нет
-
Joined. -
у метрики в логс апи нигде нет ключевиков??
-
Кто такие ключевики? -
которые в другом отчете есть
-
Если таблица назначения является реплицируемой, то при записи в таблицу Buffer будут потеряны некоторые ожидаемые свойства реплицируемых таблиц. Из-за произвольного изменения порядка строк и размеров блоков данных, перестаёт работать дедупликация данных, в результате чего исчезает возможность надёжной exactly once записи в реплицируемые таблицы.
В связи с этими недостатками, таблицы типа Buffer можно рекомендовать к применению лишь в очень редких случаях. -
про ньюансы выше
-
Joined. - 13 July 2018 (127 messages)
-
Joined. -
SELECT query doesn't have required column -
Кто-нибудь сталкивался? При джоине.
-
select terminal_id, remote_id, city from a any left join b using terminal_id, remote_id
Запрос выглядит так -
Леша, доброго дня, когда новый митап, канал с фразами простаивает
-
как то в кликхаус застримить ключевые слова с поиска и директа возможно?
-
Joined. -
Джентельмены, а есть более быстрый способо смигриовать 1.5ТБ логов с Постгреса на КХ?
-
Желательно, быстрее чем через csv :)
-
Пока нашел только https://habr.com/post/416681/Как из PostgreSQL и ClickHouse в Python много, быстро и сразу в numpy
Разбил много кружек в поисках решения для быстрого получения длинных историй цен для большого количества активов в Python. Ещё имел смелость желать работать с це...
-
возможно есть другие варианты?
-
мб подключить как словарь?)
-
ПРивет!
В логе горы ошибок вида "(StorageReplicatedMergeTree): DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageReplicatedMergeTree::LogEntryPtr&)>: Code: 33, e.displayText() = DB::Exception: Cannot read all data, e.what() = DB::Exception"
что это, и как с этим бороться? -
спасибо, понял.
Печаль, придётся колхозить -
Не понял вот этого:
OPTIMIZE TABLE Turnovers
Received exception from server (version 1.1.54388):
Code: 194. DB::Exception: Received from 127.0.0.1:9003. DB::Exception: Received from .... DB::Exception: Password required for user default.
У юзера default конечно есть пароль, но я его ввел когда залогинился в консоль... -
это вам другая нода видимо ответила
-
они же под юзером default друг к другу ходят
-
Т.е. при OPTIMIZE реплицируемой таблицы, они ещё и друг к другу логинятся?? Кластера у нас нет если что, только replicated таблицы по 3-м нодам.
Пароли/логины кстати у них одинаковые... -
вы должны пароли юзера default прописать в replica.xml, где описывается кластер
-
Хм, мне казалось, что replika.xml у меня вообще отсутствует.
Это возможно сделать в разделе <remote_servers>, где прописаны реплики? -
<replica>
<host>example01-02-2</host>
<port>9000</port>
<user>default</user>
<password>sex</password>
</replica> -
да, там и надо
-
Ага, спасибо!
-
парни, привет. А я правильно понимаю, что есть у меня есть кластер и релицируемые таблицы. И есть матвью, что из одной таблицы в другую данные собирает, вот этот матвью только на одном сервере кластера должен работать? -
У вас более одного шарда?
-
нет, один
-
Вот такая загадка:
Сделал для реплицируемой таблицы ALTER TABLE ... ADD COLUMN AddDate DateTime DEFAULT now(); (replication_alter_partitions_sync = 2)
При попытке посмотреть значение это колонки для старой строки уткнулся в эксепшн: DB::Exception: Not found column AddTime in block.
Как я понял по документации, такого быть не должно, колонка должна догенеряться при селектах, или возвращаться пустой.
WTF? -
Если данные пишутся только на этом сервере - то да.
-
А, матвью ловит же инсерты. То если пишу везде, то и матвью надо везде
-
Joined. -
Зависит от движка матвью. Реплицируемый не могу рекомендовать. А так на каждой машине отдельно можн по матвью делать. Инсерты ловят -
Joined.
-
Везде где пишите
-
Ага, я уже понял. Спасибо
-
Господа, никто не сталкивался с задачей добавить колонку и добавить её заодно в первичный ключ? По идее, для этого старые данные перестраивать не нужно, поэтому такое должно быть возможно.
-
Для нереплицируемых таблиц это возможно
-
У нас везде реплицируемые 🙂
-
В задачах есть сделать это везде :)
-
Я уже думал про то, что можно просто .sql-файл с описанием таблицы поправтиь и перезапустить ClickHouse
-
Понятно, спасибо :).
-
Так как можно понять, откуда берется "Cannot read all data"? на старой версии такого не было
-
у меня иногда такое бывает, я иду смотреть в другую реплику, там указана ошибка про конкретный кусок в таблице
-
помогает detach & attach partition с этим куском
-
походу из-за разных версий.. тогда продолжаю обновлять
-
А можно полную ошибку с трейсом и кусок лога про этот тред ( все вокруг с совпадающей цифрой в квадратных скобках?
Но скорее всего это новая известная бага - потерялось выставление таймаутов - уже починено, будет в следующем релизе -
тут похоже на такое: https://github.com/yandex/ClickHouse/issues/1818Проблемы после обновления на версию 1.1.54342 · Issue #1818 · yandex/ClickHouse
Пытался обновиться с версии 1.1.54327 на 1.1.54342 и получил множество ошибок следующего вида: 2018.01.24 12:24:59.356556 [ 5 ] DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageRe...
-
дообновлю и буду смотреть
-
было похожее. оказалось на одной из реплик случайно указал неверные хостнейм в параметре interserver_http_host. то есть одна реплика ходила за данными сама к себе, а их нет, они на соседней реплике были
-
А есть коннекторы ClickHouse к Google Data Studio?
-
Ну или кто может его написать и за сколько? )
-
а все же, можно ли как-нибудь увеличить таймаут для зукипера?
-
тупо не могу запустить сервер из-за "session expired"
-
Ребят, привет! Подскажите, пожалуйста, как можно грузить данные из hive в QH без Spark? -
к сожалению, напрямую никак
-
если совсем без скриптинга, то совсем никак :)
-
можно посохранять в JSON/TSV, потом каждый файлик пораздельно через CURL засунуть
-
А на чем можно подводить? Есть что-то готовое?
-
Подкодить *
-
Подскажите как можно получить заселектить значения в массив, пример того что хочется получить
SELECT
city_id,
array(users)
FROM session GROUP BY city_id; -
groupArray
-
спасибо
-
Привет!
Есть ли у кого-то опыт использования КХ в продакшне под Gentoo?
В руководстве КХ формулировка однозначная "Система некроссплатформенная. Требуется ОС Linux Ubuntu", но дальше идет описание установки под другие системы, включая Gentoo -
Joined. -
под генту просто никто не тестирует -
там ждут ебилдов?
-
Подскжите, пожалуйста, появилась ли возможность изменять состав полей первичного ключа MergeTree таблиц? -
давно, еще в 2017
-
на версии 1.1.54310
-
-
вот это я невнимательно прочитал...
-
🙂
-
там какой-то кейс есть, когда не меняется сортировка данных, но в целом нет, нельзя добавить удалить колонку
-
Изменение типа у столбцов, входящих в первичный ключ возможно только в том случае, если это изменение не приводит к изменению данных (например, разрешено добавление значения в Enum или изменение типа с DateTime на UInt32).
-
Что делает RESTART REPLICAS?
-
А то у меня несколько реплик только на проде, опасаюсь вот так сразу пробовать.
-
Кинь ссылку на Руру . Первый раз слышу
-
Что-то не хватило прописывания логина/пароля в репликах :(
optimize table Turnovers
DB::Exception: Received from ......:9000, 10.100.20.22. DB::Exception: Password required for user default. -
вы задали пароль для default, где-ьо его надо прописать, надо искать
-
вот смотрите
-
Просто у меня в users.xml пароль для default в хэше, а в конфиге открытый - и так не работает, он всё равно ругается и требует пароль. Вот если в users.xml тоже сохранить в открытом виже - тогда работает.
-
Нет, не мой случай. Пароль везде одинаково задан.
Спасибо, поищу ещё в чем дело. -
Собрать и использовать. основные отличия будут с init скриптами если у вас не systemd
-
подскажите кто с талкивался с переносом больших таблиц
- есть широкая таблица (~140 колонок ) в которой порядка 5 мрд. записей
- было принята решение изменить структуру таблицы ( внедрить Nested структуру для многих из колонок )
- Запрос типа INSERT INTO table_new SELECT table_from даже за месяц падает по памяти
Есть варинанты переноса данных ? -
1. создать вторую таблицу рядом, начать писать в нее параллельно со старой
2. по дням доливать данные из старой в новую -
3. когда накопится достаточно дней, переключить софт на новую таблицу
4. долить из старой в новую столько, скольк нужно, и потом старую [сбэкапить и] удалить -
на счет месяца, я погарячился, за один день не могу выгрузить
а так схема хорошая -
есть есть timestamp, можно по дню и по часу
-
а сколько данных за день в гигах и сколько памяти что не можете выгрузить ?
-
запрос съедает 10Гб
-
чего нет, такого нет
-
ну можно воткнуть больше памяти, а так да есть проблема как гранулировать для переливки данные если небольшой обьем памяти
-
понял, спасибо
-
не помогло
-
А какой у вас select? С группировкой и сортировкой? -
сортировки нет, групировка только по одной колонке, но много функции groupArray()
-
1. нет.
2. это может быть не только таймауты ( они вот тут - https://github.com/yandex/ClickHouse/commit/98f8ae3edb65f237181b4f7aa11e47154db20667).Fixed error with timeouts [#CLICKHOUSE-2837] · yandex/ClickHouse@98f8ae3ClickHouse is a free analytic DBMS for big data.
-
вот такой запрос
INSERT INTO table_new SELECT
session_id,
any(column_2),
...
...
any(column_61),
groupArray(column_62),
...
...
groupArray(column_140),
FROM table_old
WHERE date = '2017-07-10'
GROUP BY session_id; -
а как таблицу то апдейтить ?
-
А зачем апдейтить? Все равно ведь агрегировать потом при работе с данными.
-
Коллеги, подскажите плиз, новый словарь из постгресса без перезагрузки подтянется? что-то конфиг сделал, вроде даже конфиги перечитались (судя по небольшой ругани в логах) но в system.dictionaries пусто(
-
Селект не проходит, про использование диска незнаю, а как это можно узнать ?
-
Спасибо, попробую
-
🔥🔥🔥
-
-
В Бенуа будет?
-
👍
- 14 July 2018 (29 messages)
-
Не пробовали, но в планах есть
-
Делаю запрос "rename table db_name.table_name to db_name.old_table_name".
Получаю ошибку File not found: /var/lib/clickhouse//data/db_name/old_table_name
Как так? Зачем он ищет файл таблицы, которой еще нет? -
А полный трейс можно? Может быть попытка создать директорию провалилась. И какие файлы-директории есть с old в data и metadata ?
-
Joined. -
Идеально подходит ИМХО.
-
В метрике ж тоже «метрики» и «выборки по времени с аггригацией»
-
температурные измерения обычно не предполагают больших объемов данных ))
у вас десятки миллионов? -
Joined. -
гигабайты тут не канают, если есть куда их сложить 😊
-
Вот то, что 1000 метрик в секунду - может иметь значение. Там потребуется посредник, который их сложит в один батч и будет засовывать в базу большими кусками
-
CH их еще пожмет и может вообще оказаться что в нем это всего лишь 100-200 Mb 🙂
-
Огромное - это сколько?
-
Если у вас есть понимание уровней аггрегации. Т.е. например вы 100% уверены что вы при запросе за год, аггрегируете по месяцу/неделе/дню то можно рядышком поставить MAT VIEW с двидком AggregatingMegreTree и тогда у вас будет быстрая таблица с атоаггрегацией и прочими прелестями
-
а что измеряете если не секрет?
-
понятно
-
а как решаете вопрос с разнородными сенсорами?
- 15 July 2018 (1 messages)
-
https://github.com/yandex/ClickHouse/issues/2590
вот сюда посмотрите. там и пример кода есть. фикс уже выкатили рабочий, но надо либо релиза ждать, либо из исходников собиратьStrange behavior of runningDifference if the source column was conditionally modified #2590Suppose, we have this table: CREATE TABLE events ( event_time DateTime, monitor_id Int32, type Int32, event_date Date, status Int32 ) ENGINE = MergeTree(event_date, monitor_id, 8192) And this data (wait a few seconds between queries to h...
- 16 July 2018 (118 messages)
-
А здесь есть кто-нибудь, раскативший ClickHouse на c5-инстансах в AWS? Вам норм живётся, машины не висят?
-
а что с ними должно быть не так ?
-
вообще в амазоне не висят машины
-
Во-первых, у m5 и c5 была (есть?) хитрая бага, которая зимой косила ряды. Там в случае с интенсивной работы i/o машина просто висла. Мы на это напоролись, пошли форумы читать амазоновые, оказались не уникальными. Ровно та же фигня, ровно на m5/c5 у ряда контор выстрелила.
Во-вторых... Скажу словами поддержки Amazon, когда у нас за одну неделю три инстанса ушли в небеса: "железо иногда ломается". -
Т.ч. про "не висят" не надо. :)
-
хз облако как раз ориентировано на то что оно может умереть в любой момент и его надо как то подняться
-
В теории да. На практике "любой момент" не должен означать регулярные частые проблемы. И мой вопрос про актуальный опыт с c5 был именно об этом.
-
Вот мне все интересно, в каких случаях кроме резкого всплеска амазон интересен.
Как мне видится, на Кликхаус идет ровная нагрузка и под него можно планировать железо. Вам амазон был выгоднее железа или просто привычнее? -
Просто мы на нём давно живём.
-
Привет
Сервер упал с таким сообщением в логе:
https://pastebin.com/cbAtw3b1 -
это с чего он так?
-
...или с оплатой траффика) Что нас пока останавливает
-
Там межзональный дорогой, остальные терпимо. Но зависит от, конечно.
-
Да, конечно, все индивидуально. У нас просто при расчетах какие-то негуманные числа получались. Но это уже оффтоп
-
какая версия? какие были запросы? как часто бывает?
-
да это при запуске один раз повторилось, на всякий случай лог скинул
версия 1.1.54388 -
> В случае AWS об этом голова не будет болеть
вот эта фраза всё таки у меня вызывает легкий скепсис =)
Не, бесспорно пара минут на запуск в амазоне против 3 дней ожидания кастомной конфигурации — это разница.
Но вот сколько будет стоить двухголовый E5 с 8 SSD на 500 Гб в амазоне? Полагаю, что сильно дороже, чем беру я -
Яндекс скоро облако с ClickHouse выкатит, наверное подешевле будет
-
Сильно это мягко сказано. Один порядок разницы будет точно:)
-
у кого то большая маржа , кому то нужны не такие дикие конфиги, кто то умеет хорошо автоматически расширять и сжимать ресурсы чтобы экономить
-
вот я именно в контексте кликхауса.
Плюс как ни верти, а хочется покупать не только абстрактную бесконечную масштабируемость, а ещё и хорошее время отклика -
Коллеги, подскажите плиз, никак не могу загрузить внешний словарь из pgsql, dsn создан по ману, через isql туда нормально заходит. конфиг сделал с именем xxx_dictionaries.xml, положил в conf.d, при изменении КХ его перечитывает (в логах есть упоминания), ошибок нет, но и в system.dictionaries пусто. Куда посмотреть еще? КХ перезагружать очень уж не хочется
-
аа, вот в чем дело, dictionaries_config дифолтный :) Спасибо
-
https://pastebin.com/7ufK6MNK конфиг, dictionaries_config дефолтный, в лог сыпет <Warning> ExternalDictionaries: /etc/clickhouse-server/dnl_dictionary.xml: unknown node in file: 'listen_host', expected 'dictionary' и тому подобное, как будто структура xml порушена, уже голову сломал - не могу понять где
-
Так вообще не реагирует на файл словарей :) Чудеса
-
Joined. -
config.xml дифолтный, не трогаю его
-
Всем добрый день! А кто чем мониторит ch? -
так я могу положить кофиг словаря наверх, и он его видит - но ошибки пишет
-
icinga - рабочие процессы, память, диски, grafana - уже более детальные данные
-
более детальные - самописные скрипты, которые выдергивают из кх метрики, и рисуем в графане?
-
Коллеги, подскажите пожалуйста
есть кластер кликхауса с 2 шардами и двумя репликами
создана distributed таблица
в случае если один из четырёх инстансов кликхауса недоступен, то запись в distributed таблицу через гошный клиент github.com/kshvakov/clickhouse не работает
в качестве ошибки пишет 'dial tcp 127.0.0.1:9012: connect: connection refused'
при этом в другой инсталяции кликхауса при потере одного инстанса запись продолжается без ошибок
подскажите пожалуйста по какой причине такое может происходить?GitHub - ClickHouse/clickhouse-go: Golang driver for ClickHouseGolang driver for ClickHouse. Contribute to ClickHouse/clickhouse-go development by creating an account on GitHub.
-
В preprocessed помимо нужного еще куча всего дописывается из других вставок из conf.d (конф зукипера и прочее). на вот эти лишние параметры как раз и ругается конфиг-парсер
-
Files used to generate this file:
/etc/clickhouse-server/dnl_dictionary.xml
/etc/clickhouse-server/conf.d/listen_hosts.xml
/etc/clickhouse-server/conf.d/logger.xml
/etc/clickhouse-server/conf.d/memory.xml
/etc/clickhouse-server/conf.d/settings.xml
/etc/clickhouse-server/conf.d/zookeeper.xml
/etc/metrika.xml --> -
да все так
-
да
-
В alt_hosts пропишите все ваши сервера, и если какой-то из них будет недоступен клиент попытается найти рабочий сервер
-
и симлинк пробовал и файл - без разницы
-
сейчас симлинков нет вообще, только файлы. дифолтные конфиги + conf.d с некоторыми настройками
-
самое смешное в том, что они все прописаны
tcp://127.0.0.1:9011?alt_hosts=127.0.0.1:9012,127.0.0.1:9013,127.0.0.1:9014 -
Все на 127.0.0.1 ? ) Тогда надо смотреть что не так, у нас оно отрабатывает как надо
-
Попробуйте выставить debug=1 там в stdout будет отдаваться отладочная информация
-
может ли это быть из-за того что я четыре транзакции одновременно начинаю?
-
ибо судя по всему из-за этого
-
Возможно, на каждую транзакцию открывается новое соединение, но при фейле он должен попробовать переключиться
-
что будет если транзакций больше чем открытых соединений?
-
Их не может быть больше
-
На тестовой машине поставил чистый КХ, никакие конфиги не менял, положил в /etc/clickhouse-server/ файлик с конфигом словаря из мануала - получаю 2018.07.16 16:32:45.479147 [ 4 ] <Error> ExternalDictionaries: Cannot create external dictionary 'hosts' from config path /etc/clickhouse-server/dnl_dictionary.xml: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = Not found: dictionary.structure.attribute.null_value, e.what() = Not found
-
1.1.54385
-
👍 завелось
-
Всем привет, у меня вопрос по загрузке данных на python из Pandas.DataFrame в ClickHouse с помощью clickhouse-sqlalchemy.
У меня есть дневные логи в виде CSV-файлов, в которых есть числовые и строковые значения. Я хочу обработать их и загрузить в ClickHouse. Вначале каждый файл я загружаю в DataFrame (средний размер ~ 300к х 50), занимаюсь препроцессингом (генерю новые столбцы, заполняю пропущенные значения и тд), выставляю numpy-типы для каждого столбца и с помощью df.to_sql(table_name, connection, if_exists='append', index=False) хочу закинуть df в ClickHouse. И вот на последнем пункте начинается какая-то магия.
Для некоторых файлов выскакивает Exception следующего вида:
In: df.to_sql(table_name, sqla_engine.connect(), if_exists='append', index=False)
Out: Orig exception: Code: 27, e.displayText() = DB::Exception: Cannot parse input: expected , before: 2, 1521736320, \'176.119.230.53\', \'\', 35366408187, 57, 0, 57, \'131/160/15/0/0/6/2/3/0.1/1\', 131, 160, 15, 0, 0, 6, 2, 3.0, 0.10000000149011612, 1, 2794413, \'http: (at row 280606)
, e.what() = DB::Exception
Но если взять только несколько строк (например, df[280600:280610].to_sql(...)), среди которых будет та, на которую указывает Exception, то все отработает.
Если разбить df на части так, чтобы проблемная строка была не в первой части, то все также сработает.
Данные замечания справедливы для любых проблемных файлов. Но эти все варианты не могут быть приняты как окончательное решение, так как непонятно, как идентифицировать заранее такие проблемные для ClickHouse строки.
Проверял строковые значения на наличие всяких специальных и непечатуемых символов, ничего криминального не нашел.
Пробовал выставлять в настроках сервера input_format_values_interpret_expressions=1 и стало только хуже, начинал ругаться уже на Cannot parse input: expected \' before: на первой строчке.
Собственно, вопрос в том, с чем это может быть связано и как это чинить? -
max_query_size ?
-
у меня примерно такое было, когда не влазило в max_query_size, попробуйте увеличить с запасом
-
У меня дефолтное значение, оно равно 256 КБ. То есть если у меня df весит 500 МБ, то стоит этот лимит увеличить до условных 16 МБ и грузить df по частям, рассчитав размер этих частей под max_query_size?
-
я поставил <max_query_size>524288000</max_query_size> и горя не знаю
-
в профиле в users.xml
-
Понял, спасибо за быстрый ответ)
-
по идее, этот лимит отвечает только за запрос до VALUES, сами данные обрабатываются отдельным потоковым парсером, и не учитываются в этом ограничении. Но у меня примерно такая проблема была на больших дампах, которые обрезались и был Exception с такой ошибкой. Увеличение этого лимита помогло.
-
Да, в доках одно, а по факту всплывают еще особенности) Твой совет помог, сейчас без проблем загрузилось, спасибо еще раз)
-
Господа, всем добрый вечер. Подскажите, насколько плохо селектить из буферной таблицы? -
Если учитывать, что чтение из неё лочит запись, то часто так делать не стоит 🙂
-
оО?
-
Вот это конструктив)
-
А если мне данные в основной базе нужны очень быстро после их инсертов, а буфер какое-то время наполняетсся и сбрасывается - как быть?
-
Может быть, я неправильно понял документацию, на самом деле
-
> При добавлении данных в Buffer, один из буферов блокируется. Это приводит к задержкам, если одновременно делается чтение из таблицы.
-
-
Означает ли это, что пока идет чтение, запись в этот кусок невозможна — вопрос открытый
-
-
Тогда как мне достичь скорости, максимально близкой к реал-тайму для этой задачи, не подскажете?
-
В MergeTree можно вставлять до раза в секунду, вам нужно раньше читать данные? А репликацию вы не используете?
-
Репликацию пользуем, но она же тоже не мгновенная
-
Из буферной таблицы можно читать, пока у вас один сервер. Иначе вы будете читать с буферной таблицы случайного сервера
-
А мне надобно ~500мс
-
А где в доке написано именно про блокировку
-
Если пишете мало данных, то можете пару раз в секунду вставлять, но лучше так не делать, конечно.
-
Сейчас пишется в одну, читается из другой
-
Данных много
-
Может, вам log-таблицв помогут
-
высокочастотный трейдинг что ли ?
-
не, апи для реалтайм выгрузок метрик
-
Там написано, что чтение затруднено, но не наоборот
-
А буфер не может сбрасывать менее, чем раз в 1 секунду?
-
nagibator1999VGwkFaQuffyl7q2emvld
-
CREATE TABLE test AS test_table
ENGINE = Buffer(database, table, 2, 0.5, 0.5, 1000, 1000, 1000, 1000) -
Вроде создалось с дробным значением для min_time и max_time, так что наверное так можно
-
хммм, надо проверить, спасибо!
-
Joined. -
Привет, можно узнать чуть больше подробностей) Какая версия сервера? Какая структура таблицы Stats?
- 17 July 2018 (75 messages)
-
насколько substring дорогая операция? -
Дорагая в чем? Вообще вы скорее всего не почувствуете оверхеда от её работы.
-
дорогая в использовании
-
Что-то подобное правили уже, надо смотреть на версию и если там воспроизводится то можно уже искать что по этому поводу сделали/не сделали.
-
-5% от ЗП за использование.
-
😳😂
-
А как надо чтоб +5%
-
Joined. -
Joined. -
А чем тебе это место не нравится? -
Коллеги, подскажите пожалуйста
Имеется:
два шарда и две реплики
в каждом инстансе создана таблица ReplicatedMergeTree
в каждом инстансе создана Distributed таблица которая смотрит на таблицы ReplicatedMergeTree выше
internal_replication стоит в значении false
как лучше записывать данные в кликхаус? в distributed таблицу, либо же в локальные таблицы ReplicatedMergeTree? -
как вообще работает ReplicatedMergeTree, если internal_replication выключен? не реплицирует что-ли?
-
Если internal_replication стоит в false (по дефолту) то сервер сам попробует записать во все реплики, если у вас ReplicatedMergeTree то значение нужно выставить в true
-
Если писать в локальные то в этом плюсов сильно больше:
* это быстрее
* можно более гибко контролировать запись в шард
* и т.д. -
а если internal_replication стоит в true, то что реплицирует данные (ведь я так понимаю что этим не сервер уже занимается)? Zookeper?
-
ZooKeeper только хранит метаданные и очередь задач, реплицировать будет сам КХ (ReplicatedMergeTree таблица)
-
если происходит инсерт в distributed таблицу при том, что internal replication выключен, то получается происходит запись во все четыре инстанса, а потом ещё сама таблица пытается зареплицировать?
-
ведь получается что distributed таблица сама всё записала везде
-
выходит короче так, что distributed во все инстансы записал, потом ещё Replicated по этим новым данным прошёлся и понял что за него работу уже сделали и можно сидеть курить
-
ну и лишние ресурсы по сути потратил на дедупликацию
-
спасибо большое за разъяснение!
-
Хороший пароль.
-
Привет. Может сможете подсказать?
Год назад пытались переехать на CH, встретились с отсутствием JOIN'ов, из-за чего все данные уместили в одну таблицу.
Получилось что-то в духе:
Id0, Id1, Id2 ... *какие-то поля, которые известны только при событии-сборке* ... event1, event2 ...
Где eventN это 0 или 1 - произошло событие или нет.
Возможно ли сейчас расскидать это по разным таблицам и Join'ить их по id? И есть ли какие подводные у кликхаусовских джоинов в плане производительности/памяти? -
Для простоты рассматривайте JOIN в КХ просто как подзапрос, который полностью выполняется, его результат помещается в оперативку.
-
Раскидайте по разным таблицам, старую не убирайте, посравнивайте
-
т.е. это совсем не аналог join из sql?
-
вообще не аналог, это просто подзапрос, и в нем нужно указать все условия в where, которые вам нужны.
-
без where будет выбрана вся таблица
-
Тогда не совсем понимаю. Если в одном запросе надо получить столбцы из двух таблиц, то это делается не Join?
-
почему, можно и джойн
-
просто если у вас есть таблица1, в которой например 100 строк по вашим условиям, и вы заджойните ее на таблицу2 без условий, а в ней например 10000000 строк, то сначала в подзапросе обработается полностью таблица2, ее результат в оперативу, и заджойнится на таблицу1
-
Спасибо за помощь. Попробую
-
насколько я помню, JOIN с пробросом условий, аналог sql, обещали сделать, планировали в разработку
-
Каждая из нод сделает промежуточную агрегацию у себя и передаст сериализованные состояния на ноду, в которую слали запрос.
-
и "прожорливость" будет зависеть от того, сколько уникальных ключей агрегации будет, и насколько тяжелые до памяти там агрегатные функции
-
например select count() from distributed group by uint8_typed_field до памяти не жручая
-
если 1_000_000_000 строк вырождается в 10 строк result-set, то да
-
Ребят, подскажите пожалуйста, как транспонировать таблицу?
-
Всем привет, подскажите, что я делаю не так? Хочу получить архив с результатом запроса, а получаю просто результат
-
Вы получаете результат сжатым потоком в http, curl разжимает. Хотите архива - архивируйте самостоятельно.
-
А как я могу проверить, что действительно по сети передаются сжалые данные?
-
опция curl -v
-
Ну или через tcpdump словить
-
Спасибо, попробую из терминала сделать (на скрине постман)
-
Да, в терминал возвращается кракозябра.. Значит это постман сам разжимает. Спасибо!
-
curl -v - отдаст заголовки
-
или tcpdump'ом поиграйтесь если недоверяете
-
Joined. -
Joined. -
Joined. - 18 July 2018 (95 messages)
-
Добрый день
Скажите пожалуйста, а можно как-то сделать выборку с match, где регулярку брать из поля, не константой? -
А как потом передать это в матч?
-
А, я понял, спасибо. Я думал выбрать из таблицы с условием match(column1, joinedColumn)
-
Joined. -
а почему IN требует GLOBAL, если во вложенном запросе выбирать колонку, которая является ключом шардирования?
-
так вам нужны все результаты или с шарда только?
-
все, но логично предположить, что каждый шард можем сам целиком посчитать для себя
-
Переименуйте в рамках запроса. Вообще вопрос странный, уточните что вас беспокоит? Будет ли быстро работать или что?
-
Пробуйте, без дополнительных вводных ничем помочь не сможем
-
Привет!
Хочу соптимизировать подключения к ClickHouse
приложение работает на базе SpringBoot и использует последнюю сборку jdbc драйвера, но на сколько я понимаю - все запросы все равно выполняются по шттп?
думаю как быть с коннекшен пулом. имеет смысл что то химичить или смысла нет -
посмотрите на https://github.com/Vertamedia/chproxyGitHub - Vertamedia/chproxy: ClickHouse http proxy and load balancer
ClickHouse http proxy and load balancer. Contribute to Vertamedia/chproxy development by creating an account on GitHub.
-
Всем привет! Есть ли возможность в запросе написать нечто вроде - any(*), что бы не оборачивать каждый аргумент пр агрегированных запросах?? -
а к нему самому надо пул соединений держать?
-
Скорее всего нет, КХ "не любит" *
-
Есть таблица a1 в mysql, есть таблица a2 в КХ, которая смотрит на таблицу a1 в mysql. И в a1 есть поле типа Enum, которое может быть Null. При попытки обратиться к таблице a2 пишет ошибку
Unsupported type Enum8('promo' = 1, 'flashPromo' = 2)
Попытался при создании таблицы a2 обернуть поле в Nullable, поиграться со значениями самого enum - не помогает. Есть вариант обойти? -
Enum8(null=-1, 'promo' = 1, 'flashPromo' = 2) ?
-
у меня вот такая конструкция при загрузке данных
replaceOne(ifNull(eventtype,''),'null','') -
null значения преобразовываются в строки нулевой длины сначала. а потом уже столбец в enum
-
Code: 223, e.displayText() = DB::Exception: Elements of Enum data type must be of form: 'name' = number, where name is string literal and number is an integer, e.what() = DB::Exception
-
а ''=-1 ?
-
но понадобится преобразование скорее всего, которое выше
-
Unsupported type Enum8('promo' = -1, 'flashPromo' = 2, '' = 3)
-
А как его записать в запрос создания таблицы? Или только через вьюху поверх таблицы?
-
Возможно есть какой-либо способ взять строки только с максимальной версией (отдельное поле) , что-то вроде того: SELECT *
FROM test.transactions AS t1
WHERE version = (
SELECT MAX(version)
FROM test.transactions AS t2
WHERE t1.tran_id = t2.tran_id
) AS tmp -
у меня это как раз в запросе создания таблцы. только у меня она из log таблицы создаётся. как вы из mysql достаёте я не знаю.
-
cast(replaceOne(ifNull(eventtype,''),'null','') as Enum8 ('' = 0, 'mytype' = 1)) as eventtype,
-
Как-то так http://joxi.ru/KAxNRVPtMRpgam1531918258575 (121 kb) uploaded July 18, 2018 Joxi
made using Joxi.net
-
Ого, спасибо, попробую
-
Ругается:
-
Code: 62, e.displayText() = DB::Exception: Syntax error: failed at position 533 (line 22, col 7): (
replaceOne(
ifNull(usedPromocodeType, ''),
'null',
''
) as Enum8 ('' = 0, 'promo' = 1, 'flashPromo' = 2)
) as usedPromocodeT. Expected one of: identifier with optional parameters, function, DEFAULT, MATERIALIZED, ALIAS, nested table, identifier with parameters, identifier, e.what() = DB::Exception -
Спасибо за советы, похоже проще отказаться от Enum
-
так этот подход работает, когда вы mergetree создаёте как селект из другой (log/mysql) таблицы
-
то есть мускульную таблицу как строку создаёте и делаете импорт в мерджтри
-
Так а если так создавать таблицу (a2), при вставке в исходную (a1) данные в a2 как попадут?
-
вручную догружать insert as select
-
Коллеги, в документации написано, что в таблицы BUFFER не имеет смысла вставлять по одной строке, производительность не будет оптимальна; а вот к какому размеру вставляемых данных стремиться, не сказано.
Сориентируйте, пожалуйста.
Сейчас у нас по факту вставляется от, скажем, 3 до 300 строк за раз, и таких вставок, наверное, штук 50-60 в секунду (в разные буферные таблицы в сумме).
И ещё интересно - если ничего не менять, с какого количества инсертов в секунду мы упремся в потолок, при текущем размере инсерта?
То есть, насколько мы далеко от проблем) -
Всем привет, а есть ли способ оценить необзходимое значение настройки max_result_bytes, кроме как опытным путём?
-
Упс, то были искаженные данные.
На самом деле от 1 до 50 строк инсерт, инсертов около тысячи в секунду. Но это всё в буферные таблицы. Параметры этих таблиц - по умолчанию. -
А кто формирует блоки "3 до 300 строк"? Может там стоит сделать батчинг до 1к и не использовать Buffer вообще? Я выработал правило для КХ (и не только) - делай как можно проще. Если написано в доке что лучше не использовать Buffer, а батчить на стороне приложения - делаю так
-
Мы сейчас вообще на Раббите сделали цепочку очередей и гоняем данные разных стадий готовности (по одной записи). И только на финальном этапе батчим как нам удобно - шикарно работает
-
Joined. -
господа, приветствую. извините за беспокойство, но никто не поделится клиентом под osx? билдить я его вечность буду на своем ноуте, из homebrew ставится нерабочий. быть может, у кого-то есть уже собранный?
-
В Docker самое простое
-
Либо ходить по http -
Например, через tabix
-
1к для буфера тоже сильно много, попробуйте сделать простой батчер на клиенте
-
как-то странно делать батчер для буфера. тогда уж сразу в таблицу сливать. вообще, неожиданное ограничение на вставку по 1 строке в буфер. логично было предположить, что он для того и нужен
-
Еще есть альтернативный клиент https://github.com/hatarist/clickhouse-cli , помимо этого есть и другиеGitHub - hatarist/clickhouse-cli: A third-party client for the Clickhouse DBMS server.
A third-party client for the Clickhouse DBMS server. - GitHub - hatarist/clickhouse-cli: A third-party client for the Clickhouse DBMS server.
-
по 1-й строке и в MergeTree вставлять можно, буфер сильно спасает, но тоже ему сложновато на 1к вставок в секунду
-
ему пофиг - можно на каждый запрос новое соединение открывать, а можно пул держать - скорость работы от этого не изменится. Он сам держит пул соединений к кликхаусу
-
для клиента изменится - он же будет время на открытие соединений тратить
-
если клиент не по gprs, то это время будет не заметно на фоне времени выполнения запроса в кликхаусе :)
-
Вот мы эту статистику собрали, чтобы понять, писать нам нормальный батчинг или нет.
Поняли, что писать, теперь вопрос - по сколько в кучку их собирать.
Что касается вопроса "кто". У нас есть обработчики статистических событий. Они забирают за раз максимум 1000 этих событий, разбивают по типам, обрабатывают кучку каждого типа. Какого-то типа может оказаться из тысячи - три. Вот и вставится три строки в одном инсёрте.
А ещё 1000 событий может и не быть, обработчик заберёт всего 50, ну и инсёрты окажутся ещё мельче.
Полубатчинг, в общем. -
Справедливости для, 1к это на все буферы вместе, которых у нас штук ~7 что ли, лень смотреть.
Так а всё же, по сколько строк за раз имеет смысл вставлять в буфер, чтобы "всё по красоте было"? :) -
По моему опыту, боятся что в КХ вставится меньше 1к - не нужно. Главное чтобы оно старалось вставлять больше 1к (или больше если нужно). В вашем случае можно сделать так: буферизировать каждый тип сообщения в отдельной очереди (хоть Раббит, хоть где), тогда можно гибко указывать с какой частотой выбирать каждый из типов.
Т.е. если "Какого-то типа может оказаться из тысячи - три" тогда делайте батчин из очереди раз в час (или сколько нужно чтобы накопилось примерно 1к) -
Ага, спасибо! Раз в час нам маловато, сделаем что-то типа "сбрасывать данные, если их 1000 строк, или раз в 15 минут")
-
Мы так и делаем
-
а разные типы событий в одну таблицу пишете? если да, то кидайте их после обработки обратно в очередь, а из очереди пишите специальным сервисом все вместе
-
SELECT a, b, c FROM distrib_tbl WHERE a IN (
SELECT a FROM local_tbl WHERE x = 1 AND y < 123 GROUP BY a HAVING argMax(q, w) = 2 LIMIT 10
)
Code: 10, e.displayText() = DB::Exception: Not found column b in block. There are only columns: a, e.what() = DB::Exception -
это баг или фича?
-
сейчас постараюсь анонимизировать
-
от вас - можно 🙂
-
если не трудно, можно мне ее, пожалуйста?
-
А верно понимаю, что нативный клиент-серверный протокол публично не документирован и надо смотреть исходники?
-
Понял, спасибо.
-
@milovidov_an ошибка проявляется при загадочных обстоятельствах
-
можно вам в ЛС написать?
-
Привет.
Как можно заставить CH заполнить поля дефолтовыми значениями для старой партиции? Добавили новое поле, его дефолт зависит от существующего. Теперь хочу существующее поле - очистить.
Пример условный - был uuid, добавили uuid_hash default toInt32(uuid), хотим его заполнить для старых партишенов и очистить uuid. почему-то optimize partition, даже final - мгновенно отдает «ОК», и больше ничего не проиходит. ReplicatedMergeTree. -
есть два сервера в кластере, и идет вставка через дистрибьютид таблицу, четные id налево, нечетные направо.
Как застравить запрос
select * from distributed where id in (1,2,3,4)
выполнить
select * from shard where id in (1,3) на первом
select * from shard where id in (2,4) на втором
(без ручного обращения к system.clusters) -
Подскажите, какую настройку крутить, чтобы обойти "DB::Exception: Limit for bytes to send or receive over network exceeded" ?
-
Спасибо!
-
жаль, больно запрос громоздкий получается с ручными условиями, а выигрыш в processed rows в разы.
-
спасибо, Алексей. сбилдить, кстати, так и не удалось, оставили ишью в репозитории
-
под мак, судя по всему, по текущей доке не собирается
- 19 July 2018 (139 messages)
-
Joined. -
Спасибо, действительно должно сработать, но в моем случае выборка столбцов динамическая решил сделать так: SELECT {select_str}
FROM transactions
ANY INNER JOIN (
SELECT tran_id, MAX(version) AS version
FROM transactions
WHERE {where_str}
GROUP BY tran_id
) USING tran_id, version -
Joined. -
Коллеги из Яндекса, вы здесь?
-
Похоже у вас глобальная проблема с почтой
-
Да вроде ходит почта...
-
Нет, но не знаем куда идти вообще. Саппорт молчит
-
На кого можно переадресовать вопрос, не подскажешь?
-
не подскажу, просто проверил на своих ящиках
-
Доброе утро, с почтой все нормально, вроде
-
Суть - при отправке с яндекса на наш домен он у себя проверяет наши адреса и как не удивительно НЕ НАХОДИТ
-
Пока пробуем через саппорт
-
привет всем. возможно ли в set установить значение select'ом? например:
set date = (select ... from ... where ...) -
пробую, ругается на синтаксис
-
значение в запросе одно
-
up! Крайне актуальный вопрос… Не понимаю, как заставить CH сделать merge для старой партиции 🙁
-
попробуйте https://clickhouse.yandex/docs/en/query_language/queries/#optimize
но не факт, что поможет. возможно нужно перед этим как-то настройки партиционировани поменять, чтобы он решил их перестроить -
> почему-то optimize partition, даже final - мгновенно отдает «ОК», и больше ничего не проиходит. ReplicatedMergeTree.
-
так я и говорю, что кх уже всё разложил и больше не будет оптимизировать. скорее всего надо размер партиции поменять. так-то он дефолтное значение как функцию держит, а не пишет сразу в таблицу
-
Подскажите пожалуйста про движок GraphiteMergeTree: в документации (https://clickhouse.yandex/docs/ru/table_engines/graphitemergetree/#table_engines-graphitemergetree) говорится, что в таблице должны быть следующие поля:
Path - имя метрики (сенсора Graphite).
Time - время измерения.
Value - значение метрики в момент времени Time.
Version - настройка, которая определяет какое значение метрики с одинаковыми Path и Time останется в базе.
У нас структура таблиц немного другая и там вместо поля Version есть поле Timestamp. Если посмотреть в исходники, то можно в файле dbms/src/Storages/MergeTree/registerStorageMergeTree.cpp увидеть, что по умолчанию колонка с версией должна называться Timestamp:
params.version_column_name = config.getString(config_element + ".version_column_name", "Timestamp"); -
Кому верить, и что делать, если схлопывания данных на практике не происходит, хотя на вид всё сконфигурировано правильно?
-
Joined. -
Видимо, в документации действительно опечатка
-
@orantius, у вас в clickhouse.yandex/docs/en/formats в боковом баре есть пару битых ссылок. Например: -
-
-
Joined. -
Ребят, как можно произвести выборку по месяцу, если отдельного столбца для месяца нету ?
*Имеется столбец типа Date -
А дата есть?
-
Есть
-
SELECT ... FROM ... WHERE toYYYYMM(date) = ''
-
toMonth(Date)
-
toMonth для разных годов вернет одинаковое значение, toStartOfMonth более уникален в этом смысле.
-
Ребят, всем привет! Подскажите можно ли отключить дедупликацию данных? Есть такой кейс: в кластер из 8 тачек прилетают данные, когда приходит несколько полностью одинаковых строк - они схлопываються в одну! Но такое поведение не нужно, так как таблица SummingMergeTree и эти строки должны быть в итого просуммированы по ключу! А в итоге получаю только одну строку, идет потеря. Спасибо. -
Похоже на настройку insert_deduplicate , которую вам, вероятно, нужно выставить в 0 (по идее её можно прямо во время INSERT выставить, для HTTP это будет типа POST /?insert_deduplicate=0)
-
Спасибо! Попробую!
-
Похоже на настройку insert_deduplicate , которую вам, вероятно, нужно выставить в 0 (по идее её можно прямо во время INSERT выставить, для HTTP это будет типа POST /?insert_deduplicate=0)
-
Спасибо, сработало на ура :)
@clickhouse_ru / Public archive of Telegram messages.
- 01 Jul 2018 (13)
- 02 Jul 2018 (211)
- 03 Jul 2018 (140)
- 04 Jul 2018 (233)
- 05 Jul 2018 (126)
- 06 Jul 2018 (173)
- 07 Jul 2018 (9)
- 08 Jul 2018 (5)
- 09 Jul 2018 (97)
- 10 Jul 2018 (119)
- 11 Jul 2018 (132)
- 12 Jul 2018 (251)
- 13 Jul 2018 (127)
- 14 Jul 2018 (29)
- 15 Jul 2018 (1)
- 16 Jul 2018 (118)
- 17 Jul 2018 (75)
- 18 Jul 2018 (95)
- 19 Jul 2018 (139)
- 20 Jul 2018 (141)
- 21 Jul 2018 (22)
- 22 Jul 2018 (22)
- 23 Jul 2018 (86)
- 24 Jul 2018 (157)
- 25 Jul 2018 (162)
- 26 Jul 2018 (125)
- 27 Jul 2018 (101)
- 28 Jul 2018 (18)
- 29 Jul 2018 (32)
- 30 Jul 2018 (85)
- 31 Jul 2018 (173)