- 16 July 2021 (144 messages)
-
Господа, всем доброй пятницы. Небольшой новичковский вопрос: как получить значения записи, выбранной после GROUP BY запросом типа SELECT id, any(value), max(timestamp) FROM x GROUP BY id? Думаю про argMax(value, timestamp), но не уверен. -
Пытаюсь установить кликхаус на Мак на м1
через докер
выдает ошибку:
docker run -d --name some-clickhouse-server -p 8123:8123 --ulimit nofile=262144:262144 yandex/clickhouse-server
WARNING: The requested image's platform (linux/amd64) does not match the detected host platform (linux/arm64/v8) and no specific platform was requested
35cb9f051855178ef8ff1e9a3860874802e6a932f28b962209c9d38e011454c9
кто-нибудь сталкивался? как решить? -
input | ClickHouse Documentationinput input(structure) - table function that allows effectively convert and insert data sent to the server with given st
-
insert и materialized view? да -
-
Коллеги, добрый день. Какое сжатие используется при экспорте данных в parquet подобным образом?
clickhouse-client --query="SELECT * FROM {some_table} FORMAT Parquet" > {some_file.pq}
Можно ли задавать способ сжатия? -
1. SNAPPY
2. нет -
Спасибо!👍
-
tpl.1
-
CH использовать стоит если вам надо писать пару млрд. в день и кластер из 10ти elastic не справляется на запись, и искать вы собираетесь редко.
У CH нет полнотекстового поиска (индексов) поэтому практически КХ будет делать фулскан, его успешно используют вместо elastic если у вас например 5 тыс. серверов и надо писать их логи и очень редко искать, причем искать зная период поиска, а в эластик просто невозможно засунуть такой поток. -
А тебе нужен полнотекстовый поиск или поиск по подстроке? -
Добрый вечер. Использую последний стабильный релиз от алтинити в докере. Проблема "Note for Docker users: outbound SSL connections did not work in ClickHouse docker image due to missing certificates. The issue has been fixed in 19.16.19.85, 20.1.12, 20.3.9 and any later releases" решена? В логах кафки выдает Failed authentication with /172.25.0.1 (SSL handshake failed) (org.apache.kafka.common.network.Selector). В тоже время использую python-confluent-kafka ( где под капотом та же librdkafka, соответственно настройки теже) подключение успешно.
В логах кликхауса : [rdk:ERROR] [thrd:192.168.0.104:29092/bootstrap]: 1/1 brokers are down
UPD:
Не было прав на сертификаты -
Общий размер в 100TB исходных данных? Боюсь, тут решения из коробки уже не очень подойдут, нужно смотреть на специфику задач, может на CH свой индекс строить (про это был доклад, насколько помню).
-
Тогда лучше не CH, там ни стемминга, ни флексий, ни прочих фишек полнотекста нет. Так что elastic или сфинкс
-
Э, коэффициенты? Никаких, ручками самому провести эксперимент по своим данным, но с @dphil соглашусь насчет полнотекста, CH не в вашем кейсе. -
какой индекс?
-
##
Не рабоатает условие host_regexp по фильтрации по хосту источника.
##
Подключился, ни одного PTR запроса не наблюдаю, только A -
смею предположить, что никто не понял, чего вы хотите. any(value), max(timestamp) даст значения, вполне вероятно из разных строк. И с этой парой одновременно может не оказаться ни одной строки. Возможно, вам нужно argMax((value, timestamp), timestamp). Или в каких-то версиях КХ работает просто argMax((value, timestamp)). Но я не уверен, что вы хотите именно это получить -
Спасибо, справился через argMax(value, timestamp) с надеждой что CH не будет сильно тормозить если много полей будут использовать эту функцию
-
Какие могут быть причины?
- В логах про dns (loglevel=trace) ничего нет
- PTR запросов нет
- Ззапись host_regexp имеется в конфигах.... -
что значит много полей?
если нужно вытаскивать не только value, но и value_1, ..., то делайте argMax((value, value_1, ...), timestamp) as _array -
-
Use case: агрегация по логам системы, хотим вытаскивать поля последних метрик конкретных сервисов. Спасибо за предложение, обязательно попробую
-
Спасибо, возьму на вооружение!
- 17 July 2021 (63 messages)
-
внутри clickhouse pod
grep -r host_regexp /etc/clickhouse-server/config.d/
что показывает? -
ничего, пусто
-
а если более глобально, то вот
grep -r host_regexp /etc/clickhouse-server/
chop-generated-users.xml: <host_regexp>noname</host_regexp>
chop-generated-users.xml: <host_regexp></host_regexp> -
Вчера запустил OPTIMIZE TABLE
Консоль повисла. Рестартанул сервис и теперь при локальном подключении консоль висит.
Если с внешнего хоста ходить, то запросы выполняются.
Почему консоль может висеть? В логах ошибок пусто. -
Интересно можно ли в такой ситуации подключиться к процессу дебагером и посмотреть стэк
Или просто в логи посмотреть -
А как выглядит вывод консоли при входе с внешнего хоста?
-
Разные версии clickhouse client?
-
я из Datagrip дёргаю. Но если делать так то тоже работает. Почему-то навернулась интерактивность.
ClickHouse server version 21.6.6.51 (official build).
ClickHouse client version 21.6.6.51 (official build). -
а datagrip ходит по native протоколу :9000 или через ODBC :8123 :8443?
-
а вот и проблемка. В /root/.clickhouse-client-history 25228238 строк
-
лол, то есть клиенту при запуске нужно было какое-то время чтобы считать этот файл? 😄
-
класс, люблю такое)
-
а может удаления лока было достаточно?
-
я подумал что может там какие-то огромные запросы
-
where some_id in (1,2,3,4,5,.... 9999999)
-
https://youtu.be/6IwLWEx_mg4?t=1677
Вот тут господин докладчик утверждает, что ReplacingMergeTree не работает 😱
Может кто-то прокоментировать? -
Послушал первые две минуты. Докладчик жалуется на дубликаты при выборке по "первичному ключу". Это всё вообще-то в документации прямым текстом описано:
Merging occurs in the background at an unknown time, so you can’t plan for it. Some of the data may remain unprocessed.
Нужно или FINAL, или агрегацию использовать при выборке. -
А теперь понял. Я не распарсил что означало "по первичному ключу". Теперь стало ясно что другими словами это означает без агрегации.
-
Можно ли в свою очередь пожаловаться, что люди разучились понимать документацию?
-
Во все времена и поколения кажется было так 😄
-
Я чего-то даже не подумал про юзкейс, когда из CH можно читать без агрегации.
-
Ну например, когда тебе достаточно проверить тот факт, что строка с таким id заехала в таблицу
-
Добрый день, появилась потребность хранить в ch относительно большие строки (10-20 слов) они могут быть достаточно уникальны.
Вопрос к выборке, если мне надо достать данные по 1 такой строке среди множества строк. Есть ли смысл рядом хранить колонку с хешом строки и в запросе делать where hash and string?
То есть, например в таблицу хранится несколько записей вида
Строка | количество чего-то
А | 3
Б | 7
А | 4
В | 10
Я хочу получить на выходе:
А | 7
Тогда по простому мой запрос:
Select name, sum(count)
From table
Where name = 'A'
Group by name
Так вот, есть ли смысл добавлять колонку хеша, отбирать (where hash & name) и группировать сначала по ней, потом по самой строке. Ускорит ли это обработку?
Мысль такая пришла по аналогии с хешмапами/хеш таблицами -
Идея здравая, но в лоб сработает если ищешь по полному совпадению
-
Ну да поиск нужен по полному совпадению
-
Можно в ORDER BY запихать хеш а ещё использовать PREWHERE
-
Другой вопрос, что возможно есть более подходящие другие бд для такого
-
Не, там еще будет кучка условий типа даты и id владельца, обычно все сортирую по датам
-
Не, тут набор данных как раз под ch, т.е. сейчас по пол ляма в день, дальше больше)
-
Размер данных это ещё не значит что кх
-
Допустим Кассандра или сцилла key value
-
Не, я для примера сильно урезал запрос, чтобы лишним внимание не отвлекать, кх нас полностью устраивает, а это для новой фичи, интерес был именно к использованию хеша рядом с полной строкой, выиграю ли что-то от такого или не тратить время
-
типа что лучше строки сравнивать или инты (хеши)?
-
видимо не только сравнение where, но и сортировка order by и группировка group by
-
Не, отработает ли хеш, раньше полного сравнения со строки.
Т.е. в хешмапе сначала ищется по хешу, потом среди коллизий полное сравнение.
Сделает ли так же кликхаус или забьет и пойдет сравнивать строки полностью а потом хеш.
Второе бесполезно, т.к. хеш будет верный если строка совпала -
Т.е. в голове план такой, есть таблица в ней дата события, текст события и хеш текста, ну и ещё куча атрибутов, которые не сильно важны сейчас.
Хочу чтобы кх сначала отобрал по датам, потом по хешу и потом только сравнивал строки, чтобы убрать коллизии хеша, дальше ещё кучка условий.
Сделает ли он так или может пойти своим путём и сравнить даты, потом строки и потом хеш? -
Просто тот же оракл может менять план запроса, например из-за индексов и не всегда в лучшую сторону
-
Может, используйте PREWHERE
-
Получается дата и хеш в prewhere остальное в where?
-
Да
-
Огонь, спасибо)
-
Я нуб в КХ. Хочу разобраться как работает репликация и шардинг.
Думаю атаковать с трех векторов: официальная документация, ютуб видео / статьи, руками поднять кластер. Норм подход? -
Нормально, можно ещё видео посмотреть на нашем канале altinity YouTube
-
как раз смотрю https://www.youtube.com/watch?v=4DlQ6sVKQaA (Introduction to the Mysteries of ClickHouse Replication)
-
Оно
-
Найти документацию нету проблем. Ютуб видео и статьи тоже гуглядтся на раз.
Можете подсказать как практическую часть упростить?
Может быть есть dockercompose какие-то чтобы локально поднять, поменять что-то, посмотреть что будет
Или что-то что поможет на AWS раскатать тестовое окружение -
падними руками кластер 👍🏻 -
Можно посмотреть
docs.altinity.com
kb.altinity.com
Либо тесты в основной репе кликхауса, там есть docker compose скрмпты -
Спасибо! О, altinity доки я еще не штудировал
-
А где-нибудь есть инфа по тому как обычно КХ падает и как это чинить? 😄
-
Есть ещё идеи, что можно проверить для того ,чтобы включить работу regexp_host ?
-
В kb.altinity.com стараемся написать самые типичные случаи
-
❤️❤️❤️
-
Можно посмотреть preprocessed конфиг файлы, что там кликхаус сделал.
/var/lib/clickhouse
Можно сделать через кликхаус клиент :
Set send_logs_level='trace'
SYSTEM RELOAD CONFIG
И смотреть на ошибки при реалоаде - 18 July 2021 (21 messages)
-
Попробуйте ещё skip-index с блум фильтром. У вас сравнение на равенство, вроде как раз подходящий сценарий. И не надо будет предварительно хэш считать и хранить. Он в блум фильтре рассчитывается. -
кстати, а как правильно выбрать параметры этого фильтра? там вроде гранулярность была и еще что-то -
Судя по статье https://kb.altinity.com/altinity-kb-queries-and-syntax/skip-indexes/skip-index-bloom_filter-for-array-column
Гранулярность особо не влияетSkip index bloom_filter ExampleExample: skip index bloom_filter & array column
-
Спасибо, а кх тоже пишет в explain plan порядок выборки?
-
> Есть ещё идеи, что можно проверить для того ,чтобы включить работу regexp_host ?
Ошибок не вижу
SYSTEM RELOAD CONFIG
[chi-clickhouse-default-0-0-0] 2021.07.18 18:30:37.566914 [ 90 ] {4fe3e276-2fdc-4bba-8d68-edbb47cb4ec9} <Debug> executeQuery: (from 127.0.0.1:56190) SYSTEM RELOAD CONFIG
[chi-clickhouse-default-0-0-0] 2021.07.18 18:30:37.567256 [ 90 ] {4fe3e276-2fdc-4bba-8d68-edbb47cb4ec9} <Trace> ContextAccess (default): Access granted: SYSTEM RELOAD CONFIG ON *.*
[chi-clickhouse-default-0-0-0] 2021.07.18 18:30:37.571728 [ 90 ] {4fe3e276-2fdc-4bba-8d68-edbb47cb4ec9} <Debug> ConfigReloader: Loading config '/etc/clickhouse-server/config.xml'
[chi-clickhouse-default-0-0-0] 2021.07.18 18:30:37.580815 [ 90 ] {4fe3e276-2fdc-4bba-8d68-edbb47cb4ec9} <Debug> ConfigReloader: Loading config '/etc/clickhouse-server/users.xml'
[chi-clickhouse-default-0-0-0] 2021.07.18 18:30:37.583646 [ 90 ] {4fe3e276-2fdc-4bba-8d68-edbb47cb4ec9} <Debug> MemoryTracker: Peak memory usage (for query): 7.08 MiB.
Ok.
0 rows in set. Elapsed: 0.019 sec. -
Скорее в set send_logs_level='trace'
-
Спасибо, буду пробовать
-
А пример конфига юзерп можно
-
<yandex>
<users>
<adclick>
<networks>
<host_regexp>noname</host_regexp>
<ip>127.0.0.1</ip>
<ip>0.0.0.0/0</ip>
</networks>
<password_sha256_hex>ebf22d8bfa40cc5ae972270a06934fe1056ea7227859ad7d39c6fe9c497db70f</password_sha256_hex>
<profile>default</profile>
<quota>default</quota>
</adclick>
<default>
<networks>
<host_regexp></host_regexp>
<ip>127.0.0.1</ip>
<ip>0.0.0.0/0</ip>
</networks>
<profile>default</profile>
<quota>default</quota>
</default>
</users>
</yandex> -
Хм, а что будет если убрать 0.0.0.0/0
-
https://t.me/clickhouse_ru/226926
ПО истории ответов можно посмотреть, что уже проделано. для дебага ...Kirill Kazakov in ClickHouse не тормозит## Не рабоатает условие host_regexp по фильтрации по хосту источника. ## Подключился, ни одного PTR запроса не наблюдаю, только A
-
ограничение по ip работатает...
Что именно нужно проверить, когда я уберу 0.0.0.0/0 ? -
Смутное подозрение что оно Пермисивно открывает все айпи
-
А тебе нужно только определеннве которые удовлетворяют маске
-
т.е. убрать вообще настройку с ограничениями по ip ?
-
Да
-
Сейчас попробую
-
Вы были правы !!!
Всю прошлую неделю мучался с этим вопросом !
Эти моменты описаны в доке ? -
Не знаю, надо смотреть
-
-
2 чая этому господину
Огормное спсибо ! - 19 July 2021 (184 messages)
-
это не так работает
если на пальцах
в REDIS вы делаете счетчики и делаете INCR
в ключ зашиваете ДАТА, статья и еще куча параметров
а потом когда нужен отчет делаете SCAN чтобы через KEYS всю производительность не убить
сгружаете в SQL
а в clickhouse вы тупо пишете в CSV файл
время, браузер, страна, и туева куча параметров вашего просмотра статьи
одной строкой
накопили 100 000 строк,
слили в clickhouse
а потом в clickhouse делаете SELECT event_date, uniq(user_id) FROM table GROUP BY country
например
плюсы \ минусы - REDIS быстрее делает INCR , и медленнее SCAN и сложнее добавлять столбцы с измерениями и мерами
clickhouse
надо буферизировать и обогащать данные перед вставкой отдельно (clickhouse-bulk вам в помощь)
но хранятся сырые данные на диске с максимальной точностью
и потом легче через ALTER TABLE добавить например новое поле (город) -
это мое IMHO, но думаю что это не сильно далеко от правды
основной кейс ClickHouse для чего он создавался изначально
это Yandex Metrika \ App Metrika
то есть, все сырые данные по всем вашим страницам , как отдельное событие
ну и там еще sessionization отдельно прикручена чтобы визиты считать
и дальше репорты в web интерфейсе для тысяч веб мастеров одновременно по counterId + GROUP BY считаются
все остальное чем clickhouse оброс за это время, это в основном задачи на интеграции, оптимизации и новые возможности в SQL диалекте типа window functions и join
если вам надо просто для конкретной статьи отдельно счетчик просмотров хранить
то естественно вам REDIS самое оно
просто эти данные потом анализировать нельзя
то есть как пример вы не сможете динамику отдельной статьи посмотреть просмотров по часам среднее, сравнить выходные и будни и т.п. задачи =) -
берите кликхаус, count считайте запросом. тогда обойдетесь без "ну мы и планировали кудато, как буфер пихать, потом забирать и сливать в sql по нужным колонкам." -
Если клики нужны уники, то одним счётчиком в редисе уже не отделаться. А если ещё захочется отдельно глянуть клики по странам, ос и т.д., то придётся ещё и кучу други счётчиков добавлять. В этом случае проще в кликхаус сохранять. Можете json писать в редис в list, а потом раз в минуту доставать пачками по тысяче и вставлять в кликхаус.
Я использую комбинированный способ. Счётчики в редисе и в фоне в бд их потом обновляю. А также хоаню сырые клики в кликхаусе. -
Господа, всем доброго понедельника.
Продолжу свою цепочку вопросов :)
Use case: писать поток событий и сразу кверить результат, чтобы посчитать аггрегат и разослать его в качестве уведомления (пишем кусками раз в четверть секунды)
Структура: Buffer -> MT, MV прикручивали поверх Buffer.
Сейчас у нас запрос с подзапросом (last point problem), встряли с тем что при добавлении MV страдает скорость вставки/чтения (запросы напрямую >100ms до 5М записей, запросы через MV начинают линейно замедляться с ростом количества записей).
Вопрос: правильно ли в нашем случае использовать MV или всё-таки лучше остановиться на подзапросе? -
P.S. Ребята с Алтинити - ваш YouTube бомба.
-
что такое "подзапрос"? в каком месте он возникает?
что такое "напрямую"? SELECT FROM buffer_table ?
и что значит "last point problem" ?
куда вставляет MV? в AggregatingMergeTree? отдельная таблица или Inner? -
Подзапрос - FROM (SELECT)
Используем его в запросе которым считаем аггрегат по последним состояниям сущностей
"Напрямую" - делаем запрос к таблице, при условии отсутствия MV.
"last point problem" - нам надо сначала выдрать последние состояния сущностей (сливаем всю цепочку состояний в CH) - потом посчитать результат.
MV основан на AggregatingMT (планировали переехать на CollapsingMT), inner таблица -
так, а "состояние" сущности это что?
ну то есть у вас там хочется иметь UPDATE ... SET x = x + delta и UPDATE ... SET x = x - delta - и CollapsingMergeTree ?
или у вас там SET x=new_value и ReplacingMergeTree + FINAL напрашивается? -
Состояние сущности - условно "предмет положили в корзину"/"предмет достали из корзины" и т.д.
CollapsingMT - сессия может включать несколько таких "корзин", по которым хотели бы получать последние состояния (в будущем, сейчас пока фокус на одной "корзине")
ReplacingMT - пробовали, но воткнулись в такую же проблему со вставками + необходимость дёргать FINAL (он, конечно, распараллелен, но всё-таки замедляет выборку) -
ну смотрите а у вас окно какое для подсчета аггрегата?
почему вам важно постоянно аггрегаты считать и куда то отсылать? почему нельзя тупо на redis это сделать?
clickhouse это система с near-realtime, а не realtime -
Cardinality сущности не позволяет с Redis поработать
-
Ну, как не позволяет - в любом инструменте можно сделать что хочется - вопрос в том сколько кода написать и насколько поддерживаемым он будет. Для Redis получится плохенько
-
что-то непонятно что имеется ввиду под cardinality
ну десятки миллионов ключей в redis хранить не проблема так то...
главное памяти чтобы хватило...
key lookup там довольно быстрый -
контекста не хватает, что именно делаете
какой запрос... -
Речь про достаточно большую сущность саму по себе + аналитика + ключи + мы жёстко ограничены по памяти в Redis в районе около 1-4 Gb максимум
-
ну так и в clickhouse то вы тоже с таким ограничением можете легко не пролезть...
если честно, ничего не понимаю из того что вы говорите ;)
то сначала кардинальность (кол-во уникальных значений / на кол-во записей)
то потом сразу про размер ;) -
Под кардинальностью я понимаю количество колонок, не уникальных значений / кол-во записей.
-
ну так для redis то вообще можете в protobuf, mskpack, json по ID сущности бинарно хранить... и не париться
в общем пока непонятно, collapsing merge tree + SELECT final раз в 10-15 минут
вполне должен справляться
но realtime в clickhouse Не бывает -
Понял, спасибо
-
Всем привет, подскажите, пожалуйста, насколько долгими могут мутации?
Был выполнен запрос (мутация):
alter table variants delete where sample_id = 1505;
Из таблицы с мутациями вижу, что она крутится уже 24 минуты.
select * from system.mutations;
Хостим кх в облаке яндекса.
Это нормально? Оно может и час и день выполняться? -
В зависимости от объема данных, может и целый день работать
Вы следите за тем, что бы system.mutation parts_to_do уменьшалось -
Понял, спасибо
-
Всем привет. Вроде был PR, где хотели встроить в MergeTree механизм батчинга insert-ов. Чтобы можно было вставлять не батчами -
Asynchronous inserts mode support by abyss7 · Pull Request #20557 · ClickHouse/ClickHouse
I hereby agree to the terms of the CLA available at: https://yandex.ru/legal/cla/?lang=en Changelog category (leave one): New Feature Changelog entry (a user-readable short description of the cha...
-
Здравтсвуйте!
Подскажите как лучше сделать
У меня есть поле возраст - инт
Мне нужно найти колчиество пользователей по возрастным группам - 20-30, 30-40, etc
Можно ли как-тот красиво это сделать кроме полотна ифов ?
Спасиб -
Group by age/10?
-
А в селекте наоборот умножить
-
нужно чуть более гибкое решение. в дейстивтельности там выборки рода 18-23, 24-31, etc
-
multiIf
чуть менее большое полотно if -
ну и нужно вывести в селекте аля ’18-23’ as grоup_age
-
ну ладно)
-
короче бакеты такие сделать
-
roundAge function
Or
countResample(0,5,1)(age, roundDown(age,[18,23,35,50])) -
чето не могу поняь что делает countResample и три магических числа
-
Добрый день) Нужен совет. Сейчас такой стэк. Laravel + mysql. Хотим mysql заменить на ClickHouse. Пишем маркетплейс. Mysql слишком медленный для нас. Так как много продуктов, от разных поставщиком, с разными характеристиками. Здравое ли решение использовать ClickHouse для маркет плейса? -
Очень много продуктов, очень много разной сортировки, по весу размеру и т.п.
-
MySQL слишком медленный для вас для чего?
полностью MySQL заменить не получится
можно данные какие то пригодные для аналитики типа загрузки \ продажи
сливать в clickhouse чтобы показывать
отчеты какие то
MySQL слишком медленный в каком месте?
может вы на Lavarel писать не умете и у вас 100 запросов к MySQL Там где можно обойтись одним? -
очень много это сколько?
что именно у вас тормозит?
отрисовка списка продуктов? -
start,end,increment
countResample бьет по бакетам вашу агрегацию
Тк вам нужно бить только по специальным границам приходится извращатся с roundDown
SELECT countResample(0, 6, 1)(age, indexOf([0, 18, 23, 35, 50], roundDown(age, [0, 18, 23, 35, 50]))) AS x
FROM
(
SELECT number AS age
FROM numbers(100)
)
Query id: 507294bc-b76e-4e44-ad01-8aaa88eb763f
┌─x─────────────────┐
│ [0,18,5,12,15,50] │
└───────────────────┘ -
Вот правильный пример
-
Пример. Есть таблица категорий. У каждой категории есть свой список продуктов. Я например одним запросом выдергиваю из определенной категории все продукты, у которых размер > n, цена в диапазоне min < price < max, и еще какое нибудь условие. Такой запрос будет обрабатываться пару секунд.
-
а вы искали в чем причина медленного запроса в mysql?
-
трейсили и чекали план выполнения запроса?
-
вы знаете что такое EXPLAIN и b-tree индексы в MySQL?
у вас две таблицы тут должны быть
одна категории
вторая продукты
во второй должен быть индекс по category_id
если у вас отношение 1:N
если N:M отношение тогда третья таблица в коорой
category_id, produc_id
и JOIN с этой таблицей и индекс на size в таблице продуктов -
у меня подобный запрос выполняется 0.1 секунду на двух миллионах товаров
что я делаю не так? -
Ребят привет, а как показать все схемы в базе данных? чет как-то не тривиально оказалось учитывая результаты гугления -
вместо JOIN можно на два запроса разбить один product_id выбирает
второй выбирает WHERE product_id IN () AND условия выборки -
в кликхаусе нет понятие схем в базе данных
-
Да я это прекрасно понимаю) Я понимаю, что с помощью индексов, анализа я смогу очень сильно оптимизировать запросы. Я пока не стал этим заниматься. Просто я почитал про кликхоус, и мне стало интересно.
-
КХ не для той цели, которую вы описали в вопросе
-
Просто проект только на начальном этапе, и хочется заложить правильную архитектуру. Использовать современные решение. Чем потом переписывать.
-
Я по этому и пришел сюда за советом)
-
спасибо! 🤝
-
Стоит, не стоит, для чего вообще.
-
А что вас побудило взять MySQL?
-
Это точно база, которая подходит под ваши требования?
-
Ильшат, ок. давайте так, ВАМ РАНО в clickhouse
давайте разберитесь с MySQL сначала
научитесь с ним работать
выжмите все из него
а потом уже к нам =)
clickhouse это не серебрянная пуля
от применения которой у вас все сразу заработает.. -
это же вопрос про clickhouse был? или нет?
-
SELECT * FROM system.databases;
SELECT * FROM system.tables;
в clickhouse СХЕМ как в Postgres нет -
Я пришел в проект, так было до меня)
-
Спасибо за ответ)
-
По этому мы сейчас изучаем и другие варианты)
-
крч соглашусь с @BloodJazMan , вам в КХ еще оч рано, разберитесь в причинах медленного запроса :)
-
А для чего тогда используют clickhouse? в каких проектах?)
-
Хотел бы изучить, почитать)
-
Обзор | Документация ClickHouse
Что такое ClickHouse ClickHouse - столбцовая система управления базами данных (СУБД) для онлайн обработки аналитических
-
вам лучше идти в доки
-
Понял, спасибо большое)
-
Безмерно благодарен)
-
👋 в таблице system.events увидал строчку SlowRead, которая якобы говорит мне о том, что 55 запросов считывались из файла медленно. В связи с чем встал интерес о том, как бы профилировать запросы в query_log и понять какие были медленными, а какие нет? Ну кроме банальных elapsed_ms и memory_usage колонок на глазок. Что сам кх считает медленными? -
господа, а нет ли известного бага (а лучше воркэраунда для него) с сообщением вроде DB::Exception: Cannot find column `notEquals(foo, '') in source stream`? -
в запросе такой функции нет
-
21.7.3
-
!= а такое есть?
У вас Distributed таблица? -
нет
-
да, нашел
-
В какой части запроса используется?
-
в query_log есть колонка с эвентами можно там посмотреть
Либо в логах сделать grep по Slow read
И найти id запроса -
SELECT
if(empty(s0.referrer_source), 'Direct / None', s0.referrer_source) AS name,
any(s0.referrer),
toUInt64(round(uniq(s0.user_id) * any(_sample_factor)))
FROM sessions AS s0
SAMPLE 10000000
WHERE (s0.domain = 'foo.com') AND ((s0.timestamp >= '2021-07-18T21:00:00') AND (s0.start < '2021-07-19T21:00:00')) AND (s0.referrer_source != '')
GROUP BY s0.referrer_source
ORDER BY
toUInt64(round(uniq(s0.user_id) * any(_sample_factor))) DESC,
min(start) ASC
LIMIT 0, 9
FORMAT JSONCompact -
запрос переписать нет возможности (3rd party софт)
-
видимо речь про колонку ProfileEvents.Names массив. Пасиб, пойду раскуривать эту тему
-
версия кх?
если руками через клиент выполнить этот запрос что будет?
SELECT
if(empty(s0.referrer_source), 'Direct / None', s0.referrer_source) AS name,
any(s0.referrer),
toUInt64(round(uniq(s0.user_id) * any(_sample_factor)))
FROM sessions AS s0
SAMPLE 10000000
WHERE (s0.domain = 'foo.com') AND ((s0.timestamp >= '2021-07-18T21:00:00') AND (s0.start < '2021-07-19T21:00:00')) AND (s0.referrer_source != '')
GROUP BY s0.referrer_source
ORDER BY
toUInt64(round(uniq(s0.user_id) * any(_sample_factor))) DESC,
min(start) ASC
LIMIT 0, 9
FORMAT JSONCompact -
версия вот
-
то же и будет
-
Code: 8. DB::Exception: Received from localhost:9000. DB::Exception: Cannot find column notEquals(referrer_source, '') in source stream.
-
идем дальше. если убрать (s0.referrer_source != '')
-
то ругается на Cannot find column less(start, '2021-07-19T21:00:00') in source stream.
-
есть ли возможность как-то переиндексировать метаданные или что-то в этом роде? это новый инстанс КХ, склонированный со старого
-
возможно какая-то проблема в этом
-
SHOW CREATE TABLE sessions;
на старом какая версия была? -
20.10.2.20
-
Странная фигня, похоже на багу где то
-
CREATE TABLE sessions
(
`session_id` UInt64,
`sign` Int8,
`domain` String,
`user_id` UInt64,
`hostname` String,
`is_bounce` UInt8,
`entry_page` String,
`exit_page` String,
`pageviews` Int32,
`events` Int32,
`duration` UInt32,
`referrer` String,
`referrer_source` String,
`country_code` LowCardinality(FixedString(2)),
`screen_size` LowCardinality(String),
`operating_system` LowCardinality(String),
`browser` LowCardinality(String),
`start` DateTime,
`timestamp` DateTime,
`utm_medium` String,
`utm_source` String,
`utm_campaign` String,
`browser_version` LowCardinality(String),
`operating_system_version` LowCardinality(String)
)
ENGINE = CollapsingMergeTree(sign)
PARTITION BY toYYYYMM(start)
ORDER BY (domain, user_id, session_id, start)
SAMPLE BY user_id
SETTINGS index_granularity = 8192 -
да, я про то же
-
возможно какая-то метадата кривая/старая приехала
-
Попробуйте даунгрейднутся до 21.3
-
там внутренний формат представления не менялся?
-
Нет, не должно
-
21.3.15.4 - эту версию стоит пробовать?
-
Ага, ее можно
-
помогло
-
Ну пишите баг репорт с примером на 21.7 что то там сломалось видимо
-
Подскажите, пожалуйста, а есть варианты решения ошибки: Memory limit (total) exceeded: would use 14.08 GiB (attempt to allocate chunk of 338518331 bytes), maximum: 14.08 GiB - кроме увеличения оперативной памяти, выделенной инстансу? -
Можно выполнять операции с использованием внешней памяти. Посмотрите настройки max_bytes_before_external_group_by и distributed_aggregation_memory_efficient (вроде)
-
это тюнинг запросов,а если например выполняется ALTER TABLE удаления\апдейта
-
Это total лимит, у вас там еще жирные запросы могут быть
-
нагрузки не было еще, но, кажется, я вас понял)
-
Всем привет, можете подсказать, что делаю не так? Хочу предоставить пользователям (LDAP) возможность создавать временные таблицы, для этого завел группу, и на нее навешиваю разрешения:
GRANT CREATE TEMPORARY TABLE ON *.* TO sg_clickhouse;
GRANT sg_clickhouse TO `user_name`
┌─GRANTS FOR rtb_clickhouse────────────────────────────┐
│ GRANT CREATE TEMPORARY TABLE ON *.* TO sg_clickhouse │
└──────────────────────────────────────────────────────┘
┌─GRANTS FOR `user_name`─────────────┐
│ GRANT sg_clickhouse TO `user_name` │
└────────────────────────────────────┘
Но в итоге все равно получаю ошибку:
DB::Exception: user_name: Not enough privileges. To execute this query it's necessary to have grant CREATE TEMPORARY TABLE ON *.* (version 21.6.3.14 (official build))
Может что-то упустил? -
комрады, подскажите пожалуйста, я всего навсего хочу две роли, rw и ro, но чет даже команду написать не получается, а офф. дока бомжатская какая-то =)
пишу так:
create role rw settings writable
чего не хватает ? -
Я кстати тоже даю гранты исключительно на группы и до клиентов (tableau, python) изменения идут долго (около 2 часов)
-
Nullable | ClickHouse DocumentationFunctions for Working with Nullable Values isNull Checks whether the argument is NULL. isNull(x) Alias: ISNULL. Argument
-
Добрый день, я первый раз пользуюсь clickhouse и у меня уже возникли проблемы с установкой клиента на мак. Сделал все как написано на странице установки, но после скачивания файла команды clickhouse не работают. -
treemorse@MacBook-Air-Daniel ~ % ./clickhouse
Use one of the following commands:
clickhouse local [args]
clickhouse client [args]
clickhouse benchmark [args]
clickhouse server [args]
clickhouse extract-from-config [args]
clickhouse compressor [args]
clickhouse format [args]
clickhouse copier [args]
clickhouse obfuscator [args]
clickhouse git-import [args]
clickhouse keeper [args]
clickhouse keeper-converter [args]
clickhouse install [args]
clickhouse start [args]
clickhouse stop [args]
clickhouse status [args]
clickhouse restart [args]
clickhouse hash-binary [args]
treemorse@MacBook-Air-Daniel ~ % clickhouse local
zsh: command not found: clickhouse
treemorse@MacBook-Air-Daniel ~ % -
ребяты!! как read-write роль создаааать?)))
-
Может ли кто-то помочь с моей проблемой? Хотелось бы уже приступить к работе а через докер это делать не очень удобно
-
./clickhouse local
-
но я бы для начала почитал книжки по терминалу для самых маленьких
-
Я бы с радостью) Но времени совсем нет. В любом случае спасибо
-
./clickhouse client
А в чем проблема то?
Вы не пишете -
ну вам показывают какие есть команды для бинарника clickhouse
если нужен клиент
то делаете symlink clickhouse-client на clickhouse бираник и все заработает
ну или clickhouse client
запускаем -
Как подметил Константин, моя проблема заключалась в неумении пользоваться терминалом
-
Гаесы всем привет, а чем можно заменить lag??? -
-
спасибо, сейчас почитаю
-
спасибо, помогло, странное поведение конечно 🙂
-
похоже на какие-то внутренние кеши
-
Что-то путаете.
https://pastebin.com/W0UirHRfilejn-latitude-7490 :) create table nt (a Nullable(Int), b Nullable(Int)) Engine - Pastebin.comPastebin.com is the number one paste tool since 2002. Pastebin is a website where you can store text online for a set period of time.
-
у него целые наверно просто не nullable :)
-
Привет, а правильно ли я понял, что после создания таблицы поменять комментарий к ней через sql не получится?
Версия 21.3.13.9 -
ну можно /var/lib/clickhouse/metadata/db/table.sql поменять
и рестартануть сервер -
Если "да" означает "не nullable" - сделайте nullable.
Если что-то другое - сделайте минимально воспроизводимый пример, покажите запрос и таблицу. -
наверное человеку охота, чтобы работало и без nullable :)
-
можно и без изменения типа. но тогда для отсутсвующих значений писать -1 или то значение, которое у вас не используется
-
Боюсь, что проблема в том, что у вас просто не было null'ов в базе. Именно для того, чтобы они появились, нужно nullable.
А какую функцию вы будете использовать - второстепенно. -
21.7+ Cannot find column in source stream in a query with sampling · Issue #26522 · ClickHouse/ClickHouse21.7.3 throws an exception if _sample_factor is used in a query: CREATE TABLE sessions ( `user_id` UInt64 ) ENGINE = MergeTree ORDER BY user_id SAMPLE BY user_id; insert into sessions values(1); SE...
-
от нуля или больше нуля? если больше нуля, то можно вместо coalesce использовать if(userId !=0, userId, userId2)
-
а как у вас семплинг вообще работает?
у вас user_id это уже хеш? от 0 до maxUInt64 ? -
влияет конечно, я написал это как пример как тестить, на тех синтетических данных да не повлияло, потому что они чистая синтетика
-
Ага, окей, тогда буду тестить на примерно своих данных)
-
Коллеги, подскажите пожалуйста а что такое вертикальный мерж?
-
горизонтальный мерж идет по первичным ключам слияемых партов и читает и слияет все колонки одновременно.
если колонок больше 10, то включается ВЕРТИКАЛЬНЫЙ, каждая колонка слияется в своем проходе, таким образом ВЕРТИКАЛЬНЫЙ немного медленее, но расходует на порядки меньше памяти, при этом могут быть странные сайдэффекты, типа если в 100 колонках поле надо вычисить из другой колонки, например с json, то тот json прочитается 100 раз. -
тут скорее всего в одном месте имеется в горизонтальный, а в другом - вертикальный
upd увидел, спасибо -
да, спс. уже пять человек написали 😺
-
:)
сам недавно задавался таким вопросом между делом, но дальше поверхностного гугления не ушел -
есть issue в гитхабе там все с картинками и описанием
-
попробую поднять вопрос еще раз
технический интерес -
мерж старых маленьких партов или например TTL вырезал строки и парты стали маленькими
-
какие вьюхи? View, Materialized View, Live View ?
Materialzed view получают данные от инсерта, они таблицу не читают, поэтому да синхронные. -
хм, действительно
была таблица replacementMT, нужно было почистить по pk (по ошибке залили с кривым pk), а в таблицу усиленно пишут "дубликаты"
спасибо! -
про MV https://youtu.be/1LVJ_WcLgF8?list=PLO3lfQbpDVI-hyw4MyqxEk3rDHw95SzxJ&t=7597
https://den-crane.github.io/Everything_you_should_know_about_materialized_views_commented.pdf
>а есть возможность профайлить их время выполнения
пока нет. только вручную. -
смотрите кино
-
вот кстати про логгинг https://github.com/ClickHouse/ClickHouse/pull/25714
-
в смысле создавть тестовую таблицу без вью, инсертить 1млн. записей, добавлять вью, инсертить снова 1млн., добавлять еще одно вью, ....
потом включить --parallel_view_processing arg Enables pushing to attached views concurrently instead of sequentially. и снова инсерть 1млн -
да, в том кино я руками водил и показывал как оно
-
в clickhouse-server.log все написано
- 20 July 2021 (164 messages)
-
Всем доброе утро.
Подскажите пожалуйста, каким образом в кликхаузе можно увидеть сколько потребляет памяти выполнение запроса? -
Большое спасибо
-
а данные то есть в исходной таблице к моменту исполнения запроса?
SELECT count() FROM remote(..) WHERE ... делали перед INSERT ? -
ну а ошибки как проверяете? как запрос запускаете? какой язык программирования?
-
Привет! У меня таблица с колонкой alias. Этот alias берётся с помощью
dictGet(dict_name,
'code',
tuple(toString(type))). но, когда в словаре нет соответсвия для значения - мне выкидывает ошибку missing column. Как это обрабатывать? -
dictGetOrDefault?
-
Спасибо
-
Всем привет! Использую кликхаус для построения запроса. Есть таблица А и таблица Б, делаю их join по id, затем хочу выделить из полученных данных два сплита, их сравнить еще одним джойном
Запрос падает по таймауту, в нем 9 select и три left join. Научите, пожалуйста, писать подобные запросы так, чтобы и код был короче, и таблица быстро считалась
Насколько я понял, в синтаксисе Clickhouse нет ни функций, ни ссылок, поэтому уже рассчитанные данные сохранить (мемоизировать) нельзя. Кроме этого, кода уже на 120 строк, а по-русски сформулировал в 120 символов 🤷 -
Можно через ARRAY JOIN + GROUP BY
WITH [Date, Date + INTERVAL 1 MONTH] as arr SELECT Client, StoreNo, Brand, sumIf(value, date2=Date) - sumIf(value, date2=Date + INTERVAL 1 MONTH) as diff ARRAY JOIN arr as date2 GROUP BY Client, StoreNo, Brand, date2 -
А вообще есть планы в синтаксис Clickhouse завезти ссылки?
-
Привет, не подскажете, как заставить клиент не обрезать длинное значение колонки? нигде не могу найти опций про это
-
Всем привет, а как CH работает с диском? Я так понимаю там своё решение. Есть где почиатть про это?
-
можно в коде почитать -
иногда бывает что-то на митапах
-
жаль я не сишник :(
-
жаль, тада буду верить что всё делается идеально
-
ты хотел провалидировать?)) -
сделай Format JSON например)
-
Документация ClickHouse | Документация ClickHouse
ClickHouse is a fast open-source column-oriented database management system that allows generating analytical data reports in real-time using SQL queries
-
PrettyCompact¶
Отличается от Pretty тем, что не рисуется сетка между строками - результат более компактный.
Этот формат используется по умолчанию в клиенте командной строки в интерактивном режиме. -
ну код достаточно хорошо написан, хорошо читается даже без полноценного знания плюсов
-
А можешь, пожалуйста, расширить пример?
Не очень понимаю этот код -
Оказывается, нельзя делать
with value as var
select * from (
select * from table
where prop = var
)
потому что скоуп для with только в первом select -
Можно, просто у вас версия старая, GLOBAL WITH был добавлен ~ 20.10
-
А как узнать, как у меня версия?
-
Вызываю CH из интерфейса, мб есть табличка?
-
SELECT version();
-
Эх, реально 19 версия (
-
Ну стоит посмотреть в сторону апгрейда, тк через месяц даже 20.8 уйдет в EOL
-
Давайте так.
Покажите запрос, что есть у вас сейчас, можете выкинуть ненужные части если есть такие. -
лол :) нет конечно
-
Ну как и в любом ПО бывают разные неприятные проблемы
https://github.com/ClickHouse/ClickHouse/issues/18844CRITICAL: DATA CORRUPTION on merges using linux AIO · Issue #18844 · ClickHouse/ClickHouseDescribe the bug After upgrading to clickhouse 20.12.4.5 we started seeing some merge errors, that lead to data loss. The main error message is : 2021.01.04 20:05:15.716664 [ 149272 ] {} <Er...
-
та блин) я без наездов
-
я хотел просто узнат ьчё как на диске
-
Да я тоже, просто шучу.
-
│ output_format_pretty_max_value_width │ 10000 │ 0 │ Maximum width of value to display in Pretty formats. If greater - it will be cut. │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ UInt64 │
-
Привет всем! Есть вопрос по поводу read consciency. Я понимаю, что ClickHouse не транзакционален. Но тем не менее интересно знать, какие существуют гарантии доступности данных. После вставки большого количества данных в MergeTree таблицу (на одной ноде), есть ли гарантия, что та же сессия увидит все данные из всех столбцов? А другая сессия? Интересуюсь потому, что имплементирую ETL процесс из нескольких этапов, и следующий этап может читать данные из MergeTree таблицы, заполненной на предыдущем. -
Всем привет, как из строки получить массив, пример строки: '[[1, 2, 3], [3, 5]]' -
JSONExtract
-
Спасибо, я нашел эту функцию
-
Но при ее использовании мне возвращается пустая строка, не могли бы вы привести пример правильного использования? (Я смотрел документацию)
-
SELECT CAST('[[1, 2, 3], [3, 5]]', 'Array(Array(UInt32))')
-
Это сработало, спасибо, упустил момент с тем, что нужно два Array. Спасибо всем кто пытался помочь
-
Да, там недавно io_uring вообще убрали из мержей на более простой механизм.
-
Remove AIO for sequential reads by alexey-milovidov · Pull Request #26003 · ClickHouse/ClickHouse
Changelog category (leave one): Improvement Changelog entry (a user-readable short description of the changes that goes to CHANGELOG.md): Remove complicated usage of Linux AIO with one block read...
-
Не только,
к мержам он тоже относится. -
Да, всегда лучше проверять на своем железе, вдруг что.
Появится это изменение должно в 21.9, к сожалению чуть опоздало, что бы попасть в следующий LTS -
Ага,
Яндекс недавно в своей статье про баги в ядре линукса такое описал
Представьте редкий баг, который стреляет раз в два года. Что с ним делать, совершенно непонятно. Непонятно даже, нужно ли на него реагировать. Такой произошел у нас буквально недавно. На наших масштабах это означает 150 падений в день — огромные масштабы, совершенно неприемлемо. То есть очень редкие баги нас очень сильно бьют по голове. -
Добрый день! Подскажите пожалуйста! получаю ошибку вида:
HttpCode:400 ; ;Code: 27, e.displayText() = DB::ParsingException: Cannot parse input: expected 'eof' before: '.5' (version 21.7.3.14 (official build))
На запрос:
INSERT INTO `active_record_log` (`model`,`type`,`pk`,`attributes`,`user_id`,`company_id`,`create_date`,`create_at`) VALUES ('test',1,'test','test',83,1,'2021-07-20','2021-07-20 17:27:49')
При этом если делаю запрос через шторм - все отлично, через приложение - эксепшен... в какую сторону копать? -
> Cannot parse input: expected 'eof' before: '.5'
Какая то черепашка врет.
Я вот не вижу .5 в запросе.
Что за приложение? -
Да сайт обычный, эксепшен с него распечатываю
-
прям из эксепшена и беру подготовленный запрос
-
А как передаете values и сам запрос? в боди?
-
вот через этот вендор делаю:
smi2/phpclickhouse -
при этом сейчас фактически просто поменял сервер, развернул новый КХ и перенаправил на него
-
в предыдущий сервер пишет отлично )))
-
А предыдущий сервер на какой версии?
-
ClickHouse server version 20.3.7.46 (official build).
-
Попробуйте новый откатить до 21.3
-
попробую, спасибо
-
Не удалется crd из k8s
Снова поймал этот баг operator 0.15
Name: clickhouseinstallations.clickhouse.altinity.com
Namespace:
Labels: <none>
Annotations: <none>
API Version: apiextensions.k8s.io/v1
Kind: CustomResourceDefinition
Metadata:
Creation Timestamp: 2021-07-20T17:21:29Z Deletion Grace Period Seconds: 0 Deletion Timestamp: 2021-07-20T17:29:30Z Finalizers: customresourcecleanup.apiextensions.k8s.io
Custom resources with finalizers can "deadlock" customresourcecleanup.apiextensions.k8s.io finalizerKirill Kazakov in ClickHouse не тормозитНе удалется crd из k8s удалить. k8s 1.18 chi-operator: 0.14 При переустановке пишет, что предыдущий crd не удален. Error: rpc error: code = Unknown desc = release clickhouse-operator failed: object is being deleted: customresourcedefinitions.apiextensions.k8s.io "clickhouseinstallations.clickhouse.altinity.com" already exists Получается удалить только таким патчем: kubectl patch crd/clickhouseinstallations.clickhouse.altinity.com -p '{"metadata":{"finalizers":[]}}' --type=merge Есть ли способ пофиксить это поведение, чтобы удаление было корректно ?
-
Добрый вечер, нужна подсказка или что почитать по сжатию данных кликхауса
интересен конфиг <compression> и какие параметры как влияют, может кто разбирал
Есть большое желание как-то снизить размер данных на диске, а заодно понять как этот блок можно использовать и к чему это приводит.
Наверно первый вопрос, можно ли на рабочей БД поменять тип сжатия на zstd и потом вернуть дефолт (Вопрос в том, насколько безопасно менять тип сжатия, не повредятся ли данные)? -
Не надо трогать его, лучше крутите сжатие отдельных колонок профитп будет больше
-
Ок, но вопрос тот же менять кодек колонки можно в любом порядке.
Например потестить с lv4 потом альтером поменять на zstd, потом уровни поменять, данные в таком случае не сломаются? -
-
Нет, но колонки будут в старом кодеке пока мерж не случится
-
Точнее данные в партах до изменения кодека
-
А мердж руками можно запустить?
-
Не надо. Лучше как по ссылке сделайте
-
Там есть под статья где показано как тестироаат кодеки
-
Там как раз есть OPTIMIZE TABLE, я так понимаю эта команда как раз и сжимает данные после alter?
-
Т.е. последовательность действий такая:
Скопировать какой-нибудь партии для тестов.
Попробовать разные кодеки:
Alter table с кодеком на колнку, потом OPTIMIZE TABLE.
И смотреть что изменилось.
Примерно так? -
Точнее не в этой а в следующей статье про тест кодеков
-
Ничего страшного не случится, если данные пожаты разными методами.
Все прочитается успешно. -
Немного не в этом вопрос, если одну и туже колонку поочередно сжимать разными вариантами (в режиме теста), чтобы понять как она ведёт себя, кликхаус корректно переводит из любого кодека в любой другой?
-
да
-
О шикарно, спасибо)
А может уже есть какое-то исследование какой колонке лучше подходит конкретная комбинация кодека. Например строка с небольшим количеством вариантов (10 на 1кк) и для строки с большим разнообразием вариантов (100к на 1кк)?
Как в статье https://altinity.com/blog/2019/7/new-encodings-to-improve-clickhouse с числамиNew Encodings to Improve ClickHouse EfficiencyJuly 10, 2019Modern analytical databases would not exist without efficient data compression. Storage gets cheaper and more performant, but data sizes typically grow even faster. Moore’s Law for big data outperforms its analogy in hardware. In our blog we already wrote about ClickHouse compression (https://altinity.com/blog/2017/11/21/compression-in-clickhouse) and Low Cardinality data type wrapper (https://altinity.com/blog/2019/3/27/low-cardinality). In this article we will describe and test the most advanced ClickHouse encodings, which especially shine for time series data. We are proud that some of those encodings have been contributed to ClickHouse by Altinity.This article presents an early preview of new encoding functionality for ClickHouse release 19.11. As of the time of writing, release 19.11 is not yet available. In order to test new encodings ClickHouse can be built from source, or a testing build can be installed. We expect that ClickHouse release 19.11 should be available in public releases in a…
-
только если вы на одной и той же таблице будете кодеки менять, будет очень трудно их между собой сравнивать
-
все от данных зависит
order by тоже сильно влияет -
Ну я больше как стартовый вариант от которого отталкиваться ищу, дальше методом тыка и подбором)
-
План был в том, чтобы взять самые жирные колонки, которые по дефолту меньше всех сжаты, и поочереди на каждой колонке пробовать разные комбинации кодеков и потом собрать статистику. По сути сделать тоже что в статье с числами
-
скопируйте лучше данные в несколько таблиц с разными кодеками
-
Да спасибо, буду пробовать)
-
Насколько распоространено использрвание zetcd вместо zookeeper?
-
Ещё вопрос в контексте текущего.
Тут видел советы поставить по дефолту zstd в конфиг. У нас сейчас блок компрессии закоментирован, можно ли его использовать, например просто раскоментировав, для тех же целей экономии места -
Скорее всего тут тоже все от самой схемы бд зависит. У нас примерно так:
Основная таблица в которую идет запись и на ней висит несколько материализационных вьюх, с агрегацией. Выборка идет только из вьюх.
В основную таблицу только запись, сейчас объем небольшой около 4-5к в секунду -
ну тут вопрос - готовы ли вы разменять возможную прибавку места на потребление CPU?
-
разные типы данных сжимаются с разной эффективностью, нет универсального совета
-
(точнее наиболее универсальный стоит по дефолту)
-
Ну в данный момент времени наверно да, я кстати не смотрел что с cpu но по мониторингу всплесков не видел.
У нас сейчас ситуация такая: пилот проекта и очень ограничены ресурсы. Железка такая: 4 ядра 4 гига и 17 ГБ HDD в запасе можно докинуть ещё около 30 ГБ
На пилот был план на небольших клиентов и поначалу так и было, они генерили 50к событий в день и тратили несколько мегабайт. Сейчас подключили 1 жирного лкиента и он половиной пользователей поднял планку до 800к событий в день и 200 мб и оказывается есть планы на еще клиентов.
Вариант увеличения железа прорабатывается, но т.к. пилот - все сложно )
Поэтому кажется что cpu у нас в достатке -
--output_format_pretty_max_column_pad_width arg Maximum width to pad all values in a column in Pretty formats.
--output_format_pretty_max_value_width arg Maximum width of value to display in Pretty formats. If greater - it will be cut. -
там война и мир отдыхает по размеру. Там чего-то только нет и direct_io и mmap и async_io в зависимости от ситуации.
-
были
-
distributed таблица умеет читать из актуальных реплик
--max_replica_delay_for_distributed_queries arg If set, distributed queries of Replicated tables will choose servers with replication delay in seconds less than the specified value (not inclusive). Zero means do not take delay into account. -
direct_io отключать? у вас какая фс? Я не помню бага про direct_io
-
там вроде все понятно из описания? Проблем поменять туда сюда нет, но менять надо на обеих репликах как можно более одновременно
-
есть TTL re-compress, можно старые данные пережимать более сильным компрессором
-
да не работает он.
сейчас внедряется собственный clickhouse-keeper , замена зукипера -
я все жму zstd не вижу разницы в перфомансе, упирается в диск
-
Спасибо!
чем clickhouse-keeper будет лучше zookeeper? -
ну а чем вам зукипер не угодил?
-
я пока не знаю 😄
-
пытаюсь построить какую-то картину мира в голове
-
когда в прод собираетесь?
-
Еще тестовый стенд не подняли 😉
-
ClickHouse/clickhouse-keeper.md at master · ClickHouse/ClickHouse
ClickHouse® is a free analytics DBMS for big data. Contribute to ClickHouse/ClickHouse development by creating an account on GitHub.
-
ClickHouse Keeper | ClickHouse Documentation
[pre-production] clickhouse-keeper ClickHouse server use ZooKeeper coordination system for data replication and distribu
-
У нас особо старых нету, все прямо сейчас резко полетело, за неделю с 200мб до гига доросли)
Репликации нет, один сервак, поэтому менять проще) -
<compression>
<!-- Set of variants. Checked in order. Last matching case wins. If nothing matches, lz4 will be used. -->
<case>
<!-- Conditions. All must be satisfied. Some conditions may be omitted. -->
<!-- Min part size in bytes. -->
<min_part_size>100000000</min_part_size>
<!-- What compression method to use. -->
<method>zstd</method>
<level>1</level>
</case>
</compression>
вот: если размер парта меньше 100000000 байт то LZ4, если больше то ZSTD
нужет рестарт -
Возможно мне просто сложно понять) Хм, но кажется раза с 10 понял, но не до конца.
"Минимальный размер части таблицы" Что за часть и как она определяется, первая мысль была про партицию.
Сейчас появилось другое понимание:
Например 2 case:
У одного минимальный размер части 10.000
У второго 40.000
Если в таблице 100.000 строк, он для 80.000 использует второй кейс а для оставшихся первый?
Если в таблицу прилетит ещё 20.000 записей он возьмет те 20.000 из первого кейса, сложит с новыми и сожмет по второму(40к) кейс? -
каждый инсерт создает парт уровня _0.
после n insert-в образуется n партов _0.
шедулер мержей анализирует постоянно, и в какой-то момент принимает решение, m первых партов пора cмержить в единый парт, получается парт уровня _1
парты разных уровней постоянно мержатся из мелких в крупные
все это в рамках ОДНОЙ партиции
и так все продолжается пока размер партов не достигнет макс. размера 150ГБ.
И например мерж решает помержить 6 каких-от партов, считает общий размер этих партов, если размер больше 100000000, то жмем ZSTD, меньше LZ4 , таким образом все парты со временем становятся пожатыми ZSTD, пока они маленькие и постоянно ре-мержатся в более крупные, они пожаты LZ4.
для _0 используется размер несжатого парта -
Интересно, а есть select чтобы посмотреть какие парты сейчас есть и их размер?
-
select name,partition, formatReadableSize(bytes) size,rows, database,table
from system.parts
where active = 1 and table like 'таблица' -
на таких объёмах можно сжатие не оптимизировать, время разработчика дороже.
просто возьмите дешёвый нормальный хостинг, например hetzner. возьмите там самый дешёвый сервер (40 евро, 2tb sata или 512 пи ssd) и вам его с головой хватит. либо у них же самую дорогую виртуалку за 50 евро (360gb ssd). -
да, trade-off, но уже ZSTD(2 или 3) начинают тормозить CPU так что невозможно инсертить
-
у нас вроде пока не сильно много данных, по скорости почти все запросы отрабатывают меньше 50-300мс(большинство до 70-100), штук 5 за месяц отработали за 500-600мс, даже если в 2 раза отклик увеличится, но это даст свободное место, то пойдет )
-
у меня и инсерты маленькие, по 2-3к строк в секунду
-
я в хецнере перехожу на sx134
128 GB DDR4 ECC
10 x 16 TB
224.91 € -
160TB места на серваке, есть где развернуться
-
посмотрел, самый большой парт с именем 202107_21608_37058_24_29583, получается он пережил 29583 мерждой?
-
вот на самом деле с таким объяснением и запросом с получением этих партов сильно понятнее стало )
-
охренть, что-то я даже на неё не обращал внимания, думал делловский взять и самому дисков накидать, а тут по сути готовая сборка для схемы хот/колд стораджа.
-
202107 -- партиция
_21608 -- начальный блок (автоинкремент)
_37058 -- конечный блок
_24 уровень мержа
_29583 -- версия мутации -
_29583 -- мутации / alter table update / delete -- это путь в никуда.
-
скорее всего это после тестов осталось, до пилота сервак был тестовым. alter table делаем только в накатах, раз в месяц при отключенной нагрузке
-
а если в конфиге указан zstd то какой уровень используется? из тега level?
-
да
-
здорово, спасибо большое, буду пробовать )
-
кстати в описании тега уровня нету
-
не спросил не знал бы )
-
да, все знания по КХ в этом чате, отмотайте на 2016 год, там все написано 🙂
-
Хах, я долго сегодня мотал поиском по zstd остановился на начале 19 года)
-
Да, возможность присутствует, и уже довольно давно.
Использовать так: просто прописать в элементе level рядом с method:
<!-- Which compression method to choose. -->
<method>zstd</method>
<level>2</level> -
Хорошо. Там есть ещё возможность увеличить уровень сжатия. По-умолчанию это 1. Я рекомендую пробовать постепенно. Всё-таки будет использоваться существенно больше CPU. Кстати, изменения влияют только на данные, которые были записаны и помержены после изменений.
-
дописал кстати https://github.com/ClickHouse/ClickHouse/pull/26616/filesDoc. Documentation for compression level by den-crane · Pull Request #26616 · ClickHouse/ClickHouse
I hereby agree to the terms of the CLA available at: https://yandex.ru/legal/cla/?lang=en Changelog category (leave one): Documentation (changelog entry is not required)
-
А уровень же только для zstd используется?
-
нет
-
Lv4 то же по уровням 1-22?
-
А блин где-то же видел, там вроде 1-9
-
а точно надо в доку тоже добавить lzhc
- 21 July 2021 (217 messages)
-
ну, странно, должен по идее в 1.10 быть пофикшен у вас 1.18 же
попробую сегодня с главным разработчиком поговорить...
kubectl get chi --all-namespaces есть какие то в системе?
CRD он же cluster level -
Добрый день, мне нужно обновить CH с 19.1.14 до какой-то актуальной стабильной, например 21.1.3.32-stable. Я понимаю, что это нужно делать постепенно и тестировать свои запросы на каждом шаге. Т.е. обновил до 19.3.9,1, проверил. Обновил до 19.4.4.33, проверил, и т.д. Тут я предположил, что я могу переходить каждый раз на новую минорную версию, с максимальной версией патча. Есть ли возможность минимизировать количество итераций “обновил-проверил”? Или все очень индивидуально и зависит от фич которые мы используем? -
Емнип можно сразу на нужную версию если устраивают все breaking changes по пути. Ну и 21.1 уже не поддерживается, лучше хотя бы 21.3
-
Кликхаус всегда умеет читать старые данные, но новые будут где-то несовместимы при откате с таким большим скачком
-
Основная проблема в обновлении это откат назад по версии.
Те в идеале вам нужно сделать копию данных и обновляться и гонять тесты на этой копии -
Привет! А как можно строку
{
\"a\" = \"b\";
\"c\" = \"d\";
}
простым способом превратить в map({"a": "b", "c": "d"})? Или можно только сплитить по знаку равно, превращать в массив? -
Это YSON, в кликхаусе нет функций для работы с ним
-
спасибо!
-
всем привет.
подскажи, а можно как-то увидеть, что зукипер реплицирует между репликами в текущий момент?
и как поднять приоритет конкретной таблицы для синхронизации -
Вопрос теортерический, чтобы взять только самую позднюю запись для каждого id - что легче where in или inner join? или есть более гуманные методы? -
-
мерси
-
Ничего не было , уже убил этот crd ....
-
argmax же
-
мне бы в аргумент несколько значений
-
tuple(*)
-
ну * не работает, но перечислить в кортеже можно, а потом вытащить
-
мысль понял, спасибо!
-
работает
-
ну тада ваще супер пупер, может в моеё версии кх не работало...
-
я давно не проверял, но 3 года назад работало
-
-
таблица по названию похожа на 1С
LIMIT внутрь odbc не передается -
возможно в 1C есть поля каких то типов которые не могут сконвертироваться
-
попробуйте одно какое то поле выбрать
-
не помогло
-
а можете попробовать clickhouse 21.3 LTS вместо 21.6 ?
-
https://github.com/FreeTDS/freetds/issues/179
воможно проблема в самом FreeTDS и том как clickhouse его используетSQLGetData returns "Invalid Cursor State" · Issue #179 · FreeTDS/freetdsWe are trying to read variable length Spatial data from Microsoft SQL Server Spatial 2012 on Linux using FreeTDS driver. The size of the data is not known in advance and is read using Long Data alg...
-
увы нет, только odbc
и его особо сильно не тестировали именно в связке с MSSQL
вот тут есть примеры конфигов с которыми это все должно работать
https://clickhouse.tech/docs/en/sql-reference/dictionaries/external-dictionaries/external-dicts-dict-sources/#example-of-connecting-ms-sql-server
какая у вас версия freetds ? и какая OS?
может имеет смысл обновить?Sources of External Dictionaries | ClickHouse DocumentationSources of External Dictionaries An external dictionary can be connected from many different sources. If dictionary is c
-
Всем привет. я установил clickhouse на сервере с debian c помощью apt-install. Поднял и он работает локально. Как его сделать доступным извне?
-
https://clickhouse.tech/docs/en/operations/server-configuration-parameters/settings/#server_configuration_parameters-listen_host
смотрим настройки в /etc/clickhouse-server/Server Settings | ClickHouse DocumentationServer Settings builtin_dictionaries_reload_interval The interval in seconds before reloading built-in dictionaries. Cli
-
ну, с учетом того что Distributed таблица Данные не хранит при SELECT ...
То надо просто убедиться что REPLACE PARTITION прошел нормально... -
а какая версия MSSQL?
-
мне надо указать:
<listen_host>::</listen_host>
<listen_host>0.0.0.0</listen_host>
?? -
freetds.conf
можно попробовать
tds version = 7.4
поставить
глядя на табличку
https://docs.microsoft.com/en-us/openspecs/windows_protocols/ms-tds/135d0ebe-5c4c-4a94-99bf-1811eccb9f4a[MS-TDS]: Appendix A: Product BehaviorThe information in this specification is applicable to the following Microsoft products or supplemental software. References to product versions
-
можно только второе
-
у clickhouse, eventually consistency во многих вещах
и многие вещи выполняются "асинхронно"
зато без блокировок -
Когда сджйониваешь 3 запроса, нельзя использовать using((( а вот на двух работает
-
Не помогает. CH нужно как-то перезагружать по особому? я сделал stop и start. В итоге написано, что он всё равно слушает 127.0.0.1 и не коннектит.
И ::1 где-то берёт -
используйте ON X=Y
вполне себе рабочее решение...
за исключением того что если вы используете JOIN в clickhouse то возможно вы это делаетене от хорошей жизни...
что-то делаете не так... -
на скриншоте reload
сделайте
systemctl clickhouse-server restart -
grep listen -r /etc/clickhouse-server/
что говорит? -
restart Сделал, не помогает.
-
ну тут джойн сам на себя. Using выводится только один столбец а ON они задваиваются(
-
ок. смотрите
grep -r listen /var/lib/clickhouse/preprocessed_configs/config.xml
что там? -
-
truncate -s 0 /var/log/clickhouse-server/clickhouse-server.log
truncate -s 0 /var/log/clickhouse-server/clickhouse-server.err.log
systemctl restart clickhouse-server
и дальше смотрите логи
/var/log/clickhouse-server/clickhouse-server.log -
Пока нет
Но делают -
А есть другие айпишники или клик запускается в докере и таи кроме 127.0.0.1 ничего и нет?
-
нет, он на сервере запускается без докера
-
Ну значит не в ту секцию в xml файле настройки добавляете
-
Part movement between shards by nvartolomei · Pull Request #17871 · ClickHouse/ClickHouse
This is ready for feedback. Implements part uuid "pinning" and movement between shards. Part of #13574 Outstanding tasks for next PR ALTER TABLE t MOVE PART x CANCEL or similar. ...
-
в логах нашёл только эту строчку из интересного. И дальше он пишет, что слушает 127.0.0.1 и [::1]
-
Добрый день. Имеется 2 дц. Как можно организовать репликацию в одну сторону, т.е чтобы в первом дц были записи из 1 и 2 , а во втором только из 2? Или же это не replicatedт таблицами решается и нужно буферизовать инсерты и заливать самим
-
ну или даже не тот конфиг правите. проверьте используется ли вообще этот конфиг или нет, а также используется ли вообще эта секция или нет
-
путь соответствует тому, что в логах
-
а секция там одна такая
-
посмотреть таблицу .inner.mv_name
-
ну у всех то работает. так что вы что-то делаете не так. что-то где то упустили. в таком случае нужно скрины, которые бы показали, что процесс использует именно этот конфиг, что именно в этом конфиге внесены изменения, что рестартует без ошибок.
-
атомарность возможна в рамках одного сервера REPLACE PARITION именно это и делает
но о какой атомарности идет речь, если репликация асинхронная?
если в шарде несколько реплик. то подмена парта в реплике по идее стартует процесс помещения этого нового парта в ZK
и дальнейший его fetching средствами другой реплики clickhouse
distributed вообще ни о какой атомарности не знает и не знает даже что там за таблица будет на принимающем сервере под капотом
при вставке в нее там просто временные файлы создаются которые потом через distributed sends в шарды пропихиваются
а при select просто идет обычный SQL подзапрос в котором вместо аггрегатных функций делается aggfunctionState
который потом домерживается уже на ноде инициаторе -
так все эти скрины были выше
-
смотрим SHOW TABLES
находим .inner таблицу
дальше в system.tables смотрим total_bytes для этой таблицы -
"атомарность" разве там есть ?
-
вы сделали как вам сказали вот тут
https://t.me/clickhouse_ru/227494 ?
что в логах показывается?Slach [altinity] in ClickHouse не тормозитtruncate -s 0 /var/log/clickhouse-server/clickhouse-server.log truncate -s 0 /var/log/clickhouse-server/clickhouse-server.err.log systemctl restart clickhouse-server и дальше смотрите логи /var/log/clickhouse-server/clickhouse-server.log
-
Для переездов партов между шардами?
Да, конечно. -
не хватает systemctl status clickhouse-server
-
SHOW CREATE MATERIALIZED VIEW db.ваш_mv SETTINGS show_table_uuid_in_table_create_query_if_not_nil=1
-
ip addr
netstat -tulpn | grep clickhouse -
вот логи
-
В логах написано что конфиг загружается нужный, но адреса почему-то не те
-
вот конфиг
-
так и думал. вы сами-то конфиг смотрели?
-
конечно, я же его и правил, что не так?)
-
-
откройте его и посмотрите ещё раз, даже самый невыспавшийся человек сможет заметить, там даже цветом отличается :)
-
для тех кто ещё спит: эта настройка закомментирована :)
-
спасибо) Я с xml особо никогда не работал
-
ну, теперь вы знаете, почему там другим цветом :) кстати на будущее: также комментируется и в html, потому что это подмножество xml
-
Всё заработало, спасибо вам большое, буду знать)
-
Всем привет , кто-нибудь использовал движок MaterializedPostgreSQL для перегона данных из PostgreSQL в Clickhouse? -
Я _думаю_ что нужно во втором дц делать materialized view, который будет вставлять в таблицу в первом дц через remote.
-
его ещё даже в доке нету, да и в стейбл ветках тоже не видно
-
https://clickhouse.tech/docs/en/engines/database-engines/materialized-postgresql/ - тут про это написано, но чего то у меня не взлетело.MaterializedPostgreSQL | ClickHouse Documentation
[experimental] MaterializedPostgreSQL Creates ClickHouse database with an initial data dump of PostgreSQL database table
-
а, я на русском искал. в общем в вашей версии клика его наверно ещё нет
-
Понятно, спасибо
-
html родился до xml , как он может быть подмножеством?
там нет строгих требований про закрытые теги и т.д. -
Добрый день
хотим расширить КХ на 2 шарда с одного, все таблицы на ReplicatedReplacingMergeTree
какие могут быть подводные камни ? .... возможно что-то надо подготовить к данному процессу ? -
я имел ввиду современный html, а точнее HTML 5, он же XHTML, но ему мало кто соответствует
-
надо выбрать ключ шардирования, если хочется чтобы Replacing работал, надо чтобы записи с одинаковым ключом попадали преимущественно на один шард
-
зачем все это? В КХ вообще нет атомарности и durability даже в рамках одного сервера. Все кто говорят обратное просто не понимают тонкостей.
-
а он не по primary key шардирует ?
-
нет. MergeTree таблицы не в курсе про кластер и про шардирование. На самом деле 2 ReplicatedMergeTree таблицы в разных шардах это ДВЕ/N РАЗНЫЕ таблицы. У них просто одинаковое имя -- это необязательно. Эти ДВЕ ТАБЛИЦЫ не связаны вообще.
-
ок ... спасибо
-
Каждый шард это отдельная сущность, она вообще не подозревает что шардов много.
Запросы on_cluster это просто хелпер, который выполняет запросы на каждой ноде, я не пользуюсь on_cluster -
ну т.е. я так понял что автоматического распределения данных при добавлении шарда здесь нет ?
-
и каждый раз при добавлении шарда нужно по сути перезаливать все данные
-
решардинга? нет, и еще долго не будет, появится наверное лет через 10.
-
да
-
ок 🙂 спасибо
-
а для приложения есть какие-то изменения ? приложению самому нужно определять в какой шард обращаться или оно само ? 🙂
-
Добрый вечер! Хотим сэкономить память на хранении словарей в столбце и хранить не чисто стринговыми значениями, а при помощи, например hash-словарей. Это возможно вообще? -
Добрый день! Подскажите плиз: я подключаю движок ПГ
https://clickhouse.tech/docs/ru/engines/database-engines/postgresql/
и когда пытаюсь посмотреть таблицы кх ругается:
SQL Error [60]: ClickHouse exception, code: 60, host: 192.168.235.72, port: 8123; Code: 60, e.displayText() = DB::Exception: PostgreSQL table etl."telegram_chats" does not exist: While executing Tables (version 21.4.6.55 (official build))
я так понимаю и-за того что не указана схема, можно ли это как-то обойти?)PostgreSQL | Документация ClickHousePostgreSQL Позволяет подключаться к БД на удаленном сервере PostgreSQL. Поддерживает операции чтения и записи (запросы S
-
Distributed таблица умеет шардить
-
эээ LowCardinality ?
-
это норм, когда в столбце для каждой строки меняются ключи?
-
в смысле все String разные всегда и не повторяются?
-
ключи могут исчезать и появляться новые
-
давайте конкрентые примеры, вот например есть http user agent. Он длинный, вы не хотите хранить его в таблице, вы хотите хранить хеш, но user agent-в много и они очень редко повторяются, речь про это?
-
не совсем
есть словарик, где пар ключ-значение может быть от 50 до 250 за одну строчку
и для каждой строчки какие-то ключи могут исчезать и повляться -
там как бы null просто этого не видно
set aggregate_functions_null_for_empty=1
┌─argMaxOrNull(str, dt)─┐
│ ᴺᵁᴸᴸ │
└───────────────────────┘
тоже самое
select max(str) from (select 10 as id, 'val' as str, today() as dt) where id != 10;
┌─maxOrNull(str)─┐
│ ᴺᵁᴸᴸ │
└────────────────┘
select id, max(str) from (select 10 as id, 'val' as str, today() as dt) where id != 10 group by id;
0 rows in set
в стандартном SQL , в mysql / pg/ sqlite тоже самое -
ниче не понял
-
-
ну ОК, добавим в таблицу две колонки массива key Array(String), value Array(String). Тоже самое Nested , тоже самое новый Map
причем тут хеши? key повторяются? value повторяются? -
тогда ведь слишком много строк станет
повторяются key и повторяются values -
в смысле у каждого ключа всегда известен/жестко задан value ?
-
он меняется, в том и дело
меняется в зависимости от значений двух других столбцов -
и вы не хотите хранить value в таблице?
-
хочу как-то сэкономить память для такого типа данных
когда храню как стринг, то очень много жрет -
ну есть external dictionary , туда можно сделать dictGet(..... tuple(key, два других столбца))
-
но это ведь можно делать только на основании уже существующих данных в базе? т.е. постоянно его обновлять нужно при добавлении новых строк?
-
ну да, в ETL это надо
-
спасибо
-
всем привет, отвалилась табличка в ридонли, в логах такое: There is a problem with deleting parts from ZooKeeper: Code: 999, e.displayText() = Coordination::Exception: Session expired (Session expired), Stack trace (when copying this message,
always include the lines below):
Как такое чинить? Зукипер с виду ок -
Пути в зк есть
-
и он доступен
-
а где есть? Поставил 21.9.1 на мак, но там похоже тоже нет:
MaterializedPostgreSQL is an experimental database engine. Enable allow_experimental_database_postgresql_replica to use it.. (UNKNOWN_DATABASE_ENGINE)
этот allow давал в create database и в серверном конфиге. -
это свойства профиля
-
зукипер не рестартовали случайно?
SYSTEM RESTART REPLICAS
помогает? -
Зукипер не рестартовал, есть ощущение что отвалился от нагрузки, рестарт помог да
-
посмотрите на гитхабе, вбиваете в поиске MaterializedPostgreSQL, находите коммит, в котором эта фича была добавлена, смотрите ветки у этого комита
-
под словом нагрузка имеется ввиду много одновременных INSERT в ReplicatedMergeTree?
-
Не, там активно писали в табличку, после чего отвалился зукипер с такой ошибкой и она ушла в ридонли
-
там во всем репозитории этот allow_experimental_database_postgresql_replica встречается только 1 раз в эксепшене, а в сеттингах другое имя - allow_experimental_database_materialized_postgresql
-
логи zookeeper смотрели?
там одна нода или несколько? -
Несколько, зукипер смотрел
-
так я вам про allow_experimental_database_postgresql_replica ничего и не говорил, я писал вам про MaterializedPostgreSQL
-
вот пуллрекветст MaterializedPostgreSQL https://github.com/ClickHouse/ClickHouse/pull/20470
вот все его комиты https://github.com/ClickHouse/ClickHouse/pull/20470/commits
нажимаете на первый попавшийся комит и вуаля, только тестинг и престейбл.
о чём я уже выше и писал:
>его ещё даже в доке нету, да и в стейбл ветках тоже не видно
у вас тестовый или престейбл кх установлен?MaterializePostgreSQL table engine and database engine by kssenii · Pull Request #20470 · ClickHouse/ClickHouseI hereby agree to the terms of the CLA available at: https://yandex.ru/legal/cla/?lang=en Changelog category (leave one): New Feature Changelog entry (a user-readable short description of the cha...
-
слово expire там в логах есть?
-
вот не помню, у нас почему то только лог вывода стдаут зуки, а он перезатерся так как я в попытках починить рестартанул его
-
Привет, ребят. Команда вида:
zcat out-s0.csv.gz | head -1000 | clickhouse-client --query="INSERT INTO test.table FORMAT CSV"
Дает ошибку
Code: 441. DB::Exception: Invalid IPv4 value.: data for INSERT was parsed from stdin
Таблица table содержит колонку типа IPv4. Можно ли как-то переформатировать тип колонки при вставке из stdin? -
можно input function. Но вообще строка с ip должна залезать в IPv4 автоматически, там пустые строки может есть? это наверное решаемо параметрами
-
zcat out-s0.csv.gz | head -1 | clickhouse-client --query="INSERT INTO test.table FROM input('ip IPv4, time_local DateTime, request String, status UInt8, body_bytes_sent UInt16, http_referer String, http_user_agent String') FORMAT CSV"
Code: 62. DB::Exception: Syntax error: failed at position 35 ('FROM'): FROM input('ip IPv4, time_local DateTime, request String, status UInt8, body_bytes_sent UInt16, http_referer String, http_user_agent String') FORMAT CSV. Expected one of: WATCH, OpeningRoundBracket, SELECT, VALUES, FORMAT, WITH, token
😕
Не понимает функцию input. Пробую пока одну строку хотя-бы всунуть. Так выглядит
xx.xxx.xxx.xxx 2021-07-20 00:03:32 POST /some-url HTTP/1.1 200 333 https://some-url Mozilla/5.0 -
неправильно написано, select нету, и логично тогда объявить ip String, а в select конвертировать, в этом и есть смысл input function, секция select позволяет сделать extract transform
-
ну и xx.xxx.xxx.xxx 2021-07-20 00:03:32 POST /some-url HTTP/1.1 200 333 https://some-url Mozilla/5.0 -- вообще не CSV ни разу
-
CSV -- comma!!!! separated values
-
почитать этот чатик, складывается впечатление, что кликхаус настолько у всех на устах, что его пытаются юзать даже люди не знающие csv,xml,json,sql и т.д. и при этом каким-то чудом у них это даже кое-как это получается :)
-
думаю зумерам это не нужно, у них так все хорошо
-
Что доказывает что кх- классный) -
Скорее доказывает, что hype driven development процветает, кек :)
-
добрый вечер, подскажите когда нужно задумываться об изменении размера гранулы ?
у меня таблица в которой первичный ключ почти всегда разный и там много записей, соответственно выбрать от туда ряд определенных записей очень сложно, каким образом можно ускориться ? на ум приходит уменьшение размера гранулы .... -
Коллеги, подскажите, пожалуйста: есть nullable колонка в CH и внешний словарь из MySQL где так же есть nullable значения – при попытке сделать запрос where chNullableColumn = mysqlNullableColumn записи содержащие NULL выбрасываются. Это как-то фиксится? ) -
Null != Null же
-
вы в курсе что размер гранулы по умолчанию адаптивный? Вам рано задумываться
-
ни чего про это в доке не нашел ... по умолчанию index_granularity=8192
-
я проэкспериментировал на куске данных в 25 млн .... при грануле в 8192 поиск составил 4.5 секунды а при 4096 = 4.1 секунды .... разница мне кажется в порядке погрешности
-
Адаптивная гранулярность индекса в MergeTree таблицах
Александр Сапин, Яндекс Слайды: https://github.com/clickhouse/clickhouse-presentations/raw/master/meetup27/adaptive_index_granularity.pdf
-
Гайс , а почему говорят что в клике не работают джойны, сегодня прекрасно все сджойнилочь, в разы быстрее чем в мускуле
-
вам это не нужно пока, вы потом поймете
-
🙈спасибо!
-
1 алгоритм только, при большиз данных memory error
-
речь про то что две таблицы по 100млрд строк тяжело в КХ сджойнить.
-
просто 4.5 секунды это много и жрет много памяти ... сижу думаю че с этим можно еще сделать
-
Джоины нормально работают, если нужно и достаточно брутфорсом.
А если какие нибудь хитрые условия и нужны оптимизации, то тут уже проблема. -
покажите таблицу ddl и запрос
-
Где вы нашли бд на 100 млрд строк) у меня на работе 2-3 максимум
-
попробуйте при джойне указать условие больше-меньше :)
-
Полагаю , будет плохо
-
select count() from fact_event;
┌───────count()─┐
│ 1561682172485 │
└───────────────┘
это маленькая, тут полно людей с трилионами -
ага, ошибка :)
-
Триллионы , это банки например ? Ну либо там фиксируется каждый чих
-
да обычный кликстрим, скролы мышкой вот это все, откуда в банке столько ивентов.
-
скорее неправильная архитектура :)
триллионы записей - это ок, но если в джойне и слева и справа такие таблицы на регулярной основе, то что-то пошло не так -
CREATE TABLE xxx ON CLUSTER c9q930o5i86rsdloqlc9
(
date DateTime,
ssid String,
sourceId UInt64,
ssidHash UInt64 DEFAULT sipHash64(ssid)
)
ENGINE = ReplicatedMergeTree()
PRIMARY KEY (date)
CREATE TABLE yyy ON CLUSTER c9q930o5i86rsdloqlc9
(
date DateTime,
ssid String,
type String,
ssidHash UInt64 DEFAULT sipHash64(ssid)
)
ENGINE = ReplicatedMergeTree()
PRIMARY KEY (ssidHash)
select count(distinct b.ssid) from xxx a left join yyy b ON (b.ssidHash = a.ssidHash) where a.date > now() - interval 14 day -
эээ при чем тут гранулярити. КХ не использует индексы для джойнов, вы без джона запрос покажите
-
вам скорее надо про словари почитать
-
т.е. он для джоина всегда применяет фул скан ?
-
конешно
-
ну т.е. я данной ситуации запрос с джоином вообще ни как не ускорить ?
-
ничего быстрее фулскан + hashJoin пока не придумали. Индексы слишком медленны и однопоточны
-
словари. Джойн тут не нужен, нужен dictGet
-
270 млрд строк не сунуть в память (
-
в обеих таблицах? И как джойн работает? Память арендует в подпространстве?
-
правая таблица целиком помещается в память в хештаблицу, и получается словарь примерно на 99%
-
оригинальные таблицы имеют партицирование в итоге примерно получается по 15-30 млн строк
-
работает .... но очень медленно в итоге
-
а если это пихать в память то все 270 млрд пойдет в память
-
словари умеют не все пихать.
я не вижу здесь условия на правую таблицу? a left join yyy b ON (b.ssidHash = a.ssidHash) where a.date > now() - interval 14 day -
да все верно .... левая таблица содержит больше или равное количество значений чем правая и необходимо считать количество в левой и количествов правой для вычисления расхождений
-
Clickhouse fast not exists
Clickhouse fast not exists . GitHub Gist: instantly share code, notes, and snippets.
-
ооОО это прям круто ..... но по всей видимости DataLens так не умеет при построении графиков (
-
ну dictGet это взять из словаря значение по ключу, это типа left join
но вообще КХ переписывает join c таблицей словаря в dictGet-ы сам - 22 July 2021 (137 messages)
-
День добрый, а может кто подскажет, делаю запрос на destibuted таблицу с 4 шарадами, и в какой то момент времени по логам вижу, что все остановилось секунд на 10. Запрос на дестрибьйютед таблице отрабатывает за 30с, хотя если делать запрос на каждом шарде то он выполняется за 3с.
https://gist.github.com/ezotrank/6e77f8330e9910fa1a3ad0af4548306fgist:6e77f8330e9910fa1a3ad0af4548306fGitHub Gist: instantly share code, notes, and snippets.
-
Меня еще такая строчка в логах смущает
<Trace> Aggregator: Merging partially aggregated blocks (bucket = -1). -
Вроде нашел из-за чего затык происходит, это uniq в запросе с группировкой
-
Добрый день. После обновления clickhouse c версии 20.1 до 21.7, в http интерфейсе указывается старая версия, в консольном интерфейсе - новая. Не подскажете как обновить http версию?
#clickhouse-client -m
ClickHouse client version 21.7.4.18 (official build).
#curl 'http://localhost:8123/?query=SELECT 1'
Code: 62, e.displayText() = DB::Exception: .... (version 20.1.6.30 (official build))
#ps aux | grep -i clickhouse
clickho+ 1101 2.3 4.0 9753884 241312 ? Ssl Jun30 ...
root 14330 0.0 0.0 112716 988 pts/0 S+ 08:18 ... -
ClickHouse client version 21.7.4.18 (official build).
It's client версия, вы рестартнули кликхаус сервер? -
Попытался
#service clickhouse-server restart
Init script is already running -
Эт продакшен?
-
Нет это домашний компьютер
-
Весь сервер перезагрузить нужно?
-
А, ок
ну попробуйте SYSTEM SHUTDOWN; в кликхаус клиенте -
Оо, спасибо!
-
Словарь помогает пропустить этап поднятия правой таблицы в хеш.
Что ускоряет запросы, если у вас много коротких запросов, которые используют сравнительно большую таблицу справа. -
> пропускание хэширования
Что я имею в виду под пропустить хеширование таблицы:
В случае JOIN об таблицу при каждом новом запросе нужно поднимать правую в память и строить хешмапу.
В случае JOIN об словарь (или об JOIN таблицу) эта правая хеш-таблица делается только один раз, и потом переиспользуется -
вот и вся разница
-
> Добавить только ключевые поля, по которым идёт соединение?
Угу
Имеет смысл посмотреть в сторону sparse_hashed если у вас UInt64, жрет в 3 раза меньше памяти чем обычное хеширование но и в 3 раза медленнее работает.
https://clickhouse.tech/docs/en/sql-reference/dictionaries/external-dictionaries/external-dicts-dict-layout/#dicts-external_dicts_dict_layout-sparse_hashedStoring Dictionaries in Memory | ClickHouse DocumentationStoring Dictionaries in Memory There are a variety of ways to store dictionaries in memory. We recommend flat, hashed an
-
Ребят, привет!
У вас нет интересных задачек по sql на CH диалекте? -
М, я неправильно вас понял.
> Добавить только ключевые поля, по которым идёт соединение?
Нужно добавить ключевые поля и атрибуты. ведь мы из словаря извлекаем нужные нам данные. (которые уже лежат по разным ячейкам хештаблицы) -
Ну это уже вам самим находить баланс между использованием памяти и скоростью выполнения запросов.
-
1. JSONExtract ? зачем удалять, просто рядом оставьте распаршенное
2. тут любой тул который умеете для миграций, но есть всякие особенности в кластерном clickhouse https://t.me/clickhouse_ru/226366Slach [altinity] in ClickHouse не тормозитдва варианта 1) не использовать ON CLUSTER в SQL... и для реплицируемых таблиц писать ALTER TABLE ... ADD COLUMN IF NOT EXISTS и т.п. 2) либо использовать ON CLUSTER всегда и запускать миграции ТОЛЬКО на одной ноде (любой) а default.migration_schema создавать самому с Engine=ReplicatedMergeTree
-
Ну сжатие работает вне зависимости от того "одинаковые" у вас значения или нет...
оно блочное внутри колонки -
вам исходные JSON то при этом нужны?
может проще трансформировать как набудь на строне vector.dev ? и в clickhouse отдавать уже готовое? -
Не понимаю вашу проблему если честно, но можно парсить с помощью Null table engine + Materialized View
-
-
Версия кх?
-
Disable min_bytes_to_use_mmap_io by default by azat · Pull Request #23322 · ClickHouse/ClickHouse
Changelog category (leave one): Improvement Changelog entry (a user-readable short description of the changes that goes to CHANGELOG.md): Disable min_bytes_to_use_mmap_io by default Detailed desc...
-
Пробуйте
-
Добрый день! Думаю может быть полезно, проблема бела не в версии, а в формировании передачи запроса в астер
?extremes=0&readonly=0&max_execution_time=1.5&enable_http_compression=1&database
max_execution_time - принимает int (в более старых версиях почему-то проходил float), на это и ругался ".5" -
А, забавно.
-
Yandex перенес некоторые клиентские библиотеки в свою репу и они назначают мейнтенеров из комьюнити, но сами они не занимаются разработкой и не планируют.
-
ODBC как раз поддерживается активно в Альтинити, у нас фул-тайм девелопер им занимается.
-
timeout_before_checking_execution_speed=0
--timeout_before_checking_execution_speed arg Check that the speed is not too low after the specified time has elapsed.
у пользователей в консоли и не в консоли разные настройки max_execution_time -
ss -nltp
смотрите какие pid какие порты на listen слушают? -
c рестартом при апгрейде проблема.
новый КХ с некоторой версии не умеет останавливать старый, потому что механизм поменялся. -
127.0.0.1:8123
127.0.0.1:9000
127.0.0.1:9004
127.0.0.1:9005 -
https://github.com/ClickHouse/ClickHouse/issues/26702
завел issue, может есть какой-то work around не меняя схемы?Clickhouse-copier removing materialized column, but column is PARTITION key · Issue #26702 · ClickHouse/ClickHouseclickhouse-copier 21.7.4 clickhouse server 21.7.4 Table schema CREATE TABLE name ( `timestamp` DateTime, `queue` String DEFAULT 'general', `totalUnknown` Int64, `unknown1h` Int64, `...
-
Буду иметь в виду, спасибо!
-
нет, ODBC не умеет и не будет уметь, это же против ODBC API, там только строки
-
так а я что говорил обратное? Я просто объясняю что с cpp либой
Yandex перенес некоторые клиентские библиотеки в свою репу и они назначают мейнтенеров из комьюнити, но сами они не занимаются разработкой и не планируют.
ODBC как раз поддерживается активно в Альтинити, у нас фул-тайм девелопер им занимается. -
там вообще как бы pid должен показываться он один и тот же?
-
Да, но это скорее всего из-за того, что я воспользовался советом и сделал SYSTEM SHOTDOWN, а потом снова запустил clickhouse-server
-
после SYSTEM SHUTDOWN у вас не должно было быть запущеных clickhouse процессов
вы после этого делали проверку?
ps axuf | grep clickhouse -
systemctl stop clickhouse-server
ps auxf | grep clickhouse
если пусто
тогда
systemctl start clickhouse-server -
Да, я посмотрел через service, что сервис отключился, и потом сделал
service clickhouse-server start -
сервис показывает что именно думает bash скрипт service о статусе сервиса
ps auxf| grep clickhouse
показывает реальную картину -
https://t.me/clickhouse_ru/227738
вот конкретный рецептSlach [altinity] in ClickHouse не тормозитsystemctl stop clickhouse-server ps auxf | grep clickhouse если пусто тогда systemctl start clickhouse-server
-
О, я об это не знал. Спасибо!
-
Можно теоретически через http вытянуть в каком-нибудь колоночном формате типа ArrowStream. И там ещё, вроде как, gRPC в последних версиях появился.
-
-
какой движок у реплицируемых таблиц?
MV в какой движок пишет под капотом? тоже реплицируемый?
может кафка сбоит и повторно данные отсылает? -
MV в какую таблицу пишет? тоже в ReplicatedMergeTree?
-
Всем привет. Можно ли в кликхаусе запустить асинхронно insert from select ...?
чтобы коннект не висел, пока клик в фоне перекладывает данные -
clickhouse-copier
-
Всем привет. Есть такая проблема. Когда делаю запрос
select arrayMap(x ->
[toString(x[11]), toString(dictGetString('cl', 'fn', tuple(x[11])))],
any(si)) from tbl where vi = 'a798992f-102c-4145-b8a7-eba33b67b8b7'
Все отрабатывает нормально
Но стоит перенести ту же функцию с таким же условием
То получаю ошибку
Code: 53, e.displayText() = DB::Exception: Key type at position 0 does not match, expected String, found Nullable(String) (version 20.9.2.20 (official build)
Уже принудительно приводил к string, ничего не помогает -
Где может быть проблема?
-
Здравствуйте! Подскажите по компрессии, Можно ли попробовать zstd только на 1 колонке/таблице/реплике? Что случится, если 1 реплика будет под zstd а остальные под lz4? -
на 1 колонке/таблице точно можно
-
ALTER TABLE codec_example MODIFY COLUMN float_value CODEC(ZSTD);
-
а перекомпресиваться оно будет при мержах?
-
<compression incl="clickhouse_compression">
<case>
<min_part_size>10000000000</min_part_size>
<min_part_size_ratio>0.01</min_part_size_ratio>
<method>zstd</method>
</case>
</compression> -
Идея попробовать вот так, посмотреть на размеры таблиц и на CPU и откатить в случае чего
-
доступен только http интерфейс
бинари не заюзать -
Вот только не уверен, поймет ли КХ что надо zstd обратно в LZ4 и непонятно когда он будет мержить старые парты если будет
-
Можно сделать копию колонки, добавить к ней кодек, сменить алгоритм компрессии, перемерджить одну партиции, на ней замерить скорость чтения из обоих колонок и дропнуть ненужную -
ну если вы их не трогали то materialized view по умолчанию выключен
может быть был по умолчанию включен
надо искать https://github.com/ClickHouse/ClickHouse/issues?q=is%3Aissue+deduplicate_blocks_in_dependent_materialized_viewsIssues · ClickHouse/ClickHouseClickHouse® is a free analytics DBMS for big data. Contribute to ClickHouse/ClickHouse development by creating an account on GitHub.
-
Хороший план, спасибо
-
Добрый вечер, возникает ошибка Code: 998, e.displayText() = DB::Exception: Unable to connect to any of the replicas (version 21.7.2.7 (official build)). Последнее, что делал с кластером - добавил в users.xml двум юзерам несколько схем, ориентировочно после этого и начали ошибки сыпаться. Причём закономерности не нашёл, какие-то запросы работают, какие-то - нет, причём на любом юзере, не только на изменённых. Видел здесь человека с похожей проблемой, но как он её решил, я не нашёл. Кто сталкивался, подскажите?
Картинка - весь стектрейс, но сам я в нём ничего толкового не увидел. -
ну у вас ошибка коннекта к PostgreSQL словарю
судя по стек трейсу, под репликами в данном случае подразумевается адреса postgresql серверов которых в словаре может быть несколько -
DB:DIctionary, DB:ExternalLoader - это периодическая попытка перегрузить словарь
SELECT * FROM system.dictioanries FORMAT Vertical
вам поможет понять какой словарь перестал работать -
Да, спасибо, увидел. Странно, что селект на словари пустой возвращается, буду дальше копать, что с ними не так
-
ну странно, ошибка сама по себе не будет появляться
system.dictioanries не может быть пустой
SYSTEM RELOAD DICTIONARIES;
попробуйте сделать и потом
SELECT * FROM system.dictioanries FORMAT Vertical ; -
Так вот как будто вообще потерялись. На system reload dictionaries выдаёт ту же ошибку, а селект пустой. Мистика
-
Ну я так тоже делал, там просто пустая таблица возвращается. При том, что словари точно были ещё в обед :)
-
ок. пробуйте через
SELECT * FROM system.tables WHERE engine ILIKE '%dict%' FORMAT Vertical;
есть какие то словари? -
Да, так есть
-
В общем, я дропнул все словари и поменял адрес на более живой (постгрес задыхается, поэтому закрыли pgbouncer'oм, но в КХ поменять забыли). В system.dictionaries не появилось ничего, но хотя бы запросы падать перестали
-
internal_relplication = true or false ?
-
нельзя сделать на одной реплике. Контрольные суммы партов должны совпадать, файлы идентичны на репликах
-
а если не получиться синхронно
-
там же рестарт нужен?
-
рестарт нужен
-
будет качать мержить 3 раза и качать с первой реплики смерженное
-
в jdbc нельзя задать format.
-
спасибо
-
ifnull
-
А зачем вам вообще case тогда?
if(priority > 20, toString(priority), ' ') -
я однажды видел дубликаты из-за того что люди по ошибке создали 2 mat view и вставляли все 2 раза
- 23 July 2021 (87 messages)
-
Ребят всем привет. Может кто сталкивался с таким, наблюдаю в system.query_log по несколько записей удаления записей из таблиц. Все это начало происходить после вынужденного перезапуска кластера. Данные в КХ пишутся отдельным парсером, затем каким-то магическим образом что-то их удаляет, не могу разобраться, может кто сталкивался с подобным? Может в КХ есть какие скрытые удаления. У обоих таблиц TTL date + toIntervalDay(15) -
Может как-то можно посмотреть вообще сколько висит таких запросов на удаление в фоне?
-
DDL в комментариях означает что кто-то у вас запускает ALTER TABLE ... ON CLUSTER
смотрите SELECT * FROM system.mutations WHERE is_done=0 FORMAT Vertical -
В нашем кластере нет такой таблицы, может это от версии кх зависит, у нас 20.10.3
-
Спасибо, да, такая существует, но подходящих под where условие записей нет. Это значит что в фоне ничего не висит?
-
да именно в фоне сейчас ничего нет
но периодически видимо какой то CRON скрипт у вас данные "подчищает" -
min_bytes_to_use_mmap_io - не очень живая штука.
-
Подскажите, пожалуйста: errors_count в таблице system.clusters — по какому слову грепать в err.log чтобы найти эти ошибки? -
ну "миллиарды строк"
если даже у вас миллион строк в секунду получается, то это как минимум 1000 секунд
а если всего 100к строк в секунду, то 10 000 секунд, что около 2.75 часа... -
IMHO просто clickhouse просто перестает использовать MMAP при работе с файлами данных
вроде как использовать этот режим планируется для ускорения, чтобы эффективнее наполнялся файловый page cache средствами ядра -
А может есть какие то советы как ускорить uniq(unicCombined) на destributed запросах? Тестирую свой запрос на 2 и на 4 шардах, и 4 шарда проигрывают на секунду
-
посмотреть в сторону uniqHLL
-
что-то я не понял тогда
uniqCombined -- The default value for HLL_precision is 17
создаю таблицу
uniqState(u) as us,
uniqHLL12State(u) uh,
uniqCombinedState(20,u) uc
на диске
2.2M uh.bin -- uniqHLL12State
58M uc.bin -- uniqCombinedState(20)
140M us.bin -- uniqState
почему uniqState в 3 раза больше чем uniqCombinedState(20)
т.е. uniqCombined быстрее, точнее и еще и меньше занимает на диске? -
Меньше передавать по сети, может быть потенциально быстрее
-
Ага, он быстрее, уже пробовал
-
Да, думаю его и оставлю unicCombined vs uniqHLL 9.773s vs 5.727s
-
Там несколько алгоритмов на самом деле
-
У combined?
Ага -
HLL только при большом количестве элементов выбирается
-
пропишите его в default профиль
-
есть кластер с двумя реплицированными узлами: node1 и node2.
На ноде1 остановил clickhouse
сделал
sudo -u clickhouse touch /var/lib/clickhouse/flags/force_restore_data
Запустил кликхаус. Ожидаю что он начнет реплецироваться с нодой2 но этого не происходит.
В логах следующее для каждой таблицы
Skipping the limits on severity of changes to data parts and columns (flag force_restore_data).
Что делать? -
Добрый день! Подскажите плиз: я подключаю движок ПГ
https://clickhouse.tech/docs/ru/engines/database-engines/postgresql/
и когда пытаюсь посмотреть таблицы кх ругается:
SQL Error [60]: ClickHouse exception, code: 60, host: 192.168.235.72, port: 8123; Code: 60, e.displayText() = DB::Exception: PostgreSQL table etl."telegram_chats" does not exist: While executing Tables (version 21.4.6.55 (official build))
я так понимаю и-за того что не указана схема, можно ли это как-то обойти?)PostgreSQL | Документация ClickHousePostgreSQL Позволяет подключаться к БД на удаленном сервере PostgreSQL. Поддерживает операции чтения и записи (запросы S
-
Со старого кластера перенес данные на новый на ноду2 через clickhouse-backup
и теперь хочу среплецировать данные -
ENGINE = ReplicatedReplacingMergeTree
-
Ну вот почемуто этого не происходит.
-
Да. На втором пустые таблицы
-
Точно такиеже как и на сервере с данными
-
Коллеги, всем привет, не поможете с советом, как ускорить выполнение первого запроса (поля с key - ключи сортировки, если это важно, в аналогичных запросах могут быть поля отличные от ключей сортировки) select count() from data where keyDate >= '2021-06-05' and keyDate <= '2021-06-25' AND (keytime >= 1622918404) AND (keytime <= 1624653604) AND (msg like '%a%' or msg like '%q%')
┌────count()─┐
│ 1289678421 │
└────────────┘
Progress: 4.41 billion rows, 705.71 GB (16.18 million rows/s., 2.59 GB/s.) 98↗️ Progress: 4.41 billion rows, 705.85 GB (16.18 million rows/s., 2.59 GB/s.) 99
1 rows in set. Elapsed: 272.462 sec. Processed 4.41 billion rows, 705.85 GB (16.18 million rows/s., 2.59 GB/s.)
select count() from data where keyDate >= '2021-06-05' and keyDate <= '2021-06-25' AND (keytime >= 1622918404) AND (keytime <= 1624653604) AND keyseverity='High' AND (msg like '%a%' or msg like '%q%')
Progress: 2.87 million rows, 264.25 MB (17.79 million rows/s., 1.64 GB/s.) 35
Progress: 7.57 million rows, 656.64 MB (28.74 million rows/s., 2.49 GB/s.) 94
┌─count()─┐
│ 18676 │
└─────────┘
Progress: 7.57 million rows, 656.64 MB (26.83 million rows/s., 2.33 GB/s.) 94↙️ Progress: 7.96 million rows, 701.37 MB (28.22 million rows/s., 2.49 GB/s.) 99
1 rows in set. Elapsed: 0.283 sec. Processed 7.96 million rows, 701.37 MB (28.13 million rows/s., 2.48 GB/s.) -
Ничего не происходит.
(ReplicatedMergeTreeQueue): Having 0 queue entries to load, 0 entries already loaded. -
Что-то я наверное с названиями нод напутал
┌─name───┐
│ node12 │
│ node1 │
└────────┘
В максах у мен прописаны ноды
node11 и node12
А тут почему то node1 -
Коллеги, привет! Поделитесь опытом, какую, в основном, топологию используете, сколько нод под шардирование и репликацию? -
От двух до трех реплик, кол во шардов зависит от требований по времени выполнения запросов
-
Привет.
Дано: запрос с двумя подзапросами, использующие одинаковые критерии поиска.
Вопрос: есть ли альтернатива Bind variable в CH?
WITH ... AS не умеет рекурсивно передавать в подзапросы.
Есть ли какие другие подходы к решению данной проблемы?
Спасибо -
Всем привет! Столкнулся с интересной ошибкой - connection.State возвращает, что соединение Closed, а попытка его открыть connection.Open() - вызывает ошибку Connection already open... -
WHERE key GLOBAL IN (SELECT key FROM temp_table)
-
Привет! У нас есть задача выгружать данные из ch в файл, мы экспериментируем с форматами. Сейчас попробовали выгрузку с форматом native. Результат нас устраивает. Но есть вопрос - меняется ли реализация от версии к версии. Сможем ли мы сформированный файл с данными в одной версии прочитать в более новой, например. -
была идея что для некоторых операций с большими файлами mmap_io импрувит немного перфоманс, это оказалось неправдой и принесло новые проблемы.
т.е. КХ умеет включать mmap_io и direct_io для некоторых операций, в зависимости от настроек. Можно повыключать, станет только лучше. -
не меняется,
в этом формате работают драйвера go, python , .... -
так а инстансу прицеплен iam ?
-
Всем привет!
Есть:
- AggregationMergeTree в ней есть поле c типом Datetime для каждой сгруппированной записи
- записей много (за месяц порядка 30-40 миллионов)
- сделали партиционирование по дням toYYYYMMDD()
- order by по DateTime полю (и еще другим полям, но это наверно не важно, главное по дате есть)
- хотим делать выборки обычно за день, за несколько дней, за месяц
В результате:
- если выбираем за несколько дней без Order By в Select запросе, то данные получаем отсортированные внутри дня, но сами дни рандомно получаем
- если добавляем Order By в запрос логично, что запрос ест кучу памяти, что не устраивает, но данные хронологически отсортированы между днями
Вопрос:
- рандомно дни в ответах получаем, из-за того что так партиции подгружаются?
- как то их порядок можно задать? -
если ORDER BY в запросе select отсутвует, то в результате рандомный порядок. Вам только кажется что там есть порядок, на самом деле множество потоков читают отсортированные куски и выплевыают результат кто первый
про кучу памяти, это зависит от версии КХ и прямоты ваших рук. Ну и как вы кверяете AggregationMergeTree без groupby это отдельная загадка -
finalizeAggregation используем вместо State на select по AggregationMergeTree
-
finalizeAggregation ну а как вы домерживаете? или вы заранее знаете что домерживать не надо? Стейты же теряются из-за finalizeAggregation, как клиент потом мержит?
-
select version()
-
20.8.19.4
-
вроде понимаю о чем вы, но нам не обязательно домерживать
задача такая. пишется лог событий.
событие = <id> + <дата начала обработки запроса, на которое генерятся события> + <событие> + meta
задача собрать аггрегат = схлопнуть все событияпо <id>
используем в оснвоновном groupArray или any для аггрегации. так как каждое событие несет свою какую то meta в формате KV, достаточно просто все собрать, а состояния в array собрать -
ну "запрос ест кучу памяти" сколько? Сотни гигабайт? Десятки?
В общем если все как вы описали то запрос может использовать индекс и ему особо не нужна память, только мержить данные между партициями, странно что у вас к памяти вопросы есть. -
ну про “кучу” образно )
запрос без ORDER BY 50Мб потребляет, с OrderBy 30Гб ) -
а если один день выбирать?
-
покажите запрос как выглядит. Может у вас order by запроса и таблицы все же не совпадает
-
0.5Гб, но тут из одной партиции получается все выбирается
-
да ок, лишнее только уберу, чтобы проще было
-
а если для теста set max_threads=1
-
По идее если у запроса подходит order by под order by таблицы, то включается optimize_read_in_order и потоки читают все парты одновременно и мержат результаты не сортируя, и память не должна расходоваться
-
Всем привет! Такой вопрос.
Есть КХ с двумя репликами. Каждая реплика на своём сервере. Вставляем данные на первый сервер в буферную таблицу, которая потом перекидывает данные в ReplicatedReplacingMergeTree таблицу. Я правильно понимаю, что буферная таблица должна быть только на одном сервере (в который вставляются данные). Или же нужно на каждом сервере с репликой создавать буферную таблицу? -
```
-- Аггрегат
create table events_aggregated
(
accepted_at DateTime64(3),
event_type LowCardinality(String),
channel LowCardinality(String),
tx_id UUID,
statuses AggregateFunction(groupArray, Tuple(String, DateTime64(3))),
final_state AggregateFunction(argMax, Tuple(String, DateTime64(3)), UInt8),
final_state_value AggregateFunction(argMax, String, UInt8)
)
engine = AggregatingMergeTree()
PARTITION BY toYYYYMMDD(accepted_at)
ORDER BY (accepted_at, event_type, channel, tx_id);
```
```
— вью под отчет
CREATE VIEW v_report
(
`accepted_at` DateTime64(3),
`event_type` LowCardinality(String),
`channel` LowCardinality(String),
`tx_id` UUID,
`final_state_value` String)
AS
SELECT accepted_at AS accepted_at,
event_type AS event_type,
channel AS channel,
tx_id,
finalizeAggregation(events_aggregated.final_state_value) AS final_state_value_internal,
multiIf(final_state_value_internal IN ('EXPIRED', 'FAILED', 'REJECTED', 'UNKNOWN'), 'NOT_DELIVERED',
final_state_value_internal IN ('ACCEPTED', 'PENDING', 'SCHEDULED'), 'PENDING',
final_state_value_internal) AS final_state_value
FROM events_aggregated;
```
```
— выборка отчета
select * from v_report
where
toYYYYMM(accepted_at) = 202107
and final_state_value IN ('DELIVERED', 'NOT_DELIVERED')
order by accepted_at;
``` -
только сервере где вставляете. Обычно для простоты делают все одинаковым и вставляют тоже во все реплики, это уменьшает даунтайм
-
родной, про view базара не было.
order by не проталкивается через view
пишите запросы без view -
🙂
-
да как минимум тут prewhere хочется сделать еще
-
или можно попробовать order by перенетси во вью
-
ок, попробую
-
можно
-
данные сортируются и по расходу памяти 1Гб впримерно
-
если set max_threads=1 или 4
-
внутри view или в запросье к view?
- 24 July 2021 (31 messages)
-
День добрый, а может кто подскажет. Есть четыре сервера, и хочется чтобы все четыре участвовали в каждом запросе, чтобы запрос быстро обрабатывался, для этого я делаю 4 шарда. Но тут получается проблема, если один из серверов выйдет, то часть данных потеряется.
Можно ли создать 4 шарда, и у каждого шарда сделать по 2 реплики, так, чтобы при запросах только одна реплика трогалась? Хочется и скорость и отказоусточивость сразу получить ) -
4 шарда по 2 реплики на 4 серверах? Тогда при выходе 1 из строя у вас будет не 1 реплика лежать, а минимум 2.
2 шарда по 2 реплики сделайте. -
Можно сделать циркулярную репликацию, но с ней геморно расширять кластер и производительность может проседать, лучше обычную
-
Добрый день, почему-то не работает leadInFrame: -
select
id,
number_12,
last_modified,
lagInFrame(number_12) over (partition by id order by last_modified) as prev_number,
leadInFrame(number_12) over (partition by id order by last_modified) as next_number
from
(select 001 as id, 01 as number_12, '2021-01-01 00:00:00' last_modified
union all
select 001 as id, 02 as number_12, '2021-02-02 00:00:00' last_modified
union all
select 001 as id, 03 as number_12, '2021-03-03 00:00:00' last_modified
union all
select 001 as id, 04 as number_12, '2021-04-04 00:00:00' last_modified
union all
select 001 as id, 05 as number_12, '2021-05-05 00:00:00' last_modified
union all
select 001 as id, 06 as number_12, '2021-06-06 00:00:00' last_modified
union all
select 001 as id, 07 as number_12, '2021-07-07 00:00:00' last_modified
union all
select 001 as id, 08 as number_12, '2021-08-08 00:00:00' last_modified) -
-
Можете объяснить, в чем причина. Версия 21.7.4.18
-
Укажите фрейм
-
а как его посмотреть?
-
Парни, как я могу сравнить производительность двух запросов?
Есть ли вариант увидеть статистику?
Спасибо -
В system.query_log
-
В документации посмотрите для оконных функий
-
Извините, я все равно не понял как посмотреть определенный фрейм
-
а, ок, если указать rows between unbounded preceding and unbounded following, все работает
-
Сорри за беспокойство, буду дальше изучать
-
Да много. Весь алтинити Клауд там на нем. Сторадж gp2 gp3
-
Ebay тоже
-
Для гп3 нужно докупать throughput до лимита машины и iops тысяч до 7-8 тогда будет на уровне или быстрее чем gp2 разбитый на n дисков (имеет смысл это делать от нескольких Тб )
-
Тоже оператор
- 25 July 2021 (150 messages)
-
у меня тоже джойнится 2 таблице в кх быстрей чем в oracle -
какие диски? какие таблицы? в конце концов оптимизатор оракловский решил двойным циклом пробежаться без индексов
-
oracle боевой на aix максимально оптимизированный запрос ssd. КХ на первой попавшейся виртуалке на hdd.
-
таблицы теже. обьем тотже.
-
и кстати разница какая?
-
как я уже писал КХ умеет только в hash join, это +- все отличия
-
Oracle 10 секуннд примерно. КХ менее секунды.
-
а ответ смотрели какой алгоиитм оракл юзает?
-
сегодня выходной под рукой нет данных. завтра гляну напишу
-
А кто может мне по простому обьяснить зачем нужен зоокипер для КХ ?
-
Всем привет! Подскажите, пожалуйста, аналог explain analyze для КХ.
В доке видел explain, но не разобрался, как посмотреть - происходит ли full scan таблицы или нет -
мне интересна, спасиба)
-
ну план выполнения всмысле
-
понял
-
то есть зукипер данные синхронизирует. типа как rsync ?
-
а в чем преимущество именно зукипера ?
-
подскажите, при загрузке данных в CSV-формате можно ли как-то указать кх какой ограничитель строк использовать? а то он судя по всему считает таковым и одинарные, и двойные кавычки, а мне нужно, чтобы только двойные парсились так
-
rsync точно не для бд в онлайне. это я для примера
-
Всем привет еще раз) Такой вопрос:
Есть скрипт, который в цикле вытаскивает данные из одной таблицы (пачками по 8к строк) и вставляет в другую.
Через +- 400 итераций вылетает с:
DB::Exception: Memory limit (total) exceeded: would use 1.00 GiB (attempt to allocate chunk of 4321459 bytes), maximum: 1.00 GiB: (while reading column gnomad_e_max): (while reading from part /var/lib/clickhouse/store/3bf/3bfe62f2-59f3-4cdb-aa33-864fda985036/all_4_397_8_8648/ from mark 32 with max_rows_to_read = 8192): While executing MergeTree. Stack trace:
Хостим в яндекс облаке, увеличить кол-во оперативной памяти не очень хочется, пока не поймем в чем проблема. Зачем ему гигабайт? -
тогда с чем вы сравниваете зукер? преимущество перед чем хотите услышать?
-
я хотел понять для чего нужен зукипер
-
Координация мержей, дискавери партов, глобальные DDL/мутации
-
Сам зукипер ничего не синхронизирует, это хранилка стейта и штука для координации
-
а кто синхронизирует ?
-
Инстансы кликхауса ходят в зукипер, смотрят чего у них не хватает и подтягивают с других инстансов
-
Зукипер транзакционная in-memory db (k/v). Там хранится список всех партов, список партов на каждой ноде, очереди репликации, мержей, ...
Т.е. например когда вы дропаете парт нода на которую прилетел drop вычисляет range блоков из партов которые надо дропнуть и записывает в зк, в очередь команду, все остальные реплики это видят и выполняют, и так для каждой операции. -
А есть подробная инструкция как настроить репликацию 2х нод кликхаус ?
-
А почему просто нельзя поставить большой вес на новых репликах шарда, пусть в него больше всего льется или важно само распределение данных -
я бы так сделал, чтобы не мучиться
-
то я как представляю, что десятки терабайт лить туда сюда
-
Сам не учитывает, мы сидели считали сколько у нас льется и на сколько хватит дисков, и под определенное время сделали TTL
-
А вот на горячую не приходилось шарды добавлять и вес менять, всегда стопали кластер.
-
У нас также проблема с CPU. Но мы всегда использовали только дистр таблицы.
-
Выше парни рассказывали, что клик всегда будет пытаться сожрать все доступное CPU для более быстрого выполнения запроса
-
Кликхаус для запросов использует все ресурсы, что сможет.
В 100% CPU нет ничего плохого -
Это да, главно, чтобы память не сжиралась на 100, а то придет OOM )
-
Как используется?
-
В нашем случае это плоховато. Юзаем replication таблицы, у нас часто alter на добавление полей и при 100% CPU падаем по timeout в zk
-
WHERE dictGet(dict,'xxx',column_name) = 'some_value'
Дорого, будет читать всю таблицу и делать запрос в словарь
WHERE column_name = dictGet(dict,'xxx','some_value' )
Дешево, всего один запрос в словарь. -
Как часто альтер?, зачем вам нужно так часто поля добавлять?
-
json постоянно меняет, в нашем случае растет
-
пару раз в неделю.
-
https://kb.altinity.com/altinity-kb-schema-design/best-schema-for-storing-many-metrics-registered-from-the-single-source#2f-combined-approach
2e, 2f
И у вас прямо все колонки участвуют в запросах? -
Да нет конечно. Просто пользователи любят поля без индексов
-
Кстати, по поводу добавления новых нод в кластер и вставку через distributed таблицу. Я правильно понимаю, что если локально там какой-нибудь CollapsingMergeTree, то добавление новой ноды всё ломает, потому как распределение данных между шардами меняется?
-
Да, тогда будет не оч хорошо
-
Но если добавить с началом новой партиции, то ничего страшного не будет
-
Сколько у вас уникальных строк-id то?
Как часто обновляются активные? -
О, об этом не подумал. Спасибо!
-
https://kb.altinity.com/altinity-kb-queries-and-syntax/delete-via-tombstone-column
Сколько словари в памяти занимают?
Сколько строк читается с диска при обычных запросах? -
Речь не идет про удаление же.
Речь про мутации на один столбец.
tuple (project_id, content_id) -
Ну выполните запрос с и без dictGet фильтра
-
вы неправильно понимаете зачем нужен шардинг. И шардинг работает по тенанту работает конечно, но решает скорее проблему изоляции, чтобы разделить ресурсы и один клиент не влиял на других.
-
ZK должен быть на отдельных машинах, иначе ему не достается cpu и диска, проблему cpu можно решить, понизив nice у КХ
-
Они на отдельных на машинах с кучей памяти.
-
+++
-
проблема в том что запросы жирного клиента выполняются одиной отдельной машиной, и если всего машин пять, то например запросы могли бы выполняться в 5 раз быстрее. А тут 1 работает, 4 стоят
-
Вопрос как сделать чтобы пять выполнялись) просто я как понимаю при использование alter on cluster к нас в zk улетает запрос и он выполняется на каждой своей машине, даже если клиент повис по можно увидеть это запрос в zk и его статус
-
вы сейчас два вопроса задали? или один?
-
Ради частоты эксперимента пробовал выполнить запрос параллельно на пяти машинах под своим клиентам, то есть локально на репликах. Проблемые реплики(где была проблема c zk) по причине их утилизации на сто сохранялась
-
Два. Просто иду на улице и писать не удобно.
-
Про oncluster. On cluster это хелпер, который тупо позволяет вы полнить алтер на всех серверах. Не понимаю что за проблемы с oncluster. Его не существовало например 3 года назад, и я например до сих пор используют скрипты написанные тогда, и не использую on cluster.
-
Зукипер должен быть на отдельных серверах
-
Кластер zk на отдельных серверах
-
>Проблемые реплики(где была проблема c zk)
что это ? о чем это? -
С этим проблем нет. Можем спокойно раскатывать своими скриптами, on cluster не принципиально
-
У нас очень часто кластер кх утилизирован по цпу на 100. Во время выполнения команд на alter table add field on cluster, мы ловим на репликах различные ошибки связанные с zk.
-
Даже если потом просто зайти на реплику где была ошибка и выполнить команду alter table add field мы все равно ловим ошибку связанную с zk
-
Начиная от того, что в реплики метадата не соответствует метадате zk и заканчивая банальной ошибкой timeout
-
я хочу увидеть копипейст ошибок, вы не понимаете что такое timeout, их шесть разных
-
но стоит убить все запросы, подождать пока кх придет в норму, утилизация цпу вернется на стандартный уровень когда идут вставки и мерджи это где то 40 процентов цпу. ТО все команды пролетают alter table add field
-
Кстати еще нюанс при цпу 100 процентов могут даже некоторые таблицы уходить в статус read и не значительно растет delay
-
это какая-то херня. Не должно быть такого.
попробуйте
cat os_thread_priority.xml
<?xml version="1.0"?>
<yandex>
<profiles>
<default>
<os_thread_priority>10</os_thread_priority>
</default>
</profiles>
</yandex> -
Будет как с отпуска выйду. Шесть разных хм, а можно парочку как примеры
-
timeout клиента, recieve timeout
timeout операции с ЗК
timeout выполнения операции на реплике
timeout выполнения DDDL запроса
timeout senddata -
Замечательный человек под ником Slach уже порекомендовал поиграться с параметрами max_threads и os_thread_priority.
-
imeout клиента, recieve timeout - ловил выставили больше таймаут клиенту
timeout операции с ЗК - и такое было
timeout выполнения операции на реплике - тоже ловили
timeout выполнения DDDL запроса - и это было -
не давно коллеги писали, что при alter ловили code 517 Metadata on replica is not up to date with common metadata in ZK. Помогло убить все запросы и раздробить ddl на куски поменьше
-
О чем говорит эта ошибка я знаю )
-
это ожидаемое/запрограммированное поведение. Нельзя несколько alter посылать одновременно на несколько реплик
нужно дожидать завершения мутаций / мутаций вызванных альтером, и потом запускать следующий альтер -
Раньше проблем не было с ней. Шард то состоит из двух реплик и при уменьшение в ddl запросов alter с 50 до 10 позволило все прогнать
-
раньше альтеры работали через другой механизм.
-
50 альтеров? Вы о чем вообще? Зачем нужно 50?
-
Мы версии не меняли кх. А можно тут поподробней
-
50 новых столбцов )
-
ну так и добавляйте их одним альтером
alter table .... add column if not exists, add column if not exists,add column if not exists,add column if not exists,add column if not exists,add column if not exists,add column if not exists,add column if not exists,add column if not exists,add column if not exists,add column if not exists,add column if not exists; -
Дык, так можно было :))) Вернусь с этим к разрабам
-
если послать
alter table .... add column if not exists;
alter table .... add column if not exists;
alter table .... add column if not exists;
alter table .... add column if not exists;
alter table .... add column if not exists;
alter table .... add column if not exists;
то будет 517 Metadata on replica is not up to date with common metadata in ZK. -- это ожидаемое поведение -
Нашел ошибку которую ловим чаще всего Code: 999, e.displayText() = Coordination::Exception: Session expired (Session expired)
-
вот она при ЦПУ 100%, нам чаще всего жить не дает
-
А вот за это отдельное спасибо
-
надо смотреть что в логах ЗК в этот момент. Я видел такое из-за кривых сетевых драйверов в qemu/kvm, при 100% CPU сеть начинала тормозить и сетевые операции отваливались с таймаут.
-
Куда можно покапать ? На самих zk cpu и память в норме, то есть еще есть куда расти. Да javaheap подрастает, но не критично. Запросы конечно копятся в очереди на репликах, но опять не критично
-
Сеть смотреть на zk и кх ?
-
ну можно просто пинговать ip зукипера, с сервера КХ в момент 100% утилизации cpu на сервере КХ,
и надо смотреть логи ЗК и КХ при этой ошибке -
Denny, я проведу тесты, логи посмотрю, ты не против будешь, если я с этим к тебе еще вернусь ?
-
да, НО я отвечаю и смотрю только публичные телеграм чаты/github/google groups/stackoverflow/slack. В личке сразу бан.
-
Ок, с эти проблем нет ) И наверно еще один вопрос. Который всплыл на днях. Реплики клика начали долго стартовать и в логе видно HTTPSessiodnPool: No free connections in pool. Waiting
-
При чем такие сообщения могут минут 15 сыпать
-
Гуглеж не помог. Точнее наткнулся на то , что можно попробовать увеличить параметр replicated_max_parallel_fetches_for_host, но насколько увеличть его не понятно
-
какая версия КХ? Мне нужно посмотреть лог.
-
Точно не помню, но кажется такая 20.9,5
-
Все может быть )
-
А сколько вы пишите в секунду в клик?
-
Да к вам. А может не тактично у людей спрашивать сколько они льют в клик данных)
-
Зависит от ширины строк. Некоторые тут миллионы в сек в каждую ноду льют. В среднем пользователи непрерывно вставляют 10-50 тыс. в сек.
-
Нормально так миллионы в каждую ноду
-
Коллеги, всем привет, не поможете с советом, как ускорить выполнение первого запроса (поля с key - ключи сортировки, если это важно, в аналогичных запросах могут быть поля отличные от ключей сортировки) select count() from data where keyDate >= '2021-06-05' and keyDate <= '2021-06-25' AND (keytime >= 1622918404) AND (keytime <= 1624653604) AND (msg like '%a%' or msg like '%q%')
┌────count()─┐
│ 1289678421 │
└────────────┘
Progress: 4.41 billion rows, 705.71 GB (16.18 million rows/s., 2.59 GB/s.) 98↗️ Progress: 4.41 billion rows, 705.85 GB (16.18 million rows/s., 2.59 GB/s.) 99
1 rows in set. Elapsed: 272.462 sec. Processed 4.41 billion rows, 705.85 GB (16.18 million rows/s., 2.59 GB/s.)
select count() from data where keyDate >= '2021-06-05' and keyDate <= '2021-06-25' AND (keytime >= 1622918404) AND (keytime <= 1624653604) AND keyseverity='High' AND (msg like '%a%' or msg like '%q%')
Progress: 2.87 million rows, 264.25 MB (17.79 million rows/s., 1.64 GB/s.) 35
Progress: 7.57 million rows, 656.64 MB (28.74 million rows/s., 2.49 GB/s.) 94
┌─count()─┐
│ 18676 │
└─────────┘
Progress: 7.57 million rows, 656.64 MB (26.83 million rows/s., 2.33 GB/s.) 94↙️ Progress: 7.96 million rows, 701.37 MB (28.22 million rows/s., 2.49 GB/s.) 99
1 rows in set. Elapsed: 0.283 sec. Processed 7.96 million rows, 701.37 MB (28.13 million rows/s., 2.48 GB/s.) - сорри, что дублирую вопрос, кто-нибудь знает решение или это нормальное функционирование count? -
Все зависит от ширины строки и железа. Кто то вставляет в таблицу из трех полей int32+int32+float64, кто-то в таблицу 600 полей и 2 кб суммарно строка, у некоторых железо 1TB озу и раид из nvme, у других раид из 2 hdd
-
это нормально функционирование.
В первом запросе Processed 4.41 billion rows , msg очень тяжелая колонка очевидно, и ее тупо надо читать с диска для 4 млрд. строк, распаковано в 705.85 GB.
Во втором запросе Processed 7.96 million row, распаковано в 701.37 MB - 26 July 2021 (141 messages)
-
HASH join. 2 таблицы 340 gb и 152 mb.
-
Добрый день!
Только недавно начал знакомиться с CH, и столкнулся на текущий момент с вот таким запросом:
Есть таблица в которой лежат URL, мне необходимо вытащить значение параметров строки запроса, при этом нужны не все параметры, а только из определенного списка параметров.
Составил вот такой запрос с использованием array join
select param, extractURLParameter(decodeURLComponent(uri), param) as value from http array join ['email', 'customerEmail'] as param where timestamp >= '2021-07-01 00:00:00' and notEmpty(value) = 1;
но CH ругается, на то что параметр в extractURLParameter должен быть статичным. Можно ли как-то по другому данный запрос составить? -
Вам надо получить 2 явных параметра, почему бы просто не написать функцию дважды? -
список на самом деле динамический, то есть там разной длины массив может быть, поэтому хотелось бы все одним запросом разрулить
-
Есть список дат '2021-05', '2021-06', '2021-07'. Как проведить существует ли хоть одна из этих дат в поле date с типом Date -
Спасибо за ответ, но условия одинаковые, кроме одной опции в where, и если делать предварительный запрос с distint по ключам партиционирования, чтобы сократить выборку с первого запроса до второго (например, select distinct(keyseverity) from... и увидеть, что из них можно оставить только 'High' - этот вспомогательный запрос тоже будет не легким...) суммарное время выполнения останется прежним большим
-
замнутый круг получается, чтобы сократить select * from... limit..., можно попробовать сократить по нужному count () или понять по каким полям/условиям можно сократить выборку... а расчет count и/или поиск усекающих условий по тяжести в сумме дают такое же время, как select * from... limit ...
-
Привет, подскажите есть ли что-то к кликхаусе типа if, но немного другой логикой:
Например для if вычисляется сложное знаение, потом сравнивается условие и если оно выполнено, взять вычиленное значение, если не выполнено взять дефолт
Проблема простого if в двойном вычислении.
Например if (number > 17, 10, number)
Вот если nubmer это что-то сложно вычисляемое, можно ли вычислить его 1 раз, прихранить, потом проверить if и потом не считать второй раз в else? -
условно псевдокодом хочу получить такое
var number = сложное вычисление
if (number > 10) {
number = 10
} -
кстати мне тоже интересно будет ли number дважды вычисляться
-
вообще если number выражение даст константу то with можно юзать
-
не, там это значение считается для нескольких строк
вообще обходным путем можно вычислить number в колонку а следующей колокной сделать if и обернуть это все в еще один select но вдруг есть путь проще ) -
Привет! А можно запросом узнать, чем скомпрешшен парт? ZSTD/LZ4 ? Стоит по отсечке в 10Гб использовать ZSTD пытаюсь понять хоть 1 скомпрессилась ли в zstd
-
всем привет, подскажите, как правильно организовать в качестве первичного ключа строку? нужно ли ее предварительно хэшировать для более быстрого поиска? -
если нужно, то каким лучше алгоритмом это делать?
-
выше мне советовали skip-index с блум фильтром если идетс сравнение по строке на полное совпадание
-
спасибо, нашел переписку
-
Грусна
-
А это везде так или только у кликхауса?
-
точно не везде. Postgres по моему матерелизует with
Oracle с хинтом тоже -
Внезапненько
-
Кто нибудь имел опыт построения словаря в кассандре? почему-то когда создаю словарь в кх, выдаёт Type mismatch for column "column": expected Cassandra type bigint, в то время как первая колонка String при создании -
интересна даже, это вопрос оптимизации кода или железа
-
не понял вопроса
-
это риторический вопрос, но интересно что оракл который пилится уже десятки лет можно так легко нагнуть силами пары разработчиков из яндекса за пару лет, может там упирается в IO?
-
Подскажите, пожалуйста: errors_count в таблице system.clusters — по какому слову грепать в err.log чтобы найти эти ошибки?
-
там таблицы со множеством полей . как бы oracle не оптимизировался от транзакционная бд. а мой запрос с join аналитический. в нем максимум 5 полей затрагивается
-
А вообще меня скорость кх приятно удивила. у нас на работе нет проектов с этой бд. Куча руководителей и специалистов уверенна что лучшая бд в мире оракл для любых задач. Но это не так. КХ в аналитике уделает оракл легко.
-
да уверен
-
Парни, а можно как то на mac устноавить отдельно от клика clickhouse-format утилиту ? -
Спасибо!
-
Всем доброго! Есть 5 таблиц на MSSQL, связаны между собой один ко многим. Необходимо сделать синхронизацию с ClickHouse. Для того, чтобы не гонять терабайты информации каждая таблица синхронизируются с ClickHouse отдельно. Но при попытке сделать запрос с join по всем таблицам выпадает ошибка о недостатке памяти, та же самая проблема при создании материализованного представления. Кстати, даже по 2 таблицам материализованное представление не даёт нормально синхронизироваться, происходит тайм-аут при записи в таблицу первого уровня. Синхронизация производится внешним приложением по точно.
Подскажите пожалуйста варианты решения задачи. -
Даже 64Гб оперативной памяти мало в этом случае.(
-
я сравниваю время аыполнения конкретного SQL запроса
-
Можно еще побить один большой запрос на несколько маленьких используя cityHash от ключей для слияния
-
Так и делаю. Насчёт MV спасибо!
-
Спасибо, посмотрю.
-
Идеально подходит, спасибо)
-
Там вычисление времени между датами, и если оно превышает 30 минут то взять 30 минут, если меньше то взять существующее. Вот выше подсказали least, выглядит лучшим решением)
-
Так там в документации вроде все хорошо описано. Может нужно ODBC в Linux прописать правильно. Там интересная особенность, что нужно и системный DSN правильно прописать, а потом и в самом КХ. Иначе не работает.
-
Если вдруг, кому-то интересно, то вот такой запрос решает мою проблему
select param, decodeURLComponent(replaceRegexpOne(arrayElement(arr, 1), '("[^"]+"|\\w+)=("[^"]+"|\\w+)', '\\2'))
from (
select param,
arrayFilter(x -> startsWith(x, concat(param, '=')), parameters) as arr
from (select param, extractURLParameters(uri) as parameters
from http
array join ['email', 'customerEmail'] as param
where position(queryString(uri), param) <> 0
and timestamp >= '2021-07-01 00:00:00'
limit 1000) as t
where notEmpty(arr)
group by param, arr); -
Вы системный DSN прописали? В конфигурации КХ тоже? Один раз угробил неделю на бодания, и только после этого у меня заработало в КХ, посредством запросов.
-
Потому что КХ не знает куда ему идти.)
-
-
-
Подсказываю вариант. Уменьшить количество таблиц в ClickHouse. В идеале до одной.
Это колоночная база, не нужно в ней воспроизводить структуру хранения и подходы, характерные для обычных реляционных баз. -
Фото в статье описывает очень хорошо процесс администрирования КХ.
-
а с чего бы это оно вычисляется два раза? Вы проверяли? Вроде как должно быть 1 раз. Особенно если это явно попросить - if(number > 17, 10, (a+b/c) as number) Можно сделать 1000 раз with/without AS и сравнить.
-
Смотрим в этом направлении. Спасибо.)
Придётся добавлять метаинформацию для последующего инкрементного обновления, потому что первое будет около суток длится. -
не проверял, не придемал как проверить, отсюда и вопрос был, но ответ нашелся проще, мне нужно было просто меньшее число и подошла функция least
-
Добрый день, подскажите в конфиге параметр max_[table/partition]_size_to_drop подхватывается "на лету" или нужно рестартить? -
удаляю данные транкейтом
-
config.xml рестартить надо, users.xml на лету.
-
спасибо
-
Сделал следующее
Если таблицу все же необходимо удалить, не перезапуская при этом сервер ClickHouse, то необходимо создать файл <clickhouse-path>/flags/force_drop_table и выполнить запрос DROP.
помогло -
В некоторых ситуациях словари (которые dictionary) оказываются предпочтительнее JOINов в смысле производительности. Про расход памяти не знаю, но вполне возможно тоже.
Источником данных для словаря м.б. таблица самого ClickHouse. Кажется. -
Подскажите можно ли реализовать в КХ таблицу, аналогичную обычной вьюшке, но хранящуюся на диске или в памяти?
Сейчас есть вьюшка (около 2 млн записей), которая джойнит данные из нескольких других вьюшек и таблиц - выборка занимает порядка 0.5-2 секунды.
Нужно существенно ускорить запросы в эту вьюшку - пытаюсь изобрести как это сделать.
Может кто подскажет куда копать? -
Join | Документация ClickHouse
Join Подготовленная структура данных для использования в операциях JOIN. Создание таблицы CREATE TABLE [IF NOT EXISTS] [
-
спасибо, сейчас почитаю
может это оно
как то я пропустил это в документации -
я так понимаю это позволит ускорить джойн во вьюшке, только вот она не наполняется же автоматически при вставке новых данных, так что похоже это не совсем то
-
если короче, то мне нужно что то вроде кэша вьюшки в памяти или на диске чтобы выборка была максимально быстрая + нужно как тригерить обновление при вставке данных в связанные таблицы
-
выборка или джойн?
-
ускорить нужно выборку из вьюшки, а тормозная она потому что джойнится внутри с большой таблицей
-
Здравствуйте, сравниваю данные Метрики и данные logs api, наткнулся на несоответствия данных:
1. SELECT count(DISTINCT ClientID) выдаёт цифру на 15-20% меньше, чем "Посетители" в Метрике.
Я неправильно пытаюсь посчитать уников?
2. Нет поля ym:s:isRobot, а у нас некоторые запросы на него завязаны.
Может его переименовали, а я не заметил? -
может архитектуру переделать? чтобы избавиться от джойнов, 2млн записей это ничто по факту
-
а зачем так сделано? вам тут только переделать вьюху
-
2 миллиона это уже во вьюшке, в исходной таблице гораздо больше
логика вьюшки следующая:
слева формируется таблица вида (имя, дата, id) - те самые 2 млн строк из собранные нескольких таблиц через промежуточные вьюшки (они используются сами по себе в других местах)
справа джойнятся по id данные из большой таблицы - там куча столбцов
из вьюшки делаются селекты с разным набором условий и столбцов
левая часть формируется за менее чем 50 мс
как это оптимизировать архитектурно я пока не придумал -
<compression>
<!-- Set of variants. Checked in order. Last matching case wins. If nothing matches, lz4 will be used. -->
<case>
<!-- Conditions. All must be satisfied. Some conditions may be omitted. -->
<min_part_size>50000000000</min_part_size> <!-- Min part size in bytes. -->
<min_part_size_ratio>0.0005</min_part_size_ratio> <!-- Min size of part relative to whole table size. -->
<!-- What compression method to use. -->
<method>zstd</method>
</case>
</compression> -
Привет! А как работает конфиг компресии, если таблица очень большая, min_part_size больше чем указано а min_part_size_ratio - меньше, будет LZ4 ?
-
надо чтобы оба условия выполнились или хотя бы 1?
-
Всем привет!
ClickHouse server version 21.7.4.18 (official build).
No alias for subquery or table function in JOIN (set joined_subquery_requires_alias=0 to disable restriction)
не могу найти в документации как выставить в 0 этот парамтр -
Можно, там есть свои особенности, что в старых версиях отправлялись block данных в 0 строк, но это работает
-
спасибо! Вот это проглядел
-
Нашел настройку в system.settings
ALTER TABLE system.settings UPDATE value = 0 WHERE name='joined_subquery_requires_alias'
Но есть проблема
Code: 48, e.displayText() = DB::Exception: Table engine SystemSettings doesn't support mutations (version 21.7.4.18 (official build)) -
=))) Эту настройку в конфиге к юзеру ?
-
надо пихнуть ? =)
-
Ага, спасибо! Уже пихнул заработало
-
HELP. Есть несколько таблиц подчиненных друг другу, если сджойнить их в представление, как правильно посчитать например сумму по полю верхней таблицы, чтобы не было задвоения, затроения и т.д? -
а зачем джоинить если считать только по одной "верхней" таблице? -
отборы нужны с другой таблицы
-
GitHub - AlexAkulov/clickhouse-backup: Tool for easy ClickHouse backup and restore with cloud storages supportTool for easy ClickHouse backup and restore with cloud storages support - GitHub - AlexAkulov/clickhouse-backup: Tool for easy ClickHouse backup and restore with cloud storages support
-
можно попробовать так:
select sum(f1)
from table1
where f2 in (
select f2
from table2
where …
) -
Привет!
Если я использую комбинатор агрегационной функции -If, то будет ли использоваться индекс?
Есть первичный ключ: A, B
Я хочу сделать группировку по A, и накладывать условие between на B. A - lowcardinality, B - постоянно увеличивающееся время. Спасибо. -
Нет, не будет
Лучше продублировать часть условия в WHERE -
Там прикол в том, что мне нужно что-то вроде left outer join. Т.е. чтобы группы были за все время, а значения только за заданное.
-
Там где про внешние словари
-
>sudo apt-get install -y unixodbc odbcinst odbc-postgresql
>Настройка /etc/odbc.ini (или ~/.odbc.ini)...
https://clickhouse.tech/docs/ru/sql-reference/dictionaries/external-dictionaries/external-dicts-dict-sources/#primer-podkliucheniia-postgresqlИсточники внешних словарей | Документация ClickHouseИсточники внешних словарей Внешний словарь можно подключить из множества источников. Общий вид XML-конфигурации: <yandex
-
Да
-
какой тип движка таблицы используете?
-
тогда странно почему исторические данные, норм, а после - частично. что-то нестандартное используете? джойны и т.д.?
скиньте ддл таблицы, там наверно сразу будет видно проблему - 27 July 2021 (119 messages)
-
Добрый день, при использовании laginframe на таблицу, получаю странный результат
-
select
id, num,
lagInFrame(test_dt) over (partition by id order by test_dt ROWS BETWEEN UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING) as eff_dt,
test_dt as exp_dt from test.test
343123 1234567 1970-01-01 06:00:00 2020-02-24 17:08:59
343123 7654321 1973-05-04 22:26:32 2020-02-24 17:20:12 -
При этом, если записать исходные данные через селект, результат выходит правильный
-
select
id, num,
lagInFrame(test_dt) over (partition by id order by test_dt ROWS BETWEEN UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING) as eff_dt,
test_dt as exp_dt from
( select 343123 as id, 1234567 as num, '2020-02-24 17:08:59' as test_dt
union all
select 343123 as id, 7654321 as num, '2020-02-24 17:20:12' as test_dt)
343123 1234567 2020-02-24 17:08:59
343123 7654321 2020-02-24 17:08:59 2020-02-24 17:20:12 -
В чем может быть проблема?
-
всем привет. разраб по незнанию вместо дропа партиций бахнул огромный alter table delete (мутацию). Её можно как-нибудь остановить? -
KILL MUTATION WHERE 1
KILL MUTATION WHERE mutation_id = 'xxx' -
MODIFY COLUMN RequestTime String │ 2020-12-07 19:42:07
MODIFY COLUMN UpstreamResponseTime String │ 2020-12-07 19:42:48
если помимо делитов зацепил старые такие, ничего страшного? я не очень понимаю один момент, они там пожизненно висят? -
а, всё нормально. делиты не прошли, места не хватило
-
спасибо
-
> если помимо делитов зацепил старые такие, ничего страшного? я не очень понимаю один момент, они там пожизненно висят?
Да, ну подчищаются старые если больше 100 штук накопилось
А так весят всегда. Если мутации закончились, то ничего страшного -
Всем привет.
Коллеги, подскажите где можно найти доку по работе с внешними словарями типа executable. Интересует, как происходит запуск скрипта, как обрабатывается lifetime, как отслеживается процесс(если отслеживается) и как происходит его перезапуск.
Или проще самому протестить это? в официальной доке не нашел никаких подробностей. -
Добрый день, подскажите плз, а как скопировать структуру таблицы ? ну в смысле создать таблицу на основании другой таблицы без данных ?
-
CREATE new_table AS other_table
-
big snks
-
Добрый день. А как кликхаус выбирает, какой блок переместить на следующий диск в гетерогенной конфигурации стораджа при достижении move_factor? Что если на холодный диск уедут маленькие блоки?
И как move_factor взаимодействует с max_data_part_size? Что будет в приоритете? -
ZSTD (первый парт) и LZ4 (остальные) честные x2 сжатие, рекомендую
-
> короче, они не взаимодействуют.
так если блок смёржился и стал больше чем max_data_part_size_bytes, но до move_factor ещё далеко, получается блок не отъедет? -
-
так выходит эти две опции всё же взаимодействуют и max_data_part_size_bytes в приоритете?
-
Всем привет. Может кто подсказать к кому обратится за консультацией ($). Сейчас используем Qlik Sense, данные подливаем из MSSQL, поставлена задача перейти на ClickHouse. Данных в целом немного (3 таблиц до 1 млн и пару по 10 млн). С CH вообще не работали(( интересует общая консультация есть ли смысл, какую модель юзать, какого железа должно хватить и т.д, спасибо за понимание!
-
Привет, как посмотреть что КХ держит в оперативке и сколько это занимает места? -
Добрый день, кто сталкивался с проблемой. Для таблицы с engine = Kafka зависли материализованные представления, пример на картинке. Если отключаю материализованное представление, то из списка пропадает только одно, а два других всегда остаются, как решить проблему? Это поле system.tables.dependencies_tables
-
надеюсь, понятно описал (потому как задача опять поставлена через пень колоду) -
Спасибо!
-
Вы скорее всего чатом ошиблись
-
Как подсчитать размер строки, размер таблицы, размер БД на диске? -
Clickhouse: как узнать размеры таблиц? - Highload.today
Запрос на Clickhouse для вывода всех таблиц и их размеров
-
-
Всем привет! Что может вызывать ошибку DB::ParsingException: Cannot read all array values: read just 1846312 of 3705006? Возникает нерегулярно, TTL для таблички не установлен вовсе. Запросы, которые этой ошибкой завершаются - инсерты, все долгие (более 2 минут), версия кх 21.3.5.42 -
У вас там большие массивы в инсертах?
-
Больше 10к записей, но меньше 100к
-
Ну и обновитесь до последней 21.3 версии
-
А это точно поможет?)
-
Ну 21.3.5 довольно сыровата
Мы вот рекомендуем как минимум 21.3.13 -
По поводу вашей проблемы, нужен воспроизводимый пример, но 10к-100к записей в каждом массиве это довольно большие массивы.
-
В том и проблема, что воспроизвести не получается, стреляет от случая к случаю(
-
Добрый день. Подскажите плз, конектил ли ктото онлайновый(не дестктопный) Tableu к ClickHouse ?
Почитал сообщения в группе, есть только про десктоп и сервер варианты(если я правильно понял).
Заранее спасибо :) -
Нет, ну либо использовать complex_key словари
-
https://help.tableau.com/current/online/en-us/to_connect_live_sql.htm#connectors
Облачная табло не поддерживает.
Возможно когда наш коннектор засертифицирует табло, будет возможно.Tableau Online: Allow Direct Connections to SQL-based Data in the CloudIf you maintain SQL-based data on a cloud platform, you can use direct connections to that data when you publish workbooks and data sources to Tableau Online
-
Можно загружать csv и импортировать в tableau -
Самый проверенный способ для CH+Tableau
-
-
всем привет, почему функция преобразователь из юникс тайм стемп в миллисекундах возвращает далекое будущее?
-
А разве unixTimestamp не в секундах?
-
нет, он может быть хоть в наносекундах
-
у меня он в миллисекундах
-
он в секундах) -
у меня очень жесткий потоковый стрим из сокета, там таймстемп в милисекундах
-
ради кликхауса терять точность не собираюсь
-
Спасибо, а сколько вы кладте +\- времени на сертефикацию?
-
"timestamp DateTime64, "
-
в базе он DateTime64прописан
-
Анфортунатели, обьёмы данных не про Цсв ((
-
по проблеме есть что сказать?
-
для не csv-объёмов связка tableau+ch не работает
-
используйте другой BI
-
проблема в том, что юникс тайм это количество секунд, а вы вместо него передаете миллисекунды
-
Tableu не вывезет ?
-
драйвер не вывезет
-
который odbc
-
что сокет дал - то и имею, не я их создаю же, непонятно?
-
https://clickhouse.tech/docs/en/sql-reference/functions/type-conversion-functions/#fromunixtimestamp64nano
fromUnixTimestamp64MilliType Conversion | ClickHouse DocumentationType Conversion Functions Common Issues of Numeric Conversions When you convert a value from one to another data type, y
-
Ясен понятен, спс :)
-
о, спасибо, годно
-
Вам действительно нужно в табло вытаскивать миллиарды строк?
-
нет. десятков тысяч хвтит
-
Но даже на них ODBC не справляется
-
даже на тысяче задержки в 10 секунд
-
обьём +\- 10 - 50 млн
-
имеется в виду кол-во строк в результате. То есть уже в аггрегациях
-
Почему у меня костыльный odbc драйвер в power bi возвращает 1000 строк за секунды?
-
Видимо потому что там драйвер норм
-
Нет, такой же odbc
-
и? Драйвер все равно не тот же самый
-
Я вот про этот драйвер говорю
https://github.com/ClickHouse/clickhouse-odbc
В нем есть тормоза при работе с tableau. -
Ровно такой же odbc драйвер, просто обертка другая.
Про odbc драйвер можно много плохого сказать, но 1000 строк он не 10 секунд будет возвращать если есть нормальная сеть. -
вы попробуйте просто
-
Основная идея моего кривенького, это атомарка которая собирается в разные агрегации.
Для аналитики подругому сложно, нужно часто спускаться до низжего уровня -
Tableau генрирует к odbc специфичные запросы, и большие лаги происходят не в CH и не в Tableau, а именно в драйвере
-
powerBi может генрировать другие запросы в драйвер, не работал с powerBI, не видел его запросы
-
с маленьким размером батча не может быть связано?
что-нибудь типа CAP_ODBC_FETCH_BUFFERS_SIZE_MASSIVE ? -
К сожалению уже не знаю. Два года назад я перебирал все настройки драйвера, с тех пор может новые появились, которые могут настроить tableau хорошо, по умолчанию до сих пор тормоза
-
У меня на руках нет табло, но наши клиенты пользовались tableau и с обычным odbc драйвером, и пробуют сейчас с нашим коннектором.
1000 строк (если там не какой то сложный запрос который и без этой мишуры долго выполняется) за 10 секунд это что то не так -
А, ну два года назад.
С этого нужно было начинать -
Если найдете настройки , которые позволяют уменьшить тормоза - было бы классно
-
нашёл список настроей, которые я тюнил, этого там нет.
-
да, набор опций зависит от версии,
но в любом случае, стоит выснить размер батча, как мне кажется
тут пишут:
>Row/Resultset Buffers - Prefer larger buffer sizes to improve the performance of fetching numerous rows, which can greatly improve the speed of creating extracts. This is sometimes called the cache size or response size.
https://help.tableau.com/current/pro/desktop/en-us/odbc_customize.htmExample: Customize an ODBC ConnectionWhen you use a connector for a database that supports SQL, Tableau generates SQL statements that are tuned for that database
-
предположение в стиле "пальцем в небо":
может localhost заменить на реальный адрес интерфейса? -
ну типа PG не прослушивает lo и не принимает на нем соединения...
-
Всем привет!
Есть 2 инстанса КХ
Есть табличка ReplicatedMergeTree
Через HAProxy пишет сервис в табилцу с балансировкой раундробин
На нодах получается разное кол-во записей
Если делаю транкейт на ноде где больше записей, в ноде где было меньше записей таблица очищается, а на которой больше остается сколько было до транкейка минус то что было на реплике
Почему так происходит подскажите и как это починить -
Отбой ребят, дело было не в бабине ....
-
zookeeper настроен?
SELECT * FROM system.zookeeper WHERE path='/'
system.macros
разный replica для обоих хостов?
релпикация асинхронная, после того как вы записали в таблицу на ноде
создается part в system.parts и item в ZK очереди на репликацию
после этого clickhouse сам идет и качает с другой ноды физические файлы с данными
ноды между собой могут нормально конектиться чтобы парты таскать? -
=) ну расскажите уж =) в чем дело было?
-
в разных бд есть таблицы с одинаковыми именами и запрос
SELECT
table,
formatReadableSize(sum(bytes)) AS size,
min(min_date) AS min_date,
max(max_date) AS max_date
FROM system.parts
GROUP BY table
Возвращал неверное значение -
=) а
-
toQuarter возвращает номера кварталов
Можно сделать чтобы она возвращала год-месяц начала кварталов? -
toStartOfQuarter ?
-
Спасибо, то что нужно
-
Сортировка по нужному полю в подзапросе
-
> в подзапросе
SELECT groupArray(x) FROM (SELECT * .... ORDER BY y) -
Наткнулся тут на https://clickhouse.tech/docs/ru/sql-reference/statements/select/all/ а есть ли практическое применение этого?ALL | Документация ClickHouse
Секция ALL Если в таблице несколько совпадающих строк, то ALL возвращает все из них. Поведение запроса SELECT ALL точно
-
Донастраивать pg_hba. Сверяться с настройками пгадмина.
-
Скорее всего добавлено больше для соответствия ansi sql
- 28 July 2021 (46 messages)
-
Всем дратути, хочу заюзать новый экспериментальный engine replicated. Пока вроде все работает, но вопрос про веса шардов - есть ли какая-то возможность их поменять для той или иной ноды?
Так как шарды теперь прописываются не в конфиге, а создаются динамически - как быть с весами?
Спасибо -
Веса нужно теоретически будет поменять, если будем добавлять еще шардов, и нужно будет сбалансировать данные - писать больше в новые шарды какое-то время
-
подскажите как можно в селекте на основе которого формируется MV использовать сабселекты заданные в WITH?
сам селект который пытаюсь использовать в MV с WITH рабочий если выполнить напрямую -
with работает без проблем. Только обнаружилось что MV to table as select должен формировать правильные имена колонок. Иначе заполняет дефолтными значениями.
-
Мне выдаёт ошибку что в базе нет таблиц с именами из WITH
-
у вас одна база или несколько? не могло случиться какой-то "запутанности"? Ну и версию наверное надо посвежее, там что-то улучшали с CTE.
-
Когда делаю в целевую таблицу insert into target_table select * from (%select with%)
То всё ок
А когда пытаюсь сделать МВ на базе этого запроса, то выдаёт ошибки что таблиц с именем из секции WITH нет в базе.
База одна -
Может там синтаксис нужен особый в МВ
-
Всем привет. Можно ли сделать добавление нового столбца в таблицу синхронным? Миграция валится из-за того, что следующий statement зависит от колонки, которая создаётся в предыдущем. -
Добрый день, подскажите пожалуйста, какого типа в Kafka Engine c Avro создать поле для поля из Avro с типом
{
"type": "bytes",
"logicalType": "decimal", "precision": 9, "scale": 2
} -
С типом Decimal(9,2) ошибка:
SQL Error [44]: ClickHouse exception, code: 44, host: 10.241.186.56, port: 8123; Code: 44, e.displayText() = DB::Exception: Type Decimal(9, 2) is not compatible with Avro bytes:
{
"type": "bytes",
"logicalType": "decimal", "precision": 9, "scale": 2
}: column kolvo: While executing SourceFromInputStream (version 20.9.2.20 (official build)) -
Input and Output Formats | ClickHouse DocumentationFormats for Input and Output Data ClickHouse can accept and return data in various formats. A format supported for input
-
думаю вам лучше issue отдельный завести со ссылкой на pull request с деталями
-
А как дальше байты преобразовывать в Decimal?
-
Можно попробовать через reinterpret('xxx', 'Decimal64(2)'), но мб и не сработает
-
никто не подскажет почему в 20.8 все алиасы (clickhouse-client, clickhouse-*) использовали relative path ( ./clickhouse)
а начиная с версии 21.3 оно использует абсолютный путь /usr/bin/clickhouse
это сломало все наши инсталляции в chrootах ((( -
думаю лучше issue завести
-
@unamedrus подскажите, пожалуйста, про clickhouse connector. Сейчас настроено соединение через ODBC драйвер (инструкция с вашего сайта). Но переодически получаю такие сообщения от аналитиков.
"""у меня табло при взаимодействии с кликхаусом странно себя ведет, когда пытаюсь открыть воркбук, ввожу коннекшены и вылетает из табло тут же, потом при открытии возникает сообщение отправить сообщение об ошибке или нет и все, никаких норм ошибок нет"""
Или же постоянно спонтанные падения extract'ов на сервере.
Хочу попробовать заиспользовать коннектор (может с ним лучше будет). Нашел статью https://docs.altinity.com/integrations/clickhouse-and-tableau/tableau-desktop-with-clickhouse/
Но вопрос. Даже, если я его подключу к tableau-desktop вручную, то workbook же потом не получается выгрузить на сервер? Может у вас есть гайд или же совет как нужно работать в этой связке. Может есть полезный опыт как сейчас взаимодействуют Ваши клиенты?Connect Tableau Desktop to ClickHouseConnect your Tableau Desktop application to ClickHouse
-
Хм,
https://github.com/Altinity/clickhouse-tableau-connector-odbc/issues/2#issuecomment-873861785
Вообще судя по всему, подключить к табло серверу этот коннектор у людей получилось.
По поводу внезапных ошибок сложно что то сказать не имея информации на руках.Support for Tableau Linux Server · Issue #2 · Altinity/clickhouse-tableau-connector-odbcGreetings, First and foremost I want to thank you for this awesome project, it works flawlessly for Tableau Desktop. What I'm trying to do however is to install the connector on Tableau Lin...
-
да
-
DROP TABLE ... SYNC
-
сделайте pull request на github для документации это не сложно, документацию сообщество делает
в release notes есть
https://clickhouse.tech/docs/en/whats-new/changelog/2020/#improvement_2
Support for database_atomic_wait_for_drop_and_detach_synchronously/NO DELAY/SYNC for DROP DATABASE. https://github.com/ClickHouse/ClickHouse/pull/16127 (Azat Khuzhin).2020 | ClickHouse DocumentationClickHouse release 20.12 ClickHouse release v20.12.5.14-stable, 2020-12-28 Bug Fix Disable write with AIO during merges
-
Мы вообще не рекомендуем использовать circular replication
-
Гораздо сложнее ее менеджить
-
Добрый вечер, Есть ли в клике возможность запивотить? Строки сделать столбцами
-
-
Спасибо 🙏
-
подхватывается, начиная с 20.3
-
Списибо, проблему решил
-
а это первое выполнение запроса? а второе тоже дольше?
с 8192 надо читать больше марков.
32768 -- возможно это не спроста и кто-то уменьшал размер первичного индекса который не влезал в ОЗУ при 8192, тут в чатике есть люди у которых первичный индекс кушает десятки гигабайт ОЗУ при триллионах строк. -
полностью переписан odbc драйвер уже
-
engine replicated никак не связан с Distributed. Веса и описание кластера пишутся в remote_servers
-
добавлять одним alter. В alter можно перечислять команды. alter table ... add column a, add column b, drop column d, modify column k, freeze
- 29 July 2021 (201 messages)
-
оно синхронное
можно сделать
ALTER TABLE ... ON CLUSTER 'cluster-name' ... ;
если надо чтобы на всех нодах сделалось
Таблица которую модифицируете у нее какой Engine? -
Приветствую. При попытке создать таблицу в базе staging CREATE TABLE IF NOT EXISTS staging.user_props …. получаю ошибку:
‘’’ServerError: Table columns structure in ZooKeeper is different from local table structure (version 20.8.18.32 (official build)) (122)’’’
При этом в default базе уже есть таблица с таким же названием, но вряд ли это как то влияет
Можете подсказать как это победить? -
SELECT engine FROM system.databases WHERE name='staging'?
Atomic?
если да, то надо было таблицу удалять как DROP TABLE staging.user_props ON CLUSTER 'xxx' NO DELAY; -
попробуйте сначала
DROP TABLE IF EXISTS staging.user_props ON CLUSTER 'xxx' NO DELAY; -
SELECT engine
FROM system.databases
WHERE name = 'staging'
┌─engine───┐
│ Ordinary │
└──────────┘ -
походите по zookeeper
Там есть ключи
и можно понять какие реплики для таблицы зарегистрированы и какая структура таблицы актуальная
SELECT * FROM system.zookeeper WHERE path='/' FORMAT Vertical; -
возможно на другой реплике в том же кластере создана таблица с другой структурой
-
Прошелся по репликам, там нет такой же таблицы, точнее там даже базы staging нет, только в одной реплике создалась
-
SELECT *
FROM system.zookeeper
WHERE path = '/'
FORMAT Vertical
Row 1:
──────
name: zookeeper
value:
czxid: 0
mzxid: 0
ctime: 1970-01-01 00:00:00
mtime: 1970-01-01 00:00:00
version: 0
cversion: -2
aversion: 0
ephemeralOwner: 0
dataLength: 0
numChildren: 2
pzxid: 0
path: /
Row 2:
──────
name: clickhouse
value:
czxid: 4294967298
mzxid: 4294967298
ctime: 2020-09-10 20:52:42
mtime: 2020-09-10 20:52:42
version: 0
cversion: 1
aversion: 0
ephemeralOwner: 0
dataLength: 0
numChildren: 1
pzxid: 4294967299
path: /
Вот что получил -
ну странно очень
а откуда тогда у вас в ZK оказалась другая версия схемы таблицы?
пройдитесь по путям в ZK -
ну, теперь дальше идем WHERE path='/clickhouse';
и пока не разберетесь что там у вас в ZK -
А может он сравнивать с таблицей из другой базы, у меня две базы, и названия таблиц будут совпадать
-
Хорошо, попробую, спасибо
-
да. если у вас совпадают пути в этих таблицах для ReplicatedMergeTree(тут_путь_указывается)
-
путь должен быть уникальным
-
Движок MergeTree. Только у нас одна нода. С одной тоже такой вариант сработает?
-
на одной ноде, у вас ALTER TABLE точно синхронный
что именно у вас в следующей query не работает?
покажите SQL код миграции и исходный SHOW CREATE TABLE таблицы? -
Привет. Есть вопрос. У меня есть данные по ивентам сессии пользователя(время, сессия, навзание ивента), мне требуется чтобы между ивентами не было определенного ивента. Например мне нужно посчитать сколько пользователей сделали event1 вместе с event2, между ивентами должны быть другие ивенты, но не должен быть event3. С помощью массива, реализация не возможна, т.к. не хватает оперативки. Пробывал через seuenceMath('(?1)(?3)(?2)') EventName = event1, EventName = event2, EventName != event3, но результат не верный. -
--Таблица, в которую добавляется новый столбец
CREATE TABLE order_events (
event_id UUID,
...
occurred_at DateTime64(6)
)
ENGINE = MergeTree
PARTITION BY toYYYYMMDD(occurred_at)
ORDER BY occurred_at;
--Вот тут как будто мгновенно отрабатывает
--И следующие statement'ы начинают выполняться
--Ещё до того, как столбец полностью добавится
ALTER TABLE order_events ADD COLUMN is_original UInt8 DEFAULT 1;
CREATE TABLE orders_storage (
order_id UUID,
...
is_original AggregateFunction(argMax, UInt8, DateTime64(6))
)
ENGINE AggregatingMergeTree()
ORDER BY (created_at, order_id)
PARTITION BY (toYYYYMM(created_at));
--Вот тут валится
--Error: "Missing columns: 'is_original' while processing query:
--SELECT order_id, ..., argMaxState(is_original, occurred_at) AS is_original FROM order_events GROUP BY order_id
CREATE MATERIALIZED VIEW orders_input_materialized TO orders_storage AS (
SELECT
order_id,
...
argMaxState(is_original, occurred_at) AS is_original
FROM order_events
GROUP BY order_id
);
CREATE VIEW orders AS (
SELECT
order_id,
...
argMaxMerge(is_original) AS is_original
FROM orders_storage
GROUP BY order_id
); -
И действительно так, в ReplicatedMergeTree пути совпадают
ENGINE = ReplicatedMergeTree('/clickhouse/{installation}/{cluster}/tables/{shard}/default/‘events, '{replica}')
Если сделать
ENGINE = ReplicatedMergeTree('/clickhouse/{installation}/{cluster}/tables/{shard}/staging/‘events, '{replica}')
то должно сработать? -
В ZK как раз только один путь, который ведет в таблицы default базы
-
allow_experimental_database_materialized_postgresql
Включили настройку в дефолтном профайле? -
users.xml
-
Да
-
1
-
https://clickhouse.tech/docs/en/engines/database-engines/materialized-postgresql/
Хм помимо этого наверное нетMaterializedPostgreSQL | ClickHouse Documentation[experimental] MaterializedPostgreSQL Creates ClickHouse database with an initial data dump of PostgreSQL database table
-
Скорее всего нету
-
Ну точнее почти все возможные настройки можно посмотреть так:
SELECT * FROM system.settings -
у вас clickhouse в kubernetes?
по умолчанию cluster и installation макросов на сервере нет
ну если пути будут разные то сработает -
Да, в кубере
-
А косяк,
Его только в 21.8 замержили, а у вас 21.7
https://github.com/ClickHouse/ClickHouse/commit/8351f1db9923100e411c380a8ba3fa52b5dff4d3Merge pull request #20470 from kssenii/pg-ch-replica · ClickHouse/ClickHouse@8351f1dMaterializePostgreSQL table engine and database engine
-
реплицирует изменение в данных из постгри в кликхаус
-
Да
-
Ага,
Ну либо смотреть в сторону движка базы данных (materialized)postgresql -
Ага, тогда он сам подтянет определения для таблиц
-
TTL RECOMPRESS
https://kb.altinity.com/altinity-kb-queries-and-syntax/ttl/ttl-recompress-example -
Ну надо смотреть, наверное там можно схему как то послать
-
что то у вас фигня в materialized view
FROM order_events
делаете
а выбираете order_id
а в нем только event_id по вашим словам есть -
Там куча столбцов. Я их опустил, о чём свидетельствует "..."
-
ALTER TABLE синхронный
вот так
https://pastebin.com/sgkqkxUq
все отработало без проблем
у вас явно проблемы с SELECT запросом в MATERIALIZED VIEWCREATE TABLE order_events ( event_id UUID, order_id UUID, occurred_at D - Pastebin.comPastebin.com is the number one paste tool since 2002. Pastebin is a website where you can store text online for a set period of time.
-
господа, вопрос такой
задача в том, что в таблицу tableTrees грузится дерево из записей вида
(uuid UUID, root_uuid UUID, depth UInt8, content String )
сначала вставляются ветки, последним корень c depth = 0 и в MV нужно сджойнить данные из всего дерева по root_uuid и с другой таблицей по content
проблема в том, что отлавливая вставку корня дерева в MV выборка из tableTrees ограничена только данными которые есть в инсерте
Как заставить читать данные из всей таблицы для джойна? -
никак
MV работает только с данными вставляемого блока... -
подскажите что можно сделать
решили поменять тип данных на столбце но получили
Exception happened during execution of mutation '0000000001' with part '201502_27_27_0' reason: 'Code: 32, e.displayText() = DB::Exception: Attempt to read after eof: Cannot parse UInt64 from String, because value is too short: while executing 'FUNCTION CAST(typeID :: 26, 'UInt64' :: 46) -> CAST(typeID, 'UInt64') UInt64 : 45': (while reading from part /var/lib/clickhouse/store/d87/d872541f-0c43-41fa-9872-541f0c4381fa/201502_27_27_0/): While executing MergeTree (version 21.6.8.62 (official build))'. This error maybe retryable or not. In case of unretryable error, mutation can be killed with KILL MUTATION query.
мы пользуемся облаком яндекса, и в итоге прав на KILL MUTATION on cluster у нас почему-то нету .... выяснять почему это видима очень на долго ... что еще можно сделать в данной ситуации ?
запросить в таблице что либо на текущий момент нельзя -
т.е. мы по сути даже создать новую таблицу и перелить даныне не можем ..... селекты не выполняются
-
Ясно.
А можно ли на МВ повесить ещё одну МВ каскадом?
И ещё, когда тригеррится МВ данные уже записаны в таблицу или могут быть гонки? -
Спасибо, сейчас посмотрим
-
можно, но данные туда попадут только в рамках одного блока который формируется при вставке в MV
-
спасибо большое за ссылку, попробую настроить. Проблема заключается в том, что tableau и odbc (clickhouse) в данный момент при тестировании соединения пишет "все ок". Но по факту затирает пароль. Или же, например, при публикации отчета с десктопа на сервер - возможно только при типе выставленном типе соединения live и только после этого его можно переключить на extract. Вообщем странные танцы с бубнами и не понятно где и в какие логи смотреть) Вот хочу попробовать пересадить аналитиков на ваш плагин.
-
в видео указано что у МВ без таблиц назначения имя должно быть '.inner.MVname'
у меня на версии 21.3.14 селекты к МВ идут по обычному имени
и каскадирование что то не срабатывает ((
сейчас попробую с отдельными таблицами каскадирование -
Добрый день, нужна помощь с бекапом, пробую локально на 2х докер образах по инструкции
https://altinity.com/blog/introduction-to-clickhouse-backups-and-clickhouse-backup
выполнил freeze скопировал shadow на второй образ по пути data/schema/table/detached но при выполнении alter table events attach partition в логах пишет, что партиция не найдена и бекап не восстанавливается, куда можно посмотреть?Introduction to ClickHouse Backups and clickhouse-backupThis article will explore the plumbing involved in backing up ClickHouse and introduce the clickhouse-backup tool for automating the process.
-
да, таблица есть, там одна
-
так у меня вообще нет имён с '.inner' и при обращении с таким именем таблицы в базе нет - может это поменялось или в настройках что то
-
есть запись о моем бекапе
-
с явным указанием промежуточной таблицы каскадирование вроде заработало
тестируем дальше -
Выполняю у оригинально БД запрос
select * from system.parts where active = 1 and table like 'sat_analytic_events' - получаю имена партиций
на бекап БД
alter table sat_analytic_events attach partition '202107';
202107 - заменяю на имена партиций из system.parts колонка partition -
проблема как раз в том, что ошибки нет, в логах сообщение что партиция не найдена.
"вы уверены, что там есть эта партиция?"
ну я сделал freeze на всю таблицу, дока говорит, что будут сохранены все партиции
можно как-то узнать какие партиции есть в конкретном бекапе? -
может быть инструкция под версию не подходит?
Партиции у меня такие 202105, 202106, 202107
при этом в shadow создается каталог 1 и increment.txt. Они же в detached_parts выводятся, но кажется там должны быть именно партиции а не инкремент бекапа -
хм ща попробую одну идею
-
о получилось, но получается статья устарела и при бекапе всей таблицы надо переносить не весь shadow а только парты вытащив их?
-
И наврено более общий вопрос.
Получается пока есть жесткие ссылки кликхаус не будет мерджить партицию?
Поэтому их надо удалять после переноса и это же гарантия, что до удаления файлы будут существовать? -
> Получается пока есть жесткие ссылки кликхаус не будет мерджить партицию?
Кх будет мержить, удалять и тд парт
Просто ваш бекап начнет использовать реальное место на жестком диске -
О это хорошо) не в плане хранить его, а в плане, что во время копирования бекапа ничего страшного не должно произойти)
-
В кх нельзя при dictGet как-то наиборот исхитриться и взять значение id по какой-то колонке name допустим? -
Хочу взять не value по key, а key по value ;D
-
Создать обратный словарь
-
Ну вот перед этим и спрашиваю ;D
-
Вдруг есть что-то чтобы не создавать обратный слоаврь)
-
D alter table update column можно сделать селект?
-
ALTER TABLE table_1 UPDATE new_language = (SELECT id FROM table_dict WHERE name = language LIMIT 1) WHERE new_language = 0
Типа такого? -
Да я понял уже что без обратного дикта не обойтись, просто стало инетересно про select в update запросе.... Ибо не вышло)
-
в 21.3 default database engine Atomic
для там MV другой name convention .inner.{uuid} -
сервер какой версии? тоже 18.16 ?
если что, то это настолько древняя версия =) что страшно =)
по древности как MySQL4 ;) -
В общем сделал с отдельными целевыми таблицами в 2 стэйджа
сейчас тестирую с реальными данными -
добрый день, Завели тут https://github.com/ClickHouse/ClickHouse/issues/26949 и получили ответ что это не баг. Можно ли придумать тут какой-то Workaround?toString fails to handle nullable Enum · Issue #26949 · ClickHouse/ClickHouseDescribe the bug toString fails to handle NULL value in an Enum column. Does it reproduce on recent release? Yes, reproduces on ClickHouse 21.7.4.18 with revision 54452 (latest docker image). The l...
-
Кто-нибудь пользовался выражением
ALTER TABLE some_table ADD COLUMN new_column UInt32 DEFAULT multiIf(some_exist_field, куча вариантов)
Ещё желательно materialized колонку при это создать и сразу её заполнять значениями основываясь на значениях из другой (some_exist_field) колонки -
Добрый вечер. Я так понимаю кликхаус сейчас перезапрашивает все данные для словаря если сработал триггер обновления.
А не рассматривается в каких-то версиях возможность "ревизионного обновления"
Имею ввиду перезапрашивать для словаря только явно изменившиеся данные -
Спасибо большущее!
-
https://clickhouse.tech/docs/en/getting-started/install/
советую почитать документацию
есть отдельный репозиторийInstallation | ClickHouse DocumentationInstallation System Requirements ClickHouse can run on any Linux, FreeBSD, or Mac OS X with x86_64, AArch64, or PowerPC6
-
я пользовался, в чем у вас проблема?
-
Долго отрабатывал запрос?
-
Подскажите, как посмотреть engine настройки у базы? Скорее всего engine Replicated, но надо увидеть пути ZK, название шарда и реплики
-
должно быть мгновенно
ALTER TABLE .. ADD COLUMN
только метаданные меняет
все остальное начинает работать при background merge
ну в multiIf все варианты вычисляются. так что оно должно CPU жрать в зависимости от сложности выражений при вставке
и при SELECT для незаполненных партиций... -
Блэ может чё-то не так делаю, руки кривые
-
Даже на 11к записей по таймауту в 120сек отваливается
-
ну сделайте
SET send_logs_level='trace';
и потом ваш
ALTER TABLE
посмотрите что в клиент в логах прилетит... -
SELECT * FROM system.merges
SELECT * FROM system.mutations WHERE is_done=0
может CPU кто-то сожрал
ну и если вы вставляете данные. вдруг оно по каким то неведомым причинам в Ordinary блокируется (хотя не должно) -
Да всё локально , одна табличка, всякие инсёрты селекты не происходят
-
Получаю данную ошибку
DB::Exception: MaterializedPostgreSQL is an experimental database engine. Enable allow_experimental_database_postgresql_replica to use it. (UNKNOWN_DATABASE_ENGINE) (version 21.9.1.7603 (official build))
в конфиге указал параметр данным образом. В чем проблема? -
Ну там 185 значений в мультиифе
-
его надо в user profile указывать
а не в config.xml -
SET send_logs_level='trace';
ALTER TABLE ...
что показывает? -
или users.d/alllow_materialized_postgresql.xml
<yandex><profiles><default> ... </default></profiles></yandex> -
Данным образом вообще сервак не робит
-
Я щас ебусь с тем что запрос который работал буквально час назад, какого-то ХУЯ сейчас падает с ошибкой
-
ALTER TABLE some_table ADD COLUMN new_mat_language UInt32 DEFAULT multiIf(language, 'aa', 1, 'ab', 2, 'af', 3, 0)
Invalid number of arguments for function multiIf: default expression and column type are incompatible -
Какого хера дефолтное значение как 0 ему не нравится я не ебу уже
-
час назад этот запрос работал без синтаксических ошибок, просто по таймауту отваливался
-
Почему используете multiIf вместо transform?
-
Или даже Enum
-
Потому что показали его 🤷♂️
-
transform(language, ['aa', 'ab'], [1,2], 0)
-
Да я понял)
-
мата поменьше toTypeName(multiIf(language, 'aa', 1, 'ab', 2, 'af', 3, 0))
и сразу все встанет на свои места -
так. ой. а вы когда в config.xml засовывали, сервер рестартовали?
-
Cорян просто уже слегка на нервах от того как всё не привычно в клике ;D
-
CREATE VIEW with postgres table function results in connections growth without limit in 21.6, but not in 21.4 · Issue #26088 · ClickHouse/ClickHouse
Describe the issue After an update from CH 21.4.6.55 to CH 21.6.5.37 I noticed an endless growth of idle connections on PosgtreSQL side (which is configured as a sync replica, without expiration of...
-
Increasing postgres connections · Issue #23897 · ClickHouse/ClickHouse
Since the latest update 21.4.1 Clickhouse keeps creating new Postgres connections. There is only a single dictionary with postgres as data source On 11:40 I upgraded CH to 21.4.1 from 21.3.9. I hav...
-
ну.... добро пожаловать в клуб. это пройдет =)
потом снова накатит... -
Всем привет! А кто-нибудь сталкивался с ошибкой 32
ATTEMPT_TO_READ_AFTER_EOF при загрузке в кафка таблицу? С чем это может быть связано? -
какой формат сообщения?
покажите параметры создания Kafka таблицы? -
ENGINE = Kafka
SETTINGS kafka_broker_list = 'hadoop_brohers', kafka_topic_list = 'topic_name', kafka_format = 'JSONEachRow', kafka_group_name = 'name' -
хм. а нет каких нибудь типов данных типа Decimal ?
вообще было бы не плохо весь стектрейс ошибки увидеть -
exception_code: 32
exception: Code: 32, e.displayText() = DB::Exception: Attempt to read after eof (version 20.8.13.15 (official build))
stack_trace: 0. Poco::Exception::Exception(std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, int) @ 0x18cd37c0 in /usr/bin/clickhouse
1. DB::throwReadAfterEOF() @ 0xe6397d1 in /usr/bin/clickhouse
2. DB::readVarUInt(unsigned long&, DB::ReadBuffer&) @ 0xe834ab4 in /usr/bin/clickhouse
3. DB::TCPHandler::isQueryCancelled() @ 0x1639c46a in /usr/bin/clickhouse
4. DB::TCPHandler::processOrdinaryQueryWithProcessors() @ 0x1639e3d2 in /usr/bin/clickhouse
5. DB::TCPHandler::runImpl() @ 0x163a277d in /usr/bin/clickhouse
6. DB::TCPHandler::run() @ 0x163a3420 in /usr/bin/clickhouse
7. Poco::Net::TCPServerConnection::start() @ 0x18bf177b in /usr/bin/clickhouse
8. Poco::Net::TCPServerDispatcher::run() @ 0x18bf1e98 in /usr/bin/clickhouse
9. Poco::PooledThread::run() @ 0x18d705a6 in /usr/bin/clickhouse
10. Poco::ThreadImpl::runnableEntry(void*) @ 0x18d6b9a0 in /usr/bin/clickhouse
11. start_thread @ 0x7fa3 in /usr/lib/x86_64-linux-gnu/libpthread-2.28.so
12. clone @ 0xf94cf in /usr/lib/x86_64-linux-gnu/libc-2.28.so -
есть lowcardinality, словарь
-
а со стороны kafka никаких ошибок нет? (я правда не знаю где смотреть)
isQueryCancelled
просто так не возникает... -
ну ее кильнули
-
я тоже не знаю где смотреть ошибки кафки
-
из консоли причем работает
-
а на прод окружении нет
-
ну эээ.... то есть вы хотите вставить в кафку которой нет? ;)
или что именно кильнули? работающий INSERT запрос? -
почему это нет? кафка таблица есть
-
да quantilesState только лучше используете
-
работающий инсерт кильнули
-
ну наличие engine=Kafka таблицы не говорит о том что kafka работает
это просто способ запустить некоторый фоновый thread который будет разгребать топик при чтении
и записывать в топик при старте -
а зачем кильнули рабочий INSERT?
он подвисал?
а топик то есть в kafka в том окружении в котором "не работает"? -
ну долго работал да
-
топик есть да
-
он как бы один на все окружения
-
А что удивляет тогда? Убили инсерт, конекшн закрылся, а КХ хотел оттуда данные какие-то считать -
Всем привет, после перехода с 20.8 на 21.7 возникает такая ошибка -
Code: 210, e.displayText() = DB::Exception: Unable to connect to HDFS: InvalidParameter: Cannot parse URI: hdfs://prdhdp, missing port or invalid HA configuration Caused by: HdfsConfigNotFound: Config key: dfs.ha.namenodes.prdhdp not found (version 21.7.5.29 (official build))
такая ошибка появилась -
после указани я порта hdfs://prdhdp:9000
-
есть ли какая нибудь настройка, которая ставит порт по дефолту?
-
ответ то kafka видимо пытался прочитать
-
вообще странно что работало
https://clickhouse.tech/docs/en/engines/table-engines/integrations/hdfs/#list-of-possible-configuration-options-with-default-values
во всех примерах порт явно заданHDFS | ClickHouse DocumentationHDFS This engine provides integration with Apache Hadoop ecosystem by allowing to manage data on HDFS via ClickHouse. Th
-
Оказывается с портом тоже не работает
-
при селекте
-
ошибка таже самая? или другая?
-
Добрый день, подскажите пожалуйста есть ли возможность как то упростить запрос на картинке слева-сверху.
У меня есть таблица в которой несколько колонок-массивов.
Запрос должен вычислять avg по нескольким колонкам (дай мне avg за n минут по temp, fan и тпд).
Я накидал решение для одной колонки, но не знаю как лучше написать запрос для нескольких колонок. -
нет
-
другая
-
Received exception from server (version 21.7.5):
Code: 210. DB::Exception: Received from localhost:9000. DB::Exception: Unable to connect to HDFS: Hdfs::HdfsRpcException: HdfsFailoverException: Failed to invoke RPC call "getFsStats" on server "prdhdp:9000" Caused by: HdfsNetworkConnectException: Connect to "prdhdp:9000" failed: (errno: 111) Connection refused. -
вот такая появилась
-
ну, у вас хост на 9000 порту тупо не отвечает
-
вроде помог запуск в другом виде, ссейчас у админов уточню и отпишу что ссработало
-
В запросе я сначала разбираю один массив на строки при помощи ARRAY JOIN (на temp_value и temp_index), суммирую с групировкой.
Если я так сделаю, то с групировкой проблем не будет? Порядок элементов имеет значение.
select
worker_id,
round(avg(temp_value), 1) as temp_avg, temp_index,
round(avg(pwr_value), 1) as pwr_avg, pwr_index
from (
select datetime, worker_id, temp, power from stats
WHERE `worker_id` = 3081
and `datetime` between
toDateTime('2021-07-26 19:40:00', 'Europe/Kiev') AND
toDateTime('2021-07-26 19:45:00', 'Europe/Kiev')
order by `datetime` ASC
) array join
temp as temp_value,
power as pwr_value,
arrayEnumerate(temp) as temp_index,
arrayEnumerate(power) as pwr_index
group by (worker_id, temp_index, pwr_index)
order by temp_index ASC; -
Привет
Подскажите, плиз, по архитектурному решению. У нас есть кластер из 8 нод, данные пишутся в одну ноду и позже реплицируются в остальные (почему так хз, но пока это и неважно). Одна из нод клика для нас является источником но вычитываем данные в итоге с лагом, причём лаг этот не предсказуем (от 1 мин до 10 пока ноды не синхронизируются). Этот лаг критичен и хотелось бы как-то его избежать
Можно ли организовать следующее?
1) сделать кластер из трёх нод и писать в них с указания кворума 3, например
2) остальные ноды синхронизируются с 1)
Тогда бы всем для кого отставание критично могли бы ходить в кластер 1), для остальных есть так называемые реплики. -
длинна может быть разная
есть ли возможность потом сгрупировать такой результат назад в одну строку с массивами-колонками? -
тогда параметр будет проигнорирован
в users.xml лежат профили и настройки для пользователей
в config.xml - настройки server level
положите в conf.d
тогда замержится куда надо -
Привет! А никто не сталкивался что при запуске Clickhouse в контейнере появляется ошибка invalid cross device link? Она появляется только если директория где лежат data файлы находится внутри контейнера. Если пробрасывать наружу или использовать data контейнер, то все хорошо. - 30 July 2021 (91 messages)
-
Нашел ответ с чуть более элегантным решением с помощью *ForEach (avgForEach)
Может кому то еще пригодится:
select
arrayMap(x -> floor(x,1), avgForEach(temp)) as temp,
arrayMap(x -> floor(x,1), avgForEach(power)) as power
from stats
WHERE `worker_id` = 3081
and `datetime` between
toDateTime('2021-07-26 19:40:00', 'Europe/Kiev') AND
toDateTime('2021-07-26 19:45:00', 'Europe/Kiev'); -
тобишь они в стандартной папке контейнера - /var/lib/clickhouse ?
-
Добрый день. Выполняю запрос из доки (https://clickhouse.tech/docs/ru/sql-reference/statements/create/table/#comment-table) CREATE TABLE t1 (x String) ENGINE = Memory COMMENT 'The temporary table';
SELECT name, comment FROM system.tables WHERE name = 't1'; получаю ошибку Code: 62, e.displayText() = DB::Exception: Syntax error: failed at position 44 ('COMMENT') (line 1, col 44): COMMENT 'The temporary table';
SELECT name, comment FROM system.tables WHERE name = 't1';. Expected one of: PRIMARY KEY, end of query, AS, INTO OUTFILE, TTL, ORDER BY, SETTINGS, PARTITION BY, SAMPLE BY, FORMAT (version 21.3.15.4 (official build)) В чем может быть проблема?Таблица | Документация ClickHouseCREATE TABLE Запрос CREATE TABLE может иметь несколько форм, которые используются в зависимости от контекста и решаемых
-
table comment доступен с версии 21.6
https://github.com/ClickHouse/ClickHouse/commit/4ffe199d3947bd12d8a193aca42086f939596cb7Implement table comments · ClickHouse/ClickHouse@4ffe199ClickHouse® is a free analytics DBMS for big data. Contribute to ClickHouse/ClickHouse development by creating an account on GitHub.
-
Привет. Есть вопрос. У меня есть данные по ивентам сессии пользователя(время, сессия, навзание ивента), мне требуется чтобы между ивентами не было определенного ивента. Например мне нужно посчитать сколько пользователей сделали event1 вместе с event2, между ивентами должны быть другие ивенты, но не должен быть event3. С помощью массива, реализация не возможна, т.к. не хватает оперативки. Пробывал через seuenceMath('(?1)(?3)(?2)') EventName = event1, EventName = event2, EventName != event3, но результат не верный.
-
https://clickhouse.tech/docs/ru/single/#windowfunnel не подходит?Документация ClickHouse | Документация ClickHouse
ClickHouse is a fast open-source column-oriented database management system that allows generating analytical data reports in real-time using SQL queries
-
Привет всем, подскажите как убить запрос
KILL QUERY WHERE query_id =''
висит в статусе waiting -
если словарь сделан через DDL
тогда сделайте
mv /var/lib/clickhouse/metadata/your_db_name/your_dictionary_name.sql /tmp/
и стартуйте сервер
потом можете попробовать обратно словарь приаттачить
если сделан через XML
тогда посмотрите откуда у вас XML файл со словарем в /etc/clickhouse-server/ лежит и тоже в /tmp положите
а вы уверены что у вас именно словарь виноват?
а не таблица которая на него ссылается?
покажите полное сообщение об ошибке и stacktrace? -
к сожалению, clickhouse by design не убивает запросы немедленно
вместо этого выставляется флаг который периодически тред выолняющий запрос может прочитать (а может и нет) и выйти
так что ждите
для интеракивного стопа я использую
KILL QUERY ... SYNC -
ок, спасибо
-
У нас не стандартный контейнер. Мы используем наш контейнер, где ставим кликхаус из пакета. Тут ещё такой момент, что раньше такой ошибки не было, она появилась с LTS 21.3
-
объясните в чем падение заключается?
вы имеете ввиду сервер падает во время загрузки сервера или во время data reload в dictionary?
покажите ошибку и stacktrace?
поменяйте определиние словаря, так и загрузитесь... или просто словарь уберите временно чтобы сервер стартовать, как именно я вот тут показал
https://t.me/clickhouse_ru/228673
dictionalries_lazy_load такой настройки больше нет, она в 19.x былаSlach [altinity] in ClickHouse не тормозитесли словарь сделан через DDL тогда сделайте mv /var/lib/clickhouse/metadata/your_db_name/your_dictionary_name.sql /tmp/ и стартуйте сервер потом можете попробовать обратно словарь приаттачить если сделан через XML тогда посмотрите откуда у вас XML файл со словарем в /etc/clickhouse-server/ лежит и тоже в /tmp положите а вы уверены что у вас именно словарь виноват? а не таблица которая на него ссылается? покажите полное сообщение об ошибке и stacktrace?
-
Привет всем. Подскажите: есть таблица с engine=kafka settings kafka_flush_interval_ms = 7500 и целевая таблица с колонкой ts DateTime64 materialized now64(). Проблема в том, что ts (now64()) вычисляется один раз в начале формирования блока вставки в целевую таблицу из-за чего первая и последняя строка в блоке (как и все в блоке) имеют одинаковый ts, хотя могли быть вычитаны кликхаусом из кафки с разницей до 7.5 секунд. Как это можно побороть? -
mv -v /etc/clickhouse-server/test_mysql_dictionary.xml /tmp/
systemctl clickhouse-server start
инициализация словаря нужна для того чтобы типы данных для полей вывести
lazy_dictionary_load для 19.x у вас может сработать, но не факт -
вычисление now64 константное выражение, и никак не связано с engine kafka
это никак не побороть... -
Добрый день. Зависает мутация, поле latest_fail_reason пустое.
Как можно "побороть" ? -
Приветствую, подскажите, если в большой таблице изменить тип поля с UInt8 на UInt16 или UInt32, таблица или партиции лочатся на запись/чтение, таблица реплицируемая и разбита по шардам? -
Если вдруг кто столкнётся с такой же ошибкой. Clickhouse пытается произвести удаление файлов:
write(2, "2021.07.30 10:58:52.317171 [ \33[3"..., 2142021.07.30 10:58:52.317171 [ 2937 ] {} <Debug> system.trace_log (5f1f70a0-0f80-46b5-91ea-59900b67a4f8): Removing part from filesystem 202107_1_1_0) = 214
Для этого делает tmp файлы:
rename("/srv/clickhouse/store/5f1/5f1f70a0-0f80-46b5-91ea-59900b67a4f8/202107_1_1_0", "/srv/clickhouse/store/5f1/5f1f70a0-0f80-46b5-91ea-59900b67a4f8/delete_tmp_202107_1_1_0") = -1 EXDEV (Invalid cross-device link)
Но использует при этом функцию rename. А она не работает на overlayfs2, т.к там происходит переименование сквозь слои.
А Clickhouse не должен учитывать этот момент? -
Тикет заведите - начнет учитывать. Правда, непонятно, как именно это учитывать. Запрещать временный каталог на такой файловой системе? Или достаточно более внятного сообщения об ошибке?
Требовать, чтобы все просто работало, IMHO странно. -
А вот еще вопрос, далее из этой таблицы читает матвьюшка у нее тоже UInt8 придется паралельно менять в .inner табличках тип?
-
там 145 партов надо просканировать...
parts_to_do
до них еще добраться надо
сколько у вас вообще мутаций с is_done=0 ?
смотрите SELECT * FROM system.merges FORMAT Vertical
чтобы понять начались мутации или нет -
он не до zookeeper не может достучаться
у вас там видимо какая то мертвая реплика есть
которая 180 секунд distributed_ddl не вычитывала
SELECT
name,
value,
numChildren
FROM system.zookeeper
WHERE path = '/clickhouse/task_queue/ddl/query-0000602234/active'
и
SELECT
name,
value,
numChildren
FROM system.zookeeper
WHERE path = '/clickhouse/task_queue/ddl/query-0000602234/finished'
посмотрите -
https://clickhouse.tech/docs/en/operations/settings/settings/#background_pool_size
какие еще есть background задачи?Settings | ClickHouse DocumentationSettings distributed_product_mode Changes the behaviour of distributed subqueries. ClickHouse applies this setting when
-
-
небольшая загрузка (на сервере 256 Гб памяти)
-
Тм -
Тм
-
ну тут дело не в памяти. а в том есть свободные треды или нет для того чтобы muations merge выполнять
-
В атомик базах uuid используется. Там рандомное имя.
-
Настройка есть до сих пор. Как она работает написано в доке.
-
ну сначала понять есть там свободные слоты или нет
-
Спасибо, все прошло в лучшем виде.
-
настройки посмотрите
что нибудь типа этого
empty_result_for_aggregation_by_empty_set
или этого
aggregate_functions_null_for_empty -
Прежде чем увеличивать размер пула, надо заглянуть в system.replication_queue.
Вы же говорите, system.merges пустая, не в пуле тут дело -
Тогда в логи загляните
-
Там пол КХ на этом построено. Непонятно как это можно исправить даже в теории.
-
без Atomic баз проблема тоже?
-
... и такое представление еще из system.query_log
-
Добрый вечер, подскажите что почитать или как сделать ) Задача, есть 5 одинаковых SSD дисков, нужно создать таблицу (шахматные партии), так чтобы данные равномерно размазывались по этим дискам.
Спасибо -
сделать из дисков JBOD
-
Как бы вы понимаете что jbod сделанный в кх в пять раз хуже чем mdraid. По любому параметру
-
Спасибо, два слова для поиска приняты jbod и mdraid, буду читать
-
можно raid0 вместо jbod
-
У меня была надежда, что есть у кх какие-то свои решения, что то в ключе партиционирования, шардинга данных
-
можно придумать, но проще на уровне ниже сделать
-
можно например на каждый диск отдельную таблицу сделать и таблицу для чтения с ENGINE=Merge, но придумывать как вставлять в эти таблицы придётся самостоятельно
-
Это хобби, и если не считать начальной загрузки, инкремент раз в месяц, со вставкой проблем не будет, например по времени шахматной партии можно поделить, один месяц на первый диск, второй на второй и так далее. Чем меня пугает на низком уровне, что нужно заранее решить сколько места выделить и отвести его целиком под нужды кх
-
Там половина оптимизаций селектов отломается и джойны иногда работать не будут.
-
mdraid raid5
-
Нету и планов нет на это. Весь мир движется в обратном направлении - S3 / hdfs
-
Ivan, Denny спасибо. Понял, что сложно ) Пока остановлюсь на одном M2 nvme на 2Тб, когда данных станет больше, вернусь к идее использования набора дисков
- 31 July 2021 (57 messages)
-
Сделал так, но все равно ошибка DB::Exception: MaterializedPostgreSQL is an experimental database engine. Enable allow_experimental_database_postgresql_replica to use it. (UNKNOWN_DATABASE_ENGINE) (version 21.9.1.7603
-
Можно в кафку, а кх умеет читать кафку.
-
потому что ошибка есть, а в коде он использует другое имя параметра (заведите баг плз).
-
есть кликхаус в докере 18 версии, если я обновлю имейдж а данные оставлю старые - что сломается при переходе на последнюю версию? -
можно ли обновить просто заменив имейдж?
-
пока других хостов свободных нет, будут через 2 месяца ток
-
18 версия?
Да очень много чего, нужно сверять патч ноуты
https://docs.altinity.com/altinitystablerelease/releasenotes/Release NotesRelease Notes for Altinity Stable Releases
-
В марках хранятся засечки для всех колонок через каждые (index_granularity bytes)
-
Ну, у вас какая index_granularity?
-
И насколько хорошо у вас данные сжимаются?
-
2021.07.31 10:14:56.221242 [ 152 ] <Error> zretail_data_marts.sales_terminal (StorageReplicatedMergeTree, PartCheckThread): No replica has part covering 20190101_20190131_2555_2555_0 and a merge is impossible: we didn't find smaller parts with either the same min block or the same max block.
и такое постоянно, на дисках ошибок нет, зукипер у хадупа и кафки данные не теряет а у кх теряет - отчего такое может быть? -
Сколько колонок?
-
Ждать sparse колонки
https://github.com/ClickHouse/ClickHouse/pull/22535Sparse serialization and ColumnSparse by CurtizJ · Pull Request #22535 · ClickHouse/ClickHouseI hereby agree to the terms of the CLA available at: https://yandex.ru/legal/cla/?lang=en Changelog category (leave one): New Feature Changelog entry (a user-readable short description of the cha...
-
причём я такие ошибки ток для репликасет нахожу в инете
-
а с StorageReplicatedMergeTree никакого описания как чинить
-
подумал может обновлением имейджа исправится, но походу нет, судя по ошибкам что гуглятся
-
А строк сколько?
-
в массив их запихайте и всего делов
-
ответ - супер, двух зайцев сразу
словари LC тоже входят в размер марков, посмотрите по колонкам в system.parts_columns -
может и в system.columns есть, не помню
-
-
Добрый вечер, после обновления до 21.7.4.18 запрос выше вылетает по
DB::Exception: Memory limit (for query) exceeded: would use 20.57 GiB (attempt to allocate chunk of 4346967 bytes), maximum: 20.56 GiB: While executing MergeTreeThread
использовал все известные мне варианты
set join_algorithm='partial_merge';
set max_bytes_in_join=1000000;
и тп, никак не могу добиться выполнения, жрет максимальное количество памяти на сервере (в таком случае While менятеся) либо указанное в max_memory_usage, помогает только уменьшение количества полей в select.
Подскажите пожалуйста куда смотреть, заранее спасибо -
-
Можете попробовать уменьшить количество тредов. Будет меньше памяти использоваться, то дольше. set max_threads = 1.
Вообще, конечно, надо сам запрос оптимизировать.
Бросается в глаза лишнее поле:
max(sitetype_id) AS sitetype_id
+ первую таблицу я бы в виде подзапроса сделал и там where.
@clickhouse_ru / Public archive of Telegram messages.
- 01 Jul 2021 (184)
- 02 Jul 2021 (144)
- 03 Jul 2021 (9)
- 04 Jul 2021 (145)
- 05 Jul 2021 (151)
- 06 Jul 2021 (229)
- 07 Jul 2021 (78)
- 08 Jul 2021 (127)
- 09 Jul 2021 (105)
- 10 Jul 2021 (24)
- 11 Jul 2021 (19)
- 12 Jul 2021 (142)
- 13 Jul 2021 (105)
- 14 Jul 2021 (190)
- 15 Jul 2021 (240)
- 16 Jul 2021 (144)
- 17 Jul 2021 (63)
- 18 Jul 2021 (21)
- 19 Jul 2021 (184)
- 20 Jul 2021 (164)
- 21 Jul 2021 (217)
- 22 Jul 2021 (137)
- 23 Jul 2021 (87)
- 24 Jul 2021 (31)
- 25 Jul 2021 (150)
- 26 Jul 2021 (141)
- 27 Jul 2021 (119)
- 28 Jul 2021 (46)
- 29 Jul 2021 (201)
- 30 Jul 2021 (91)
- 31 Jul 2021 (57)