На первый взгляд с ними всё ОК и версию через --build-arg указать можно. Что с ними не так, что пришлось править?

Доброе утро.
Появилась надобность хранить HDRHistagram структуры данных в КХ.
Складывать будем в String я так понял это типа blob.
Есть проблемка. Очень бы хотелось организовать пггрегацию на стороне КХ, а для этого КХ должен понимать что мы в blob храним.
UDF как я понял нет. Получаеться единственный спосб научить КХ работать с HDRHistagram это предоставить PR и надеяться что его вмержат?
Или может есть какой-то способ подложить dll куда-то и подцепить кастомную функцию?
Хелп!

/stat@combot

/stat@combot

чо вам дает эта статистика?

А чем вам собственно эта статистика мешает? )

ну каждый человек запрашивает

и телеграм показывает новое сообщение)

главный вопрос, а что она дает

ну по ней только меня за флуд можно забанить

а остальное вторично)

Добавить непосредственно в код ClickHouse (см. AggregateFunctions) и прислать pull request - самый перспективный вариант. На реализацию гистограмм есть несколько запросов снаружи и один внутри - то есть, мы хотим, чтобы это было в ClickHouse.

Понятно, спсб, пару уточнении по реализации
1. Где-то тут кидаем файлики с гистограммой https://github.com/yandex/ClickHouse/tree/master/dbms/src/AggregateFunctions
2. Работать будет поверх типа string ?
3. Не против если вот это будет использовано? https://github.com/HdrHistogram/HdrHistogram_c

Создам тикет на ГХ и буду колупать босса что надо сделать это нам.
Если подтвердите пункты 1-3 (или подкорректируете), спсб @milovidov_an

> Где-то тут кидаем файлики с гистограммой

Да.

> Работать будет поверх типа string ?

Не понял, почему. Разве там не гистограмма с int границами?

> Не против если вот это будет использовано?

Не против. Библиотеку можно положить в contrib либо с помощью git submodule либо скопировав исходники.

При желании можете также посмотреть на алгоритм работы функции quantileTDigest. Этот алгоритм также позволяет строить гистограммы с адаптивными границами корзин.

> Создам тикет на ГХ

Уже есть: https://github.com/yandex/ClickHouse/issues/9

>Не понял, почему. Разве там не гистограмма с int границами?
Я так понимаю что смысл в том что ОНО оперирует кастомной структурой данных (как другие скетч алгоритмы) и эту структуру надо где-то хранить
Единственный способ который я вижу в КХ это String.
Может мы немного одругом говорим?
Я не про построение гостограм по какой-то колонке.
Я об возможности хранения и обработки внутренней HDRHistogram структуры в КХ непосредственно

В ClickHouse есть тип данных AggregateFunction, он хранит любое состояние.

Это для промежуточных результатов, разве нет?

Эти промежуточные результаты также можно получать с помощью добавления -State к имени агрегатной функции, и хранить в таблице.

Так, давайте я подробнее опишу наш кейс чтобы не было испорченного телефона. Чувствую мы о разном говорим немного

Есть где-то клиент. Он не может слать числа тк их очень много.
Но он может внутри себя завести HDRHistogram объект с какими-то параметрами и скармливать в эту структуру все числа.
Раз в пару минут этот наполненныый HDRHistogram посылать на сервер.
Сервер сериализует HDRHistogram в байты и пишет в КХ как Стринг.

Через 2 дня надо вычитать все HDRHistogram из КХ и смержить.

Так вот очень хочеться мержить на стороне КХ не вычитывая на сервер, тоесть КХ должен понять что Стринг это не просто Стринг а сериализованный HDRHistogram

Может непонятно описал, спрашивайте пожалуйста

Да, всё понятно. Как раз тип данных AggregateFunction подходит для этого. Вы можете создать таблицу со столбцом, например, state AggregateFunction(HDRHistogram, UInt64). Затем записывать туда данные INSERT-ом, передавая сериализованное состояние - набор байт, в качестве значения этого столбца. И далее мержить эти состояния с помощью агрегатной функции с комбинатором -Merge: SELECT HDRHistogramMerge(state) FROM table.

Отлично, пока не понимаю о чем это тк в с++ не силен и код КХ не знаю но путь понятен.
Спасибо.

Тут подробнее о State как я понял если кому-то будет интересно

https://medium.com/@f1yegor/clickhouse-aggregatefunctions-and-aggregatestate-e3fd46b7be74

@milovidov_an спасибо за фикс https://github.com/yandex/ClickHouse/issues/859 !

Да, если все заработает как надо это будет очень круто, правда придется переписать огромное количество достаточно странно выглядищих запросов )

Как то так: https://gist.github.com/VladRassokhin/9d93866315ccabf62ae334c59d0f57df
Думаю из кода понятно что происходит (кто-то не тестировал что коммитил)

Приветствую, Сообщество. Может кто подсказать как применять в SELECT'е timeSlots? Образец запроса.

select arrayJoin([1,2,3]) ?

Всем привет. Пытаюсь создать MATERIALIZED VIEW
CREATE MATERIALIZED VIEW stat
ENGINE = AggregatingMergeTree(date, date, 8192) POPULATE
AS SELECT
...
FROM blabla
WHERE ...
GROUP BY
...
Сделал count from select на основе которого создаю view, то получается 2,5кк
А когда создается view и делаю select count() from stat то значения постоянно отличаются,
то выводит 8762 и начинает расти 100к, то опять падает.

Я что то не так делаю? Или это какое то специфическое поведение у view?

наверное, что-то агрегируется в процессе вставки?

если добавить countState и сделать запрос с countMerge, числа совпадают?

я в этот момент никакие вставки не делаю, пытаюсь сдлеать POPULATE

populate же сам делает вставки

если я не ошибаюсь, select count() показывает число состояний в AggregatingMergeTree, которое может меняться в процессе фоновых мержей

count показывает правильно

в движке AggregatingMergeTree вторым параметром должны быть все поля по которым делается group by?
Вот пример в доки
CREATE MATERIALIZED VIEW test.basic
ENGINE = AggregatingMergeTree(StartDate, (CounterID, StartDate), 8192)
AS SELECT
CounterID,
StartDate,
sumState(Sign) AS Visits,
uniqState(UserID) AS Users
FROM test.visits
GROUP BY CounterID, StartDate;

да

тогда понял

да, все, вроди теперь как надо, спасибо большое

Господа, есть такой вопрос, не получается понять
Создано MATERIALIZED VIEW с движком ReplicatedAggregatingMergeTree

Внутри есть два поля, по которым делается GROUP BY и пара полей с sum

Делаю подряд два запроса, вида select net_id, tag_date, sumMerge(amount) from view_table_name where tag_date between '2018-03-01' and '2018-03-01' group by net_id, tag_date

И в первый раз получаю три строки (так как есть три net_id, это корректно) в выборке, но второй раз могу получить одну строку. Или опять три (систему не понял)

упс, похоже выше вопрос был, который как раз меня касается)

пока отбой тревоги, пойду проверять

Коллеги, заметил, что groupArray функция выкидывает null'ы:

select groupArray(c) from (select cast(null as Nullable(UInt64)) as c)

возвращает пустой массив типа UInt64 вместо массива Nullable(Uint64) с одним null'ом. Это баг или фича?

это баг

спасибо. завёл на гитхабе: https://github.com/yandex/ClickHouse/issues/1980

скажешь, получилось ли)

Да, дело было ровно в этом. Добавил колонку в таблицу, но забыл добавить в параметры движка)

Привет. Кто нибудь делал пример из get started c 60gb данных в докере? При импорте просто контейнер падает без каких либо ошибок

EOF?

подключил в докере volume где лежат данные, но ума не приложу как их импортнуть

ага

ну вообще в клиенте сокет таймаут

а на сервере ничего

Настройки по умолчанию?

да

Докера

да

докер на макоси стоит

Привет. Кто-то из команды может глянуть https://github.com/yandex/clickhouse-jdbc/pull/176? Если можно, то и хотфикс-релиз хотелось бы асап.

коллеги, есть вопрос
приложение общается с КХ по http и отправляет туда insert'ы
судя по всему КХ закрывает http подключение до того как закончит insert
есть ли возможность заставить ее подежать коннект? или как-то иначе выяснить что insert завершен?

там же все равно очередь, проверить наверно можно селектом

парни, а у хттп-интерфейса нет никакого биндинга параметров?

ну вроде SELECT * FROM table WHERE cluster_id = ?

мне просто посчастливилось писать на ноде и в тамошнем драйвере нет ни конструктора запросов, ничего такого, боюсь инъекций

если для инсерта - сам statement как урл запроса а values как post body

нет, для селекта

ридонли это конечно хорошо, но инъекции можно и на чтение сделать

добавьте GET ?readonly=true

меня интересовал родной механизм эскейпа значений

но похоже что ничего такого нет

КХ достаточно умный и двух запросов в одном http коннекте не пропускает

ну так можно же UNION сделать

UNION сработает только в случае, если в обоих результатах одинаковое количество колонок и они одного типа и названия

даже названия? прикольно

https://img.facedsid.ru/0qiad.jpg

ну про тип-то понятно

https://img.facedsid.ru/xmbpb.jpg

хорошо, спасибо

Поэтому тут при всем желании что-то "сломать" не получится. В крайнем случае можно только эксепшен словить и это просто сломает работу приложения - не больше.

Главное вот такое:

1 String String(size = 0)

while expecting:

1 UInt8 UInt8(size = 0)

instead.

Не отдать пользователю :))

справедливо

подскажите, если просто подсунуть кх директорию с данными от другого сервера - заработает?

должно заработать (если тот же конфиг и зукипер, а также нет другого работающего процесса в той же директории)

Нет, ClickHouse на данный момент не поддерживает подготовленные запросы

Подскажите пожалуйста. Необходимо поднять резервный сервер с репликой на случай ЧП и о мощности железа этого резервного сервера. Как происходит передача данных на реплику? Реплика повторяет те же запросы и нужно железо такой же мощности?

Можно и слабенький, реплика просто получает данные

Мы используем CollapsingMergeTree и меня смущает одна операция. Периодически нужно "обновлять данные". Делается это так: создается временная таблица, в которую из основной селектятся данные для апдейта. "Заменяются" значения в колонках и делаются инсерт (-1) и инсерт (1) в основную. Как эта операция будет воспринята репликой? Придут уже обработанные (схлопнутые) данные или эти два мегаинсерта тоже прилетят?

селекты не прилетают

Понял, спасибо

Буду пробовать

Если резервный то берите такой же, т.к. если ваш "мастер" выйдет из строя то все запросы уйдут на резервный. Хотя понятие "резервный" в КХ достаточно условное, это будут равноправные сервера и читать/пасать вы можете в любой

Если брать впс можно мелкую смысла нет держать большую, потом можно руками увеличить, если простой не сильно страшен

Прилетят, как только информация о блоках с данными попадет в Zookeeper реплика их скачает

Сервер будет делать точно такие же мерджи как и основной, для этого нужны ресурсы

Ну на бекапе можно просто и подождать, ничего страшного в этом нет

Там очередь назначенных мержей, если будет долго мержить вполне можно словить ошибку про то что мержи идут медленнее чем инсерты

Мне кажется надо просто проверить, сильно зависит от инсертов и нагрузки

Правильно ли я понимаю - мержи столько же процессорного времени занимают?

Да, все сервера делают одно и тоже, синхронизируется все это дело через Zookeeper, там ставится задача: "мержим такие-то куски"

То есть если на проде в один прекрасный день существенно вырастет нагрузка, то слабая реплика просто загнётся?

Если сильно слабее то возможно что и загнется

6 ядер против 24

а много прямо данных и тяжелые мержи
?

Ну, мержи оно, скорее всего, вытащит, а вот что вы будете делать когда ваш основной сервер упадет? Куда пойдут запросы на чтение/запись?

у меня просто кх крутится везде на 4 ядрах

в целом на 10-20 млн записей в день не наблюдаю проблем с производительностью

Этот сервак используется для сбора и анализа статистки, 1-2 часа потери статы особо погоды не сделают на общем фоне. Переплачивать за отдельный сервак особо нет смысла, но хранить резерв нужно. Вот пытаюсь определиться как рациональнее поступить.

Тогда просто бекап и возможность быстро взять новый сервер в аренду

Ребята, что я делаю не так?

Пытаюсь создать таблицу типа ReplicatedMergeTree, шаблон пути ZK /clickhouse/tables/shard-{shard}/testtable

Получаю такую ошибку:

Received exception from server (version 1.1.54343):
Code: 62. DB::Exception: Received from localhost:9000, ::1. DB::Exception: No macro shard in config.

Хотя секция macros в config.xml имеется:

<macros>
<cluster>odissey</cluster>
<replica>centos7_129</replica>
<shard>01</shard>
</macros>

Раньше по чату были подобные вопросы, но решения данной проблеме так и не нашёл.

А если не tables-{shard} а просто {shard}

Поменял /clickhouse/tables/shard-{shard}/testtable на /clickhouse/tables/{shard}/testtable, рестартанул сервер, не помогло - при создании таблицы та же ошибка.

куда вложен <macros> в конфиге? и в каком конфиге?

/etc/clickhouse-server/config.xml
Выше macros только yandex в xml

вроде все правильно

а другие макросы находит?

попробовал ReplicatedMergeTree('/clickhouse/tables/shard/dditest', '{replica}'
тоже экспшн
DB::Exception: No macro replica in config.

Версия Clickhouse последняя из https://github.com/Altinity/clickhouse-rpm-install
1.1.54343

макросы не подгрузились, насколько помню если они в отдельном файле то их кх автоматом не подхватывает, и надо его рестартить хотя может уже поправили

попытка в отдельном файле их разместить оказалась невыполнимой эпопеей на 2 часа, в итоге решил в config.xml закинуть, и там та же ерунда. есть подозрение, что что-то с версией из rpm, сейчас на debian 8 то же пробовать буду
как пофикшу - напишу тут

По проблеме DB::Exception: No macro ... in config
- помог метод "снести всё и поставить заново". Файл конфига config.xml с которым изначально не работало, но в котором я был уверен, забэкапил и потом им заменил после установки пакетов.
Взлетело и на Centos7, и на Debian 8.
есть подозрение, что что-то было с правами.

Вот так сработало, сам процесс запущен под юзером clickhouse.
CentOS7:
[root@test10 clickhouse-server]# ls -l
total 48
-rw-r-----. 1 clickhouse clickhouse 14438 Mar 1 23:53 config-preprocessed.xml
-rw-r--r--. 1 root root 14229 Mar 1 23:53 config.xml
-rw-r-----. 1 clickhouse clickhouse 4852 Mar 1 23:53 users-preprocessed.xml
-rw-r--r--. 1 root root 4664 Feb 9 23:02 users.xml
Debain8:
root@test12:/etc/clickhouse-server# ls -l
total 48
-rw-r--r-- 1 clickhouse clickhouse 14438 Mar 1 23:42 config-preprocessed.xml
-rw-r--r-- 1 clickhouse clickhouse 14229 Mar 1 23:39 config.xml
-rw-r--r-- 1 clickhouse clickhouse 4852 Mar 1 23:42 users-preprocessed.xml
-rw-r--r-- 1 clickhouse clickhouse 4664 Jan 25 00:12 users.xml

А, да, ещё у меня сервера с zookeeper были отключены, но в конфиге указаны. Возможно, это тоже повлияло на решение проблемы.

ну без зукипера он бы тоже не дал создать репликейтед таблицу

clickhouse при попытке создать таблицу выдавал исключение именно на macros - это смущало

Это вредный совет. Если не экранировать значения при подстановке в запрос, то злоумышленник может легко получить на чтение чужые данные (' OR '' = ') или даже записать значение в какой-нибудь memcached, который расположен в вашей сети: (' OR 1 IN (SELECT 1 FROM remote('host'...) OR ')

да, я все равно взял пакет для экранирования значений, от греха подальше

спасибо

Я не подразумевал дачу вредных советов :) Я просто хотел указать на то, что в случае с КХ сделать инъекцию с union гораздо сложнее чем в других БД. А вообще, спасибо за пример!

Доброе утро! В CH нелья переименовывать столбцы?

Нельзя.

Доброе утро - я обновил clickhouse-server на ubuntu - и он теперь не стартует - ругается - Engine TinyLog doesn't support any arguments (3 given), stack trace: на /home/clickhouse/data/metadata/default//image_stat_buf.sql
содержимое у него такое
ATTACH TABLE image_stat_buf
(
date Date DEFAULT toDate(event_date),
event_date DateTime DEFAULT now(),
id UInt32,
hash1 UInt64,
hash2 UInt64,
url String,
image_url String,
image_hash FixedString(32),
score Float64
) ENGINE = TinyLog(date, (hash1, hash2), 8192)

что то поменялось в оприсании параметров этого энджина ?

Там же написано, вообще не надо параметров

Коллеги, а то, что при сравнение с null в tuple null считается любым значением, это баг или фича:

select (1,null)=(1,1)

возвращает 1

я руками поправил - однако странно что при смене версии начало ругаться - вот и спросил

Вроде где-то мелькало, что вынесенные в conf.d/ папку конфиги не перечитываются в реальном времени при изменении без рестарта сервера, так ли это? config.xml постоянно мониторится на правки и применяет их?

у меня, вроде как, перчитываются, когда я отдельные xml под каждого юзера туда кидаю

а, не, юзеров я в users.d кидаю

Перечитываются, но не все настройки подхватываются налету. Подхватываются: пользователи, словари, список серверов для distributed

Спасибо! @kshvakov

Добрый день, а есть ченджлог по 1.1.54343 ?

а, сорри. нашел

вчера еще замержили автообновление всех настроек логгирования

а кто может посоветовать выход? у меня есть довольно сложный вопрос, подсчет ретеншена юзеров; в пг я использовал CTE, чтобы сделать несколько предварительных выборок и посчитать данные уже на их основе, ну то есть

WITH
regs as (SELECT ...),
other as (SELECT * FROM regs where ...)

SELECT ... FROM other ...

в CH я поддержки CTE не нашел, поэтому переписал на временные таблицы, типа

CREATE TEMPORARY TABLE temp_regs (
day Date,
user_id UInt32
);

INSERT INTO temp_regs ...;

SELECT ... FROM ...;

в нативном клиенте это работает, но по хттп запрещены мульти-стейтменты (Syntax error (Multi-statements are not allowed): failed at position 88 (end of query) (line 4, col 6): ;)

без временных таблиц придется дублировать подзапросы и вообще все станет очень нечитаемым. Может есть какой-нибудь в обход?

я пока придумал только генерить какой-нибудь ключ, прибавлять его к названию таблиц и делать их не-временными, а после расчета удалять

но тоже такое костылище

Это здорово👍

В HTTP есть сессии, там можно работать с временными таблицами, сначала создаете таблицы отдельными запросами, потом делаете результирующий

понял, попробую, спасибо

на ту тачку, с которой идут http-запросы, нельзя клиент установить?

мне программно надо

клиентом я пользовался пока запрос составлял

Там нужно будет к GET-запросу добавить параметр session_id

а программно несколько запросов нельзя отправлять?

по очереди

можно, но вот выше пишут, нужно передавать сессию

интересно, умеет ли это нодовский клиент

упустил =\

Можно ли установить clickhouse на ubuntu под windows 10 поиграться?

я ставил, но были проблемы с временной зоной

в локали не было зоны, пришлось ручками добавить

Господа, а как узнать размер на диске materialized view?

root@guest:~# clickhouse-client
ClickHouse client version 1.1.54198.
Connecting to localhost:9000.
Code: 210. DB::NetException: Connection refused: (localhost:9000, 127.0.0.1)
Вот такая ошибка возникает. По загубленным данным менял listen host с ::1 на ::, но все равно не запускается

может проще докер поставить?

чем разбиратся с этим

А сервер-то запустился?

Да

Через nc дает доступ? nc -v 127.0.0.1 9000

SELECT
formatReadableSize(sum(bytes))
FROM system.parts
WHERE database = 'ВАША БД'
AND table = 'ВАША ТАБЛИЦА'
или через du посмотреть в /var/lib/clickhouse/data

Вот тут то как раз почему то их нет

точнее есть, но не сами вьюхи, а начинающееся с .inner

Как буду рядом с компом попробую

Или это оно и есть?

Это и есть оно

А то, что в show tables есть и просто вьюхи с названиями и они же с .inner - это норм?

да, это нормально

Ага, спасибо.

в system.parts тоже имена с inner

CREATE MATERIALIZE VIEW создает обычную таблицу в которой будет хранить данные, просто к названию view добавляет .inner.

Ну я о том, что в system.parts нет имен без .inner. а в выводе show tables есть

То есть в show tables просто для удобства добавляются имена без .inner?

считайте, что просто вьюха - это как mysql-триггер, а inner - это и есть таблица с данными :)

это inner-таблицу и проальтерить можно, и данные в нее сунуть

Не совсем для удобства, просто когда вы делаете тот же SELECT * FROM materialize.view таблицу искать где-то надо

Да, ясно. Спасибо

При репликации странная ошибка: [ 22 ] <Error> DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageReplicatedMergeTree::LogEntryPtr&)>: Code: 33, e.displayText() = DB::Exception: Cannot read all data, e.what() = DB::Exception, Stack trace:

что это может быть?

стектрейс: https://paste.yandex-team.ru/407403

что-то урл не открывается )))

а реплики одинаковой версии?

https://pastebin.com/WMaLZ3Ha

сейчас посмотрю

все один к одному

как будто данные виноваты

да. очень похоже, будто кусок не до конца вычитывается

на обоих серверах такие ошибки

попробую рестартануть, есть идея, что сломались из-за обновления железа на одной из машин

да, рестарт помог, походу одна реплика запомнила неправильный ip другой

отлично!

доброгов времени суток, есть таблица, над ней есть materialized view (с именем metric) - задача почистить данные с таблицы старше N месяцев. С самой таблицей все понятно- делаем drop на партицию, а вот с представлением проблемы - активные партиции показывает только при использовнаии в запросе имении .inner.metric и alter drop partition с не проходит не с самого представленя - metric ни с .inner.metric. Как то можэно чистить данные с материализованного представления? (без drop table)

С inner должно работать, это обычная таблица

https://pastebin.com/ufMvQ2M1

но не работает

Таблицу в двойные кавычки возьмите

хм, прошло- спасибо

что-то у меня не особо получилось

> In contrast to the native interface, the *HTTP interface does not support the concept of sessions or session settings*, does not allow aborting a query (to be exact, it allows this in only a few cases), and does not show the progress of query processing.

в доке

а при попытке передать какой-нибудь session_id приходит эксепшен "There is no session"

а какая версия?

1.1.54245, 2017-07-04
с этой и больше надо

SELECT version()

┌─version()─┐
│ 1.1.54342 │
└───────────┘

может ее инициировать как-то надо сначала?

в доке просто ничего про это нет

даже наоборот, ну я выше скинул

https://github.com/yandex/ClickHouse/blob/master/dbms/tests/queries/0_stateless/00463_long_sessions_in_http_interface.sh

спасибо, поковыряю

как-то можно ограничить размер куска, чтобы не мержило большие куски? в доке не нашёл такой настройки

есть настройка max_bytes_to_merge_at_max_space_in_pool

она там выставлена в 150гб, а у меня создало кусок в 220гб

странно. а руками при создании таблицы это значение не менялось?

в show create table эти настройки показываются, если они изменялись при создании

все работало правильно, я просто немного мудак и не разобрался в интерфейсе либы

в результате до CH айди сессии просто не доходил

Кому-нибудь знакома такая проблема, когда при INSERT-e данных на шарды через Distributed таблицу даже минимальные файлы csv по 500м кушают по 30 гигов RAM и сообщают об ошибке?

2018.03.02 17:05:21.955651 [ 17 ] <Error> executeQuery: Code: 241, e.displayText() = DB::Exception: Memory limit (for query) exceeded: would use 27.94 GiB (attempt to allocate chunk of 8388608 bytes), maximum: 27.94 GiB, e.what() = DB::Exception (from 192.168.10.132:56482)

Возможно, проблема в том, что я использую колонку вычисляемую?

CREATE TABLE IF NOT EXISTS distributedbd.ppitest_sharded (
...
REC_DATE Date DEFAULT toDate(FLOW_END)
) ENGINE = ReplicatedMergeTree('/clickhouse/{cluster}/tables/shard-{shard}/ppitest_sharded', '{replica}', REC_DATE, (...), 8192);

при вставке в обычный MergeTree сколько памяти уходит?

и сколько реплик в Distributed таблице? возможно, блок размножается на каждую.

>при вставке в обычный MergeTree сколько памяти уходит?
Я не замерял, но датасет с теми же данными на 10Г залетел в standalone MergeTree с такой же схемой без проблем при RAM 8G на сервере. Уже после того, как столкнулся с данной ошибкой, накинул на ноды 32Г, всё равно та же проблема, сколько лимит не повышай. Уменьшил вот split-ом файл до 500М для тестов.
>и сколько реплик в Distributed таблице? возможно, блок размножается на каждую.
3 шарда, каждый шард имеет по одной реплике.

есть возможность прислать данные и схему таблиц?

да, в личные сообщения можно?

да, конечно

Похоже, наткнулся на утечку памяти в go либе kshvakov/clickhouse.
Течёт память, если на стороне CH произошла ошибка (например, вставка невалидного значения). И либа не освобождает какие-то ресурсы.

а сделайте issue ? есть какой то код для reproduce?

На выходных посмотрю

Да, попробую воспроизвести в тесте.

В профайлере так
flat flat% sum% cum cum%
48.02MB 35.29% 35.29% 48.02MB 35.29% bufio.NewReaderSize (inline)
29.86MB 21.95% 57.24% 29.86MB 21.95% github.com/kshvakov/clickhouse/lib/writebuffer.(*WriteBuffer).addChunk

Сделайте пример для воспроизведения, просто не очень понятно про невалидные значения, как они вообще до КХ доезжают?

Да, чуть позже попробую сделать, чтобы воспроизводилось.
Невалидные - например, если поле NOT NULL, а мы вставляем NULL.

Да, такой кейс я точно не проверял, у нас нет NULL )

подскажите а есть ли способ при выборке count() с группировкой по дате получить 0 для пустых дней, вместо пропущенных строк в результате?

вместо
20180102 1
20180104 1
получить
20180102 1
20180103 0
20180104 1

Есть вариант, но он крайне навороченный...нужно взять минимальную дату, максимальную, найти между ними разницу в днях, сделать массив длинной в полученную разницу, разложить на строки таким образом, что бы получилось в каждой строке: минимальная дата + индекс массива (по сути кол-во дней), затем это все приджоинить к запросу который группирует по датам

жесть =)

Я так делал для подсчета кол-ва просмотров каждой секунды видео :) только группировка была по секундам

Всем привет!
Кто нибудь использует https://github.com/mymarilyn/clickhouse-driver/ (драйвер для Python)?

то там кажется не работают nested поля ... (вставка значений в эти поля)

https://github.com/kshvakov/clickhouse/issues/93
Память не освобождается в тех случаях, когда используется транзакция и транзакция не завершается коммитом или роллбэком (а делается выход из функции вставки [например, при ошибке]).

Нестед поля не работают, да. Создайте issue. Как руки дойдут — сделаем. В последнее время со временем туго

Помоему для го это как раз правильно - деструторов ведь нет, нужно самому делать чтото по завершении транзакции, даже при ошибке

В плюсах конечно деструктор роллбек сделает

А в го дефер

Это согласен, только проблема в том, что после ошибки CH - tx становится недоступен и роллбэк не получается сделать :)

Ну или я не понял как.

Недоступен в каком смысле? Инстанс есть, доступен

В ифе с ошибкой

При попытке tx.Rollback() после ошибки выдаёт сегментейшен фолт.

Аааа

Я бы тогда это в issue уточнил

А то не понятно было

Спасибо, поправлю.

Приветствую, такой странный вопрос, можно ли как то старые данные переносить автоматом на другой сторедж? Например данные страрше пол года переносить на другой диск. Спасибо.

Автоматически такого нет. Но технически отцепить партицию и перенести на другой хост можно без особых проблем.
Механизма вроде tablespace на сколько я знаю, как минимум пока, нет.

но при детач партиции на сколько я понимаю по ней данных уже нельзя получить?

Мне кажется через реплики это безопаснее сделать

а как через реплику можно разделить данные? я пока не могу это представить

Ну изначально их делите в шардах по времени

Если вы их можете через партиции доставать

хм, спасибо подумаю над такой схемой деления

Нет, это баг, там в случае ошибки нужно буферы сданными обнулять. Другая проблема что если не завершать "транзакцию" то стандартная библиотека не будет возвращать соединение в пул и все равно расход памяти будет расти, т.к. бедет плодиться новые соединения

Немного наркомании
:) select day, count() from test.huest group by day

┌────────day─┬─count()─┐
│ 2018-02-21 │ 1 │
│ 2018-03-03 │ 1 │
└────────────┴─────────┘

:) select day, sum(c) as count from (select day, count() as c from test.huest group by day) ALL RIGHT JOIN (select day, c from (select toDate('1970-01-01') + number as day, 0 as c from system.numbers limit 30000) where day between (select min(day) from test.huest) and (select max(day) from test.huest)) USING(day) group by day

┌────────day─┬─count─┐
│ 2018-02-21 │ 1 │
│ 2018-02-22 │ 0 │
│ 2018-02-23 │ 0 │
│ 2018-02-24 │ 0 │
│ 2018-02-25 │ 0 │
│ 2018-02-26 │ 0 │
│ 2018-02-27 │ 0 │
│ 2018-02-28 │ 0 │
│ 2018-03-01 │ 0 │
│ 2018-03-02 │ 0 │
│ 2018-03-03 │ 1 │
└────────────┴───────┘

Упрлс нмншк

NYEPLOHO

Белая зависть)

Аналогичный подход описан выше :) только в вашем случае используется system.numbers.

Всем привет. КХ упал и не поднимается. Ошибка вот такая. Подскажите, что нужно исправить?
перезагрузка сервера не помогла

Не видно самой ошибки, сделайте tail -n 50 хотя бы

Ваш подход и вдохновил на свершения :)

Спасибо ) Ваш выглядит попроще, без массивов)

Удалось локализовать проблему - видимо, память утекает при работе функции cityHash64, если в движке Distributed использовать. Поменял на rand() - успешно произошёл импорт на шарды.

CREATE TABLE distributedbd.ppitest_datagate AS distributedbd.ppitest_sharded ENGINE = Distributed( odissey, distributedbd, ppitest_datagate , rand() ); @kochetovnicolai

Кому-нибудь знакома такая проблема, когда при INSERT-e данных на шарды через Distributed таблицу даже минимальные файлы csv по 500м кушают по 30 гигов RAM и сообщают об ошибке?

2018.03.02 17:05:21.955651 [ 17 ] <Error> executeQuery: Code: 241, e.displayText() = DB::Exception: Memory limit (for query) exceeded: would use 27.94 GiB (attempt to allocate chunk of 8388608 bytes), maximum: 27.94 GiB, e.what() = DB::Exception (from 192.168.10.132:56482)

Возможно, проблема в том, что я использую колонку вычисляемую?

CREATE TABLE IF NOT EXISTS distributedbd.ppitest_sharded (
...
REC_DATE Date DEFAULT toDate(FLOW_END)
) ENGINE = ReplicatedMergeTree('/clickhouse/{cluster}/tables/shard-{shard}/ppitest_sharded', '{replica}', REC_DATE, (...), 8192);

Привет всем. Cобрал Кликхаус под мак Sierra и High Sierra, установка через brew. Может кому пригодится)
https://github.com/arduanov/homebrew-clickhouse

👍

Добрый день!
Есть ли возможность в CH отправлять запрос в MySQL для включения результата в JOIN?
Словарь не подходит, так как каждая размер талицы в MySQL большой и постоянно меняется.

Есть новый движок - MySQL. ENGINE = mysql(host_port, database_name, table_name, user_name, password)

Огромная благодароность!

Таблицы с этим движком read only. Так, на всякий случай :)

Да, то что нужно)

Супер!

а вместо mysql постгрес в него нельзя подставить?)

Не знаю. Попробуйте :)

Вааа как круто. Надо и правда pg попробовать.

На счет PG не уверен. У них не разные протоколы?

я думаю что да. В PG обычно по odbc ходят. Но вдруг)

Знаю, что например с mysql движком можно и sphinx подключить, т.к. он реализует протокол mysql, а вот на счет PG не уверен

Вобщем если получится проверить, то было бы супер узнать о результатах :) Мы планируем съехать на PG в какой то момент

Хорошая платформа для инвестиций видимо, раз считает приемлемым тупейший спам

Там вроде odbc было заявлено

У pg точно свой протокол и его пока никто не прикрутил

Я pull нашел. Тока доков нет(((
https://github.com/yandex/ClickHouse/pull/1572
Там и mysql и odbc

@FacedSID ^

Подскажите пожалуйста, есть ли движок для postgres?

Нашел баг. Создал таблицу из словаря командой:
CREATE TABLE %table_name% (%fields%) engine = Dictionary(%dictionary_name%)
Изменил конфиг словаря(например смена типа) и при перезапуске, КХ перестает запускаться т.к. КХ активирует таблицы командой ATTACH:
ATTACH TABLE direct_retargeting_attribut
(
AudienceId UInt64,
Name String,
IsAvailable String,
Description String,
Scope String,
AccountId UInt64,
AccountName String
)
ENGINE = Dictionary(hrukmuh_direct_retargeting)

а тут конфиг активации таблицы не меняется.

не умею в плюсы, но в изменениях есть вот это:

+/** Implements storage in the ODBC database.
+ * Use ENGINE = odbc(odbc connection string, table name)
+ Example ENGINE = odbc('dsn=test', table)

Да, просто видимо это еще не в релизе((

CREATE TABLE products_ext
(
title String
)
ENGINE = odbc('dsn=mydsn', products)

Received exception from server (version 1.1.54292):
Code: 56. DB::Exception: Received from clickhouse-test:9000, 127.0.1.1. DB::Exception: Unknown storage odbc.

попробуй
ENGINE = ODBC('dsn=mydsn', products)
такое впечатление что оно регистрозависимо

Неа, видимо еще не врелизе. У меня версия с deb репозитория

У меня тоже, с мускулем заработало когда написал MySQL

Какая версия?

Не помню, вчера из деб репозитория ставил для экспериментов

Под 16.04

Даже памятку себе написал

http://telegra.ph/ClickHouse-from-mysql-03-03

Огонь, спасибо. Завтра буду разбираться

Кто-нибудь может пояснить, зачем Clickhouse для ReplicatedMergeTree в режиме 3 шарда по 2 реплики создаёт на каждом серврере какие-то бинарники в папках с хостами каждой ноды, и вес этих бинарников больше импортируемого несжатого файла с данными?
Сжатие включено zstd на каждой из 6 нод, был на одну ноду в Distibuted импортирован файл 10G.

root@ch-node-4:/var/lib/clickhouse/data/distributedbd/ppitest_datagate# ls -l
total 144304
drwxr-xr-x 3 clickhouse clickhouse 33476608 Mar 4 05:34 default@192%2E168%2E10%2E129:9000
drwxr-xr-x 3 clickhouse clickhouse 28807168 Mar 4 05:34 default@192%2E168%2E10%2E130:9000
drwxr-xr-x 2 clickhouse clickhouse 27439104 Mar 4 05:34 default@192%2E168%2E10%2E132:9000
drwxr-xr-x 3 clickhouse clickhouse 29003776 Mar 4 05:34 default@192%2E168%2E10%2E134:9000
drwxr-xr-x 2 clickhouse clickhouse 28667904 Mar 4 05:34 default@192%2E168%2E10%2E135:9000
root@ch-node-4:/var/lib/clickhouse/data/distributedbd/ppitest_datagate# du . -hx --max-depth=1 2> /dev/null
4.9G ./default@192%2E168%2E10%2E134:9000
34M ./default@192%2E168%2E10%2E135:9000
5.7G ./default@192%2E168%2E10%2E129:9000
4.6G ./default@192%2E168%2E10%2E132:9000
273M ./default@192%2E168%2E10%2E130:9000
16G .

ppitest_datagate - имя таблицы Distributed. Как-то плюс очень активно кушаются inodes, это напрягает.

Привет.
Не подскажите как перенести одну базу данных с одного CH сервера на другой? Репликация не настроена, но там куда будет пернесена база планируется настроить реприкацию этой базы с другим, 3-м сервером

Какой besh practics будет в данном случае?

Ну можно тупо дамп импорт если не сильно нужен онлайн

https://clickhouse.yandex/docs/ru/query_language/queries/#_5
- бекап (FREEZE PARTITION)
- перенос бекапа в БД на другом сервере
- создание точно такой же таблицы, но с указанием репликации
- подключение ранее сделанного бекапа в таблицу с репликацией (ATTACH PARTITION)

Добрый день!
Кто занимается разработкой Engine MySQL?
Вопрос в следующем: можно ли ожидать, что в будущей версии LIKE так же будут обрабатываться на стороне MySQL так же как и "="?
Пример: WHERE url LIKE '...' - выполняется на локальной машине, из-за чего по каналу между серверами перегоняется много ненужных данных, которые можно было бы отсечь, если бы LIKE / REGEXP / IN выполнялись на стороне MySQL.

Добрый день. В данный момент никто не занимается - остались простые задачи по доработке, которые хотелось бы как-то между делом реализовать. Там три пункта: поддержка не только констант, но и константных выражений в условиях, которые передаются на удалённые серверы (например, x = today() - должно вычисляться и передаваться); поддержка IN и LIKE; интеграционные тесты.

Решилось установкой параметра internal_replication в true для шард и рестартом серверов. В документации очень блекло написано и сходу непонятно, к чему этот параметр и чем он грозит, когда Destributed пишет в Replicated, пока на практике не столкнёшься...

1. freeze partition не заблокирует ли запись в эту базу?
2. Перенос бэкапа в БД на другом сервере - это просто rsync каких-то каталогов?

Если верно помню, это нечто вроде снапшота текущей патриции в папку с бекапом

Все верно, запись блокироваться не будет

https://clickhouse.yandex/docs/ru/query_language/queries/
Создание бэкапа происходит почти мгновенно (но сначала дожидается окончания выполняющихся в данный момент запросов к соответствующей таблице). Бэкап изначально не занимает места на диске. При дальнейшей работе системы, бэкап может отнимать место на диске, по мере модификации данных. Если бэкап делается для достаточно старых данных, то он не будет отнимать место на диске.

Ога, спасибо, вроде разобрался. Бэкап сделал. Теперь на новом сервере необходимо создать табличку, но там она уже будет учавствовать в репликации. Установил и запустил zookeeper теперь нужно для таблички указать параметры движка. Выбрал для этого ReplicatedMergeTree. Но вот теперь немного непонятно с макросами. Мне на обоих серверах CH в config указать нужно два одинаковым макроса или на одном макрос удаленного сервера, а на удаленном макрос текущего?
<macros>
<shard>01</shard>
<replica>server-1.yandex.ru</replica>
</macros>
<macros>
<shard>01</shard>
<replica>server-1</replica>
</macros>

И да, я на обоих CH серверах указал два шарда
<01>
<shard>
<replica>
<host>server-1</host>
<port>9000</port>
</replica>
</shard>
<shard>
<replica>
<host>server-2</host>
<port>9000</port>
</replica>
</shard>
</ivinco_shard>

Можете попробовать начать с одного шарда и 2 реплик.
Будет один шард 01 и две реплики:
- server-01-1
- server-01-2
На каждом сервере будет свой <replica>server-01-N</replica>
Указание "01" в имени реплики - позволит по имени определять, для какого шарда была поднята реплика

Позже можно будет заняться перешардированием и поднятием для них своих реплик

хорошо, благодарю

а по макросам все также остается?

или там только один макрос будет?

Этого достаточно (на каждом сервере разный):
<macros>
<shard>01</shard>
<replica>server-1</replica>
</macros>

Это ипользуется в {shard} и {replica} при создании таблицы репликации для zookeeper. В теории можно обойтись и без указания таких макросов

> '/clickhouse/tables/{shard}/TableName' - взять из макроса
> '/clickhouse/tables/01/TableName' - без макроса

Здравствуйте. В документации, в разделе "MergeTree в ReplicatedMergeTree" сказано, что можно перенести папки из другой таблицы в detached, а потом сделать поочередный ATTACH к каждой из директорий. Значит ли это, что при файловом бэкапе с помощью rsync, данные из папки таблицы можно использовать в качестве резервной копии ?

Коллеги, а как такое возможно?

apt update && apt upgrade && service clickhouse-server restart сделан

может надо не рестарт

а стоп и старт

у меня в постгре подобное было

+1. Старое доброе админское правило

Не, без изменений

сервер не обновился

хз как такое может быть)

Так вы клиент тоже обновите. На вашем скрине установка только сервера

Ну да, получается что версия в пакетном менеджере сменилась, а новые бинари не пришли

запрос то сервер посылает

всмысле ответ на вопрос

Вообще в репах 3 пакета:
clickhouse-common-dbg/unknown 1.1.54343 amd64
clickhouse-server-base/unknown,now 1.1.54343 amd64 [installed,automatic]
clickhouse-server-common/unknown,now 1.1.54343 amd64 [installed]

Ну и при коннекте видно что сервер старой версии, а клиент новой

Разобрался. init скрипт почему то не килял процесс. Это странно, потому что установка была полностью штатная apt install /apt update / apt upgrade

А Clickhouse все еще обязательно нужно использовать именно DNS имена для репликации, или уже можно IP?
Версия сервера 1.1.54343

К проблеме https://groups.google.com/forum/#!topic/clickhouse/RlVBvJD-vtw

Данные из папок таблиц можно копировать, но лучше с отключенным ClickHouse. Лучше копирвоать данные командой FREEZE PARTITION.

А если использовать rsync для бэкапа на удаленном сервере? Теоретически какие могут быть проблемы?

Для переноса данных из папки shadow rsync подойдет.

Если хотите делать это на живых данных, то лучше этого не делать. ClickHouse постоянно пересобирает куски данных (part) и сортирует данные в партиции последнего месяца (или иного первичного ключа).

Интересно, а почему же прямое копирование подходит в случае преобразования MergeTree в ReplicatedMergeTree?

Там подразумевается прямое копирование при отклчюенной таблице, так как при копировании старая таблица с MergeTree уже считается нерабочей и в нее уже ничего не пишется (ее имя меняется и она отключается). На ее место поднимается новая.

Artemeey а не подскажете еще для восстановления нужно выполнить команду ALTER TABLE ... ATTACH PARTITION YYYYMM, где YYYYMM - месяц, для каждого месяца. А можно wildcard использовть для YYYYMM? А то у меня там очень много месяцев и каждый месяц вставлять не очень удобно.

К сожалению я не знаю такого способа. Но можно сгенерирвоать много запросов и выполнить один раз.

Про перенос всех файлов из папки detached в рабочую папку с таблицей с отключенным сервером не буду говорить, так как это не рекомендуется.

благодарю за ответ

Понял, благодарю!

Artemeey еще вопрос возник. я все данные импортировал в таблицу, однако, репликация не сработала или вернее сработала как-то половинчато. На втором сервере через репликацию база данных создалась, а табличка нет. Или табличку нужно в любом случае создавать вручную на двух серверах? Zookeeper поднят и работает корректно, в логах кликхауса я вижу, что он успешно видит все 3 сервера zookeepera.

На каждому сервере табилцу с репликой надо поднимать вручную. Она как раз и будет являться отправной точкой связи с zookeeper.

ааа, ок, спасибо

Ребят, а есть возможность из иерархического словаря получить "всех детей уровня Х" ?

Товарищи, а clickhouse-client в неинтерактивном режиме при INSERT INO (A,B,C,...) ... из TSV, для тестов импорта в Distributed, это вообще нормально?
Есть ощущение, что таким образом передаётся по одной строке, что противоречит нормальной работе MergeTree, и Clickhouse *очень тормозит*?

Не должен, размер блока передаваемого на сервер настраивается параметром --max_insert_block_size по умолчанию он равен 1048576

А вставка в Distributed всегда "тормозит" по сравнению с вставкой напрямую в таблицы

Кстати, размер пачки вы можете "поймать" в SHOW PROCESSLIST (written_rows)

хочу дать chproxy доступ на чтение в определённую бд (allowed databases), но вот вопрос, kill query user должен иметь доступ к system database, я правильно понимаю? и иметь readonly = 0?

RO могут "килять" только свои запросы, при KILL он, на сколько я помню, ползет в system.processes, но настройки chproxy на это никак не влияют, это внутренняя кухня ClickHouse

насколько разумно менять max_query_size с дефолта в 256 кб на 1мб? я понимаю, что "зависит от запроса", но сама по себе большой запрос не должен КХ взорвать?

2018.03.04 23:06:53.872068 [ 9 ] <Error> DDLWorker: Unexpected ZooKeeper error: Code: 999, e.displayText() = zkutil::KeeperException: no node, path: /clickhouse/task_queue/ddl, e.what() = zkutil::KeeperException, Stack trace:

Значит ли это, что ZK не работает? Такая ошибка в err.log на всех CH - нодах

меняй смело!

!!!

не используй километровые селекты в продакшене, чем проще тем лучше!

ну это ясно, а если селект простой, но большой, с горой айдишек допустим. это ведь норм?

да конечно норм, тут Марчук такие многостраничные выдает, плакаю

спасибо, М. привет сердечный

Господа, есть таблица ReplicatedMergeTree, в которой сделано PARTITION BY toMonday(date)
Пришла пора почистить. Вижу следующие разделы:
\'2018-02-12\'
\'2018-02-19\'
\'2018-02-26\'
\'2018-03-05\'
При попытке сделать на узле click1 ALTER TABLE telegraf.processlist DROP PARTITION '\'2018-02-12\'' получаю:
Received exception from server (version 1.1.54337):
Code: 0. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Received from click3.netangels.ru:9000, 192.168.110.243. DB::Exception: String is too long for Date: '2018-02-12'.

Что это и как с этим бороться?

Возможно вы имели ввиду это:
>DROP PARTITION '201802'

Точно не это

Там PARTITION BY toMonday(date), а не по-месячно

Доброго времени суток всем. Может кто то привести пример работы с MAXIF и MINIF ? мне нужно передать в функции условие. как это сделать?

Партиция как называется? Возможно формат просто не такой

ALTER TABLE telegraf.processlist DROP PARTITION toDate('2018-02-12')

# echo "select partition from system.parts where database = 'telegraf' and table = 'processlist' and active group by partition order by partition" | curl -s --netrc http://localhost:8123/?query= --data-binary @-
\'2018-02-12\'
\'2018-02-19\'
\'2018-02-26\'
\'2018-03-05\'

Ну то есть, ровно так оно и называется, с кавычками

Хм... Сработало. Интересно, а накой тогда там кавычки в system.parts?

Первый параметр поле, второй условие

@kshvakov условие типа HeartRate > 0 например?

Да, minIf(column, HeartRate > 0)

Подскажите, кто в теме и использует репликацию, у вас по пути /replicas в ZK все реплики отображаются, или только одна last added?

[zk: localhost:2181(CONNECTED) 12] get /clickhouse/tables/01/distributedbd/ppitest_sharded/replicas
last added replica: ch-node-2_130
[zk: localhost:2181(CONNECTED) 13] get /clickhouse/tables/02/distributedbd/ppitest_sharded/replicas
last added replica: ch-node-4_133
[zk: localhost:2181(CONNECTED) 14] get /clickhouse/tables/03/distributedbd/ppitest_sharded/replicas
last added replica: ch-node-6_135

Всем привет. Никто не сталкивался с проблемой сохранения полей типа date при подключении внешних словарей из postgresql через ODBC?
При указании в конфиге словаря в кликхаусе типа Date для таких полей, в них всегда сохраняется значение, указанное в null_value, вместо того, что реально сохранено в postgresql. При указании типа String сохраняется реальное значение в формате YYYY/MM/DD. Понятно, что его можно преобразовать с помощью toDate(), но хотелось бы все таки в словаре иметь поле типа Date, а не String.

я так понял, проблема в /?

у тип Date в кликхаусе дефисы, а у вас там слеши

Нет, у меня там постгресовский тип date, кликхаус почему-то не хочет оттуда сохранять значения в свой тип Date, а при сохранении в строку видит дату в формате со слэшами.

попробуйте задать expression этому полю в конфиге, который будет приводить дату пгшную к дате в формате кх

Я уже как-то спрашивал, но поиск не находит - пожскажите годную стабильную версию из последних

да, помогло, спасибо. вот так сделал:
<expression>to_char(date_start, 'YYYY-MM-DD')</expression>

1.1.54343 давно живет уже на проде, 3 шарда по 2 реплики, проблем нет

спасибо

Еще раз добрый день. В функцию toDateTime можно передать часовой пояс в IANA формате. Подскажите могу ли я просто передать туда offset. Или есть какие то другие способы решения данного вопроса.

Коллеги, можете подсказать, что может означать данная ошибка: DB::Exception: Cannot convert data from a nullable type to a non-nullable type

практически все колонки (кроме индекса) у меня Nullable

это при инсерте через jdbc

Коллеги, добрый день. Постоянно отваливается КХ (кажется, что после большего сложного запроса), но в clickhouse-server.err.log новых записей не добавляется. Подскажите, куда копать?

dmesg?

OOM Killer?

Это что такое?

если убивает система то в dmesg будет сообщения вида Out of memory: Kill process 11270 (clickhouse-serv)

в целом если большой запрос, который съедает много памяти - то система может его за это прибить

тогда в логи не попадет ничего

[8805958.859288] Out of memory: Kill process 17099 (clickhouse-serv) score 576 or sacrifice child
[8805958.859354] Killed process 17099 (clickhouse-serv) total-vm:25730516kB, anon-rss:24507356kB, file-rss:0kB

ну вот

Да, и правда так. а как с этим борются?

:)

И можно ли как то посмотреть сколько памяти словари отъедают?

лимиты на запрос

больше памяти поставить

можно уменьшить Nice Level на процессе, чтобы OOM киллер им меньше интересовался

Select * from system.dictionaries

там будет размер

Правильно понимаю, что это они всего 800 МБ занимают?

bytes_allocated UInt64 - количество оперативной памяти, которое использует словарь

да

Получить вес всех таблиц в MB/GB

SELECT
table,
formatReadableSize(sum(bytes)) AS size,
min(min_date) AS min_date,
max(max_date) AS max_date
FROM system.parts
WHERE active
GROUP BY table;

Коллеги | сообщество -- подскажите как вам версия 1.1.54343 от 2018-02-05 можно запускать в прод. ?)

Вроде всё ОК, работает

Ребят, такой вопрос - возникает ошибка

"Types must be the same for columns at same position. Column event_val has type UInt8, but column event_val has type UInt64"

При запросе "INSERT INTO table (event_val) SELECT 1 as event_val"

Причем у меня два кликхауза, один в докере, другой с дистрибутива под ubuntu. В одном работает такой запрос, в другом нет.
Может кто знает, какая настройка кликхауза отвечает за приведение типов при таких запросах?

А можно как-то запретить пользователям самостоятельно выставлять настройку max_memory_usage ?

readonly=1

Tabix против (

Тогда никак

Скорее всего у вас просто версии ClickHouse разные

То есть по сути любой пользователь из табикса может уронить КХ, выставив огромное значение max_memory_usage и написав большой запрос?

Да

Это печально, но большое спасибо, пойду менять права :)

а поставить квоты никак нельзя?

Товарищи, никто не поделится чуть более расширенным примером по использованию kafka engine ?

У меня есть ещё вопрос, а операторы with cube и with rollup пока не реализованы?

Нет, если для Tabix нужен readonly=2 то это разрешает менять настройки

Там, вроде, всё предельно просто, что не так?

В мастере пока их нет, возможно пока ещё вообще их нигде нет)

Я сделал как в доке, делаю запрос
SELECT *
FROM queue
LIMIT 5

Received exception from server (version 1.1.54343):
Code: 117. DB::Exception: Received from 185.9.185.65:9000. DB::Exception: Unexpected nested field for key 'llsSensors'.

Да, там есть nested, но как это совокупить со структурой консюмера. И что обычно делают, если набор полей в сообщении разный ?

Структура в json сообщении должна быть одинаковой

А что делать с nested ?

Сделать пример для воспроизведения и написать issue

хорошо

Коллеги, подскажите. Есть идея каждый час через cron выполнять запрос вида clickhouse-client —query="alter table db.table freeze partition '2018';" с последующим rsync в бэкап хранилище. Собственно вопрос - есть ли какой-нибудь лимит на значение инкремента? И в случае ЧП как всю эту гору папок восстановить?

может реплику проще?)

Есть ли способ настроить ClickHouse кластер(а) таким образом, чтобы поделить условно на 2 части:
1. 1 часть кластера обслуживает запросы API и основной use case получать данные по конкретному пользователю. Здесь высокий qps.
2. 2 часть кластера обслуживает внутренние запросы от аналитиков, которые необязательно запрашивают данные по конкретному пользователю, а сразу по всем. Здесь низкий qps, но перебирается больше данных.

Задача такая, чтобы запросы из 2 пункта не влияли или слабо влияли на запросы 1 пункта, чтобы эти части кластера были условно независимыми, но при этом данные чтобы были консистентными в итоге.
Как данная проблема решена внутри Yandex?

На реплике данные можно убить через DROP PARTITION

Последнюю и востанавливайте

Если есть реплики пустите на них аналитиков и уберите их из distributed куда ходит API, а вообще не должно сильно афектить, у нас, например, аналитик вполне себе в тотже кластер ходит

реплику не целесообразно, так как повышение нагрузки не планируется. а вот данных уже много и нужно бэкапить.

просто с какихто объемов бекап будет очень долго делатся

если запрос сильно тяжелый, то может легко занять всё доступное CPU/disk IO. С запросами только на реплики может негативно повлиять на процесс репликации.

то есть по высшему номеру инкремента директорий?

Ну да, у вас после фриза партиции будут данные на определенное время, WAL как в постгресе нет, поэтому можно ориентироваться на время фриза чтоб восстановиться на определенное время

понял, благодарю вас!

если у кого-то clickhouse тормозит и выжирает-потребляет всю доступную память в режиме репликации и шардирования, проверяйте по буквам схемы таблиц.
это первый симптом того, что где-то что-то смотрит само на себя и входит в цикл порождения сущностей
всё настроил и могу уверить, что нет, не тормозит 🔥
спасибо всем за помощь, кто отвечал, @kshvakov особенно

Мы планируем организовать ClickHouse meetup для контрибьюторов. Но пока непонятно, на какие темы лучше сделать специализацию. Интересно, какие у вас есть пожелания?

- Взаимодействие с другими СУБД
- Best practice в плане создания схем на конкретных примерах

Эта тема подходит на широкую аудиторию, не только для контрибьюторов. Интересует именно для контрибьюторов. При чём, пока ещё непонятно, как лучше таргетировать мероприятие - для разработчиков всевозможных инструментов и интеграций для ClickHouse, или для C++ разработчиков (их намного меньше). Например, про "Взаимодействие с другими СУБД" можно рассказать, как оно устроено, и показать пример, как легко добавить Монгу.

Лично я предпочитаю мероприятия, где не долго и подробно о чём-то конкретном, а довольно широко и с последующим обменом данными, где или у кого можно получить информации в конкретных предметных областях больше. Или классические минуты на вопросы после докладов, где в случае обнаружения интересных собеседников можно обменяться контактами и продолжить обсуждение алгоритмов и методов их улучшения в оффлайне, или в issues например.
Такой формат будет иметь пользу для более широкого круга людей, которым как-то интересен Clickhouse, кмк.
Для разработчиков инструментов и интеграций выглядит интересно

@milovidov_an есть ли информация по UPDATE/DELETE ?

недавно вверху писали, что Q2 2018, май скорее всего

Да. Планируем сделать доступным до середины мая. Уже есть работающий прототип.

Есть что почитать?

Разве что найти ветку одного из разработчиков и почитать её...

Хорошо, спасибо. Было бы отлично уже хотябы альфу получить.

Хорошо )

В первую очередь будет доступен "тяжёлый" вариант UPDATE/DELETE, подходящий для редких запросов.

То есть, изредка исправлять данные или удалять часть данных - Ок, постоянные апдейты - нет.

В данный момент, только такое и требуется. Мне, во всяком случае.

Это очень круто, на вскидку интересно:
* расширение синтаксиса SQL и работа с AST
* создание новых движков
* создание новых типов (сейчас там все очень не тривиально)
* добавление новых функций
* работа с партициями, таблицами "изнутри". Получение информации о таблице, как добавить новые свойства; управление партициями. Как работают ключи партиционирования изнутри.

вообще много всего хочется узнать)

Как раз с удовольствием можно будет всё это рассказать :) Пока не определились с форматом мероприятия (можно в разном режиме это всё рассказывать). А сколько примерно людей из вашей компании и близких хотели бы в этом участвовать?

Я завтра узнаю, но я обеими руками "ЗА"

Еще попробую через знакомых в Еxness закинуть информацию, они используют ClickHouse и у них много C++ разработчиков, правда не знаю дописывают ли они что-то под себя, но я думаю им должно быть это интересно

Наличие примерно 20 C++ разработчиков достаточно, чтобы сделать отдельный митап именно для них.

Нашим C++ также предложу. А где планируется митап устраивать, в каком городе? Питер/МСК?

Мск.

В Санкт-Петербурге будет ещё большой митап, наверное летом. И в Москве тоже :)

Очень интересно

Подскажите, функция argMax работает по данным DateTime? что-то не выбирает максимальное значение.

а пример есть?

сейчас сделаю его поменьше

Это не совсем так. Я пришел к выводу, что текущая имплементация основанная на POCO драйвере очень ограничена (нет поддержки view, нельзя использовать ключи внутри вложенных структур), нужно чинить или переписывать.
Пока что я пришел к executable словарям, написал на go маленькую программку которая вытаскивает данные из монги. Решение оказалось тоже не айс, cache словари не работают, clickhouse как оказалось не отправляет запрос в stdin при работе с executable словарями. А так да, монгу подключить можно:)

нашел ошибку, пока готовил пример)

Можете сказать почему OPTIMIZE может не сработать? Использую для CollapsingMergeTree

Да, для Монги в Poco какой-то трешовый драйвер. Можно заменить на официальный. Но когда мы добавляли это, то как раз был период, когда какой-то официальный драйвер, который мы использовали, устарел, и проще всего оказалось подключить драйвер из Poco.

> clickhouse как оказалось не отправляет запрос в stdin при работе с executable словарями

@proller Наверное ты смотрел на эту проблему?

Попробуйте запустить OPTIMIZE с настройкой optimize_throw_if_noop=1, он сможет выдать какую-нибудь диагностику

нет. а проблема описана где-нибудь?

Да. И если правильно помню, ты в GitHub стоишь исполнителем.

То есть в SELECT-ах участвуют всё же и реплики, которые не is_leader, но каждый отдельный селект выполняется только на 1 из доступных? @kochetovnicolai

да

А сторонних разработчиков, которые не контрибьютят в сам кх-сервер но пишут инструменты интеграции с ним тоже касается? Например очень интересно почему Native сетевой протокол получился таким каким получился и есть ли какие-то планы его улучшать?
Конкретно очень смущает его заточенность на блокирующийся сетевой i/o, если отправлять в него ещё худо-бедно можно асинхронно, то доставать блоки из сети чаще всего означает отдать под это отдельную нитку (полагаю на сервере тоже отдается thread-per-connection) т.к. у нежатого блока нет никакой информации в заголовке о том сколько там ещё осталось до конца данных. Конечно ввод можно буфферизовать, но тогда снежным комом возникает необходимость делать много разноразмерных аллокаций, копирований, что тоже не круто.
При сжатии все чуть лучше, т.к. есть возможность выудить размер, но часть драйверов на нативном протокле не умеет в сжатие из-за того что оно всецело полагается на CityHash 1.0.2, что является следующей проблемой ибо в природе готового алгоритма именно такой версии да ещё и под разные языки достаточно мало и разработчики страдают переписыванием с c++ и коммитят очередные баги в продакшны.
Это что касается контрибьюшна в экосистему с другой точки зрения, хочется чтоб внешние интерфейсы кликхауса были простыми и в то же время быстрыми. Сетевой стек пока не про это.

Да, контрибьюторы рассматриваются не только те, что коммитят в основной репозиторий.

> Например очень интересно почему Native сетевой протокол получился таким каким получился и есть ли какие-то планы его улучшать?

Для некоторых вещей умных объяснений нет, но можно рассказать, почему всё так как есть. В самое ближайшее время менять протокол не планируется. Но есть одна связанная задача, для которой это было бы полезно - менять как раз в том направлении, которое вы имеете ввиду - например, чтобы можно было передавать несколько resultset-ов в перемешку в одном соединении, и чтобы в целом протокол состоял из простых асинхронных команд, а не сложной "стейт-машины", в которой надо очень аккуратно в правильной последовательности правильные кусочки данных передавать.

можно но не нужно передать offset в часах используя хитрозону Etc/GMT+3 , ... , Etc/GMT-13

Подскажите, пожалуйста, какой уровень сжатия по умолчанию при использовании алгоритма zstd

У нас при импорте 357Гб экономия составляет, например, 87%. Всё зависит от данных, но насколько я знаю в zstd нет стандартизированных уровней как в lz4

1.

Также есть возможность изменить уровень сжатия.

Спасибо
Я как раз и хочу изменить, хотелось точку отсчета 🙂

@milovidov_an а зачем вы вообще делали какой-то отдельный протокол над http?

@milovidov_an тот же zstd могли бы добавить в Accept-Encoding, и все

ну и бинарную сериализацию самого протокола уже внутри http энкапсуляции

M(SettingInt64, network_zstd_compression_level, 1, "Allows you to select the level of ZSTD compression.") \
\

Нашлось в коде, стало быть <network_zstd_compression_level></network_zstd_compression_level>

по умолчанию 1

Используется двустороннее взаимодействие - возможность отмены запроса, получение прогресса, и т. п. Оборачивать всё в HTTP возможно, но нецелесообразно (приведёт только к усложнению). Плюс лишние копирования из-за chunked transfer encoding. Внутренний протокол (для взаимодействия между серверами) первичен, а HTTP интерфейс - отдельно.

У меня работает с тем примером.

да, chunked - это боль

тогда я правильно понимаю, что http дает не особо значимый оверхед на batch inserts?

просто по-хорошему в таких случаях я бы передавал данные в виде колонок в бинарной кодировке

Framing format отличается от стандартного для zstd и lz4. Мы использовали lz4 до появления framing формата для него. Это используется не только для передачи данных по сети, но и для хранения на диске.

Тем не менее, Content-Encoding со стандартным framing format-ом, для HTTP интерфейса, тоже можно добавить.

типа, INSERT VALUES (col1, col2... coln), а дальше просто N*(col1)*sizeof(typeof(col1)) ... и так далее

да я сам пробовал с накрапу добавить к вам zstd, там не все так просто получилось из-за самого формата, да

Да, HTTP даёт небольшой оверхед при INSERT, если использовать Native формат или хотя бы RowBinary. При вставке в MergeTree обычно основное время тратится на сортировку на стороне сервера. Оверхед от HTTP будет более заметным, если передавать заранее отсортированные данные (сервер это понимает), или если вставлять в простые таблицы типа Log или Memory, но он всё равно остаётся небольшим.

Вы можете изучить оверхед, вставляя данные по HTTP на localhost, в таблицу с движком Null - запустите perf top и смотрите.

я думаю, у нас в почте смешные объемы в плане requests per second в сравнении с вебом

я просто не очень люблю zlib :)

просто отсортировать по первичному ключу, или какие-то хинты нужны?

Просто отсортировать. Но если делать это самостоятельно, то скорее всего, будет медленнее.

Готовы принять участие. Именно такие вопросы в основном и волнуют.

* Вообще интересуют инструменты интеграции через C++.
* Альтернатива clickhouse-cpp. Рекомендации разработчиков по организации такой интеграции
* Новые движки
* Новые типы
* Может не совсем уместно, но планируется ли сертификация системы во ФСТЭК по аналогии c PostgreSQL Professional? Опыт использования CH в системах, где такое требуется.

После обновления с версии 1.1.54327 на 1.1.54342 появились ошибки "Another quorum insert has been already started". Подскажите, пожалуйста, в чем может быть дело.

and warnings: "Tried to add obsolete part"

Ты не мог бы прислать рабочий конфиг? Я пробовал делать так как ты писал выше, через tee, к сожалению в лог файл так ничего и не попало. Я тестирую используя последний docker образ.

вот ровно конфиг из таска но путь поменял чтоб к нему доступ был

только что проверил на последней стабильной версии ch. Действительно, все работает

на v1.1.54318, v1.1.54327 не работало почему-то

на последних версиях юзает кто связку кафка-кафка энджайн-мвью-мерджтри?

конфиг не менял, права не менял. Только версия ch была обновлена на сервере

Эта ошибка может возникать только при использовании кворумной записи (insert_quorum).
В этом случае все INSERT-ы линеаризуются - следующий INSERT может быть сделан только после того, как предыдущий либо подтверждён на кворуме реплик, либо отменён. Если есть кворум живых реплик, то это должно произойти в течение короткого времени - как только реплики скачают кусок. При получении такой ошибки можно сделать ретрай с каким-нибудь backoff. Если никаких INSERT-ов одновременно не делается, а ошибка не исчезает, то это - проблема (если перезапустить сервер, то она исправится).
PS. Не понял, как это может быть связано с обновлением на версию 1.1.54342.

Можно каким-либо образом воссстановить структуру таблицы из дампа формата Native?

Да, можно. В дампе указаны имена и типы столбцов. Хотя прочитать их оттуда не очень удобно, так как они идут вперемешку с самими данными.
При необходимости можно сделать утилиту, которая по дампу в Native формате выведет его структуру.

А где-нибудь сам формат то есть в открытом доступе?

можно открыть просто текстовым редактором , если на раз

там все довольно понятно

Товарищи, а [ParalInputsProc] - это какая именно запчасть? Чтение или запись?

Чтение - выполнение SELECT.

спасибо

подскажите, как должен выглядить формат TSV файла для встаки его содежимого в таблицу из двух полей типа Int32, как разделить значенния и конец строки ?

int\tint\nint\tint\n

спасибо

не получилось, выдает Column 0, name: a, type: Int32, ERROR: text "1<BACKSLASH>t0<BACKSLASH>n<CARRIAGE RETURN>" is not like Int32

\t это табуляция \n перенос строки

это табуляция, а не буквальные слеш и буква t

пробовал по всякому, сейчас выдает Column 0, name: a, type: Int32, ERROR: text "1<TAB>0<CARRIAGE RETURN><LINE FEED>2<TAB>" is not like Int32 файл редактирую в notepad++ кодировка utf-8

Наверн проще будет сделать инсерт а потом дамп в tsv. Увидишь сразу нужный формат.

а в запросе inert есть в конце FORMAT TSV ?

Судя по <CARRIAGE RETURN> - данный символ лишний

Концы строк не той системы :-)

\r\n вместо \n

cat /media/sf_test/journal.tsv | clickhouse-client —query="INSERT INTO dictions.jjj FORMAT TSV"

как вставить нужный? нотепад++ только CRLF вставляет в конце

Взять редактор, который умеет сохранять с юниксовыми концами строк, наверное.

используйте sublime text

Не в курсе, если честно, кто там сейчас под винды котируется.

там все это конфигурится

нотепад++ прекрасно это умеет, кстати

+

Если набирать текст вручную, то проще VALUES.

Или CSV - в нём есть поддержка CR LF на всякий случай.

в нотепад++ выбрать юниксовую кодировку и просто tab нажимать на клавиатуре и enter :) и все получится

с CSV я разобрался, хотел TSV -поробовать

привет, команда, каков прогресс «с rollup»,

именно так я и делаю, нотепат все рисует как и должно быть а вот импорт не парсится из этого файла

Имеется ввиду GROUP BY ... WITH ROLLUP/WITH CUBE? Сейчас эту задачу никто не делает, хотя сделать её уже не так сложно.

notepad++

хорошо понял

Задам вопрос туту

После удаления партиций у меня не освобождается место

Это баг?

А если подождать минут 15-20?

У меня удаляется, но не сразу.

гм

ну щас подожду

дествительно недавно удалил

google: notepad++ unix line endings

спасибо! получилось\

Спасибо! Выяснилось, что проблемы были вызваны переносом нод в ZK.

А какой приоритет имеет конфиг в папках conf.d и users.d?
Если в /etc/clickhouse-server/config.xml значение ключа A к примеру 1, а в папке conf.d в файлике прописано, что A это 0, что будет использовать Clickhouse?

Словари
<attribute>
<name>title</name>
<type>String</type>
<null_value></null_value>
</attribute>Могу ли я указать дефолтные параметры и не передовать их в tuple dictGetString('user','name',tuple(toUInt64(`user_id`)))? Есть дефолтные параметрый в таблице, которые проще указать в словаре, чем каждый раз в запросе

сначала главный конфиг, потом все что в папках

У нас из желающих только я:) Кстати, было бы интересно еще узнать про разработку словарей.
Если делить мероприятие на 2-а митапа, для разработчиков Clickhouse для разработчиков различных утилит для дего,
то хотелось бы чтоб они были одним днем, а то не все живут в Москве и многим захочется попасть на оба, хотя, как мне кажется,
в любом случае информация о внутреннем утройстве полезна всем.

Всем привет, можно ли как-нибудь схлопнуть данные обращаясь к шардам (ReplicatedReplacingMergeTree) через distributed таблицу? В самих шард-таблицах данные схлопнуты, но при обращении в distributed - нет, найденные варианты пока такие: 1) создавать ключ шардирования такой же как и для дедупликации. 2) LIMIT 1 BY.

1) так и делаю, как раз для таких ситуаций

но изначально, кстати, в доке про это прочитал

или в доке, или в группах гугл

Есть ли применения в анализе графов у ClickHouse?

cypher для clickhouse нет, индексов графовых тоже.

https://groups.google.com/d/msg/clickhouse/r7B3bdMe0YE/rptlxvNIBAAJ

ага, значит первый вариант, думал может существует что-то типа FINAL для distributed, спасибо!

я бы например выселектил, в каких партициях есть дубли, потом эти партиции залил в соседнюю таблицу, в шард-таблицах дропнул эти партиции, и залил бы из соседней в одну шард-таблицу

ну это, конечно, смотря какой объем данных

Как удалить все запси без удаления всей таблицы ?

Такой возможности (TRUNCATE TABLE) нет.

а если все партиции удалить?

Это как?

ALTER TABLE ... DROP PARTITION ...

Имена можно подсмотреть в system.parts

Что-то типа:
SELECT partition FROM system.parts WHERE (database = '${DB}') AND (table = '${TB}') AND active GROUP BY partition ORDER BY partition ASC

Спасибо, помогло

А её нет по соображениям безопасности, а вдруг рука дрогнет? Или можно сделать, но завязаться на тот же "предохранитель" что и DROP TABLE ?

Для всего кроме Replicated таблиц можно было бы легко сделать с помощью rename + создания новой таблицы под блокировкой + drop старой таблицы. Но для Replicated DROP удаляет только одну реплику, а RENAME не меняет путь в ZK. Поэтому получается, что нет общей реализации для разных движков таблиц.

меня так один раз спасло, после чего темповые таблицы создаю в другой бд и непохожими именами, типа mafaka.kakaha, чтоб не опечататься :)

Как то можно сиволы без экранирования вставить? типо '

@Shegloff Чтоб меньше ошибаться есть еще "обсуждаемая" фича с кастомным промтом чтоб было видно в кленте где сейчас находишься, у меня выглядит так

хорошая фича!

можно использовать формат TSVRaw для вывода без экранирования
# cat test.tsv
1 'sdasdasdaff'dfgsdfg'dfgdfg'

# cat test.tsv | clickhouse-client -q "insert into test.test (num, kolonka) FORMAT TabSeparated"

# clickhouse-client -q "select * from test.test FORMAT TSVRaw"
1 'sdasdasdaff'dfgsdfg'dfgdfg'

спасибо

Помогите посчитать последний столбец с накоплением.

Запрос:
select
date_created_at as "Дата",
language "Язык",
count() "Новые подписчики" -- ,
-- ... as "Всего подписчиков"
from default.push_users
group by "Дата","Язык"
order by "Дата" desc,"Язык"

sum?

а, с таким накоплением

пардоньте

ага

аж интересно стало

по сути надо при выборке текущей строки иметь доступ к предыдущей

в пг это можно было сделать оконной функцией, но в кх их вроде нет

может проще посчитать на клиенте? простейший цикл, с одной строчкой в теле

Смотря что делать, в КХ есть https://clickhouse.yandex/docs/en/single/#runningdifferencex

еще есть runningAccumulate, но ему не важна группировка, так что для каждого языка отдельный столбик

забавно, работает

https://monosnap.com/file/r6dPjZU6UQRKuhsg13GaJrRyUJyOsy.png

Алексей, спасибо.
А изредка, это с какой частотой?

можно было бы что-то придумать с arrayCumSum([func,] arr1, ...)
Возвращает массив из частичных сумм элементов исходного массива (сумма с накоплением).

https://clickhouse.yandex/docs/ru/single/#arraycumsum91func93-arr1

только у меня на последней версии не работает
Received exception from server (version 1.1.54343):
Code: 46. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Unknown function arrayCumSum.

Меня хоть и не зовут Алексей, но дерзану ответить. Я думаю, что редко — это значит, что операции предполагаются разовые, чтобы один раз исправить исторические данные. Потому что для штатного изменения множетсва строк уже есть append-only механизмы вроде SummingMergeTree, которые не накладывают на репликацию кликхауса особых ограничений. А для UPDATE/DELETE ему нужно полностью заблокировать запись в таблицы, дождаться того, чтобы догналась реплиацию, выполнить эту операцию, и только потом продолжить (потому что UPDATE/DELETE зависят от порядка).

:) select groupArray(day) as day, groupArray(lang) as lang, groupArray(c) from (select day, lang, count() as c from test.test where lang = 'ru' group by day, lang)

┌─day───────────────────────────────────────────────────┬─lang──────────────────┬─groupArray(c)─┐
│ ['2018-03-06','2018-03-04','2018-03-05','2018-03-03'] │ ['ru','ru','ru','ru'] │ [2,2,2,3] │
└───────────────────────────────────────────────────────┴───────────────────────┴───────────────┘
ну вот если развернуть это все в массивы, то как раз над groupArray(c) можно было применить arrayCumSum, который бы и посчитал накопление, а потом обратно в строки

И прадва пофиг, шит

только arrayCumSum не фурыкает

похоже вы правы

select lang,a,runningAccumulate(sumIfState(a,lang='a')) as langA,runningAccumulate(sumIfState(a,lang='b')) as langB from (select arrayJoin(['a','b']) lang,arrayJoin([1,2,3,4,5]) as a) group by a,lang

если отсортировать по lang ASC, date ASC, должно работать с runningDifference

Зависит от объёма данных в затронутых партициях. По скорости работает примерно так же как OPTIMIZE FINAL.

если важно именно как у вас, можно завернуть в сабквери и пересортировать

Реализация всё-таки без длинных блокировок.

как вы тогда решаете вопрос консистентности?

жаль, выгладит ахеренно)

Известно, на каком наборе кусков данных нужно будет выполнять DELETE/UPDATE.

осталось понять как из массива [2,2,2,3] сделать [2,4,6,9] без функции arrayCumSum, и можно фигарить =)

Походу то что нужно. Большое спасибо!

Репликацию тоже не ждете? То есть если я пошлю сразу INSERT и потом UPDATE, то на каких кусках выполнится UPDATE на реплике?

зачот!

Порядок всех модифицирующих операций (INSERT, ALTER...) определяется глобально. Реплика сначала скачает кусок с INSERT, потом сделает UPDATE, или скачает готовый обновлённый кусок.

Круто :)! Было бы классно, если бы где-то рассказывалось более подробно об устройстве репликации в ClickHouse, а то пока что я только от ваших коллег узнаю, как она работает :).

У нас был доклад (РИТ++ и DevConf), где в общих чертах рассказывается. Правда для него не сохранилось видео. Также есть весьма поверхностное описание здесь: https://clickhouse.yandex/docs/en/development/architecture/ в конце.

Тогда у меня пара вопросов осталось:

1. как определяется, какой список кусков надо скачать, когда появляется новая реплика?
2. что будет, если хост с репликой «упадет» навсегда? для него будет копиться очередь для репликации в зукипере?
3. как определяется, каких кусков на реплике не хватает? полный список кусков хранится в индексе колонок, или где-то отдельно? как высчитывается разница, ведь кусков может быть очень много?

1. Есть глобальный лог операций. Все реплики смотрят на этот лог, запоминают позицию, до куда его дочитали, копируют записи в свою очередь задач, и потом выполняют эти задачи.

При создании новой реплики, она копирует позицию в логе, очередь задач, и множество кусков, у какой-то существующей реплики. Далее куски из множества кусков скачиваются, а затем задачи в очереди выполняются как обычно.

2. В глобальном логе не будут удаляться старые записи и он будет накапливаться, пока ноду с репликой не удалят из ZooKeeper окончательно вручную. Это одна из известных проблем. Для решения предлагается сделать режим восстановления реплики без использования лога, а по состоянию другой реплики.

3. Список кусков, которые должны быть на реплике, хранится в ZooKeeper. Кусков не может быть очень много.

@milovidov_an спасибо, стало яснее :)

интересно, сколько места занимает снапшот зукипера в яндексе и за какое время он там накопился?

Чуть больше 10 GB, размер с течением времени более-менее стабилен. Реплицируемые таблицы используются с осени 2014 года.

Только я успел перевести все вопросы в своем faq, так еще простыню текста подкинули

Группы гугл читал? Фак на факе

Причем и в прямом и переносном смысле

Кек

господа, а есть ли что-то подобное unique constraint в традиционных бд?

можно конечно проверить, есть ли значение, а потом вписать, но 1) могут быть рейс кондишены 2) довольно медленное чтение, если записи в таблице не нашлось

Кроме движка ReplacingMergeTree нет

если он умеет сохранять только самую раннюю версию, то это то, что надо

из описания не очень понятно

Наоборот, сохраняет самую позднюю.

@milovidov_an https://blog.cloudflare.com/http-analytics-for-6m-requests-per-second-using-clickhouse/ тут вот новое от cloudflare :)

Спасибо, сейчас почитаем... (или завтра утром)

Translation from Russian: ClickHouse doesn't have brakes (or isn't slow)

А в какой бд unique ключ сохраняет самую раннюю?

в других бд он ругается просто

в постгресе можно написать on conflict do nothing

и будет оставатся старая версия

ПРиветы, кто подскажет, какие либы под питон уже юзали для работы с CH?

Ну так то и в мускуле on duplicate key update есть, и insert ignore, я думал есть прям индекс такой где то :)

зачем, если есть import requests

https://github.com/Infinidat/infi.clickhouse_orm/

clickhouse-sqlalchemy.

http api мне вполне хватает. а либы вот, уже скинули

Не без костылей, но работает. И имеет хорошие перспективы, на мой взгляд.

requests - это как бэ, простите, говно, спички и желуди

Согласен. Сколько ни пытался обойтись без ORM-ки - даже на мелких проектах ловил себя на том, что начинаю писать ORM-ку сам.

зачем же сразу начинать с костылей ? :) Может, у человека все получится естественным способом

И, естественно, самописное всегда получается хуже уже готового и поддерживаемого.

Мы ещё юзали pandas, но лично я не пробовал

https://github.com/kszucs/pandahouse

Говорят, быстрее

Привет!
Есть ли возможность привести строку с IDs через запятую в тип tuple. Например у меня есть ячейка, в которой хранятся идентификаторы и мне нужно сделать IN по этим идентификаторам.

Лучше external data использовать, если идентификаторов много

Да и я не уверен, что tuple отработает как ожидается

Ребята, zookeeper 3.5 будет работать с clickhouse? Нормально его (zookeeper 3.5) вообще использовать?

Спасибо. Их много. Но и самих знаений со списком IDs может быть много.

плюсую. в sqlalchemy-clickhouse от cloudflare возможностей немношк пожиже

Тогда однозначно лучше external data. У нас КХ начинал думать над парсингом когда в запрос прилетало 40к идентификаторов

подскажите, реплики используются только для отказоустойчивости? на производительность запросов как то влияет их наличие/количество?

Мы используем такой подход. Пускаем туда запросы.

Влияет на скорость

Но лучше шардов добавлять :)

а какая зависимость в производительности запросов от количества шардов? запрос делается на одном шарде 10с а на двух будет 5 с ?

у нас было так, при условии, что шарды одинаковые по стате

спасибо

Должен работать

Не только, у вас запросы могут "улетать" на разные реплики, т.е. фактически вы сможете выполнить больше запросов за единицу времени

Да, в общем случае почти линейно растет

а распаралеливание на разные реплики проиходит прозрачно?

не будет как пушкой по воробьям, если никаких инсертов, а только селекты

Запросы будут приходить то на одну машину, то на другую, в зависимости от настроек (https://clickhouse.yandex/docs/en/single/#load_balancing). Если у вас всего один шард и несколько реплик то такое поведение необходимо реализовывать самим

имхо, все остальное не лучше

хотя я вижу, в него уже вложено почти все что нужно, пагинация/агрегация и итд

Попробуйте pandas, он побыстрее, говорят коллеги

Ну, для Python есть https://github.com/mymarilyn/clickhouse-driver , ORM это путь "в никуда" :)

не работал раньше с ним, это как понял, готовый инструментарий для работы с стат. данными?

Да, достаточно крутая штука для работы с данными

Или я такой криворукий, или лыжи не едут, мне не удалось его собрать под центосью :(
Ругался на все, что ни попадя

через пип ставил?

у меня все собралось на 7.4, точнее установилось

да

сетаптулс должен сказать что и чего не хватает

а вот с пандой у меня чет не получается, просто не врубаюсь как юзать )

Если на этапе сборки сишной ломается, то не скажет. А если центось, то небось устаревшая как хрен знает што.

хмм, разве не говорит? у меня всегда говорила, типа того нету, этого.

Новая центось, старой не держим

Ну он может и скажет, когда сломается %)

Забросили бы логи на pastebin или в issues к чувакам

Если на следующую попытку будет аналогичный результат - так и сделаю

Может кто примерчиком кинуть в меня по панде?

https://khashtamov.com/ru/pandas-introduction/

да не, я про как его подружить с кликхаусом )

или лучше запросы отдельно, работа с данными отдельно?

https://github.com/kszucs/pandahouse

Вот нашел, но что такое df -

это сама панда чтоли?

https://github.com/kszucs/pandahouse/blob/master/pandahouse/tests/test_core.py

а туплю

Спасибо ещё раз core разработчикам ClickHouse за отличный инструмент позволяющий решать проблемы подобного масштаба, и за быструю реакцию на пул реквесты.

подскажите в чем может быть проблема с неверным паролем для пользователя default в error логе?
CH 1.1.54343, 4 сервера 2 шарда по 2 реплики при создании кластера для пользователя default был задан пароль, но затем убран т.е. сейчас пустой. Все 4 сервера по очереди порестартил - но ошибка не ушла - где можно посмотреть логин для реплик и возможно почистить пароль для использования репликации?
https://pastebin.com/52c4frdb

при этом на всех серверах безпарольный вход работает для default успешно работает

Если у вас 2-а шарда, то, возможно, у вас и distributed таблицы есть, в remote_servers логин/пароль не писали?

Приветствую. Наше опечатку в документации:
https://clickhouse.yandex/docs/ru/operations/settings/settings/#settings_settings_max_replica_delay_for_distributed_queries - тут
Сейчас: Если оставание реплики
Нужно: Если отставание реплики

Поправите пожалуйста 🙂

Заявки на редактирвоание лучше сотавлять в github: https://github.com/yandex/ClickHouse/blob/master/docs/ru/operations/settings/settings.md

Вы можете смело делать пулреквест и никого не ждать;)

Всем привет, столкнулся с странной ситуацией, пишем в КХ через HTTP POSTом, в том числе создаем таблицы, например tinylog, так вот периодически create table внезапно может занять до 10 секунд (судя по логам KX сервера), причем следующий подобный квери заходит моментально. Версия clickhouse-server-1.1.54343-1.el7.x86_64

Доброго времени суток
соорентируйте пожалуйста как такое может быть, что дата которая пишется в КХ и функция toMonday от этой даты - разные.
SELECT
date,
toMonday(date) AS tomonday,
count()
FROM events_tv21
GROUP BY date

┌───────date─┬───tomonday─┬────count()─┐
│ 1974-01-11 │ 1974-01-07 │ 1 │
│ 2017-08-15 │ 2017-08-14 │ 1 │
│ 2017-08-27 │ 2017-08-21 │ 1 │
│ 2017-09-02 │ 2017-08-28 │ 40 │
│ 2017-09-15 │ 2017-09-11 │ 48 │
│ 2017-09-16 │ 2017-09-11 │ 1 │
│ 2017-09-21 │ 2017-09-18 │ 1 │
│ 2017-10-13 │ 2017-10-09 │ 3 │
│ 2017-10-16 │ 2017-10-16 │ 1 │
│ 2017-11-12 │ 2017-11-06 │ 2 │

│ 2017-12-10 │ 2017-12-04 │ 1 │
│ 2018-01-01 │ 2018-01-01 │ 2155210203 │
│ 2018-01-02 │ 2018-01-01 │ 2267525304 │
│ 2018-01-03 │ 2018-01-01 │ 1886837768 │
│ 2018-01-04 │ 2018-01-01 │ 1459539656 │
│ 2018-01-05 │ 2018-01-01 │ 1488519391 │
│ 2018-01-06 │ 2018-01-01 │ 1434134562 │
│ 2018-01-07 │ 2018-01-01 │ 1471809615 │
│ 2018-01-08 │ 2018-01-08 │ 1641828748 │

И подскажите как сделать детач партиции если

ENGINE = MergeTree PARTITION BY toMonday(date)

ALTER TABLE table DETACH PARTITION '2018-01-08', что вас удивляет в toMonday, она возвращает дату "понедельника" недели в которую попала ваша дата, т.е. они действительно могут быть разными

сработало.
я почемуто подумал что ф-ция возвращает день в месяце.
Спасибо

toMonday это такой toStartOfWeek. неделя в разных местах может начинаться с разных дней, в clickhouse неделя начинается с понедельника. и чтобы не путать лишний раз пользователей, функция называется соответственно.

для дня месяца есть функция toDayOfMonth

а в кх как-то можно вывести тип поля из получившейся выборки?
выбираю SELECT toString(поле_с_типом_UInt32) as myfield и на выходе уже после драйвера получаю тип myfield = int64, хочу диагностировать – это проблема драйвера или чего

toTypeName?

ага, спасибо, проблема драйвера