- 01 April 2017 (32 messages)
-
-
Всем привет! Если вы на CodeFest в Новосибирске приходите к 14:30 на импровизированную встречу.
-
Или ищите нас в кулуарах.
-
Чет мало. У тебя наверное insert на каждую запись.
А лучше батчами, т.е. ты в одном insert передаешь множество строк. В таком режиме у меня 232млн записей льются за 2м40с. -
Joined. -
внутри сети получился результат около 400 тыс в секунду. по вашим результатам выходит 1.5 млн в секунду. как так? я делаю батчем -
может вы csv шлете с компресией ? я шлю как строку с множеством записей
-
Joined. -
@all может кто подскажет какой самый быстрый способ вставки строкой или через csv file
-
в 6 утра лег исправил ошибку в своем импорте выполнил локально результаты были не очень. потом залил на машину которая в сети с машиной клик хаус стоит и результат пачка 50 тыс. записей = 0.21 сек
-
есть статейка на хабре 10 млн записей импортнули за 4 секунды что равно 2 500 000 записей в секунду это результат очень классный, но не пойму как они добились этого. может через csv надо импорт делать. вначале собирать все в файлик потом файлик кидать в clickhouse с компресией
-
*они делали через csv. но разве разница есть отправлять запрос вида INSERT INTO table (value),(value),(value), ... (fields) или в csv
-
разве что компресия может дать более быструю пересылку данных
-
Я упустил тот момент что вы шлете по сети. У меня так вставка идёт локально.
-
ну у нас отдельный сервер на нем целый движок собирает данные и записывает. локально просто не можем
-
Да я понимаю
-
А еще это же сильно зависит от количества столбцов.
-
у нас их около 40
-
большая часть int значения. пару полей string
-
у меня 16 колонок. Общий вес 232млн строк в CSV примерно 30-40гб
-
ну у нас столько данных в секунду не бывает. пока около 5-50 записей в секунду. но дальше будет больше. важно сделать замер максимального количесвто вставок в секунду чтобы знать пределы системы
-
сейчас попробую перегнать данные в csv записать в файлик и его отправлять. сделаю замер
-
еще такой вопрос. примари кей приоритетнее для каких полей выставлять? по которым GROUP и WHERE IN ?
-
т.к. у вас индексов кроме основного не будет, то все запросы будут иметь план либо fullscan либо он же, но с ограничением по диапазонам индекса, которые можно извлечь из where. например, если у вас данные про какие-то события, у них есть время, и типовой отчет у вас за последний месяц, то чтобы не читать данные за всю историю у вас будет фильтр по дате и индекс по дате. если у вас события характеризуются каким-то источником и отчетность по каждому из них нужна отдельно, то условие на него (всегда) будет в where и его можно добавить в индекс. особенно если таких источников существенно меньше чем количество строк, тогда их данные будут храниться подряд большими кусками и работать быстрее. -
у нас есть поля по которым надо постоянно производить подсчет sum в рамках where in с группировкой по дню. индексы уместны?
-
Joined. -
По тем полям которые внутри where -
Подскажите пожалуйста пытаюсь отправить tsv файл но пишет ошибку
Cannot parse input: expected \t -
между данными ставит таб и clickhouse ругается на него
-
Казалось бы, «expected \t» означает что, наоборот, clickhouse хочет увидеть таб, но не тут-то было.
Я бы проверил типы полей — верно ли, что указанные в INSERT'е (или в таблице) в точности совпадают с теми, которые передаютися в tsv. - 02 April 2017 (23 messages)
-
добрый) -
Ребят, такой вопрос. ClickHouse конечно бешено быстрый, но все же бывают отчеты которые сами по себе редкие, но тяжелые. А показываются на вебе который должен быть быстрым. Логично приходит в голову какой то кеш. Кто что использует и использует ли?
-
мы написали опрос через веб интерфейс, запроксировали его nginx, и кладем в кэш на нужное время -
О! Кстати о нем даже не думал. А в каком виде кладете в кеш? Что является ключем?
-
всмысле в каком виде? веб респонс (джейсон) складывается в стандартный кэш нжинкса
-
Кеш стоит прямо в разрыве между clickhouse и клиентом?
-
просто запросы приводятся к унифицированному виду, чтобы мисс был реже
-
А разделяете как-то на то что нужно кешировать, а что нет?
-
нет, но без проблем делается установкой какого-то дополнительного флага
-
Привет!
В документации про парсинг CSV написано "Поддерживаются как двойные, так и одинарные кавычки". А нет ли, случайно, опции, отключающей поддержку одинарных кавычек? Т.е. чтобы одинарные кавычки не воспринимались как служебные символы.
Или единственный способ поместить в CSV строку, начинающуюся с одинарной кавычки, так, чтоб ClickHouse её понял, - обернуть всю строку в двойные кавычки? -
Экранирование же -
"\""
-
Слеш я пробовал, но он проходил в ClickHouse as is. А вот экранировать одинарную кавычку точно так же, как по стандарту надо экранировать двойную кавычку - повторением, додумался только сейчас, и это сработало.
P.S. Возможно, стоит в явном виде написать в документации, что по отношению к одинарным кавычкам поведение CH отличается от RFC, т.к. фраза "Поддерживаются как двойные, так и одинарные кавычки" выглядит безобидно и позитивно) а на самом деле такая поддержка может для кого-то оказаться неожиданной.
Т.е. по RFC строчка
1,2,3,'stringStartingWithSingleQuote,5,6
- валидна, а ClickHouse-у она не нравится, т.к. он, видя одинарную кавычку в начале строки, считает её enclosing-символом -
зачот :) -
плюсанул!
-
Joined. -
Точно верные
- 03 April 2017 (150 messages)
-
Joined. -
Joined. -
Доброе утро, скажите пожалуйста как посмотреть через запрос размер таблиц ?
-
Joined. -
что-то пустоту выдает
-
там есть поле bytes
-
его прогнать ?
-
а все я ошибся с названием в запросе
-
капец 1 млн 7 мб )
-
Кликхаус достаточно сильно жмет данные, у нас 200 гигов почти полностью текстовых данных превращаются в 3, и чем больше данных, тем сильнее жмет) -
привет всем!
в лог кликхауса сыпется :
<Information> zen_stats.history_events_v3_2017_02_01 (StorageReplicatedMergeTree): DB::Exception: No active replica has attached part 20170201_20170201_125_125_0 or covering part yet
но такой части нет в обоих репликах в каталогах:
/history_events_v3_2017_02_01$ ls -1
20170131_20170131_197_199_2
20170201_20170201_126_16677_8
20170201_20170201_-21_124_6
detached
и в зукипере тоже нет.
Что это? -
это очень круто)
-
[ClickHouseDB\DatabaseException]
Cannot parse input: expected \t before: 12','2016-10-12 16:00:00',5,3,7,5 -
['2016-10-12','2016-10-12 16:00:00',5,3,7,50,0,0,0,500000,0,0,'','','',0,0,0,0,0,0,0,0,0,0,0,0,3,0,0,118,'0',1,4,1,0,0,'','',0,0,'']\n['2016-10-12','2016-10-12 16:00:00',5,3,7,50,0,0,0,500000,0,0,'','','',0,0,0,0,0,0,0,0,0,0,0,0,3,0,0,118,'0',1,4,1,0,0,'','',0,0,''] ['2016-10-12','2016-10-12 16:00:00',7,3,8,204,16,4,0,2040000,1691,351,'','','',95116479,0,87869,0,205,10,1,1,0,0,0,0,3,0,0,181,'0',1,4,1,0,0,'','',0,0,''] ['2016-10-12','2016-10-12 16:00:00',11,3,6,106,11,1,0,1060000,1176,205,'','','',99999999,0,204999,0,205,205,1,1,0,0,0,0,3,0,0,181,'0',1,4,1,0,0,'','',0,0,''] ['2016-10-12','2016-10-12 16:00:00',5,3,7,22,2,0,0,220000,3113,0,'','','',0,0,0,0,0,0,0,0,0,0,0,0,3,0,0,181,'0',1,4,1,0,0,'','',0,0,''] ['2016-10-12','2016-10-12 16:00:00',9,3,5,11,3,0,0,110000,5606,0,'','','',0,0,0,0,0,0,0,0,0,0,0,0,3,0,0,181,'0',1,4,1,0,0,'','',0,0,''] ['2016-10-12','2016-10-12 16:00:00',14,3,9,5,4,1,0,50000,867,199,'','','',13827234,0,199991,0,199,199,1,1,0,0,0,0,3,0,0,2,'0',1,4,1,0,0,'','',0,0,''] ['2016-10-12','2016-10-12 16:00:00',7,3,8,18,18,0,0,180000,1493,0,'','','',0,0,0,0,0,0,0,0,0,0,0,0,3,0,0,2,'0',1,4,1,0,0,'','',0,0,''] ['2016-10-12','2016-10-12 16:00:00',11,3,6,18,18,0,0,180000,1745,0,'','','',0,0,0,0,0,0,0,0,0,0,0,0,3,0,0,2,'0',1,4,1,0,0,'','',0,0,''] ['2016-10-12','2016-10-12 16:00:00',13,3,10,2,2,0,0,20000,399,0,'','','',0,0,0,0,0,0,0,0,0,0,0,0,3,0,0,2,'0',1,4,1,0,0,'','',0,0,''] ['2016-10-12','2016-10-12 16:00:00',9,3,5,2,2,0,0,20000,1954,0,'','','',0,0,0,0,0,0,0,0,0,0,0,0,3,0,0,2,'0',1,4,1,0,0,'','',0,0,'']\n
-
формат файла такой. может кто сталкивался ?
-
а какой формат верный? я просто использую драйвер php от сми2 . получается их конвертор массива в tsv не верный?
-
по коду так и есть
-
return $this->insertBatchFiles($table_name,$file_names,$columns_array,'TabSeparated');
-
$sql = 'INSERT INTO ' . $table_name . ' ( ' . implode(',', $columns_array) . ' ) FORMAT '.$format;
-
Возможна ли поддержка словарей без аттрибутов? Т.е. чтоб содержался только ключ -
на втором сервере эта ошибка в лог не попадает. Перезапуск кликхауса не помог :)
-
привет всем!
в лог кликхауса сыпется :
<Information> zen_stats.history_events_v3_2017_02_01 (StorageReplicatedMergeTree): DB::Exception: No active replica has attached part 20170201_20170201_125_125_0 or covering part yet
но такой части нет в обоих репликах в каталогах:
/history_events_v3_2017_02_01$ ls -1
20170131_20170131_197_199_2
20170201_20170201_126_16677_8
20170201_20170201_-21_124_6
detached
и в зукипере тоже нет.
Что это? -
версия 1.1.54190
-
Joined.
-
Joined. -
500 тыс записей кинул в tsv (написал свой преобразователь из array в csv) и импорт пошел. но 500 тыс за 2.2 сек.. это норм?
-
Imported 3384 records (0.273 seconds)
-
через tsv по http по сети
-
Joined. -
Joined. -
### Import is started ###
Imported 3384 records (0.275 seconds)
Imported 152096 records (11.539 seconds)
Killed -
без компрессии все еще хуже. но что такое killed вообще не пойму
-
Joined. -
/stat@combot
-
/stat@combot
-
Подскажите пожалуйста, есть ли какая-то возможность перегонять данные из одной таблицы в другую, кроме INSERT INTO tbl1 SELECT * FROM tbl2 WHERE ... -
_очень_ медленно и иногда падает по памяти
-
Колонку сэмплирования поменяли
-
И первичный ключ
-
Посуточно тоже падал, мы блок_сайз потюнили - оно работает, но долго :) Думал есть способ перегнать побыстрее.
-
Быстрее нету
-
Joined. -
Joined. -
кто нибудь может встречал такую проблему - Killed при вставке бачей click house пишет
-
память кончилась, OOM Killer пришел и устроил резню -
память? 4 гига памяти не хватило чтобы вставить 1 млн записей в виде 2 бачей по 500 000 в tsv?
-
Joined. -
@maksim_melnichuk ну проверить просто - смотришь что в dmesg - если там Out of memory - то это оно
-
а о причинах я уже не знаю, я просто пользователь )
-
dmesg а где это искать?
-
в консольке физического сервреа или VPS
-
команда - пишешь, оно даст кусок логов ядра
-
Joined. -
-
Imported 152096 records (2.423 seconds)
-
а после этого Killed
-
когда следующую пачку берет
-
на сервере в данный момент 3.3 гб свободно
-
А запись митапа ведется кем-нибудь?
-
нет в этот раз записи, к сожалению, не будет
-
поэтому приходите на наши следующие митапы :)
-
Но скоро будут выложены записи митапа в Питере, где были похожие доклады. -
Да мне просто убежать пришлось со второго доклада. Увы.
-
Здорово.
-
Joined. -
Joined. -
Joined. -
Joined. -
Joined. -
Joined. -
Joined. -
Joined. -
Joined. -
А если я узнал о чатике незадолго до начала доклада?
-
Joined. -
Joined. -
Joined. -
Joined. -
Joined. -
Joined. -
зачтем 5)
-
Joined. -
Joined. -
/stat@combot
-
ок зададим
-
ребят, комбот из разу в раз возвращает одну и ту же ссылку, можете просто поиском пользоваться и не уведомлять 500+ людей -
ClichHouse может забрать словари, а данные переносить придется пока вам. Вариантов, как это сделать, много. От чего-нибудь очень простого, до, например, такого: https://wecode.wepay.com/posts/streaming-databases-in-realtime-with-mysql-debezium-kafka
Я думаю, скоро появятся решения, которые садятся на binlog mysql, и читают оттуда данные в КХ. Возможно, на основе debezium. Но готового пока вроде нет.Streaming databases in realtime with MySQL, Debezium, and KafkaChange data capture has been around for a while, but some recent developments in technology have given it new life. Notably, using Kafka as a backbone to str...
-
Клиент КХ (1.1.54196 на ubuntu 12.04.5) при подключении к удалённому серверу КХ выдаёт ошибку и завершает работу
ClickHouse client version 1.1.54190.
...
Connected to ClickHouse server version 1.1.54189.
...
Poco::Exception: Exception: Cannot load time zone Europe/Moscow
...
и на сервере и на клиенте временные зоны Europe/Moscow
пробовал в команде указать руками —use_client_time_zone Europe/Moscow - не помогло
первый раз такую ошибку вижу, как вылечить? -
А вообще какая цель использования nested таблиц? Они чем-то лучше джоинов из нескольких таблиц по полю? -
Nested - это уже сделанный джойн.
-
Видимо обновиться до v1.1.54198 https://github.com/yandex/ClickHouse/issues/495#issuecomment-290463001ClickHouse cannot properly detect local timezone · Issue #495 · yandex/ClickHouse
[root@localhost dbms]# clickhouse-server --config-file=/etc/clickhouse-server/config.xml Include not found: clickhouse_remote_servers Include not found: clickhouse_compression /usr/share/zoneinfo/C...
-
В общем плюсов никаких? Кстати если надо поле в nested добавить это надо всю внешнюю таблицу пересоздать?
-
вопрос не заданный на митапе: какие уровни разграничения прав доступа есть? Могу я ограничить доступ/видимость колонки для пользователя? А таблицу? :). Ну и, конечно, поддерживается ли мандатное разграничение прав? -
Обновился - не помогло
-
игорь у вас tsv не работает
-
преобразователь
-
tzdata 2014i-0ubuntu0.12.04-yandex1 - это на клиенте
-
на серверах tzdata 2016j-2ubuntu0.14.04.yandex2
-
если у вас есть связь 1-n, и объекты со стороны "много" а) известны на момент записи б) являются или value object или их lifetime внутри объекта со стороны 1-, то их можно записывать в nested стуктуры.
это дает воможность 1) строить отчеты по этим объектам from table array join nested as n group by n.attr 2) фильтровать по nested-атрибутам from table where arrayExists((x,..)-> , nested.attr,..) , относительно дешево.
это связано с тем, что Nested с точки зрения кликхауса - это синтаксический сахар поверх столбцов-массивов с одинаковым префиксом. (а также есть некоторые ожидания про одинаковую длину этих массивов, но они проверяются только в рантайме при чтении) т.к. "джойн" в плане поиска соответствия объекта слева и объектов справа уже выполнен при записи, то при чтении запросы перечисленные выше можно выполнять потоково. -
а для добавления поля должен работать обычный add column. но надо подумать что делать с существующими данными и длиной массивов них.
-
у вас в доке описано что есть преобразователи из массива в tsv csv
-
csv не проверял. но tsv формирует не валидный для clickhouse файл. разделя значения запятой. а ожидается табами
-
да вашим драйвером. в доке описана функция преобразования массива в tsv вот она не правильно преобразовывает ну либо я не так что-то делаю. посмотри эту функция
-
FormatLine::TSV
-
Скажите пожалуйста, можно ли где-то скачать презентации с Новосибирского митапа?
-
+1 тоже хотелось бы! Особенно гифки^^
-
Мы подумаем над этим :) наверное уже позже отпишемся
-
ок. заранее спасибо
-
Да, было бы здорово если бы можно было скачать презентации докладов с митапа
-
Вторая работает, спасибо -
Огромное спасибо, Алексей!
-
а так?
select toDateTime(d)+h*3600 from (select toDate('2011-01-01') as d, 11 as h) -
было бы хорошо указать пример в readme на главной странице драйвера принимающего массива. я послал массив поле - значение. а надо было только значение) но спасибо за пример завтра перепишу! )
- 04 April 2017 (91 messages)
-
Joined. -
Joined. -
всем привет! а нормально, что select ename, count(*) from events group by ename трогает все строки? нельзя ли индекс какой-то примастырить, что-то еще? -
Хороший вопрос :)
-
Мы пробуем прикрутить Spago BI, пока в процессе
-
Joined. -
Привет!
Подскажите, пожалуйста, можно ли вернуть реплику из readonly-state без рестарта (проблема похожа на эту: https://groups.google.com/forum/#!topic/clickhouse/puxdy9BAWHE)? -
У нас, вроде, относительно свежая версия - 1.1.54164. В ней уже такой проблемы быть не должно?
-
Joined. -
должно работать, если будут проблемы (я мог кое что и поломать) создавайте issue или мне пишите -
Получилось прикрутить с последним драйвером по этой инструкции: http://forge.fiware.org/plugins/mediawiki/wiki/fiware/index.php/Data_Visualization_-_SpagoBI_-_Installation_and_Administration_Guide
-
Первые впечатления — божественно, дэшборды драг энд дропом, то что нужно :)
-
Но это только первые, дальше может пост напишу куда-то с практикой
-
В логе clickhouse непрерывно появляется такое сообщение:
<Error> void DB::ReplicatedMergeTreeAlterThread::run(): Code: 999, e.displayText() = zkutil::KeeperException: invalid zhandle state, path: /clickhouse/replication/clusterName/shardName/dbName/tableName/columns, e.what() = zkutil::KeeperException, Stack trace:
Видимо, в нём всё дело? stack trace могу показать, если нужно.
По остальным вопросам:
1. По грубой оценке реплика в таком состоянии около двух часов
2. Альтеров быть не должно (хотя в тексте ошибки виден класс со словом Alter в названии)
3. Мерджи могут быть, т.к. идёт вливка данных. Но я пробовал остановить вливку и дождаться, пока в system.merges и replication_queue станет пусто - не помогало.
4. В stderr последние сообщения были 2 часа назад (connection timed out, stale file handle)
5. Команду сам выполнить не могу. Если всё-таки будет нужна - попрошу админов -
Ок, понял. Обновимся
-
До последней stable?
-
Joined. -
Joined. -
А есть ли возможность сделать rebuild для materialized view?
-
Поавильно ли я понял, если у меня есть agregation materialized view, следящее за таблицей, то я могу его пересоздать и пересчитать все данные?
-
Ок, понял. Спасибо!
-
Привет. -
Вопрос как раз про AggregatingMergeTree: есть ли способ сделать что-то типа вот такого: sum(if(key1 = 2, sumMerge(value1), 0)) ? Я получаю ошибку
DB::Exception: Aggregate function sumMerge(value1) is found inside another aggregate function in query.
Есть ли способ это обойти, кроме группировки по key1 и оборачиванию в дополнительный view? Ну и, конечно, без изменения таблицы с прегенерацией этого if'а. -
sumMergeIf(value1,key1=2) ?
-
Хм. Реально работает, и, кажется, даже правильно. Круто, спасибо!
-
Ребята провел синтетический тест. вышло 30 тыс всавок в сек. внутри сети по http. у кого-то результаты выше?
-
или может кто скажет как добиться больших результатов
-
Пачками вставлял?
-
драйвер я как понял формирует INSERT VALUES(), (), () .. запрос и шлет такую строку на кх
-
да пачка 30 тыс
-
через метод insert отправлял. передаю массив не ассоциатвный. только значения. в другом параметре insert массив полей. у вас этот метод тоже столько вставок в секунду дает ?
-
все в рамках одной сети одного ДЦ
-
А что за проблема ? -
-
это через insert. правда на сервере пало памяти смог только 1500 кинуть на вставку. не хватает памяти
-
-
а вот tsv . видимо он не очень быстрый на малом количество записей
-
правильно я выдвинул утверждение на счет tsv ?
-
Imported items 3000 | total: 3000 | time: 0.071 seconds
-
это tsv
-
что-то совсем слабо
-
ну у вас такой же результат на вставку ?
-
20к в день в секунду ?
-
не понял. можно по русски?
-
20 000 норм. я видел ваш сайт не думаю что там может быть больше запросов. но 20 000 за какое время вставляются ?
-
@maksim_melnichuk я в бенчмарках, но правда под метрики (вставка строки, трех чисел и даты с индексом по строке, дате и одному из чисел), добивался батчами 20 инсертов по 120000 строк в каждом в секунду. То есть 2.4 млн строк в секунду. Но это код на го и хттп с rowbinary был.
-
не пойму как так.. 40+ столбцов два индекса. но результаты совсем плохи. один сервер ?
-
У меня был 1 сервер, да, но относительно неплохой. 2xE5-2620v2, 128gb ram. Половина цпу правда кушалась генератором нагрузки
-
Кликхаус любит большие батчи. И возможно пхп драйвер так себе на вставку
-
Смотри что происходит на сервере по ресурсам. Потребление цпу, сеть и т.п.
-
я поставил на не очень мощный по сравнению с вашим. всего 4 гига оперативки. но по htop не вижу нагрузки совсем. может играет еще роль отправляющий сервер он вообще 512 mb ram
-
Пхп еще однопоточный
-
То есть посмотри не проблема ли в генераторе нагрузки
-
Короче собирайте статистику по потреблению ресурсов и на генераторе
-
Поэтому тут и советовали взять консольный клиент и готовые tsv файлы. Еще сеть проверь, кстати. Перфом банальным
-
ну консольный клиент не вариант. т.к. мы будем слать запросы на отдельный сервер по http а не внутри сервера кх. как сеть можно проверить ?
-
так прикольно)) просто привел данные к типу. time() поменял на date и увеличилась скорость))
-
Imported items 165000 | time: 1.013 seconds
- 05 April 2017 (57 messages)
-
Нас устраивает redash. Привлекает в первую очередь возможностью работать в python и pandas напрямую, используя несколько источников данных. Я достойных аналогов (даже платных) не нашел. -
А кто работал с ReDash и Zeppelin в связке с CH, можете поделится опытом - как оно работает ?
Буду признателен) -
И на момент нашего переезда на кликхаус аналогов вообще не было, а коннектор для редэша я написал за полдня.
-
А redash умеет в jdbc?
-
О спасибо
-
Сейчас как раз выбираю, что лучше
-
вроде бы у них облачная и селфхостед версии в плане источников данных не отличаются, наверно доку не обновляли давно. вот здесь есть весь список источников: https://github.com/getredash/redash/tree/master/redash/query_runner
-
Всем привет!
Пытаюсь сделать MATERIALIZED VIEW типа AggregatingMergeTree, в SELECT'e при создание делаю countIfState(event='request') as request_count
потом делаю SELECT sumMerge(request_count) FROM report и получаю
DB::Exception: Illegal type AggregateFunction(countIf, UInt8) of argument for aggregate function sumMerge.
Получается нельзя использовать countIfState и sumMerge ? -
не с КХ, а с другими базами, могу сказать, если есть возможность, лучше писать свое, ибо теущие инструменты вечно на грабли наступают
-
countStateIf. У меня работает запрос с sumStateIf.
-
Joined. -
Привет! Подскажите пожалуйста, могу ли я изменить значение, возвращаемое аггрегатной функцией (например, countMerge()) при селекте из materialized view без вставки данных в исходную таблицу?
Использую AggregatingMergeTree
Судя по доке, "В таблицу, содержащую столбцы типа AggregateFunction невозможно вставить строчку обычным запросом INSERT, так как невозможно явно указать значение типа AggregateFunction. Вместо этого, для вставки данных, следует использовать INSERT SELECT с агрегатными функциями -State."
Пробовал что-то нашаманить с INSERT SELECT, получил There is no default value for AggregateFunction data type -
А вьюха эта смотрит на таблицу?
-
Joined. -
Добрый день!
Есть пара платиновых вопросов, а именно:
1. Нужна таблица, в которой будет храниться статичный список емейлов + имен, какой движок использовать, mergetree?
2. В эту же таблицу нужно будет из текстового файла перегнать миллион-другой записей, как правильнее использовать инсерт? Пачками по сколькото штук или раз в секунду? -
Да
-
Справочник, даешь емейл — получаешь связанную с ним информацию
-
Чутка ошибся с количеством данных, речь идет о 20+гб данныз, не влезут в оперативку
т.к. таблица для внутреннего пользования и использовать ее будут редко, нет смысла под нее покупать железо, в оперативку которого это все влезет -
Всем добрый день, подскажите плиз, куда посмотреть. При вставке данных в replicatedmergetree в логах реплик только одного шарда появляются вот такие вот записи "<Warning> store.store_log_local (StorageReplicatedMergeTree, CleanupThread): Couldn't remove 20170404_20170404_635_635_0 from ZooKeeper: no node" - при этом количество данных в репликах правильное и вообще количество данных правильно и нужное. в логах реплик второго шарда - тишина -
конфигурация 2х2 (2 шарда по 2 реплики)
-
Joined. -
Joined. -
Joined. -
а про это кто-нибудь расскажет?:)
-
+1 , тоже очень волнует этот вопрос
-
скажите плиз как сгруппировать по дню данные?
-
они на весь экземпляр работают или огранмчены базой?
-
*ограничены
-
Добрый день! Подскажите, кто-то собирал ODBC-драйвер под RHEL/Centos 6 ? -
точно
-
а что значит DB::Exception: Limit for result rows exceeded: read 2227 rows, maximum: 500
-
Joined. -
где это ограничение стоит ?
-
понял, спасибо большое
-
возможно. напрямую через клиент все норм) спасибо
-
а не подскажите как размер таблицы узнать ?
-
спасибо))
-
зависит от типа таблицы, но в целом да.
-
в тестах/доке не нахожу: а можно как-то mutlipart/form-data передать запрос и файл с внешними данными? беспокоюсь только что запрос может быть слишком длинный и не влезет в query string (установлен ли в CH лимит, кстати?) -
про лимит вопрос снимаю, в доке нашел про 16кб
- 06 April 2017 (159 messages)
-
Joined. -
Помогите разобраться. Необходимо получать сумму значений в зависимости от фильтров. Т.к. фильтры вставляются в запрос на лету, то он выглядит следующим образом
SELECT sum(column)
FROM table
WHERE
Date = today()
AND ($val = 1 OR Field = $val)
AND ($val2 = 1 OR Field2 = $val2)
Если $val = 1 - значит фильтровать данные не нужно. По идее, условие сразу должно вернуть true и не влиять на производительность запроса. Но это влияние есть и оно весьма заметно.
Есть у кого-то идеи, как это можно оптимизировать? -
Через IF не пробовали? -
пробовал
-
без разницы
-
А, вы ожидаете, что Field = $val не будет вычисляться
-
Сейчас такое не реализовано, оптимизатора запросов по факту почти нет, к сожалению.
-
Производительность проседает так как выражение все равно будет вычисляться
-
Просто убирайте весь этот AND
-
Не могу убрать AND, т.к. запрос посылается из графаны и там он может быть только в одном варианте.
-
А этот $val как задается?
-
Может, туда тупо писать "Field = value" ?
-
это template значение, которое подставляется в запросы. В нем может лежать идентификатор, например
-
clickhouse
вычисляет все аргументы and/or, все аргументы if, итд. т.к. они векторизуются и вычисляются пачками и потом пачками над ними выполняются последующие функции. мы такие вещи оптимизируем перед генерацией запроса: вычисляем выражения, известные статически, выбразываем бесполезные условия, итд. правда в вашем запросе это не помогло бы, т.к. в зависимости от строки таблицы каждое из условий может оказаться значимым, это можно только при выполнении оптимизировать. -
Joined. -
Joined. -
что-то мне кажется, что это паршивая затея -
-
ребят может кто подскажет как бэкап сделать всей базы?
-
в mysql это делалось обычным mysqldump. тут только по одной таблице?
-
как раз таки репликами мне кажется вариант не очень. мне надо собрать бэкап базы и положить на s3 aws предварительно сжав gzip
-
а MySQL ты как бекапил? не с реплики? -
у нас отдельный сервер mysql для статистики. написали скрипт бэкапов на s3. делается sql пакуется в gzip заливается в облако. плохо?
-
по простому хреновая затея)) т.к. select кладет все содержимое в память а потом пишет в файл. при большом количестве записей не хватит памяти. походу
-
freeze partition неплохо да. я вот не пойму до сих пор через select делается дамп и уже 25 гигов. а партициями там вообще мало места занимает. там все данные?
-
вот data папка 464 мб. а если выгрузить в tsv то получится 21 гб ))
-
класс. то есть тогда писать скриптик надо - получаем список таблиц в базе данных. делаем партишены. пакуем в архивы закидываем бэкап куда необходимо?
-
по другому никак?
-
Joined. -
Ребят, подскажите по tutorial.
Там есть такой запрос:
SELECT
DestCityName,
sum(Year = 2014) AS c2014,
sum(Year = 2015) AS c2015,
c2015 / c2014 AS diff
FROM ontime
WHERE Year IN (2014, 2015)
GROUP BY DestCityName
HAVING c2014 > 10000 AND c2015 > 1000 AND diff > 1
ORDER BY diff DESC
в нем в функцию sum передается условие как я понял, но не указывается что суммировать. Как он работает? В доках про условия внутри функции sum ни слова( -
да, это более логично. Видимо до этого шага в tutorial никто не доходил))))
-
native 13 gb tsv 22 gb. какой самый компатный ? может есть формат который оставляет родную струтуру в 4xx mb ?)
-
Аааа, вот оно как. Красивый вариант.
-
у меня вообще 230 мб получилось))) еще лучше!
clickhouse-compressor установил. но он включается для прилетающих данных на сервер как написано в доке. а как его заюзать при выгрузке в файл? -
а в моем случае я не url шлю а на клиент
-
clickhouse-client -q 'SELECT * FROM statistics.banner_history_segments FORMAT Native' > dump2.bin
-
понял
-
ребят это шок)) компрессор чудо
-
-
7 секунд чтобы собрать все данные и положить в архив в файлик)
-
спасибо!!
-
если кому интересно как я делал бэкап
curl 'http://localhost:8123/?database=statistics&compress=1' -d 'SELECT * FROM banner_history_segments FORMAT Native' > data.bin -
gzip -c data.bin > dump.gzip
-
22 млн записей. 7 секунд создание файл + 7 секунд gzip
-
Я чет еще немного подумал, а почему не countIf ?
-
Кто нибудь настраивал словари через ODBC?
-
Как я делал с постгресным драйвером:
sudo apt-get install -y unixodbc
sudo apt-get install -y odbcinst
sudo apt-get install -y odbc-postgresql
В /etc/odbc.ini:
[DEFAULT]
Driver = myconnection
[myconnection]
Description = PostgreSQL connection to norma
Driver = PostgreSQL Unicode
Database = norma
Servername = 10.... (твой хост)
UserName = uname
Password = pwd
Port = 5432
Protocol = 9.3
ReadOnly = No
RowVersioning = No
ShowSystemTables = No
ConnSettings =
<dictionary>
<name>table_name</name>
<source>
<odbc>
<table>postgresql_table</table>
<connection_string>DSN=myconnection</connection_string> <!— может потребоваться UID=norma;PWD=norma;, но по идее не должно —->
</odbc>
</source>
<lifetime>
<min>300</min>
<max>360</max>
</lifetime>
<layout>
<flat/>
</layout>
<structure>
<id>
<name>id</name>
</id>
<attribute>
<name>some_column</name>
<type>Int32</type>
<null_value>-1</null_value>
</attribute>
...
</structure>
</dictionary> -
Спасибо
-
спасибо, ценная инфа.
-
а зачем? в чем плюс?
-
/var/www/html/build# cat data.bin | POST 'http://localhost:8123/?query=INSERT INTO statistics.test FORMAT Native'
Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = Exception: Too large string size., e.what() = Exception
каким еще способом можно импортнуть дамп ? -
забылся, работае)) жалко прогресс не показывает. прошлый раз показывало
-
Ребят, а если используется функция работы с датой над полем date, clickhouse перестает использовать индекс и идет фуллсканить?
например так:
where
toYear(clickhouse_date) = 2016 and toMonth(clickhouse_date) in (2,9) -
Может кто скажет как схему выгрузить таблицы?
-
там файлики есть у кликхауса со схемой
-
desc table table_name
show create table table_name -
https://clickhouse.yandex/reference_ru.html#SHOW CREATE TABLEДокументация ClickHouse | Документация ClickHouse
ClickHouse is a fast open-source column-oriented database management system that allows generating analytical data reports in real-time using SQL queries
-
SHOW TABLES FROM statistics LIKE 'banner_history_segments' INTO OUTFILE test.txt
Code: 62, e.displayText() = DB::Exception: Syntax error: failed at position 73 (line 1, col 73): test.txt
/*TABIX_QUERY_ID_vKOdebem13K6Ub8_()*/, expected opening single quote, e.what() = DB::Exception\n -
как в файл выгрузить схему чтобы потом её заново восстановить ?
-
А скопировать из консоли религия не позволяет?)
-
show create table table_name вот это самое то
-
и тупо скинуть в файлик )
-
спасибо
-
В чем тогда может быть ошика?
Processed rows разный. И для первого запроса processed = количеству
:) select count(*) from some_table where toYear(clickhouse_date) = 2016 and toMonth(clickhouse_date) in (10,9)
┌──count()─┐
│ 43349387 │
└──────────┘
→ Progress: 252.86 million rows, 505.71 MB (1.28 billion rows/s., 2.57 GB/s.)
1 rows in set. Elapsed: 0.197 sec. Processed 252.86 million rows, 505.71 MB (1.28 billion rows/s., 2.57 GB/s.)
:) select count(*) from some_table where clickhouse_date between '2016-09-01' and '2016-10-30'
┌──count()─┐
│ 42621496 │
└──────────┘
1 rows in set. Elapsed: 0.023 sec. Processed 43.35 million rows, 86.70 MB (1.88 billion rows/s., 3.76 GB/s.) -
в КХ индексы работают не так, как в мускуле
-
они отвечают за сегментирование данных на чанки, чтобы кх при запросе просто откидывал ненужные чанки, ускоряя сканирование. т.е. если у нас MergeTree с индексом date - будут эффективно выполняться запросы на ограниченный набор дат, за счёт того что чанки с датами в другом диапазоне просто не будут читаться. по идее, он должен грамотно учитывать функции, по крайней мере у меня во всех запросах используется фильтр toDate(eventDate) BETWEEN 'someDataStr' AND '.....' и это не вызывает проблем
-
Он в первом варианте, скорее всего сначала выполнил сканирование по первому условию, а потом отфильтровал по второму.
-
Во втором случае, запрос был более однозначным
-
Vladimir В октябре 31 день, может поэтому?
-
Возможно, из за in(9,10)
-
Оптимизатор мог решить, что выборку IN не стоит делать в PREWHERE
-
Кстати, а если явно указать PREWHERE в первом варианте?
-
Документация ClickHouse | Документация ClickHouse
ClickHouse is a fast open-source column-oriented database management system that allows generating analytical data reports in real-time using SQL queries
-
Ребят, запросы же разные. Один день выпадает там где between
-
Не, ребят , проблема не в одном дне
-
Ну, почему разное число обработанных строк — непонятно, видимо внутренняя кухня. А результат разный — из-за одного дня.
-
а clickhouse-client же показывает, как он оптимизировал запрос?
-
Я подозреваю что для select count(*) from some_table where toYear(clickhouse_date) = 2016 будет: Processed 252.86 million rows
-
"Если настройка optimize_move_to_prewhere выставлена в 1, то при отсутствии PREWHERE, система будет автоматически переносить части выражений из WHERE в PREWHERE согласно некоторой эвристике."
-
проблема в IN
-
:) select count(*) from osa_posdata where (toMonth(clickhouse_date) = 9 or toMonth(clickhouse_date) =10) and toYear(clickhouse_date) = 2016
┌──count()─┐
│ 43349387 │
└──────────┘
1 rows in set. Elapsed: 0.045 sec. Processed 43.35 million rows, 86.70 MB (971.86 million rows/s., 1.94 GB/s.)
:) select count(*) from osa_posdata where toMonth(clickhouse_date) in(10,9) and toYear(clickhouse_date) = 2016
┌──count()─┐
│ 43349387 │
└──────────┘
1 rows in set. Elapsed: 0.159 sec. Processed 252.86 million rows, 505.71 MB (1.59 billion rows/s., 3.18 GB/s.) -
И эта "некоторая эвристика" в данном случае могла посчитать, что нужно сначала выполнить запрос по "toYear(clickhouse_date) = 2016" и уже в полученных данных провести фильтрацию по "toMonth(clickhouse_date) in (10,9)"
-
Оптимизаторы не любят IN, это да
-
Но если не предполагается делать IN(7,11) например, то почему бы не взять BETWEEN ? Оптимизатор его понимает значительно лучше
-
Не проблема. Чуть больше кода на стороне бекенда. Я просто натолкнулся на странность. Вот и написал.
-
Кстати вопрос, как оптимальнее сравнивать периоды. Через sum и join или через sumif и group by?
-
Я предпочитаю сравнивать уже в коде, поскольку бывают разные условия, соответственно два запроса
-
Но это уже на вкус и цвет)
-
Как это? Если сравнение периодов, то условия то одинаковые должны быть. Только периоды различаются.
-
Блин. Я не приведу пример, сам сейчас представить не могу кейс) Думаю, основная причина в том, что я бэкендщик, а не дба, мне проще выдернуть данные и уже в коде с ними работать)
-
Но ведь это olap, внутри быстрее посчитать ))
-
При следующем рефакторинге как раз будет повод проверить)
-
оно конечно еще сильно зависит от количества данных. Если там 5 строк, то не важно где считать. А у нас просто выхлоп большой(относительно).
-
У меня данные на выходе обычно уже сагрегированы, и приходится сравнивать относительно небольшие массивы, так что к производительности кода претензий нет
-
ну тогда да, тут просто как удобнее.
-
А я правильно понимаю что вот тут агрегация заняла 8 сек?
2017.04.06 22:27:01.924306 [ 967 ] <Trace> Aggregator: Merging aggregated data
2017.04.06 22:27:02.190420 [ 967 ] <Trace> Aggregator: Aggregation method: keys256
2017.04.06 22:27:10.879413 [ 967 ] <Trace> Aggregator: Aggregated. 36840327 to 921756 rows (from 1018.877 MiB) in 13.021 sec. (2829352.510 rows/sec., 78.250 MiB/sec.)
2017.04.06 22:27:10.879509 [ 967 ] <Trace> Aggregator: Merging aggregated data -
если делать через sumIf + group by то разные условия записать в метрики не проблема. единственная проблема которую я помню, помимо несколько длинных запросов которые получаются в нашем случае, это невозможность сравнить периоды по времени так, чтобы первый день первого периода попадал в строку с первым днем второго периода, ит.д.
-
Сначала в PREWHERE выбрать нужные данные в колонки с разными именами, а потом в WHERE доагрегировать их, смерджив периоды
-
я правильно понимаю что мы говорим о запросах вроде такого?
select
some_field,
sumIf(tot_sum,toMonth(clickhouse_date) = 9) as sum1,
sumIf(tot_sum,toMonth(clickhouse_date) = 10) as sum2
from some_table
where
toYear(clickhouse_date) = 2016 and (toMonth(clickhouse_date) = 9 or toMonth(clickhouse_date) =10)
group by
toMonth(clickhouse_date) -
а, если toMonth(), то у вас во-первых some_field не в агрегате, а во вторых какая-то матрица шахматная получится,
-
ПОдзапросом по идее можно
-
а вы прям руками проставляете PREWHERE? Я читал что оптимизатор уже достаточно умен для такого
-
да вот меж двух огней и мечусь) JOIN или sumIf)
-
Я сейчас теоретизирую)
-
с PREWHERE не экспериментировал пока, а с подзапросом делал подобные выборки
-
ну, для примера сходного с метрикой. У меня есть сайт, и я хочу сравнить количество посещений в 9 месяце с количеством в 10
-
отчет в метрике делает запрос похожий на ваш, только в нем group by some_field
-
аааа, все, дошло. Да, агрегация по some_field. Верно.
-
а вы с PREWHERE делаете что нибудь? или верите в оптимизатор?
-
Вначале одним запросом мы получаем что-то типа row1(day=1, sum1=0, sum2=100), row2(day=1, sum1=66, sum2=0), ... и так по каждому дню, а потом группируем по day
-
если some_field это не время, то получится примерно то , что надо. если время, то будут нули в непересекающихся местах.
-
нене, это именно аналог сайта/старницы сайта в метрике
-
у нас аналитика чеков. И сравниваем продажи товара по периодам.
Т.е. получается
товар | количество в первом периоде | количество во втором -
с prewhere скорее нет чем да. я в принципе для нашей схемы подтянул некую оценку кардинальности колонок, которую можно было бы использовать в некоторых случаях, но наши медленные запросы медленные не поэтому.
-
>подтянул некую оценку кардинальности колонок
вот сейчас сложно было) -
мы планы запросов дизайнили из идеи "один отчет - один запрос", сравнение казалось бы так сделать нельзя, но оказалось что можно. для случая одинаковых периодов но разных фильтров данные читаются один раз, что быстре двух запросов. для соседних периодов разницы быть не должно.
-
для каждой колонки есть распределение количества ее значений, в дне, в нескольких днях по различным например клиентам. из этого во-первых можно оценивать "среднюю в вакууме" тяжесть запроса - количество ключей в group by, доля данных которая останется после фильтра column=value, итд. такие метаданные, которые оптимизатор бд обычно собирает в индексы или еще куда чтобы использовать при оптимизации.
-
но мы верим в prewhere в частности и в clickhouse в целом.
-
Хм. Вот кстати. Как в запросе для каждого запрашиваемого числового значения получить его процентное отношение к прошлому периоду? т.е., на сколько процентов упали\поднялись посещения\клики\продажи за этот день относительно вчерашнего\на прошлой неделе\в прошлом месяце?
-
так это вроде простая арифметика, у нас проценты не считаются. Считаются разницы и вектор разницы. Вот так:
(Sum_sales_rub1-Sum_sales_rub2) as Growth_abs,
(Sum_sales_rub1-Sum_sales_rub2)/greatest(Sum_sales_rub2,1) as Growth_rel -
каждого запрашиваемого - это как? если я правильно понял вопрос, то мы делаем два набора вызовов агрегатных функций.
-
Хм, действительно) Сначала запрашиваем два набора, преагрегируем их с разными именами, вычисляем процентное соотношение и доагрегируем по нужному ключу...
-
Надо будет попробовать запрос написать на реальных данных, посмотреть как отрабатывает
-
Доброго времени суток! Есть ли разница в порядке указания колонок в индексе? Т.е если создать таблицу с индексом (c1, c2). То при при фильтрации по полю c2 будет ли использоваться индекс? Или он будет использоваться только при фильтрации по c1, по (c1 и с2) ? -
Сделал таблички типа ReplacingMergeTree с индексами (с1,с2) и (с2,с1) соответственно. залил в них одинаковые данные. Запрос с фильтром по с1 был значительно менее ресурсоемким к первой табличке (где с1 указано в индексе на первой позиции), а запрос по с2 соответственно ко второй таблице. Осознал, что не понимаю как работают индексы в CH, прокомментируйте пожалуйста.
-
а распределение у c1 c2 какое?
- 07 April 2017 (69 messages)
-
Добрый день! Подскажите, кто-то собирал ODBC-драйвер под RHEL/Centos 6 ?
-
там ж вроде из пакета ставится с полпинка
-
не совсем, как минимум в rhel6 нет gcc5
-
оу, да, про 6 версию я не подумал. Я собирал. Но не помню)
-
а POCO-либы ставили из rpm? или сами собирали (если да, то каким gcc?)
-
Если никто не против, хотел бы вернуться к вопросу дашбордов, в частности, помимо zeppelin и redash, пользуется кто metabase?
А второй момент, кто с редашем, как вы его в проде используете, если там куча багов на уровне постгресной базы? -
Мы пользуемся Airbnb Superset
-
Спасибо, посмотрю
-
Я когда думал собирать под центось6, собрал шланг. Это оказалось проще
-
Но лучше сразу взять цо7
-
Собранный с помощью clang odbc-драйвер заработал без проблем? (Да, похоже, что придется переезжать на Centos 7)
-
Joined. -
Я кх не собирал под цо6
-
Посмотрел на объем работ и плюнул
-
В цо7 собирается отлично если брать системный злиб и гцц из devtoolset-6
-
Первое тоже важно, потому что иначе соберется zlib-ng, поставится в /usr/lib и это не очень хорошо
-
Ну на самом деле нет смысла имхо сидеть на 6ой. Даже 7ая слишком старая
-
Скажите а можно ли настроить такую схему- есть основной сервер статистики на кх. есть доп. сервер на котором дублируется статистика из основного сервера. но запросы на вставки идут на основной. а дополнительный просто клонирует данные основного. Зачем? дополнительный дев сервер хотим подключить на дополнительный сервер статистики для отладки. Ну и что будет если миграции будем выполнять? надо бы чтобы они на двух серверах применялись..
-
Для http например так https://github.com/buger/goreplayGitHub - buger/goreplay: GoReplay is an open-source tool for capturing and replaying live HTTP traffic into a test environment in order to continuously test your system with real data. It can be used to increase confidence in code deployments, configuration changes and infrastructure changes.
GoReplay is an open-source tool for capturing and replaying live HTTP traffic into a test environment in order to continuously test your system with real data. It can be used to increase confidence...
-
репликация?
-
возможно. нооо если поменяем структуру таблицы на доп. сервере. что будет в итоге?
-
например удалим столбец протестируем что все работает и зальем код на прод. нам важно понимать что код с изменной структурой базы работает. а затем применять миграцию на проде и заливать код
-
Что вы используете в качестве клиента?
-
ну у нас php приложение. драйвер пхп выбирает с базы кх. есть еще доп. инструменты для миграций которые реализовали сми2. ну можно и без них просто слать по curl запрос
-
Дублировать можно http через goreplay
-
Или UDP через netcat например
-
Но TCP увы
-
Но не проще ли
-
Это делать через репликацию?
-
Сделали копию, отключили копию, протестировали на копии миграции, удалили с копии данные, доключили копию в кластер для повторного наполнения
-
может все таки проще создать бэкап положить в облако. и на другом сервере его импортить каждый день?
-
хотелось бы автоматизировать процесс
-
Всем привет :) У нас есть поток событий, каждое — с идентификатором пользователя (`dt | eventId | userId`) Требуется: узнать сколько раз он взаимодействовал с системой за неделю (`weeknum | userId | sessionsCount`). На вид — задача изоморфна получению отдельных визитов из хитов.
Может ли кто-нибудь рассказать алгоритм, как в метрике (или не в метрике?) получаются визиты из хитов, или как в кх сделать такой запрос? Хочется понять сам принцип. -
удалось побороть "No thread available" на словарях?
-
В интернетах нашёл пример запроса, который делает прямо то что нужно (идеалогически) http://sqlmag.com/site-files/sqlmag.com/files/archive/sqlmag.com/content/content/23714/listing_03.txt => site_url| caller_ip | start_session | end_session Но возможностей кх не хватает, чтобы его запустить :(
-
Как правильно мигрировать данные при изменении схемы (включая изменение индекса)? Хочу в приложении своем добавить потенциальную возможность такое делать.
Я правильно понимаю что нужно делать следующее:
1. Rename старой
2. Создавать новую таблицу с правильным и исправленной схемой
3. Делать SELECT INTO в новую таблицу из старой
4. Удалить старую
? -
Алексей не могли бы вы посоветовать более правильный способ организации дев прод серверов. на прод ui + прод кх само сабой понятно. а вот дев + доп сервер кх - хотелось бы на доп. сервере чтобы всегда были данные прод сервере кх. но с возможностью применить какую либо миграцию (удалить столбец к примеру) - все отладить и тогда уже на проде кх её выполнить и залить код ui
-
Joined. -
да очень плохо, на масштабах 100 и более гигабайт данных нормально не работает
юзайте xtrabackup хотябы вместо mysqldump -
К сожалению, пока нет. Вот, можно прям в коде поправить https://groups.google.com/forum/#!topic/clickhouse/VNkWeL468mw , но это печальненько
-
ага, нашел уже. у меня ровно 16 словарей получается. все odbc
-
ну при изменении структуры таблицы данные писаться ведь не будут? вы наверное имел ввиду репликацию из основного сервера на тестовую среду. важно понять как лучше нам организовать такой процесс чтобы данные всегда были актуальны но при необходимости мы могли поменять какие-то поля переписать код для работы с этими полями оттестировать и затем уже выложиь на прод код + миграцию на прод кх
-
пока только мысли сделать бэкап положить на S3 написать скриптик который каждый день будет обновлять базу. ну у нас будет сутки чтобы там поиграться пока не вернется структура как на проде)
-
а как вы это сейчас делаете.
-
пока никак. но думаю сделать бэкап компрессором потом запаковать закинуть на S3, затем из S3 берем распаковываем декопрессию делаем и импортим в базу раз в сутки (на кроне) пока такая мысль
-
начал смотреть исходники, не совсем понял. по дефолту у SessionPool maxSessions = 32, почему тогда можно только 16 словарей? еще заметил, что сессия никогда не отдается в пул, т.е. всегда висит кол-во соединений равное кол-ву словарей. для постгреса без использования всяких баунсеров это может быть накладно, может как-то этот момент переделать что бы сессия всё таки возвращалась в пул? ведь по сути она нужна только когда надо обновить словарь.
-
все равно не особо понял принцип работы. видимо пока сделаю дампами по крону. может еще скажите есть ли возможность сделать дамп "всей" базы? или только таблиц по отдельности?
-
а в будущем планируется ?
-
понял. спасибо
-
может тогда в пн я сделаю issue на гитхабе, с кейсом как воспроизводить, данными что просил Виталий в гугл группе, что бы про это не забыли?
-
Joined. -
GitHub - lomik/carbon-clickhouse: Graphite metrics receiver with ClickHouse as storage
Graphite metrics receiver with ClickHouse as storage - GitHub - lomik/carbon-clickhouse: Graphite metrics receiver with ClickHouse as storage
-
GitHub - lomik/graphite-clickhouse: Graphite cluster backend with ClickHouse support
Graphite cluster backend with ClickHouse support. Contribute to lomik/graphite-clickhouse development by creating an account on GitHub.
- 08 April 2017 (32 messages)
-
А есть ссылки ?
-
Тьфу есть ссылки на graphouse ?
-
Нашел спасибо
-
Интересно чем он лучше или хуже того на что я выше ссылки кинул :)
-
А из-за чего может появляться DB::Exception: std::bad_cast? Вставляю из одной распределенной таблицы в другую через INSERT INTO t2 SELECT ... FROM t1 с конвертацией в Nullable-колонки. Как можно посмотреть ошибку подробнее через клиент?
-
Joined. -
Оно на java черт возьми -
-
И сильно ли оно лучше будет чем influxdb? -
Оно по функционалу отличается
-
Ага, это минус
-
Графхаус не знаю, но ломиковский вариант в single server варианте на запись примерно в 20 раз быстрее
-
Но минус в том что тэги там слегка сбоку
-
Спасибо, посмотрю тода.
-
Вот как сам графхаус я не знаю, то что он на яве и я его из коробки взять не могу - меня останавливает от того чтоб посмотреть
-
как clickhouse настроить в распределенном режиме в рамках одного сервера?
-
разные порты + разные datadir
-
Всем привет
подскажите пожалуйста
я правильно понимаю что для хранения UUID наиболее эффективным является тип FixedString(16) ?
вопрос
если я преобразовал UUID в FixedString(16) и там есть 0x0A или 0x0D
как мне их правильно заэкранировать в CSV ?
заменить однобайтовую последовательность на \r или \n? -
а почему при парсинге CSV строки без кавычек то \n считается как два символа а не как один?
-
несколько clickhouse серверов ? можно чуть подробнее. спасибо
-
для начала не очень задача понятна, для тестов?
-
задача настроить в распредленном режиме
-
А зачем это делать в рамках одного сервера?
-
я так понимаю надо 3 сервера. два с mergetree с одинаковыми данными и репликацией между ними + один принимающий сервер который распределяет ?
-
Так не нужно делать
-
В кх мультимастер система, любой сервер может принимать запросы
-
то есть он превоначально распределенный?
-
*первоначально
-
нам надо сделать в виде кластера. несколько серверов
-
чтобы распределять нагрузку
- 09 April 2017 (82 messages)
-
А это норм после апгрейда
-
sudo service clickhouse-server restart
Include not found: clickhouse_remote_servers
Include not found: clickhouse_compression
Stop clickhouse-server service:
DONE
Start clickhouse-server service: Include not found: clickhouse_remote_servers
Include not found: clickhouse_compression
Path to data directory in /etc/clickhouse-server/config.xml: /var/lib/clickhouse/
No directory, logging in with HOME=/
DONE -
?
-
работает вроде ОК, но ошибки пугают :)
-
пару месяцев назад меняли директории с /opt/clickhouse на /var/lib/clickhouse/ , желательно проверить где данные на самом деле и что в конфиге осталось
-
Да, вы просто строите clickhouse кластер и при расчётах используются ресурсы всех серверов. (При правильном градировании конечно)
-
А можно узнать зачем?
-
Вы var отдельно монтируете?
-
А почему mysql в варлиб тебя не интересует?) -
Потому что это mysql
-
а где можно глянуть как настроить такой кластер ?
-
В документации. Либо в tutorial. Искать по слову кластер/zookeeper
-
ок в понедельник буду разбираться. спасибо)
-
всем привет!
а есть способ в запросе в колонке вывести накопительный итог? -
Без зависимых подзапросов не понятно, как это сделать =(
-
Еще статья на хабре есть: https://habrahabr.ru/company/smi2/blog/317682/ -
> функция зависит от разбиения данных на блоки и от порядка строк в блоке.
а вот это что значит? :) если я сделаю order by date, то всё будет норм? -
Алексей, большое спасибо за ответ!
-
Один вопрос остался — большой это сколько? Как мне узнать, что вот сейчас конкретно он даст неверные результаты? Эмпирически?
-
Понял, еще раз спасибо :)
-
есть правила расположения файлов на файловой системе, например man hier и лучше им соответствовать.
-
В opt давно ставится софт, и явно это надо не в либы ставить...
-
Вроде как речь шла про сам сервер, а не файлы БД
-
БД вообще предпочитаю в отдельный маунт
-
/var/lib/mysql /var/lib/postgresql /var/lib/mongodb - и было бы странно сочинять другое место
-
хотя в freebsd напрмиер все как всегда более правильно и
называется /var/db/ -
Так хорошо, как может быть в заказной статье :) (|irony|)
-
Очень похоже, да 😬
-
Я все еще жду сравнение с последними версиями Vertica
-
Скажите пожалуйста есть ли другой способ выгрузить данные в кх без cat, заканчивается память т.к. при cat все данные в памяти оперативной хранятся и не получается выгрузить дамп больше 100 млн записей ((
cat table_data.tsv | clickhouse-client —database=statistics —query="INSERT INTO table FORMAT TabSeparated"; -
tcmalloc: large alloc 1073750016 bytes == 0x48a72000 @
tcmalloc: large alloc 2147491840 bytes == 0x88a74000 @
tcmalloc: large alloc 4294975488 bytes == (nil) @
std::exception: std::bad_alloc -
а что бы это могло значить?
-
после это команды
-
можно сплитом пройтись по файлу, разбить по строкам и загружать уже несколько файлов в кх через кат
-
не помогла те же msgs
-
не знал про split ) класная штука спасибо
-
я как-то на самом деле удивлен. т.к. вчера я загружил 130 млн строк этой командой. а сегодня поставил пароль для пользователя и попытался еще импортнуть один файлик 30 млн строк по 43 столбца. и ошибка(
-
то есть вчера этот файл загружался а сегодня с установленным паролем в sha256 уже не грузится. может пароль тут непричем но ничего больше не менял
-
@milovidov_an прошу прощения за свою назойливость. Недавно писал вопрос, но к сожалению ответа не получил. Алексей, вы не могли бы все таки прокомментировать?
-
Load Average 0.07. два ядра почти по 0%. память загружена 303м из 4gb
-
-
это нормально?
-
столько демонов
-
Спасибо большое!!!
-
30000000 3551764198 audience_statistic_segments_1.tsv
-
я делал дампы из mysql по 30 млн записей и их грузил вчера
-
до какого размера? или может это где-то в конфиге задать можно?
-
уменьшение этой опции не помогло. странно(
-
разделю о не понятно почему вчера по 30 млн загружалось а сегодня уже нет( или зависит от количество записей в таблице?
-
разделил на куски в 10 млн
Code: 173, e.displayText() = DB::Exception: Allocator: Cannot mmap., errno: 12, strerror: Cannot allocate memory, e.what() = DB::Exception -
по htop вижу что равномерно память растет до 4 гигов и просто падает exception что памяти не хватает. как можно обойти это ограничение? не выгружать весь файл в память а как-то потоков писать из файла?
-
на и386:)
- 10 April 2017 (133 messages)
-
нет
-
загрузил меньшим файлом в меньше чем 1 гб (5 млн строк) - файл загрузился
из сообщения
tcmalloc: large alloc 1073750016 bytes == 0x486ec000 @ - следует что большой размер7 т.к. они реально больше 1гб. но где это ограничение задается? -
Добрый день! А есть ли в ClickHouse какие-либо ограничения на размер массивов или строк при INSERT-е в формате JsonEachRow? -
Я просто заливаю json, который гарантированно корректный, но ClickHouse ругается на "Code: 26, e.displayText() = DB::Exception: Cannot parse JSON string: expected opening quote: (at row 1), e.what() = DB::Exception", (row может быть произвольный)
-
Возможно, нельзя заливать массивы из одних только пустых строк или вроде того...
-
У нас в тестинге достаточно часто вырубаются машины по питанию и появилась мысль перманентно (например, в /etc/default/clickhouse) выставлять флажок flags/force_restore_data, чтобы в случае падения машина без вмешательства эксплуатации удаляла из ZK информацию о потеряных кусках
Но возникли также разумные опасения, к чему может привезти подобная "оптимизация", @milovidov_an? Разумно ли так делать? -
Скажите пожалуйста можно ли как-то включить компрессию при дампе через clickhouse-client? опции такой нету, а нужно локально выгружить данные в native .. ?
-
Спасибо! Попробую
-
спасибо)
-
Скажите сервера 1 CPU и 2gb RAM это очень плохо для запросов на select sum в таблицы с 100 млн записей каждую минуту и около 1000-2000 вставок в секунду ? прочитал что RAM должно быть столько же сколько ГБ данных (я так понял данные в памяти висят). кто что скажет по этому поводу?
-
Привет. Мы выложили в OpenSource Graphouse - компонент, который позволяет использовать ClickHouse как хранилище метрик для Графита.
Graphouse содержит:
1. TCP cервер для приема метрик
2. HTTP API для поиска метрик и получения данных (с питонячим модулем для graphite-web)
3. HTTP API для управления деревом метрик.
Лежит тут - https://github.com/yandex/graphouse
Доступны deb пакеты.
Документацию постепенно дополняем. Будем рады любым замечаниям и предложениям. -
Joined. -
Joined. -
а может подскажите как распределить нагрузку. я вот создам наверное еще один instance 1 cpu 2gb ram и будет два сервера между которыми нагрузка будет распределятся. я так понимаю надо всего 3 сервера - принимающий Distributed и два с mergetree с одинаковыми данными и репликацией с первого узла с mergetree на второй узел mergetree ?
-
Joined. -
Какие именно проверки?
-
У нас всё своё
-
Ничего такого выкладывать не планируем
-
Ну это же нереально круто! -
Joined. -
порезал файлик на чанки по 10 млн и файлик загрузился. может база весит в памяти оперативной? то есть загрузил часть данных сделал пару запросов. а на следующий день уже не могу загрузить такой же объем данных. возможно либо результаты запросов остались в памяти либо сама база как-то в памяти висит?
-
1 cpu 2 gb ram я так понял не потянут кх верно? раньше был 2 cpu 4 gb было норм, сейчас уменьшил instance и получил жесткую нагрузку во время выгрузки данных из кх для бэкапа. load average подскакивает до 2.5
-
возможно. решили просто попробовать вытянет ли. и он тянет нормально, но когда начинает выгружать данные из 100 млн таблиц с компрессией то average растте критически. думал сделать ограничение cpu для процесса. На самом делел тут проблема лишь в бэкапе.
Алексей а скажите пожалуйста при однородной схеме кластера на какой сервер слать запрос? или не важно? он перенаправит на другой сервер запрос и вернет результат на первый? -
А что значит живой? живой тот кто быстро по таймауту вернул результат? иначе дергаем следующий?
-
я понял огромное спасибо) скажите где можно глянуть пример по построеннию однородной схемы кластера ?
-
Joined. -
и правда странное :)
-
добрый вечер, никто не сталкивался с Read timed out равным 30 секундам на jdbc? хачется его увеличить
-
Может мой вопрос покажется глупым, но я все же задам. если основываться на таймаут то я так понял тут только репликация нужна между серверами чтобы данные всегда были идентичны? зачем тогда Distributed таблицы ? или они для репликаций и нужны?
-
есть глупый вопрос, есть буфер таблица traffic_buffer, есть таблица, в которую данные пушатся для сохранения на диск - traffic. Хочется сделать селект данныех только из буфер таблицы, чтобы не было выборки из таблицы, которая уже на диске.
-
судя по документации, select * from traffic_buffer делает выборку из буфер таблицы и из той, что уже сохранена на диск. А мне вот надо именно внутренности буфера.
-
:(
-
очень-очень жаль :(
-
Спасибо за ответ!
-
а если шардирование не предусматривается? т.к. mergeTree как я понял сам разбивает данные по месяцам что вполне приемливо для нас. единственная цель которую мы преследуем это распределение нагрузки между серверами. я так понимаю два сервера с одинаковыми данными, но нагрузка распределена между ними и вставки и выборки максимально быстрые. может что нибудь посоветуете?
-
Если множество столбцов таблицы Buffer не совпадает с множеством столбцов подчинённой таблицы, то будут вставлено подмножество столбцов, которое присутствует в обеих таблицах.
а если добавить поле которое будет присутствовать только в буферизированной таблице и по нему делать where ? -
тогда как распределить нагрузку ? я рассуждаю на уровне mysql. может в кх это по другмоу работает, если да, то как?
-
Балансировка MySQL
Это краткая заметка как настроить отказоустойчевый кластер с балансировкой нагрузки из 2 MySQL серверов. Исходные данные 2 свежеустановленных MySQL сервера. Необ...
-
"default.socket_timeout": "120000"
для #zeppelin -
мне это надо переварить) я так понимаю смысл балансировки в нахождении более быстрого узла в класстере и обращению к нему?
-
но репликация должны быть двухстороняя ?
-
если говорить о однородной схеме класстера
-
вопрос по плагину Гарфаны для CH. А как добиться, чтобы оно работало, когда у меня CH на 127.0.0.1, а в гарфану я хожу проксируя ее через nginx с http auth?
-
я выбираю proxy режим, но при попытке теста соединения меня выбивает и требует пароль от узла, на котором у меня доступна графана.
-
InfluxDB подключен точь-в-точь по такой же схеме, но при этом пашет ОК.
-
Такое ощущение, то ли он пытается использовать мой http auth пароль для того, чтобы влезть в CH либо что-то еще.
-
не, у меня что инфлакс что кликхаус - на 127.0.0.1
-
Графана выставлена на публичный айпи и закрыта http auth. То есть инфлакс ходит в режиме прокси.
-
Пытаюсь добиться точь-в-точь такого же поведения с CH
-
а если пароль на CH дефалтный / без пароля?
-
меня еще смущает "There is a small feature - ClickHouse treats HTTP Basic Authentication credentials as a database user and will try to run queries using its name."
-
-
вот так вот оно ведет себя в отладке хрома
-
Www-Authenticate:Basic realm="ClickHouse server HTTP API"
-
угу, судя по всему как-то данные от моего логина в Графану закрытого http auth просачиваются как реквизиты для коннекта к кликхаусу
-
Bad Gateway :)
-
ну при выборках с CH мне вообще атворизация не нужна, все с одних реквизитов лезут
-
или создать такого же юзера в базе, лол.
-
мне всегда казалось что в графане можно переопределить user/password в проксе.
-
как-нить вот так http://default:@127.0.0.1:8123 ?
-
например так
-
неа, нихт.
-
как минимум в графитном datasource'е можно ткнуть галку basic auth
-
и переопределить имя-пароль
-
или оно тоже не работает?
-
неа(
-
а tcpdump что говорит во всех этих случаях?
-
тут еще сайд эффект
-
что меня вышибает после этого с графаны, куда я зашел по http auth :/
-
Ситуация чутка прояснилась ""Code: 192, e.displayText() = DB::Exception: Unknown user admin, e.what() = DB::Exception""
-
нашел вот это в отладке хрома, то есть оно и правда пытается лезть в CH с реквизитами, которе я использую для входа в гарфану
-
заиметь бы флажок, чтобы отрубить такое поведение :)
-
В общем, такое дело. Оказалось, что в Nested альтером по ошибке были добавлены колонки не типа Array(String), а типа String. ClickHouse разрешил в Nested добавить колонки не типа Array(T) по какой-то причине... Но тут и человеческий фактор сыграл, конечно.
В итоге, скорее всего, кликхаус при парсинге JSON ожидал и пытался "считать" строку вида '"string1"', а получал '["string1", "string2", "string3"]' (без кавычки в начале), и выдавал ошибку о том, что не может в (типа) '"string1"' считать открывающую кавычку.
Тут меня скорее удивило даже не то, что КХ пропустил в Nested не-array, а то, что парсинг JSON не независимый, а завязан на структуру таблицы. Скорее всего, так оно и задумано; скорее всего, для каких-то целей эффективности. Но, если бы было иначе, то, скорее всего, в таких случаях выдавалась бы ошибка о "несовместимости типов String и Array(String) в колонке такой-то". Но, к сожалению, ошибка была не очень очевидная ("Code: 26, e.displayText() = DB::Exception: Cannot parse JSON string: expected opening quote: (at row 1), e.what() = DB::Exception") =(
К счастью, в итоге разобрался и всё работает чудесно =)
Вот такие дела. Могу завести багу на гитхабе, в принципе, но даже не знаю о чём тут...
В принципе, о том, что КХ позволяет заальтерить Nested не-массивными типами, что ли. Ну или, возможно, о более ясных текстах ошибок при парсинге JSON, но это не так просто будет пофиксить, как мне кажется. -
Nested - это лексическое соглашение, по которому столбцы с точкой в имени и одинаковым префиксом считаются массивами одинаковой длины когда вы делаете array join nestedname, но это допущение не проверяется при записи строк и создании колонок.
-
Да, к сожалению, не проверяется
-
done)
- 11 April 2017 (139 messages)
-
Это поведение не графаны, а самого КХ
описано в https://clickhouse.yandex/reference_ru.html#HTTP интерфейс
Считаю, что это весьма правильное решение. В противном случае, необходимо было бы указывать логин/пароль отдельно для basic auth и для самого КХДокументация ClickHouse | Документация ClickHouseClickHouse is a fast open-source column-oriented database management system that allows generating analytical data reports in real-time using SQL queries
-
В нашем случае для доступа из графаны в КХ всегда должен использоваться пользователь с ограниченными правами и квотами. Поэтому и basic auth и КХ настроены на работу с ним
-
не совсем понимаю, что Вы имеете в виду
-
Возможно, это удобно в каком-то кейсе. Но CH без проблем дает указывать логин и пароль в строке запроса вместо http auth. Вот именно этого и хочется.
-
Создавать юзеров в CH не шибко удобно. Но если бы он мог читать стандартный файл паролей в формате apache/nginx и создавать юзеров с него - это решило бы проблему.
-
Или ldap :)
-
боже упаси
-
Мы уже вляпались
-
Я заведу issue на этот случай
На данный момент Вы можете разрешить свою проблему использованием одинаковой пары логин/пароль для КХ и basic auth перед ним
Более того, советую создать и настроить доступ из мира к КХ через специального пользователя с ограниченными правами -
Не совсем лексическое. При запросах работают всякие ARRAY JOIN prefix.
-
Но отсутствие проверки на одинаковую длину это фейл, надо делать.
-
Спасибо!) Очень благодарен за внимание к проблеме!)
-
Сейчас попробуем закостылить :)
-
А если вместо DEFAULT создать MATERIALIZED поля?
-
Добрый день. А есть возможность настроить кликхаус на работу с директорией отличной от /opt/clickhouse? Или только через симлинк? -
создал юзера с CH с тем же паролем, что у меня был на http auth в графане, вышло "Data source is working" :)
-
ога
-
Спасибо. Сейчас попробую
-
а есть у кого пример запроса для PieChart созданный вручную через ввод SQL в CH?
-
Вы можете использовать макрос $columns из плагина для графаны
-
в плагине это будет выглядеть примерно так
$columns(
Client c,
sum(Requests) Requests)
FROM $table -
О, спасибо! Попробую))
-
или без макроса -
SELECT
t,
groupArray((c, Requests)) AS groupArr
FROM
(
SELECT
(intDiv(toUInt32(DateTime), 3600) * 3600) * 1000 AS t,
Client AS c,
sum(Requests) AS Requests
FROM stats
GROUP BY
t,
c
ORDER BY
t ASC
)
GROUP BY t
ORDER BY t ASC -
Круть, спасибо!)
-
приложите, пожалуйста, ошибку,"валится" - слишком широкое сообщение
-
есть способ переключить инстанс кликхауса на работу с другой нодой зукипера, кроме как сделать эту ноду зукипера недоступной?
-
Насколько я понимаю, pentaho DI раньше назывался pentaho Kettle. Шупал его года два-три назад. Вещь в себе, притом трудно поддерживаемая. Мэппинги сложно отлаживать, есть архитектурные косяки (не помню точно, какие, но помню, что долго придумывал как их обходить). Визуальная среда проектирования на базе эклипс 🤢, плюс вообще, визуальные языки сложно поддерживать: ты видишь диаграмму верхнего уровня, но задолбаешься протыкивать мышкой каждый шаг, чтоб понять, что он делает.
-
Я бы посоветовал просто написать ETL код на каком-нибудь языке с поддержкой ФП. Как вариант - на джава 8 со стримами. Если нужна кластеризация (big data) - логично делать ETL на базе map reduce стека какого-нибудь. Hadoop тот же самый
-
В варианте с ETL, написанном на обычном ЯП с поддержкой функционального программирования, получается гораздо более управляемая система.
-
Добрый день! Подскажите, пожалуйста, а есть ли всё-таки возможность как-то посчитать min/max в таблицах типа CollapsingMergeTree? Может быть, как-то подзапросами?
-
Не для КХ, а другой базы, но отказался от пентахо из-за сложности реализации соответсвий типов. Выбрали Talend продукты. Но если есть возможность, лучше пишите свое, ибо подстраиваться под софт очень тяжело...
-
И да, все open-source/community инструменты по ETL отвратительные в плане совместной работы
-
@milovidov_an Алексей, вы упоминали на митапе, что в Яндексе кто-то поднял кластер КХ на ZFS on Linux. Есть ли в чате кто-то кто может описать впечатления о стабильности ZFS on Linux и пригодности к использованию в продакшене?
-
с такой задачей я бы написал свой инструмент
-
Joined. -
а кто как, кстати, с дубликатами борется? :) -
если не считать optimize
-
опять не выходит камменый цветок с PieChart в графане :(
-
пытаюсь отрисовать вот такое SELECT srcAsn AS asn, sum(length) AS total_traffic FROM traffic_buffer GROUP BY asn ORDER BY total_traffic DESC LIMIT 10
-
"ORDER BY time supported at this time" и возникает вопрос, а как ограничить число элементов на диаграмме только топ10, а-то у меня браузер виснет от тысяч =(
-
ну тут больше недоработка макроса, который не позволяет использовать лимиты и ордеры. Проблему можно решить подзапросом. А в плагине я собираюсь это скоро исправить. Сейчас посмотрю пример
-
спасибо!)
-
$columns(
Client c,
sum(Reqs) Reqs)
FROM $table
WHERE Client in (
SELECT Client
FROM
(
SELECT
Client,
sum(Reqs) Reqs
FROM $table
GROUP BY Client
ORDER BY Reqs DESC
LIMIT 20
)) -
ммм, я наверное не до конца понимаю логику
-
я могу задать table в конструкторе
-
но когда я ввожу запрос в поле QUERY, его стирает и переделывает, если я меняю что-либо из параметров
-
в то же время если я делаю toggle mode, у меня вообще все опции выключаются и становится не ясно, как указать ту же table
-
я не уверен, что вы используете последнюю версию плагина. В любом случае, вы можете указать вместо $table просто имя таблицы
-
а какой тип у ваших значений и какую функцию от них вы хотите посчитать?
-
я стянул его с гарфана нет, лучше с гита тянуть?
-
да, на графана.нет не самая новая версия
-
Joined. -
Привет. Да, поднимали для целей бэкапов, большой нагрузки на него нет, что касается стабильности, то за ~1 год никаких существенных проблем с ним не возникало. -
Если есть какие-то более конкретные вопросы, то можно их задать мне.
-
@milovidov_an @presto53 Спасибо.
-
поймал какое-то крааайне странное поведение таблицы буфер
-
делаю вот такой запрос на буффер таблицу
-
SELECT dstAsn, sum(length) AS length FROM traffic_buffer GROUP BY dstAsn ORDER BY length DESC LIMIT 10
-
получаю вот такой бред:
-
┌─dstAsn─┬───────────────length─┐
│ 1502 │ 18351949192765233766 │
│ 265 │ 18094662927337839107 │
│ 1462 │ 17797213894484028375 │
│ 1213 │ 17666271323459185848 │
│ 1491 │ 17572761437988275181 │
│ 1238 │ 17314826234977620221 │
│ 1389 │ 17228713838271841746 │
│ 1164 │ 16975815251666726881 │ -
а вот тот же запрос, на таблицу на диске
-
SELECT dstAsn, sum(length) AS length FROM traffic GROUP BY dstAsn ORDER BY length DESC LIMIT 10
-
│ 8473 │ 1948338049 │
│ 43513 │ 947373740 │
│ 16276 │ 421553898 │
│ 24940 │ 267350030 │
│ 60117 │ 220325712 │ -
и это верные данные, судя по порядку величин в буфер таблице есть странные подозрения на переполнение....
-
но в тоже время, если сделать выборку из обоих таблиц на предмет суммарного length по всей таблцие - все ок, значения идентичные и корректные.
-
все визуально ок...
-
SELECT min(length)
FROM traffic_buffer
┌─min(length)─┐
│ 64 │
└─────────────┘ -
SELECT max(length)
FROM traffic
↙️ Progress: 22.36 million rows, 178.90 MB (220.23 million rows/s., 1.76 GB/s.) ┌─max(length)─┐
│ 1522 │
└─────────────┘ -
тоже самое в обоих таблицах, что в персистент, что в буферной
-
столбец типа: length UInt64
-
неа, сделал оптимайз на все таблицы, не помогло
-
сброс каждые 10000 записей, примерно раз в 10 секунд
-
уже проверил, максимум - 1522.
-
угу :(
-
я могу остановить поток
-
одинаковая
-
хыыы, остановил залив данных - баг пропал
-
как только запустил - через секунду снова воспроизвелся.
-
SELECT
dstAsn,
max(length) AS length
FROM traffic_buffer
GROUP BY dstAsn
ORDER BY length DESC
LIMIT 10
↙️ Progress: 25.66 million rows, 307.87 MB (251.96 million rows/s., 3.02 GB/s.) ┌─dstAsn─┬─length─┐
│ 196798 │ 1522 │
│ 197082 │ 1522 │
│ 13147 │ 1522 │
│ 46433 │ 1522 │ -
и через секунду (запустил поток)
-
SELECT
dstAsn,
max(length) AS length
FROM traffic_buffer
GROUP BY dstAsn
ORDER BY length DESC
LIMIT 10
→ Progress: 16.71 million rows, 200.46 MB (163.71 million rows/s., 1.96 GB/s.) ┌─dstAsn─┬───────────length─┐
│ 1522 │ 1693771892837325 │
│ 142 │ 872088814537677 │
│ 0 │ 871680792791368 │
│ 162 │ 871672202709965 │
│ 64 │ 871672202709965 │ -
ниразу
-
вчера дропал и создавал заново, с небольшими изменениями схемы.
-
кластера нету, установка на одной машине
-
машина с ECC, model name : Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz
-
добавил поле packetDateTime DateTime
-
схема выглядит вот так
-
SHOW CREATE TABLE traffic
┌─statement────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ CREATE TABLE fastnetmon.traffic ( packetDate Date, packetDateTime DateTime, source Int8, sampleRatio UInt32, srcIp UInt32, dstIp UInt32, srcAsn UInt32, dstAsn UInt32, ipProtocolVersion UInt8, ttl UInt8, sourcePort UInt16, destinationPort UInt16, protocol UInt32, length UInt64, numberOfPackets UInt64, flags UInt8, ipFragmented Int8, ipDontFragment Int8, packetPayloadLength Int32, packetPayloadFullLength UInt32, packetDirection Int8) ENGINE = MergeTree(packetDate, (srcIp, dstIp, packetDate), 8192) │
└──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘
→ Progress: 1.00 rows, 16.00 B (284.25 rows/s., 4.55 KB/s.)
1 rows in set. Elapsed: 0.004 sec.
:) show create table traffic_buffer;
SHOW CREATE TABLE traffic_buffer
┌─statement─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ CREATE TABLE fastnetmon.traffic_buffer ( packetDate Date, packetDateTime DateTime, source Int8, sampleRatio UInt32, srcIp UInt32, dstIp UInt32, srcAsn UInt32, dstAsn UInt32, ipProtocolVersion UInt8, ttl UInt8, sourcePort UInt16, destinationPort UInt16, protocol UInt32, length UInt64, numberOfPackets UInt64, flags UInt8, ipFragmented Int8, ipDontFragment Int8, packetPayloadLength Int32, packetPayloadFullLength UInt32, packetDirection Int8) ENGINE = Buffer(\'fastnetmon\', \'traffic\', 16, 10, 100, 10000, 1000000, 10000000, 100000000) │
└───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘
↘️ Progress: 1.00 rows, 16.00 B (1.14 thousand rows/s., 18.20 KB/s.)
1 rows in set. Elapsed: 0.001 sec. -
Работать работает. Но память жрет нещадно.
-
Вы имеете в виду под ARC? Или течет?
-
Надеюсь не течёт. Я с zfs в proxmox попал. Он памяти требует оч много. На 8тб у меня порядка 30гб кушало.
-
Может там дедупликация была включена? Для нее много памяти надо
-
Не исключено. Я использовал все что шло по дефолту в образе proxmox. В итоге перешёл просто на хардварный рейд 10
-
Ок. Спасибо, буду иметь в виду. Есть proxmox в зоопарке у меня, правда не на zfs.
-
Joined. -
Огромное спасибо!;)) вы лучшие!
- 12 April 2017 (145 messages)
-
Joined. -
sFFFFVT6GTVVFTVFVFFFTVVFVFFTVFTVFVFVFTF55FTV55VF5VTTFV55VF5VFTF55V5FTTFTT5F -
Кот. Или ребенок.
-
Извиняюсь - рюкзак :) Испраление багов за рулем
-
-
Добрый день.
ClickHouse и Grafana -
datasource plugin взял с git, не с grafana-cli
-
Добрый! А в чем проблема?
-
Судя по консоли проблема в "DB::Exception: Illegal types of arguments (Date, DateTime) of function greaterOrEquals"
-
Чтобы иметь возможность строить графики распределенные во времени, таблица должна соержать Date и DateTime столбцы
-
Вы так же можете проигнорировать это требование, но тогда макросы могут неверно работать и лучше их не использовать
-
@hagen1778 @iamigor Благодарю вас.
-
Joined. -
Всем привет, подскажите что почитать в помощь по организации real-time импорта в CH? Собираюсь писать в csv /1s и вот не могу найти практики по организации такого импорта, то ли тулинг какой нужен, то ли из коробки есть, то ли все руками такое пишут..
-
Посмотрите движок таблиц типа Buffer
-
Спасибо, посмотрел, у меня несколько о другом вопрос был – у меня есть сервис, который пишет csv для импорта в CH, батчи по 100mb / sec к примеру. Вот я смотрю в поисках тулинга или какого-то right way) у меня пока две идеи – непосредственно писать импорт сразу после создания каждого батча (не очень, т.к аффектит сервис процессинга данных), либо писать еще один велосипед, который смотрит на место где лежат батчи и импортирует их в CH.
-
Подскажите пожалуйста как выгрузить создание схемы (таблицы) в clickhouse-client ?
-
cat "$table"_schema.sql | clickhouse-client —user=$DB_USER —password=$DB_PASSWORD —database=$DB_DATABASE —query="CREATE TABLE $table"
-
в файлике корректный для кх запрос
-
если не передавать то все ок будет ?
-
да это в файлике
-
хз)
-
а подскажите его как выгрузить данные через clickhouse-client с декомпрессией ?
-
так могу ?
-
cat "$table"_data.native | clickhouse-client —user=$DB_USER —password=$DB_PASSWORD —database=$DB_DATABASE —decompress=1 —query="INSERT INTO $TABLE FORMAT Native"
-
говорит нету такой опции.. тогда как выполнит декомпресию ?
-
было бы хорошо если бы объеденили компрессор и декомпрессор внутрь клиента. опцию добавляем получаем компрессионный файл или декомпрессионый
-
можно поподробней ?
-
у меня вообще сервак лег от выгрузки компрессионых данных в 130 млн строк
-
это помоему команда на выгрузку данных. а я пытаюсь загрузить в кх уже копрессионные данные
-
информации в доке не нашел
-
а как сработает?
-
я что-то запутался))
-
пишет no data insert
-
cat banner_history_segments_data.native | clickhouse-compressor -d | clickhouse-client —user="default" —password="" —database="statistics" —query="INSERT INTO banner_history_segments FORMAT Native"
-
Алексей поясните пожалуйста почему падает сервер от это выгрузки и что в команде не так? падает если слать через POST на localhost c опцией декомпрессии
-
8 гигов мало для выгрузки 120 млн строк?
-
может можно как-то потоково без выгрузки сразу в память всего содержимого через cat
-
просто импорт тогда мне придется переписывать слать запросы limit offset и выбирать чанками по 10 млн. думал может есть способ(
-
ладно память но процессор сходит с ума
-
2 vCPUs, 2.4 GHz, Intel Xeon Family, 8 GiB memory
-
это мало для импорта данных ?
-
ну ладно с файлом. разобью на чанки. но сам демон сервера грузит проц не хило. пока он выгрузит все данные сервер уже зависнет )
-
памяти хватает. но в притык занято 7 гб из 8 при импорте. но load average дошел до 6 и я уже даже select не смог выполнить он просто подвис. я остановил импорт. может можно как-то ограничить во время импорта процессор. я пользовался утилитой cpulimit и она хорошо справлялась. импорт довел до 0.4 average в спокойном режиме выгружать данные и кладет в облако. а вот с экспортом беда
1) я так и не понял какой командой можно кинуть файл на декомпрессию - у меня пишет no data insert
2) при импорте вылазит demon и жрет весь проц пока не завершится процесс что ограничивать не понятно
.. импорт делать планируется ежедневно на тестовый сервер для отладки на свежих данных -
Code: 108. DB::Exception: No data to insert
-
-
вы правы не понятно как файл очистился.. я другой проверил работает. оперативку "не жрет" у меня сейчас занято около 800 мб - 1.3 Г
-
но сервак пыжится )
-
-
раз в сутки ночью. дальше еще больше объемы будут
-
каждую секунду
-
у нас данные запрашиваются и в кеш кладутся
-
агрегированные
-
кеш для ui - отдельный сервер. но запросы слаться будут при каждом сборе новых данных для кеша
-
у меня есть еще одна идея
-
сейчас подожду пока сервак отдохнет и добавлю ему cpulimit
-
выставлю на выполнение команды 10% cpu может будет норм если раз в сутки
-
круто если бы вы сделали аналог mysqldump утилиты для выгрузки всей базы или отдельной таблиц
-
и чтобы она выполнялась с каким-то своим приоритетом выставляемый опцией
-
или например реализовать выполнение в docker котейнере
-
получается изолированный контейнер с четко выделенными для него ресурсами
-
может я ошибаюсь в чем-то. так мысли. но было бы круто)
-
Сейчас в запросах с несколькими фильтрами ClickHouse автоматически переносит некоторые фильтры в prewhere. Иногда он это делает неправильно, что приводит к увеличению времени выполнения запроса. (мы наблюдали, когда ошибочный перенос в prewhere увеличивал время выполнения с полутора до трех минут).
Вопрос: какие эвристики используются для определения, когда имеет смысл переносить условие в prewhere, а когда нет?
Предложение: было бы полезно добавить хинты, чтобы подсказывать КликХаусу, что можно переносить в prewhere, а что лучше не надо. -
сильно не помогло. клиент то особо не грузит проц. удалось не превышать load average больше 2.4 а для двух ядерного cpu эти 0.4 это уже очередь операций то есть подвисания. Тут больше cllickhouse —daemon кушает проц. его не знаю как ограничить только для операции импорта
-
Можно ведь делать ALTER TABLE %s.%s FREEZE PARTITION '2'. Тогда зафризятся все партишены нашего тысячелетия
-
и тогда будет сотни файликов?)
-
я ошибся. уже load average больше 3 стал(( видимо единственное решение это разбить файл на чанки и грузить маленькими частями с командой sleep чтобы не дать подвиснуть
-
нет, тогда в /<clickhouse_data_folder>/shadow/<version>/data/<db>/table лежать ваша таблица
-
партиции можно легко аттачить и детачить
-
надо попробовать
-
не сказал бы что легко))
ALTER TABLE statistics.audience_statistic_segments FREEZE PARTITION '2'
ALTER TABLE statistics.audience_statistic_segments ATTACH PARTITION - тут name месяца указывается? а нельзя все кусочки влить в базу ? -
ALTER TABLE statistics.audience_statistic_segments
ATTACH PARTITION '2'
Received exception from server:
Code: 248. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Invalid partition format: 2. Partition should consist of 6 digits: YYYYMM. -
при выполнении команды почему-то все выводит в консоль всю простыню
-
что-то с первого раза вышло. а сейчас даже не остановить этот процесс
-
у нас довольно большой проект и команда 8 человек. но пока не могу разглашать. проект уже год в разработке
-
а что я уже всем надоел?))
-
у нас довольно большие объёмы данных статистики. кратко реклама
-
показы клики и т.д.
-
Алексей спасибо за развернутый ответ. реальную нагрузку на продакшене пока не проверяли. я делаю последние штрихи по бэкапированию данных в облако amazon s3 и выгрузку самого актуального дампа на staging машину для тестов. Потом займусь переписыванием кеша который собирает из базы агрегированные данные для отображения статистических данных на графиках и другие данные финансовые
-
самая большая проблема это импорт данных на данный момент. которая будет выполнятся раз в сутки ночью. главное чтобы не подвис, т.к. во время импорта скриптик делает запросы на выборку каждую секунду для дополнения данных в кеше
-
то есть получается одновременная вставка огромного дампа и выборка. если сервер не потянет мы переедем на более мощный естественно, главное чтобы в холостую не работал
-
кстати с экспортом все решилось просто. я выставил cpulimit на clickhouse-client и на операции архивирования. нагрузка 0.5 average
-
экспорт не мешает никак. с импортом были мысли делать sleep между чанками
-
наверное это единственные вариант на данный момент
-
проблема при экспорте в том что clickhouse-server ограничить через cpulimit не возможно, т.к. не понятно какой именно процесс подхватил данные а их там несколько выплывает - несколько потоков. и получается клиент ограничен в cpu а сервер жрет на полную )) ну я вас понял пока ограничимся чанками. потом когда переедем полностью докупим чуть более мощную машину. хотябы 4 cpu
-
Вы можете физически скопировать кусочки в нужную папку с именем таблицы и выполнить ATTACH таблицы. Это позволит добавить все партиции
-
и тогда вам не нужно будет архивировать и розархивировать данные
-
этот вариант я уже пробовал дамп все ок. шикарно. загрузка каким образом? там надо указать дату кусочка. это получится нужно выбирать два значения минимальное и максимальное из таблицы и записывать в какой нибудь доп. файл чтобы потом по нему пробежаться. а архивировать в любом случае нужно - т.к. задача перекинуть данные из продакшена на тестовые сервер
-
когда вы делаете freeze partition '2' у вас получается дамп всей таблицы. Вы можете спокойно перемещать/копировать/архивировать эти данные из папки shadow. Когда же нужно восстановить бекап: создаете папку с именем таблицы в папке data, копируете туда бекап, выполняете ATTACH TABLE %table_name% (...)
-
так)) интересненько
а что за запрос такой ? (...) ? -
неудобством может быть только необходимость хранить схему таблицы. Мы автоматизировали эти процессы с помощью небольшой утилиты на го. Она позволяет просматривать существующие ревизии, сравнивать их обьемы, детачить и аттачить таблицы
-
вместо ... нужно указать столбцы таблицы создаваемой таблицы
-
go это хорошо) но можно ли пример запроса полный? ну или выдуманный. я сейчас выгружаю схему через SHOW CREATE TABLE %table_name% и это кидаю в файлик потом делаю DROP TABLE и заново CREATE TABLE из файлика и выгрузка данных
-
обратите внимание на https://clickhouse.yandex/reference_ru.html#ATTACHДокументация ClickHouse | Документация ClickHouse
ClickHouse is a fast open-source column-oriented database management system that allows generating analytical data reports in real-time using SQL queries
-
схемы таблиц так же лежат в data папке КХ, их можно копировать оттуда
-
может можно как-то схему натравить на ATTACH TABLE %table_name% (...) из файла?
-
может и можно) вы можете реализовать это на каком-нибудь из ваших любимых языков или написать скрипт на bash
-
получится
выгружаю partials в shadows архивирую папочку кидаю в обалко. на другом сервере архив забираю распаковываю в папку data (предварительно очистив старую). выполняю ATTACH TABLE %table_name% .. не понял момент на счет схемы она должна быть заново создана ? -
я пишу на bash решил что это будет самый быстрый вариант
-
freeze сам поместит данные в shadow. Попробуйте восстановить таблицу из этих файлов
-
FREEZE PARTITION на счет этого я понял. поместит в shadow. затем как это натравить на data ? объясните плиз как дураку)
- 13 April 2017 (129 messages)
-
Всем привет. А с сегодняшнего митапа будет трансляция ?
-
😔 а запись? -
Спасибо
-
у меня все ок
-
Документация ClickHouse | Документация ClickHouse
ClickHouse is a fast open-source column-oriented database management system that allows generating analytical data reports in real-time using SQL queries
-
Ребят, в какую сторону копать?
2017.04.13 15:22:27.834697 [ 178247 ] <Error> executeQuery: Code: 9, e.displayText() = DB::Exception: Size of filter doesn't match size of column., e.what() = DB::Exception (from [::1]:37346) (in query: select * from my_table where id >=441098428 order by id limit 10)
, Stack trace:
0. clickhouse-server(StackTrace::StackTrace()+0x16) [0x1e293b6]
1. clickhouse-server(DB::Exception::Exception(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, int)+0x1f) [0x106bcdf]
2. clickhouse-server(DB::ColumnVector<unsigned char>::filter(DB::PODArray<unsigned char, 4096ul, Allocator<false>, 15ul> const&, long) const+0x3be) [0x1e6959e]
3. clickhouse-server(DB::ColumnNullable::filter(DB::PODArray<unsigned char, 4096ul, Allocator<false>, 15ul> const&, long) const+0x4e) [0x1e5dede]
4. clickhouse-server(DB::FilterBlockInputStream::readImpl()+0xc6c) [0x2b2980c]
5. clickhouse-server(DB::IProfilingBlockInputStream::read()+0x31a) [0x1807eaa]
6. clickhouse-server(DB::ExpressionBlockInputStream::readImpl()+0x2d) [0x2b7cced]
7. clickhouse-server(DB::IProfilingBlockInputStream::read()+0x31a) [0x1807eaa]
8. clickhouse-server(DB::PartialSortingBlockInputStream::readImpl()+0x2d) [0x2c8f74d]
9. clickhouse-server(DB::IProfilingBlockInputStream::read()+0x31a) [0x1807eaa]
10. clickhouse-server(DB::ParallelInputsProcessor<DB::UnionBlockInputStream<(DB::StreamUnionMode)0>::Handler, (DB::StreamUnionMode)0>::loop(unsigned long)+0x152) [0x1f3d782]
11. clickhouse-server(DB::ParallelInputsProcessor<DB::UnionBlockInputStream<(DB::StreamUnionMode)0>::Handler, (DB::StreamUnionMode)0>::thread(MemoryTracker*, unsigned long)+0x77) [0x1f3de57]
12. clickhouse-server() [0x35bc8ef]
13. /lib/x86_64-linux-gnu/libpthread.so.0(+0x76ba) [0x7f7e90a8f6ba]
14. /lib/x86_64-linux-gnu/libc.so.6(clone+0x6d) [0x7f7e900b082d] -
id имеет тип UInt64
-
у меня такое было при наличии в таблице nullable-столбцов
-
судя по количеству цифр, у вас cityHash - UInt64
-
а столбец объявлен как Int64
-
хотя это не отменяет того факта, что -1 = 18446744073709551615 могло и сработать.
-
у меня тоже есть пара Nullable столбцов. Но они не участвуют в фильтрации.
-
👍
-
а можно ли в кх как-то орагнизовать такую схему - делаем запрос select в merge tree вида sum sum group field - получается некоторое количество записей около 500-100. и их держать в оперативной памяти - таблица memory, но со сроком действия - подобно кешу - записали агрегированные данные читаем с ним. как только не читаем долго время - данные пропадают (именно пачку данных которая была в рамках select запроса - ну может просто какое нибудь поле дополнительное ввести user_id) ?
-
можно наружный кэш сделать
-
у нас все через nginx балансится, и там же складывается в кэш
-
Joined. -
Тоже ловили эту ошибку с Nullable столбцами. В фильтрации они тоже не участвовали. -
Joined. -
Joined. -
Кто-либо работает с кликхаусом в докере?
-
Clickhouse для аналитиков. Начинаем
-
Joined. -
Joined. -
так нечестно, как быть тем кто уже здесь?))) -
Joined. -
Joined. -
;)
-
Joined. -
Joined. -
Joined. -
Joined. -
Joined. -
Joined. -
🙃
-
Все с митапа?)
-
Я да :)
-
Для аналитиков кликстрим 😬
-
кликстрим?
-
Скорее да, чем нет
-
что это? )))
-
Гугл ответит
-
Ну или яндекс 😬
-
Joined. -
поняяяяяятно http://www.clickstreamr.com/pricingPricing for Clickstreamr: Choose Your Plan
Send Google Analytics clickstream data to your server with Clickstreamr monthly recurring service subscription. View pricing and choose your plan.
-
У вас буква лишняя
-
-
во
-
Joined. -
Через яндекс ищите?
-
Добрый вечер!
Replication of column ColumnArray(ColumnNullable(ColumnVector<Int32>)) is not implemented.
Ловлю ошибку при array join для nested вложения, при использовании внутри nested nullable-типов.
Вопрос, будет ли добавлен функционал для таких типов в будущем? (Сейчас используем версию 1.1.54165) -
Joined. -
Joined. -
Joined. -
Joined. -
/stat@combot
-
Joined.
-
Joined. -
Joined. -
да они на свет лезут!
-
Joined. -
а какие фишки есть у графовых субд?
-
ух. хитро, я не в курсе, умеет такое или нет, очень специфичный кейс, но подождите ответа тех кто больше в теме
-
явно :)
-
-
а это бага или фича, что в клиенте шапка с именами таблиц едет?
-
select packetDirection, count() from traffic_buffer group by packetDirection;
SELECT
packetDirection,
count()
FROM traffic_buffer
GROUP BY packetDirection
↑ Progress: 50.20 million rows, 50.20 MB (489.39 million rows/s., 489.39 MB/s.) ┌─packetDirection─┬──count()─┐
│ 3 │ 73399183 │
└─────────────────┴──────────┘ -
-
вот так вот оно выглядит
-
Модель хранения и сам продукт заточены под совсем иные нужды
-
графовые структуры статичны
-
а ch шардирует данные по дате
-
Полно же решений
-
Форк титана( janusgraph) например,
-
-
И еще куча около hpc, вида flashx, и gunrock
-
Тем, что КХ другими вещами занимается, для графового есть графовое
-
-
Игорь из СМИ рассказывает про tabix.io
-
Блин, nosql - это не хранение неструктурированных данных. В кликхаусе first class citizen - это колонка, в графовых бд - узел и связь, это не та штука, которую можно просто взять и на лету внедрить
-
-
В интернете только один бенчмарк нашелся по kdb/clickhouse
-
Summary of the 1.1 Billion Taxi Rides Benchmarks
Benchmarks & Tips for Big Data, Hadoop, AWS, Google Cloud, PostgreSQL, Spark, Python & More...
-
tabix.io хорош для графов поверх кх
-
всем привет. скажите, правильно ли я понимаю что jdbc драйвер(для кх) общается с кх по http? -
благодарю
-
👍
-
Ребята, а поделитесь остальными презентациями)
- 14 April 2017 (210 messages)
-
Joined. -
Спасибо!
-
Прозвучало если делать два запроса по части данных, то объединять их нужно в клиенте. Union all вылетит из-за нехватки памяти, т.к. запроса будет не два, а один.
-
Добрый день!
Использую ReplacingMergeTree и встретил очень интересное поведение. Дубликатов по ключу я не нашёл.
Но заметил большую странность. Как так получается что колличество уникальных ключей, больше чем общее колличество записей?
Ожидал увидеть обратную ситуацию при неразрешённых коллизиях, а тут совсем уже чёрная магия -
-
судя по кол-ву вопросов с ф-цией uniq наверное нужо создать какую-нибудь uniqApprox и поменять их местами 😊
-
Спасибо большое, цифры сошлись. ReplacingMergeTree за неделю при 4kRPS не оставил дубликатов.
Огненный движок! -
Ребят, чет туплю.
field_name DateTime DEFAULT now() - нормальное описание поля с типом DateTime у котого дефолтное значение дожно проставляться DateTime от даты и времени вставки? -
Есть нюанс - это хорошо работает, только если вставка происходит атомарно. У меня например, данные сначала копятся в очереди, а потом пачкой отправляются в КХ, поэтому даты желательно проставлять вручную, чтобы не было сдвигов на границе дня
-
Ага, спасибо, важный коммент.
-
А так да - now() - DateTime, today() - Date
-
Вчера на митапе докладчики демонстрировали великолепные графики. С помощью каких инструментов их строят? Есть какая-то общедоступная литература по этому вопросу?
-
tabix.io ?
-
Да, и там тоже. Еще и на слайдах
-
Маша показывала картинки на plot.ly -
и seaborn еще)
-
Вот тут есть статья про все это: https://habrahabr.ru/company/ods/blog/323210/Открытый курс машинного обучения. Тема 2: Визуализация данных c Python
Второе занятие посвящено визуализации данных в Python. Сначала мы посмотрим на основные методы библиотек Seaborn и Plotly, затем поанализируем знакомый нам по п...
-
Спасибо!
-
кстати, а как оптимально хранить IPv4 сетку в формате CIDR в CH?
-
Добрый день. скажите пожалуйста
Column campaign_id is not under aggregate function and not in GROUP BY
чтобы это значило? указал поле в select для вывода -
А полный запрос можно увидеть? -
в select указал, а в group by?)
-
так я не хочу группировать по этому полю просто вывести
-
Ну вы же понимаете, что там могут быть разные значения для разных строк?
-
покажи запрос. так проще будет)
-
SELECT
eventDate,
campaign_id,
ads_id,
group_id,
ads_start_id,
sum(spent) as spent,
sum(shows) as shows,
sum(clicks) as clicks
FROM banner_history_segments
WHERE ads_start_id IN(100)
GROUP BY ads_start_id, eventDate -
если очень хочется - any(campaign_id)
-
Больше не отвечаю на вопросы, у кого-то очень хороший интернет)
-
я что-то не понял. что значит случайное? а реально как?
-
выведется первое значение campaign_id, попавшееся для ads_start_id = 100 и данного eventDate
-
а ну это подходит. мне без разницы в рамках одного старта всегда одна кампания
-
Если всегда одна - почему не добавить её в groupBy ?
-
Запрос просто будет выглядеть логичнее и понятнее
-
тогда уже и ad и group_id тоже в group by
-
они тоже в рамках одного старта одинаковые. но что быстрее будет выполнятся any(field) или еще пару группировок ?
-
почти одинаково - по разному
-
можно хранить как битовую маску подсети, смотря что вы с ней делать собираетесь.
-
хочется ее потом удобно обрабатывать прямо в запросах, без магии и обработки
-
bitAnd(addr ,mask)=prefix
-
я тут в тикет откомментил, как хочу это видеть https://github.com/yandex/ClickHouse/issues/247 последний комментNew IP address functions/types (CIDR mask) · Issue #247 · yandex/ClickHouse
It would be great to have some kind of these IPv4-related (IPv6 too?) functions: IPv4NumToStringClassC(num) isn't enough for proper subnet handling. :) SELECT IPv4CIDRtoIPv4Range('1...
-
тут вопрос во-первых, чтобы сохранить в одном поле, а, во-вторых, чтобы декодировать удобно из компактного пердставления в удобоваримое для людей
-
Joined. -
Получил ошибку Code: 89. DB::Exception: QuickLZ compression method is disabled: while receiving packet при запросе из представления
-
версия 1.1.54198
-
нет, подцепляется автоматом, если всё правильно
-
скажите еще плиз
SELECT sum(clicks) as clicks,
WHERE ... AND
(clicks <> 0 or shows <> 0)
дает ошибку Aggregate function sum(clicks) is found in WHERE or PREWHERE in query
как исключить из результатов записи у которых клики и показы по 0 ? -
я понял в чем ошибка. алиас который указывается после sum() .. воспринимается как само поле
-
то есть получается нельзя использовать алиасы с таким же названием
-
what?
-
я понял)) работает. спасибо
-
да, я нагуглил её
-
что-то надо сообщить дополнительно? могу в ту же тему в гугл-группах
-
это обычный view:
CREATE VIEW analytics.apps_events ( app_name String, app_version String, os_name String, device_id String, event_time DateTime, event_date Date, event_name String, event_value String, screen_name String) AS SELECT app_name, app_version, os_name, device_id, event_time, event_date, event_name, event_value, screen_name FROM analytics.apps_clickstream WHERE isNotNull(event_name) OR isNotNull(event_value) -
запрос:
SELECT splitByChar('/', screen_name)[1] as sn, event_date, count(*) FROM analytics.apps_events where (...) group by sn, event_date -
ребят скажите плиз есть не заполненные поля string пустые. как проверить на не пустые поля?
-
Документация ClickHouse | Документация ClickHouse
ClickHouse is a fast open-source column-oriented database management system that allows generating analytical data reports in real-time using SQL queries
-
неа
-
и вправду.. как так вышло не понятно. при вставке tabseparated файлов писал ,'','',''
пишет по 70 символов во всех строках. может это потому что схема FixedString(70) ? -
я еще пока не привык)) это стандартное поведение fixedString ?
-
благодарю))
-
да, именно так
-
спасибо, поправлю вьюху
-
а разве это не ок, когда я проверяю на null, и если не null пишу в колонку не-nullable типа?
-
еще клиент иногда крашится при таких запросах )
-
Подскажите, пожалуйста, как агрегировать данные по временному интервалу? Например, надо считать среднее по данным за каждые 5 секунд и записывать в новую таблицу? Можно ли написать агрегирующую функцию? -
Есть специальный движок таблиц GraphiteMergeTree
-
попробуйте так
SELECT
(intDiv(toUInt32(EventTime), 5) * 5) * 1000 AS t,
count(*)
FROM requests
GROUP BY t
ORDER BY t ASC -
В документации его пока нет, но можно посмотреть вот тут https://github.com/yandex/graphouse/blob/master/doc/install.md#clickhousegraphouse/install.md at master · ClickHouse/graphouse
Graphouse allows you to use ClickHouse as a Graphite storage. - graphouse/install.md at master · ClickHouse/graphouse
-
может вам просто надо
insert into t2 (key, value) select toUInt64(time)/5*5 as key, avg(data) as value from t1 group by key
возможно вам нужен aggregating merge tree + avgState -
А в чем отличие движка GraphiteMergeTree от materialized view на движке agregatingmergetree?
-
Или это задел на будущее когда будут delete?
-
заменил InfluxDB на CH, нагрузка упала с 196% до 5% CPU
-
Можете теперь рядом сервер Lineage поднять 😊
-
не, я уже биткойны майню
-
@pavel_odintsov 👍
-
@openbsod я как раз вам письмо написал :)
-
Скажите пожалуйста как сгруппировать по часу поле timestamp ?
-
прямо в группировке можно использовать?
-
а какие варианты
-
что-то не выходит совсем..
SELECT
toDateTime(eventTime) as hour,
...
FROM ...
GROUP BY ads_start_id
Column eventTime is not under aggregate function and not in GROUP BY -
ожидается что поле будет в groupby ?
-
ребят что может значит эта ошибка? может кто сталкивался
Code: 173, e.displayText() = DB::Exception: Allocator: Cannot mmap., errno: 12, strerror: Cannot allocate memory, e.what() = DB::Exception
делаю запрос около 15 группировок в таблицу 22 млн записей. неужели памяти оперативной не хватате ? -
именно -
нихрена се.. прожорвилвый кх
-
Уважаемые разработчики, есть инфа по поводу старого и грустного бага? https://github.com/yandex/ClickHouse/issues/127Problem with INSERT if having a VIEW with subqueries & AS keyword #127
That's a really strange one! When you create a view (let's call it test_stats) that has a subquery with multiple tables (test1 and test2) combined using UNION ALL clause, and the first tabl...
-
очень хочется MATERIALIZED VIEW с подзапросами и join'ами
-
сдох после запроса сервер) капец
-
наверное из-за опции у сервера на кол. выделяемой оперативной памяти - там значение превышает количество установленной на сервере памяти и поэтому жрет все а потом unix начинает килять процессы и падает сервер
-
А если попробовать <null_value>0</null_value> ?
-
В ключ не надо, там null не может быть
-
Ну, это идеологически не правильно ) И насколько я понял Алексея, не поддерживается сейчас
-
Joined. -
Подскажите про формат RowBinary (а то в доке про него написано мало, а хочется поиспользовать). Как должен выглядить POST-запрос, который вставляет данные в таком формате? Например, обычный запрос можно сгенерить строкой echo "('b', 1, 2)" | POST '127.0.0.1:8123/?query=INSERT INTO t VALUES' (и он будет выглядеть так https://pastebin.com/zNJjgggy), а я хочу послать запрос "INSERT INTO t VALUES FORMAT RowBinary", но не понимаю, как передавать значения. Или может где-нибудь уже написано про это более подробно?POST /?query=INSERT%20INTO%20t%20VALUES HTTP/1.1TE: deflate,gzip;q=0.3Connec - Pastebin.com
Pastebin.com is the number one paste tool since 2002. Pastebin is a website where you can store text online for a set period of time.
-
Ребят, у кого по памяти помирает. Поставьте ограничение чуть меньше доступной памяти на сервере. Не насилуйте делезо/виртуалки. Если будет все равно мало, поставьте группировку во внешней памяти.
-
Не CH виноват что у вас так много данных. ну или мало оперативы)))
-
Об этом же вчера было
-
https://github.com/yandex/clickhouse-presentations/tree/master/meetup5 и вот презентация, вродеclickhouse-presentations/meetup5 at master · ClickHouse/clickhouse-presentations
Presentations, meetups and talks about ClickHouse. Contribute to ClickHouse/clickhouse-presentations development by creating an account on GitHub.
-
Небольшая идейка
-
в CH есть функции IPv4NumToString(num), IPv4StringToNum(s)
-
для преобразования IPv4 в UInt32
-
Также полезными будут функции для преобразования MAC'ов
-
MACNumToString и MACStringToNum
-
MAC в UInt64
-
насколько сложно их реализовать?
-
да верю, что не очень сложно :)
-
плюсы последний раз серьезно теребил лет 15 назад :)
-
С какой ошибкой падает? Сколько памяти на сервере? Что то ещё на сервере работает?
Покажите вывод free -m -
Joined. -
Там где знак не нужен )
-
перенос кх в аркадию отличная тема для хакатона
-
Есть минимум 2 пути: 1. запилить какую-нибудь крутую feature для CH 2. сделать классный сервис over CH (например, что-нибудь аналитическое на базе данных Метрики или AppMetrica)
-
Кстати, а GraphiteMergeTree может быть ReplicatedGraphiteMergeTree?
-
А как пользоваться секцией macros?
-
я скорее не понимаю в каком месте его пихать?
-
<remote_servers>
<something>
<shard>
<macros>
? -
ок... и нумерация шардов будет сделана автоматом в порядке как они в конфиге?
-
да мне объяснили что макрос нужен на каждом сервере свой
-
то есть в метрике результат получается на запрос к кх напрямую? у нас ситуация следующая - на главной странице есть около 5 графиков - для получение данных для них посылается 5 разных запросов в одну таблицу (например нужно узнать сколько кликов суммарно осуществилось для определенной сущности - например в рамках страны или городов). Если брать небольшой диапазаон в рамках одного пользователя и недельные данные то эти 5 запросов вложаться (я думаю) в секунду. если пользователь выберет весь период - например за год результат может быть получен и за секунд 5-10. соответственно это уже задержка. или это норма?
-
поэтому мы и прикрутили кеш в памяти. и получаем результаты данных моментально. но он конечно затратные на его заполнение и жрет памяти
-
нет. графики только в рамках аудентификации. в рамках юзера
-
ну тогда можно попробовать прикрутить праймери кей на user_id и по нему выбирать точечно по запросу
-
потому как сейчас мы не по user_id выбираем а по всем запускам показов
-
и получаем данные всех пользователей
-
мне понравилась таблица memory. жалко нельзя установить срок жизни данных
-
можно было бы как-то переливать туда данные и брать с неё
-
такой своего рода кеш) у меня есть еще один вопрос сегодня выполнил тяжеловестный запросик и получил падение сервера запустить не удалось только через полную остановку сервиса и полный запуск. не хватило 8 гигов памяти чтобы выполнить запросик. вопрос не в запросе даже, а в том почему сервер рассыпается - выдал бы ошибку и работал дальше. могу предположить что это из-за опции в конфигах максимальный объем памяти он установлен по стандарту в 10 гигов что больше 8)) поэтому жрет все не давай системе жить
-
и я так понял вылазит киллер и начинает килять что попало вот и расыпается
-
понял спасибо алексей вы как всегда выручаете )
- 15 April 2017 (67 messages)
-
Joined. -
Я бы предложил что-нибудь не смежное с кликстрим. Я не теряю надежду использовать КХ в других вариантах 😋
-
Я предполагаю, что это чтобы не было соблазна использовать Snapshot'ы которые в LVM сделаны отвратительно и очень сильно просаживают скорость работы
-
А без snapshot'ов смысл в LVM околонулевой
-
Snapshot'ы там просаживают скорость записи и чтения до печальных значений чуть чаще чем всегда
-
raid на базе LVM в Linux'ах реализован странно и как бы при наличии в ядре mdadm в нем нет никакого смысла
-
да, все это про Linux, на Солярке может все отлично
-
обычно 1 сервер под 1 задачу, там в таком смысла мало )
-
но в общем тебе виднее, в принципе если не использовать ничего кроме управления пространством и красивого именования разделов то не должно прям быть очень плохо
-
Разносить их по разным разделам?
-
Точно в этом есть смысл?
-
когда БД поддерживает разные базы и права доступа к ним
-
Опять же проще по серверам делить, если все так критично
-
КХ на сложные запросы в том числе может и ЦПУ и Оперативку подъесть немного, поэтому обычно мало смысла ставить больше 6-и дисков (можно конечно, особенно если диски небольшие, но под нагрузкой может уже захотеться больше цпу), а КХ умеет права доступа сам, поэтому под него в этом смысл примерно нулевой
-
@lexa_work если что, мое мнение составлено по моим наблюдениям, а не официальное ) может товарищи яндексоиды что-то еще скажут
-
но как по мне просто чтоб не повадно было снэпшотить, проще сказать что не используйте LVM чем отвечать на вопросы "почему у меня все тормозит?"
-
Менеджерский аргумент
-
swraid я думаю это предполагает ;)
-
отсутствие NFS'ов всяких )
-
mdadm и вообще swaid немного проблематично сделать без блочного устройства
-
то есть "мы рекомендуем swraid" означает по сути локальные диски или iscsi
-
да, именно так
-
Joined. -
Ну если будет летом обещанный рест, то можно начать складывать холодные данные в CH
-
Аппаратные рейды это же медленно :)
-
6 гбит на чтение при отсутствии записи
-
О, а readthedocs - хорошо?
-
Ребят, я вот уже почти доделал доки в readthedocs для англ версии
-
Чуть менее актуальная русская есть тут. http://clickhouse-docs.readthedocs.io
Но как только доделаю англ, то все сольём и должно быть ок) -
Рейд средствами LVM делать вообще странно, у него есть некоторые особенности в виде необходимости отдельного хранилища метаданных, насколько я помню
-
И вопрос наверное скорее как mdadm vs mdadm поверх которого LVM
-
в таком виде, пока не пользоваться snapshot'ами и если не сильно играть с "создам я кучу разделов, а потом увеличу 3-ий, 5-ый и 8-ой", то оверхед будет ну пара процентов
- 16 April 2017 (48 messages)
-
Спасибо за фидбэк, очень интересно!
-
Вот еще интересен чей-либо опыт с ZFS на линуксе
-
Joined. -
Дарова
-
никто тут случайно на golang не пишет???
никак не могу на нем FixedString(16) сгенерировать из UUID и в CSV записать -
для clickhouse импорта надо =)
-
дело не в драйверах
-
хотя.... может быть и надо было заюзать этот драйвер он вон FixedString поддерживает
-
просто когда начинал писать был только драйвер от roistat
который через HTTP работал -
Кстати, а какой гошный драйвер сейчас считается тру? Или пока не определились?
-
Тот что кинули использует native interface, довольно адекватный с виду. Правда есть подозрение что если нужно вставлять много данных, то любой драйвер будет хуже чем код специально под проект
-
Спасибо!
-
у меня в этот FixedString пытается записаться UUID
в каком формате вы вставляете батчи? -
ну то есть у меня много UUID
и я хочу получить буст по производительности для FixedString(16)
на группировочных запросах -
Joined. -
Joined. -
А это кстати архитектурное ограничение или просто не хотелось тратить время на старую архитектуру?
-
Joined. -
а как то можно ограничить количество памяти используемой при мердже?
-
На самом деле на arm64 тоже вполне работает и собирается, но на данный момент нужно более 2g оперативки для сборки, а на всех доступных платах за 40 баксов - как раз ровно два, но это не большая проблема, надо распилить FunctionsArithmetic.cpp
-
Насколько я слышал, в кх есть места с ассемблерными вставками, их никто под что то кроме амд64 и арм64 не делал
-
Joined. -
Joined. -
есть SSE интринсики, как с SSE на ARM? Вероятно, никак
-
Врядли они налету конвертируются в ARM Neon
-
все sse места обложены корректными #if sse*, все ассемблерные места - #if x86_64 - потому оно под арм64 и собирается
-
Ясно, когда я занимался разработкой ClickHouse, я таких conditional-compilation путей не добавлял :)
-
Видимо это случилось после
-
под 32 бит скорее всего соберется с не очень большим количеством проблем, особенно если все внешние либы использовать
-
Вроде в момент когда выложили в опенсорс не у всех мест был else
- 17 April 2017 (104 messages)
-
Всем привет.
Кто-нибудь использует функции для работы со словарями (в т.ч. словарями Яндекс.Метрики) в WHERE или PREWHERE секции? Например, WHERE regionToCity(RegionID)=55. Интересует, так же ли это эффективно, как WHERE CityID=55, если держать CityID в собственном столбце (не в ПК). -
можете подсказать, как избежать ошибки DB::Exception: ARRAY JOIN requires array argument. в случае, когда тип колонки Nullable(Array(...))?
-
Cannot convert data from a nullable type to a non-nullable type.
-
А зачем массив делать nullable? Пустым нельзя обойтись?
-
мне показалось, что так будет удобнее при запросах
-
Не будет
-
Лучше стараться не использовать null
-
Их поддержка сейчас не самая лучшая
-
ну и к тому же это свойство страницы, массива может либо не существовать, либо он может быть пустым
-
Ну только если это действительно важно для запросов. Хотя можно отдельный атрибут записать, по сути тоже признак null
-
А если у нас nested и массивы должны быть одинакового размера, в этом случае нормально использовать null, правильно понимаю? -
так и было раньше. я посмотрел на нуллы после первого их появления в CH – тогда было много багов, поэтому решил подождать с изменением таблиц. сейчас на первый взгляд всё показалось ок, но вот arrayJoin я как-то упустил.
-
Ну только если это действительно важно для запросов. Хотя можно отдельный атрибут записать, по сути тоже признак null
-
я думаю, что нормально было бы при наличии {column} IS NOT NULL конверить такую колонку из Nullable-типа в обычный (это чисто пользовательский взгяд)
-
День добрый. Вопрос. При создании materialized views в структуре таблиц создаются некие внутренние структуры типа .inner.<view_name>. Произошла странная ситуация, было переполнение места на сервере - в итоге самих вьюх нет, а вот эта ".inner"-структура осталась, дропами не удаляется и новые вьюхи не создаются. Что делать? -
Смотрите, поддержка null появилась в КХ достаточно недавно и по прежнему есть ограничения в работе
-
Поэтому их ещё и в документации нет.
-
Я это понял
-
Если есть возможность их не использовать - не используйте.
-
Если их не задействовать, то как тогда обходить ошибку не соотвесвтия размеров массивов при вставке в нестед колонки, ибо если ты их оставляешь пустым - то у тебя получается ошибка. Я пока оставил null тип.
-
Что за ошибка?
-
момент
-
Exception("Sizes of nested arrays do not match")
-
это эксепшн точнее
-
решено.
drop table `.inner.<view_name>`; -
Всем привет!
Есть проблема.
На запрос SELECT * from db.events LIMIT 1 FORMAT JSONCompact
выпадает
Code: 246. DB::Exception: Received from localhost:9001, ::1. DB::Exception: Received from ch-1:9001, 192.168.58.36. DB::Exception: bad size of marks file `/mnt/hadoop/data/clickhouse/data/db/events_local/20170313_20170331_3_1017308_5392/items%2Ename.null.mrk':5312, must be: 2096.
db.events - Это distributed над db.events_local (ReplacingMeergeTree)
OPTIMIZE TABLE groot3.events_local PARTITION 201703 FINAL - совсем не помог
Хоть какие-нибудь идеи ?? -
версия кликхауса какая?
-
1.1.54165
-
-
OPTIMIZE FINAL was fixed in version 1.1.54188
-
Спасибо, буду апдейтиться
-
Обновился до 1.1.54198 - результата не добился.
Всё равно в трейс вылетает эта ошибка. -
Как я понимаю, в таком случае данные побиты и на реплике?
-
Добрый день. подскажите делаю
select toDateTime(eventTime)
group by toHour(eventTime)
Column eventTime is not under aggregate function and not in GROUP BY
ожидается - в select вывести дату, а сгруппировать по часу -
я просто не пойму почему нельзя просто вывести поле а сгруппировать по части данных этого поля. зачем группировать по секундно и потом еще по часу ?
-
так мне и не надо
-
только по часу
-
GROUP BY
eventTime,
toHour(eventTime),
? не уж то так надо писать? -
ну тогда как вывести нормальную дату в виде timestamp а сгруппировать только по часу?
-
это не уберает ошибку
-
Joined. -
хочу по часу сгруппировать то есть да 24 строки
-
не понял
-
потому что так работает sql в любой базе отличной от mysql.
-
а работает он так потому, что в общем случае вы не можете вывести из отношения функциональную зависимость, в результате которой ответ становится однозначным.
-
поясните пожалуйста в рамках моего примера
-
вы делаете запрос
select toDateTime(eventTime)
...
group by toHour(eventTime)что вы ожидаете получить -
например у вас данные 00:00:00 , 00:00:01
-
мне нужно сгруппировать по часу посчитав для этого часа сумму записей. поэтому хочу к часу привести но вывести полную дату
-
что такое полная дата
-
17/04/2017 - полная дата?
-
это Y-m-d h:i:s
-
просто вывести datetime поле
-
но группировку осуществить по часу
-
очень хорошо. у вас есть две строки
eventTime
2000-01-01 00:00:00
2000-01-01 00:01:00что должен выдать ваш запрос -
хм. вроде то что надо. я понял смысл
-
Спасибо
-
toStringCutToZero скажите эта функции сильно грузит сервак (серер уходит в аут). В чем может быть дело?
-
может и проще. просто когда результат возвращается от кх то там где строки куча байт символов
-
поэтому хочется вырезать их чтобы получить нормальную строку
-
вот даже сравнил вешаю на одно поле toStringCutToZero и получаю в 2 раза дольше выполнение запроса
-
хотя на счет в 2 раза дольше. это как-то случайно так вышло
-
помоему они одинаковы по производительности
-
ладно будем думать)) но тут есть какой-то баг крашится сервак из-за применения этих функций например два поля fixedString и два поля пытаешься обработать функцией в итоге сыпется сервак. решение - просто сделал toString на одно из полей
-
пример схемы, пример запроса?
-
toString(applicationName) as applicationName,
toStringCutToZero(os) as os, -
applicationName String, os FixedString(70)
-
ну тут вроде все правильно
-
сча найду это поле
-
а вот я понял я на поле типа String вешал toStringCutToZero
-
и это вызывает краш сервера
-
никакого эксепшена ничего. просто висит и пытается выполнить запрос как в это время сервер уже сдох)
-
SELECT
toStringCutToZero(applicationName)? -
да это вызвало падение сервера
applicationName - String -
что-то с первого раза не воспроизводится. а в логах что?
-
😲
- 18 April 2017 (204 messages)
-
Joined. -
тут нет тру или не тру, если вы, например, хотите использовать встроенные функции CH для вставки данных то используйте github.com/roistat/go-clickhouse т.к. он работает поверх http и просто пересылает запрос на сервер, напротив https://github.com/kshvakov/clickhouse использует "нативный" формат который требует преобразования данных на клиенте, т.е. если поле FixedString(16) то он и ждет 16 байт, а не UUIDStringToNum('uuid-uuid'), но он позволяет вставлять данные в 2-3 раза быстрее чем через http интерфейс если его использовать в обход гошного интерфейса https://github.com/kshvakov/clickhouse/blob/master/examples/direct.goGitHub - roistat/go-clickhouse: Golang ClickHouse connector
Golang ClickHouse connector. Contribute to roistat/go-clickhouse development by creating an account on GitHub.
-
и еще, https://github.com/kshvakov/clickhouse поддерживает стандартный гошный интерфейс для работы с базами данных, конечно если вам это важноGitHub - ClickHouse/clickhouse-go: Golang driver for ClickHouse
Golang driver for ClickHouse. Contribute to ClickHouse/clickhouse-go development by creating an account on GitHub.
-
Доброе утро, есть ли возможность проставить DEFAULT для столбца в Nested?
create table test2 (
id Int8 ,
date Date,
items Nested
(
name String DEFAULT 'None',
type String DEFAULT 'None')
) ENGINE = ReplacingMergeTree(date, (id), 8192)
Syntax error: failed at position 77 (line 6, col 17) -
Спасибо большое, заработало!
Есть ещё один (глупый) вопрос, но я с ним не могу разобраться.
Есть таблица:
CREATE TABLE test.test ( ts String DEFAULT \'None\', ts2 String DEFAULT \'None\', ti2 Int32 DEFAULT CAST(0 AS Int32), date Date) ENGINE = ReplacingMergeTree(date, ti2, 8192)
Как правильно инсёртить пустые строки? В документации не нашёл примера.
:) insert into test values ( 'kjh',,,'1990-08-14')
INSERT INTO test VALUES
Exception on client:
Code: 62. DB::Exception: Cannot parse expression of type String here: ,,'1990-08-14')
Connecting to database test at localhost:9000.
Connected to ClickHouse server version 1.1.54198.
Заранее спасибо! -
:) insert into test values ( 'kjh','',,'1990-08-14')
INSERT INTO test VALUES
Ok.
1 rows in set. Elapsed: 0.034 sec.
:) select * from test
SELECT *
FROM test
┌─ts──┬─ts2─┬─ti2─┬───────date─┐
│ kjh │ │ 0 │ 1990-08-14 │
└─────┴─────┴─────┴────────────┘
1 rows in set. Elapsed: 0.007 sec.
:) -
Получается что он не значение поумолчанию вписал, а то которое я передал, т.е. ''
-
Ок, понял Вас. Спасибо.
Это можно считать багом и написать git-issue, или это ожидаемое и стандартное поведение для String? -
Есть ещё один вопросик.
При инсёрте ловлю эксепшен из Functions/FunctionsArray.cpp
throw Exception{"Function array requires at least one argument.", ErrorCodes::NUMBER_OF_ARGUMENTS_DOESNT_MATCH};
Можете помочь разобраться что прокидывается в NUMBER_OF_ARGUMENTS_DOESNT_MATCH и при каком кейсе должно вылететь это исключение? -
потому что 650.01 * 100 = 65001.00
-
))))
-
учитесь жить с такими дубликатами, limit by вам в помощь https://clickhouse.yandex/reference_en.html#LIMIT N BY modifierClickHouse Documentation | ClickHouse Documentation
ClickHouse is a fast open-source column-oriented database management system that allows generating analytical data reports in real-time using SQL queries
-
limit by это не limit, если у вас есть уникальное значение то по нему можно отсекать только первое появившееся, а остальные откидывать, посмотрите в документации
-
это как если бы вы оконной функцией посчитали ранк с овер бай и вычитали записи только с ранком = 1
-
пример
CREATE TABLE diff_test
(
session_id String,
price Float64,
action_at DateTime
) ENGINE = Memory;
insert into diff_test values ('session1', 0.42, '2017-02-14 10:16:00'),
('sessiondup1', 0.84, '2017-02-14 10:18:00'),
('sessiondup1', 0.42, '2017-02-14 10:16:00'),
('session2', 0.42, '2017-02-14 10:19:00'),
('sessiondup2', 0.42, '2017-02-14 10:19:00'),
('sessiondup2', 0.42, '2017-02-14 10:19:00'),
('session2', 0.42, '2017-02-14 10:19:00'),
('session3', 0.42, '2017-02-14 10:19:00');
и
select * from diff_test order by action_at limit 1 by session_id;
SELECT *
FROM diff_test
ORDER BY action_at ASC
LIMIT 1 BY session_id
┌─session_id──┬───────────────price─┬───────────action_at─┐
│ session1 │ 0.42000000000000004 │ 2017-02-14 10:16:00 │
│ sessiondup1 │ 0.42000000000000004 │ 2017-02-14 10:16:00 │
│ session2 │ 0.42000000000000004 │ 2017-02-14 10:19:00 │
│ sessiondup2 │ 0.42000000000000004 │ 2017-02-14 10:19:00 │
│ session3 │ 0.42000000000000004 │ 2017-02-14 10:19:00 │
└─────────────┴─────────────────────┴─────────────────────┘
5 rows in set. Elapsed: 0.016 sec. -
если в каждом запросе использовать limit by - это сильно скажется на скорости выполнения запроса?
Мы ведь используем доп группировку -
мы вынуждены использовать limit by, раньше было другое, костыльное, решение и оно работало медленнее
-
например: если мобильные прокси дублируют вам клики/показы, но на них есть уникальный код, то без этого тут никак :)
-
Добрый день! Кто-нибудь сталкивался с задачей сравнения данных по периодам? Например, показатели за эту неделю по сравнению с показателями прошлой недели. Эту задачу можно решить одним запросом, но он выглядит довольно громоздко. Быть может, у кого-то был опыт решения аналогичной задачи?
-
Приветствую!
-
А почему бы не заюзать графану для этого?
-
тупо сделать два графика и врубить "cursor following"
-
тогда ведя курсор по одному графику он будет двигаться и по другому, синхронно
-
да, он выглядит довольно громоздко.
-
если потребитель этих данных - хомо сапиенс, тогда сработает я думаю ))
-
я и заюзал) данные нужны в табличной форме и у меня получилось это сделать, но запрос на сравнение выглядит примерно так
SELECT
(ReqsNow / ReqsPrev - 1) Reqs
FROM
(
SELECT
minus($to, $from) range,
toDateTime(minus($from, range)) prevFrom,
sumIf(Reqs, (DateTime BETWEEN prevFrom AND $from)) ReqsPrev,
sumIf(Reqs, (DateTime BETWEEN $from AND $to)) ReqsNow
FROM $table
WHERE DateTime BETWEEN prevFrom AND $to
) -
и меня не покидает мысль, что это можно решить более оптимальным способом
-
-
у нас и на экран запросы бывают.
-
можете подсказать, как вставить пустой массив не изнутри clickhouse-client? при [] получаю ошибку DB::Exception: Function array requires at least one argument..
-
в clickhouse-client работает select emptyArrayUInt32()
-
Да, спасибо! Вы мне помогли
-
в clickhouse-client и insert into x values([]) работает.
-
Joined. -
а без values можно как-нибудь? нужно заимпортить TSV
-
в clickhouse-client и insert into x values([]) работает.
-
Добрый день!
-
Столкнулся с проблемой дубликатов. В таблице есть данные, которые нужно переодически обновлять. Пытаюсь сделать это через инсерт. Подскажите, пожалуйста, какие есть пути решения данной задачи в clickhouse. Спасибо.
-
Пробовал ReplacingMergeTree, но он дубликаты схлопывает только при слиянии. Нужно выбирать только самые свежие.
-
argMax(column, datetime), final ?
-
попробую, спасибо.
-
LIMIT BY вернет первое значение, насколько я понимаю. нужно последнее.
-
сделайте ему order by по дате и все
-
Добрый день. через curl шлю запрос. прилетает жирный ответ (куча строк) за счет чего время отправки и получение достигает около 2 минут. как тут быть?
-
в каком смысле в файлик выводить? на сервер кх сразу в файлик писать?
-
select
-
получаю результат в виде 30 тыс строк (там группировка по часу и по другим полям sum)
-
вы имеете ввиду сразу в файл писать. но это просто агрегация на фоне статистических данных
-
подробная для администратора
-
30 тыс строк это всего период за неделю
-
пачками шлем. получаем результат пишем в файл
-
файловый кеш
-
но результат от кх приходит через минуту две. вот это проблема(
-
т.к. много данных
-
ага
-
бывает через 3)
-
да запрос жирноват. 5 sum и 7 группировок
-
но тут проблема скорее в другом. много результатов
-
я пишу эти же результаты в файл. и файлик выходит около 50-100 мб
-
а сколько времени выполняется сам запрос?
-
как проверить ? напрямую в клиенте кх ? без курла ?
-
да
-
вот прикол в том что если например обернуть это дело в select count(*) FROM (тут мой другой select жирный) то через клиент напрямую 3 сек
-
Showed first 10000.
1786493 rows in set. Elapsed: 9.159 sec. Processed 1.79 million rows, 960.02 MB (195.88 thousand rows/s., 104.82 MB/s.) -
я так понимаю это 10 000
-
или статистика за весь select ?
-
Showed это что? отобразил только 10 000 а запрос обработал за 9 сек ?
-
все так
-
https://clickhouse.yandex/reference_ru.html#count()
Запрос вида SELECT count() FROM table не оптимизируется, так как количество записей в таблице нигде не хранится отдельно - из таблицы будет выбран какой-нибудь достаточно маленький столбец, и будет посчитано количество значений в нём.
думаю поэтомуДокументация ClickHouse | Документация ClickHouseClickHouse is a fast open-source column-oriented database management system that allows generating analytical data reports in real-time using SQL queries
-
тогда видимо все остальное время он выкачивает данные в ответ на запрос))
-
фильтрует другие колонки
-
чем меньше колонок в селекте, тем быстрее
-
ладно что нибудь придумаю спасибо )
-
если пагинация допустима в запросе (limit+offset)
-
то можно в 2 запроса делать
-
первым ограничить поиск (по дате, например), а вторым уже запрашивать нужную страницу результата с более узким условием поиска
-
мы так делаем
-
не where date >= 2016-01-01 and date <= 2017-01-01, а смотрим сколько записей по датам, отсчитываем нужный offset а потом where date >= 2016-02-23 and date <= 2016-02-25 уже с селеком нужных данных
-
костыль, но помогает быстро работать запросам
-
или еще "лайфках" - union all нескольких одинаковых запросов, например помесячно
-
или по какому-нибудь еще признаку
-
тоже быстрее работает
-
как вариант. но у нас группировка по часу представь сколько результатов
-
скорее будем слать напрямую запросы
-
с пагинацией да
-
а от кеша откажемся
-
не, я имею ввиду:
where date >= 2016-01-01 and date <= 2016-03-01 -> where date >= 2016-01-01 and date < 2016-02-01 union all where date >= 2016-02-01 and date <= 2016-03-01 -
разве это не одно и тоже если бы вы написали битвин из двух дат?
-
параллельно идут, а поверх них еще запрос, который догруппировывает, сортирует и тд
-
надо попробовать спасибо)
-
Joined. -
самое полное - описание кодом ;)
-
Подскажите, уровень логгирования "trace" это какой? и какая вообще иерархия уровней логгирования? -
стандартная небось?
-
<Error> Application: Invalid argument: Not a valid log level: info
-
видимо нет
-
-
information
-
Кул! Спасибо.
-
кто нибудь знает предел кх - одновременных запросов select ?
-
сколько можно спросить или сколько он может ответить?)
-
сколько асинхронных запросов могу отправить одновременно?
-
Там есть переменная в конфиге, по-умолчанию — 100. Сколько потянет — не знаю
-
https://clickhouse.yandex/reference_ru.html#Пропускная способность при обработке большого количества коротких запросов.Документация ClickHouse | Документация ClickHouse
ClickHouse is a fast open-source column-oriented database management system that allows generating analytical data reports in real-time using SQL queries
-
понял
-
Ребят, а есть где то дока по расчету гранулярности индекса? Последний параметр при создании mergetree.
-
404
-
Всем привет!
Обсуждаем ClickHouse, задаём любые вопросы, стараемся не флудить!
Информация: https://clickhouse.yandex
Страничка на вики - https://ru.wikipedia.org/wiki/ClickHouse
Доклад про ClickHouse с Highload++: https://www.youtube.com/watch?v=TAiCXHgZn50
Google группа - https://groups.google.com/forum/#!forum/clickhouse
Чат на английском: https://t.me/clickhouse_enClickHouse DBMSClickHouse is a fast open-source column-oriented database management system that allows generating analytical data reports in real-time using SQL queries
-
None
-
Советую grammarly
-
+1
-
полезная штука очень
- 19 April 2017 (90 messages)
-
Доброе утро! а как бороться с этим?
Code: 252, e.displayText() = DB::Exception: Too much parts. Merges are processing significantly slower than inserts., e.what() = DB::Exception -
увеличил значение этой опции parts_to_throw_insert
-
чем это может быть чревато?
-
<zanudaMode>Должно быть "Too many...", а не "Too much..." :-Ъ</zanudaMode>
-
okay видимо чревато вот этим 2017.04.19 08:18:22.482873 [ 12 ] <Error> HTTPHandler: Cannot send exception to client: Code: 24, e.displayText() = DB::Exception: Cannot write to ostream
-
количество партиций, тем временем, растет.
-
1.1.54213
-
Этому предшествовало переполнение раздела диска, на котороый льются логи.
-
из-за вот этого 2017.04.19 07:32:08.894218 [ 17 ] <Information> HTTPHandler: Done processing query
-
хорошо, спасибо щас попробую
-
Joined. -
доброе утро коллеги. а есть возможность в CH сделать аналог инфлюксовского last() ... group by time(), т.е. разбить на произвольное количество интервалов и взять последнее значение из каждого? мануал несколько раз перерыл, но пока особо идей не появилось.
-
Вроде и max с group by подойдёт
-
argMax(arg, val)
-
max(time) вполне подойдет
-
вопрос, видимо, в том как разбить timeseries по группам в интервалы, чтобы у каждой группы взять max()?
-
а если у меня наносекундная точность для time?
-
и интервалы с наносекундной точностью тоже
-
то есть мне нужно разбить time UInt64, value String промежуток на равные части(100, например), и взять последнее значение value из каждого
-
time UInt64 для каждого интервала могу из кода передать
-
хмм, интересная мысль, спасибо!
-
Игорь, знаете, не получилось пока. интервалы есть, а как их теперь связать с основной таблицей? то есть что-то подобное? только рабочее :)
select arrayJoin([0,40,70]) as start, arrayJoin([40,70,100]) as end, max(time) from points where time between start and end group by time -
может кто еще подскажет решение моего вопроса по time series, а-ля инфлюксовский last() ... group by time()? я тут даже оформил его в гист :) https://gist.github.com/tonky/bede878db55913f7d2edb9368d3774bfclickhouse time series
clickhouse time series. GitHub Gist: instantly share code, notes, and snippets.
-
))
-
о блин, спасибо -
Пожалуйста )
-
А вот этот PR зарелижен https://github.com/yandex/ClickHouse/pull/680 в деб репо?stable column order in BufferBlockInputStream by ztlpn · Pull Request #680 · yandex/ClickHouse
ClickHouse is a free analytic DBMS for big data.
-
оки, ждем)
-
Подскажите, пожалуйста, как записать пачку данных в CH при помощи питона (2.7)? использую библиотеку infi.clickhouse_orm.. Пробовала стандартной функцией insert, но там требуется схема, исполнение завершается ошибкой.. Знать бы как должна выглядеть эта схема, я бы подготовила данные в таком формате
-
Коллеги , хочу задать глупый вопрос - по какому принципу лучше всего сегменитровать данные на шарды, нормально ли разделять их не отталкиваясь от самих данных и предметной области, а поровну инсертить по 3 шарда по 2 репликам, а потом делать селекты через distributed таблицу?
-
Вам нужно создать модель данных -
И воспользоваться функциями записи которые даёт эта orm
-
Если выложите traceback или кусок кода, можно что то ещё сказать ...
-
В принципе там в readme проекта есть пример с простенькой моделью
-
А это в новых версиях кх стал слушать только локалхост вместо 0.0.0.0 по умолчанию?
-
А, ладно... А то смотрю что обновил и все сломалось. )
-
Настроил кластер Clickhouse из 2х нод на zetcd вместо zookeeper-a. На первый взгляд успешно работает ;) данные вставляются и видны на обоих нодах.
-
Интересно сравнить производительность zetcd с zookeeper и вообще характеристики оного
-
да, пофиксили не очень давно
-
Пока не гонял тесты, на неделе будем смотреть. С учётом того что под капотом etcd а там заявлено до 1000 запросов на запись в секунду должно быть норм
-
Ну вот интересно )
-
Joined. -
Joined. -
Всем привет! Вопрос касательно зукипера в разных дц. Как правильнее делать - один общий кластер или один дц делать мастером, а остальные как observers? Если общий кластер, то не будет ли запись сильно страдать? Благодарю!
-
У нас везде один общий крос-дц кластер
-
Докер-образ yandex/clickhouse-server не стартует с дефолтным конфигом командой, которая написана на странице https://hub.docker.com/r/yandex/clickhouse-server/
Выпадает с ошибкой <Error> Application: Net Exception: Cannot assign requested address: [::1]:8123
Покрайней мере в macos -
докер по дефолту без ипв6 вроде
-
--ipv6 —fixed-cidr-v6=2001:db8:1::/64
если докер так запустить, то заработает. а кто может поправить в докере не знаю -
да я уже справился. это багрепорт )
-
Даже ты! это же опенсорс!
-
fix listening host in server docker image · yandex/ClickHouse@e552983
ClickHouse is a free analytic DBMS for big data.
-
я нашел крайнего:)
-
кажется для докера это не нужно, в него все равно никто лишний не попадет, даже если слушать *
-
а если не указывать —fixed-cidr-v6= - запустится с чем-нибудь link-local ?
-
у меня не запсутилось вообще
-
Enable IPv6 support
How to enable IPv6 support in the Docker daemon
-
сам читай в общем :)
-
@milovidov_an круто, спасибо большое!
-
@AndreevDm спасибо! Попробуем так и сделать :)
-
Joined. -
Добрый вечер! А есть ли функциональность полнотекстового поиска?
Или считается что для целей быстрой аналитики он слишком громоздкий? -
Спасибо!
-
Joined. - 20 April 2017 (275 messages)
-
добрый день. ребята подскажите плиз как по неделям сгруппировать ?
-
toRelativeWeekNum() должно подойти -
можно пример ?
-
:) select toRelativeWeekNum(a), count() from (select [toDate('2017-01-01'), toDate('2017-01-02'), toDate('2017-01-03')] as a) array join a group by toRelativeWeekNum(a)
SELECT
toRelativeWeekNum(a),
count()
FROM
(
SELECT [toDate('2017-01-01'), toDate('2017-01-02'), toDate('2017-01-03')] AS a
)
ARRAY JOIN a
GROUP BY toRelativeWeekNum(a)
┌─toRelativeWeekNum(a)─┬─count()─┐
│ 2452 │ 2 │
│ 2451 │ 1 │
└──────────────────────┴─────────┘
2 rows in set. Elapsed: 0.002 sec. -
а можно ли как-то в human виде диапазаон увидеть? а то выводит 2464 2449 2445
-
toMonday()
-
что значат эти числа))
-
Это номер недели начиная с некоторой даты.
-
Да, это так.
-
не совсем понял. начиная с какой даты он берет?
2464
2449
2445
2454
2465
2443
2455
2444 -
1970-01-01. Но можно вычесть количество недель, прошедших с любой другой даты.
-
кстати, да. я, прочитав описание, рассчитывал на второй аргумент, относительно которого можно считать число недель )
-
может, указать это в документации, а то "начиная с некоторого фиксированного момента в прошлом" слишком размыто и запутанно?
-
Я тоже.
-
а в каком-то формате вывести нельзя? например 2017-01-01 - 2017-01-07 ?
-
👍🏻похоже на правду)) приду попробую
-
toMonday() же, нет?
-
а в каком-то формате вывести нельзя? например 2017-01-01 - 2017-01-07 ?
@clickhouse_ru / Public archive of Telegram messages.
- 01 Apr 2017 (32)
- 02 Apr 2017 (23)
- 03 Apr 2017 (150)
- 04 Apr 2017 (91)
- 05 Apr 2017 (57)
- 06 Apr 2017 (159)
- 07 Apr 2017 (69)
- 08 Apr 2017 (32)
- 09 Apr 2017 (82)
- 10 Apr 2017 (133)
- 11 Apr 2017 (139)
- 12 Apr 2017 (145)
- 13 Apr 2017 (129)
- 14 Apr 2017 (210)
- 15 Apr 2017 (67)
- 16 Apr 2017 (48)
- 17 Apr 2017 (104)
- 18 Apr 2017 (204)
- 19 Apr 2017 (90)
- 20 Apr 2017 (275)
- 21 Apr 2017 (72)
- 22 Apr 2017 (81)
- 23 Apr 2017 (39)
- 24 Apr 2017 (109)
- 25 Apr 2017 (92)
- 26 Apr 2017 (134)
- 27 Apr 2017 (152)
- 28 Apr 2017 (57)
- 29 Apr 2017 (20)
- 30 Apr 2017 (56)