- 01 May 2017 (38 messages)
-
Joined. -
Правой кнопкой по результату. -
А как победить повеление tabix, когда после перезагрузки страницы он отказывается работать с ch, хоть и показывает что залогинен? -
Посмотреть ошибки в дебаг консоли браузера для начала -
чет я сразу и не сообразил. После перезагрузки страницы падает на запросе:
vendor-6613b9e910.js:45 POST http://%clickhouse_url%/?add_http_cors_header=1&log_queries=1 net::ERR_CONNECTION_REFUSED
ломится на 80 порт. -
Ошибка моя, но поведение интересное. Если в настройках коннекта не указать порт, то он все равно подключится, но после рестарта будет пытаться слать запросы на 80 порт. Если порт в настройках коннекта указать, то все ок даже после рестарта.
-
Всем привет!
Запилил сборщик запросов к кликхаусу. Собирает мелкие запросы, собирает все это в большие и отправляет на разные инстансы.
Кому актуально, потестите пожалуйста и дайте обратную связь.
Интерфейс стандартный, поэтому можно стандартные адаптеры на него направлять.
https://github.com/nikepan/clickhouse-bulkGitHub - nikepan/clickhouse-bulk: Collects many small inserts to ClickHouse and send in big insertsCollects many small inserts to ClickHouse and send in big inserts - GitHub - nikepan/clickhouse-bulk: Collects many small inserts to ClickHouse and send in big inserts
-
ссылка на скомпиленный x64 https://www.dropbox.com/s/e99urgy3sx71f41/clickhouse-bulk-linux_64.tgz?dl=0clickhouse-bulk-linux_64.tgz
Shared with Dropbox
-
О, тру! Батчер! -
А в каком формате принимает? Формат кликхауса съест?
-
Ок, подождем поддержки rowbinary или native -
добрый день
поставил через докер на маке, clickhouse-client подключается, но tabix - на тотже ip вроде как подключается, но ничего не показывает, как минимум список дб
в консоли у него Failed to load resource: net::ERR_CONNECTION_TIMED_OUT
Где проблема? -
Сейчас задача gui подключить
-
сделал вируталку на aws, поставил все за пару минут )
открыл порты 8123, 9000, 9009
но по внешнему ip не подлючается, нет никаких доп настроек в кликхаусе? -
надо было <listen_host>::</listen_host> поставить
-
На маке докер в виртуалке. Точно на нужный ip коннектишься?
-
ошибка гдето там, но забил уже, развернул на aws за 15 мин, все работает
-
в докере много лишних телодвижений
-
Спасибо!
- 02 May 2017 (60 messages)
-
есть multicorn для sqlalchemy, возможно работает
http://multicorn.org/foreign-data-wrappers/#sqlalchemy-foreign-data-wrapper
https://github.com/cloudflare/sqlalchemy-clickhouseGitHub - cloudflare/sqlalchemy-clickhouseContribute to cloudflare/sqlalchemy-clickhouse development by creating an account on GitHub.
-
привет. столкнулся с проблемой: на локальных и distributed таблицах удалил три колонки, изменил запрос на импорт, но ругается на то, что этой колонки не существует:
Exception: Code: 10, e.displayText() = DB::Exception: Not found column utm_source in block. There are only columns: ..., e.what() = DB::Exception -
при этом вставляю с указанием колонок:
INSERT INTO clickstream (columns) FORMAT TSV
, и там utm_source нет -
можете подсказать, что с этим делать? проверил через desc table – таких колонок нет, пересоздал distributed-таблицу (импортирую всё через нее) – не помогло
-
Не уверен, но скорее всего дело в кэше зукипера - у меня подобная проблема была, когда после пересоздания таблицы не создавались записи эквивалентные тем, которые были в таблице до пересоздания.
Решил проблему переименованием пути до хранилища в зукипере -
https://zookeeper.apache.org/doc/r3.1.2/zookeeperAdmin.html#The+Data+Directory
Вот этот путь надо изменить? -
Извините, что поднимаю. Проблема выглядит серьезной, если я сам где-то не натупил. Костылить со сменой пути в зукипере не хочется.
-
Это общее ограничение по памяти.
-
"При использовании max_bytes_before_external_group_by рекомендуется выставить max_memory_usage примерно в два раза больше. Это следует сделать, потому что агрегация выполняется в две стадии: чтение и формирование промежуточных данных (1) и слияние промежуточных данных (2). Сброс данных на файловую систему может производиться только на стадии 1. Если сброса временных данных не было, то на стадии 2 может потребляться до такого же объёма памяти, как на стадии 1."
-
Привет! Возможно ли вызвать OPTIMIZE по всем данным. Сейчас этот запрос выполняется очень быстро и оптимизирует минимум строк. -
Может быть вам поможет OPTIMIZE FINAL.
"Если указан FINAL, то оптимизация будет производиться даже когда все данные уже лежат в одном куске." -
в users.xml:
<!-- Profiles of settings. -->
<profiles>
<!-- Default settings. -->
<default>
<!-- Maximum memory usage for processing single query, in bytes. -->
<max_memory_usage>20000000000</max_memory_usage>
<!-- Use cache of uncompressed blocks of data. Meaningful only for processing many of very short queries. -->
<use_uncompressed_cache>0</use_uncompressed_cache>
<!-- How to choose between replicas during distributed query processing.
random - choose random replica from set of replicas with minimum number of errors
nearest_hostname - from set of replicas with minimum number of errors, choose replica
with minumum number of different symbols between replica's hostname and local hostname
(Hamming distance).
in_order - first live replica is choosen in specified order.
-->
<load_balancing>random</load_balancing>
</default>
<!-- Profile that allows only read queries. -->
<readonly>
<readonly>1</readonly>
</readonly>
</profiles> -
Спасибо. Создал: https://github.com/yandex/ClickHouse/issues/752Column not found error · Issue #752 · yandex/ClickHouse
We have distributed table clickstream and 6 nodes (3 shards x 2 replicas) with local tables. I removed columns utm_source, utm_medium, utm_campaign both from distributed and local tables and change...
-
есть только обычные View
-
но я их удалил (не особо нужны), и всё заработало
-
спасибо!
-
Может работать эффективнее по памяти если строки у вас длиннее хеша.
-
Спасибо за полный ответ!
-
Всем привет! А на какком-то из митапов говорили, что можно запрашивать прямо из CSV, без перегрузки в БД. Кто-то помнит как? -
clickhouse-local?
-
Да, точно! А где оно берётся? На маке только клиент и сервер видно сразу
-
clickhouse --local -
можно сделать симлинк clickhouse -> clickhouse-local
-
Для истории: как по-простому позапрашивать из многомногомногоколоночного CSV: cat gl.csv | clickhouse-local -S "`head -n 1 gl.csv | sed -e 's/\"/\n/g' | sed -e 's/,/ String,/g' | tr --delete '\n' | sed 's/.*/\0 String/'`" --input-format=CSV -q "select count(*) from table where message = 'SearchResult' limit 10" #faq
-
Добрый вечер. Прошу подсказать. Есть таблица A (35М строк, MEMORY) и таблица B (100M строк, MergeTree) обе имеют столбец column. Хочу создать селект значений column, которые содержатся в A но не содержатся в B, другими словами вычесть из множества A множество B. Есть идеи как лучше реализовать и при этом не получить ошибку 'Cannon allocate memory' при джоине? :) -
А значения уникальные?
-
@AndreevDm да, уникальные. @ztlpn, спасибо, попробую.
-
Интрига. -
если у вас есть crdt с некоторым мержем v1,v2->v, то лифтинг в Nullable(T) кажется тривиален. -
вопрос в том, какие проблемы это создаст.
- 03 May 2017 (51 messages)
-
Может вам агрегирующий двиг попробовать? -
Всем привет. Назрел вопрос по индексам в мердж три.
Я так понимаю они не работают по отдельности? А работают потипу как партишен кей в кассандре?
Что бы всё работало верно - надо указывать в правильном порядке?
Т.к. есть к примеру CampID, я вношу его в индекс после EventDate и когда делаю выборку по нему - всё равно клик хаус проходит через всез записи в базе -
Есть ли возможность сделать как-то "привычные" индексы?
-
Привычных нет. Есть ключ и поле с датой. Поле с датой для партиций. Ключ для сортировки данных.
-
Тут очень подробно про ключ.
https://groups.google.com/forum/#!searchin/clickhouse/%D0%B8%D0%BD%D0%B4%D0%B5%D0%BA%D1%81%7Csort:relevance/clickhouse/eUrsP30VtSU/p4-pxgdXAgAJ -
Или тут на англ:
https://medium.com/@f1yegor/clickhouse-primary-keys-2cf2a45d7324ClickHouse Primary KeysRecently I dived deep into ClickHouse. ClickHouse is column-store database by Yandex with great performance for analytical queries. For…
-
Ага, спасибо большое. Пойду читать
-
Добрый день. А есть ли возможность удалять партишены из материализованных представлений? -
Вопрос снят. Другой вопрос: насколько безопасно завязывать чистку партишенов на .inner.* таблицы, лежащие под представлениями? Насколько велик шанс, что их названия поменяются в будущих версиях?
-
Почему при простом select * из Distributed table могу получать "Unknown identifier: valid"? где valid тип UInt8 -
Joined. -
Стоит проверить совпадают ли колонки у Distributed и у табличек на которые она смотрит.
-
Естессно, создавались через AS
-
тоже хейтите яву?)
-
haters must hate :)
-
+1 за zetcd
-
сцилла это а-ля кассандра
-
там, думаю, все-таки на порядок ниже производительность будет. все это дело должно выгрузиться целиком из сциллы, пройти через внешний обработчик, который вероятнее всего обрабатывает записи построчно, и там сгруппироваться. насколько помню, КХ очень агрессивно юзает обработку массивами (и, скорее всего, оттуда и все использования SSE), и здесь будет сложно добиться каких-то аналогичных результатов с выгрузкой по сетке и обработкой каждой записи отдельно. -
видимо речь шла сначала сконвертировать данные в кх а потом уже посчитать его средствами -
они там еще и в докере все сделали. хипстеры какие-то
-
там через спарк гонят
-
сцилла при этом сама рекомендует использовать себя только на XFS, как там union fs с этим - хз
-
ну я и говорю что кх по прикидкам должен солидно выиграть только за счет самой модели, не говоря про более мелкие нюансы )
-
Joined. - 04 May 2017 (147 messages)
-
Joined. -
Добрый день. Сlickhouse не собирается на FreeBSD 11-STABLE -
/tmp/usr/ports/databases/clickhouse/work/ClickHouse-1.1.54214-testing/dbms/src/AggregateFunctions/AggregateFunctionSequenceMatch.h:306:32: error: no matching member function for call to 'ignore'
if (special_open_p.ignore(pos, end))
~~~~~~~~~~~~~~~^~~~~~
/tmp/usr/ports/databases/clickhouse/work/ClickHouse-1.1.54214-testing/dbms/src/Parsers/IParser.h:43:10: note: candidate function not viable: no known conversion from 'char *' to 'Pos &' (aka 'const char *&') for 1st argument
bool ignore(Pos & pos, Pos end)
^ -
Порты в tmp это солидно
-
ошибка известна, полный лог такой http://beefy12.nyi.freebsd.org/data/head-amd64-default/p439918_s317660/logs/clickhouse-1.1.54214.log
-
Joined. -
и на 11.0-RELEASE с clang3.8 не воспроизводится
-
Не открывается -
Joined. -
-
-
Пока только в Idea. Если не считать пару небольших косяков, работает нормально -
В DG скорее всего аналогичная настройка
-
Да, создается новый источник с jdbc драйвером и дальше как обычно
-
У меня коллега удачно настроил. Даже список полей в таблицах виден с типами
-
Только собрать самому ((
-
Предложение складывать ее тоже в централ пока не поддержали =(
-
Там же мавен все сам установит -
Если ты подключаешь его как источник через файл драйвера к приложению то не установит
-
Я так думаю не принципиально. Там тривиальная сборка
-
Я собирал через встроенный в Idea
-
Ребят, а кто-нибудь завел Pentaho, Tableau или что-то подобное с ClickHouse?
-
в какой-то из версий драйвера при старте он делает запрос в сервер за таймзоной, эта функция есть не во всех версиях сервера. в следующей версии драйвера это поведение по умолчанию выключено.
-
т.е. должно лечиться либо апгрейдом сервера либо драйвера.
-
if(a,b,c)
-
Посмотрел код. Такое поведение возникает если в подключении указана настройка use_server_time_zone
-
да, там нужно выставить его в false, и видимо установить use_time_zone в что-то вроде europe/moscow
-
да по сути и нужен pivot с drag & drop и прочими плюшками. Менеджерам что угодно, лишь бы SQL не учить)
-
а откуда берется это имя в кавычках?
-
кликхаус имена понимает либо просто default либо в обратных кавычках default, которые телеграм не рисует.
-
`default` -
Надо просто две кавычки поставить
-
Дело не в настройках https://github.com/yandex/clickhouse-jdbc/issues/91Table select doesn't work in JetBrains IDE · Issue #91 · yandex/clickhouse-jdbc
I successfully compiled last master and installed it in PyCharm settings. Connection is OK, I see schema, databases, tables and there fields. Queries to ClickHouse via query interface work fine. Bu...
-
Joined. -
Поэтому просто перепиши запрос к таблице руками =)
-
Joined. -
Добрый день
Проектирую систему аналитики, похожую на метрику
Т.е. фиксируются все клики и собираются около 70 параметров по ним.
Часть кликов будет помечена как конверсионные
Задача - строить различные отчеты по группе параметров и дате. Как в метрике.
Планируется 1 млрд кликов в год и пиковая нагрузка 1000rps на запись в эту таблицу.
Вопросы:
1. Все 70 параметров помещать в одну таблицу или разбивать на важные и не важные
2. Стоит ли разбивать таблицу по проектно,по счетчикам если брать за пример метрику
3. Какие параметры сервера нужны под такие требования? -
заливайте данные в метрику, деньги поделим.
-
понятно, а по первым двум вопросам что можете посоветовать?
-
а под такой объем данных можете назвать необходимый RAM и проц и место на диске? Понятно что чем больше тем лучше, но хотелось оптимальный вариант
-
чтобы от чегото отталкиваться
-
ок, спасибо
-
если чуть более серьезно, то
- с точки зрения использования одна таблица с 70 параметрами работает нормально, если они фиксированной или ограниченной не очень большой длины,
- со стороны чтения удобно ходить в одну distributed таблицу, которая до некоторой степени абстрагирует логику шардирования.
- если соберетесь шардировать, у вас будет несколько вариантов со своими плюсами и минусами, по времени, по клиентам, по кликам..
- в простом случае ключ, судя по всему, у вас начинается с даты и клиента, это хорошо.
- 1 ярд событий, если они даже по килобайту это 1Тб в год, т.е. по диску вам больше одной машины не надо, из тех же соображений, вставка 1Мб/с не ограничена производительностью этой машины. при желании вы эти данные вообще можете в памяти держать. реплицировать, конечно же, нужно.
- если вы будете апдейтить клики, то ваша работа станет чуть менее удобной, хотя и более гибкой.
- по железу отталкивайтесь от чего угодно, поднимите виртуалку например, сгенерите случайные данные, посмотрите получаемую скорость, возможно вам уже будет достаточно. у нас тут люди запускаются на машинах от 200Гб до кофеварок с 1-2Гб. подходящая конфигурация может зависеть от количества одновременных запросов, от типового размера данных, от желаемого времени ответа итд. -
понятно, радует что все одной таблице
-
А есть ли в ClickHouse возможность джойнить по date between start_date and end_date?
-
ну да, в одной таблице есть записи с date, в другой есть записи с start_date и end_date.
-
У меня кейс очень похожий на описание range_hashed словаря
-
вы хотите join on, а пока работает только using.
-
можно наколдовать некий arrayJoin(dateRange(start_date,end_date)) as date , что наверное отработает как то, что вам нужно.
-
Joined. -
Есть новости по update/delete?
-
Обязательно ли соблюдение порядка столбцов в таблицах MergeTree при выборке через Distributed? -
делит возможен, но только помесячно
-
захардкодили, а перекомпилировать долго. это же си
-
-
-
а есть, кстати, кошелек / счет куда можно закинуть деньгу на развитие проекта?
-
я, конечно, понимаю, что у Яндекса и без моей мелочи денег предостаточно, но имхо, это вполне неплохой способ приоретизации фич. авторы всегда могут отдать их куда-то/кому-то
-
в конце-концов, 90% тут колотит/экономит неиллюзорное бабло на CH вполне себе откровенно
-
SL3 планировали сделать. Я думаю денег туда можно заслать)
-
SL3?
-
простите, я не знаю что это :(
-
service level 3. Поддержка платная или не ещё называют Enterprise поддержкой.
-
круто! ждем цен :) у меня личный интерес, не от компании, сильно золотых гор обещать не могу
-
Хмм... Интересно, зачем колоночная высокопроизводительная БД может понадобиться для личного интереса?
-
Можете попробовать собрать master/ последний коммит?
только если соберется - это сосвсем будет нестабильная версия, ее лучше не использовать -
-
Наверное просто потому, что хочется сказать спасибо чем-то большим чем стакан пива разработчикам?
-
а я упор на "личная" просто потому, что я рядовой инженер и не имею права публично говорить что-то от лица работодателя. сугубо legal оговорка в публичном общении.
-
всякие pet project и личные интересы разные бывают, сейчас в интернетах можно много чего пособирать-поанализировать. ну и всякие датчики, логи и прочие данные с кофеварок-холодильников...
-
именно так, у меня pet проект - https://github.com/pavel-odintsov/fastnetmonGitHub - pavel-odintsov/fastnetmon: FastNetMon - very fast DDoS sensor with sFlow/Netflow/IPFIX/SPAN support
FastNetMon - very fast DDoS sensor with sFlow/Netflow/IPFIX/SPAN support - GitHub - pavel-odintsov/fastnetmon: FastNetMon - very fast DDoS sensor with sFlow/Netflow/IPFIX/SPAN support
-
Вот кстати по поводу clickhouse-local. А он типы данных сам определяет или там все поля стринговые получаются?
-
основа умного дома и интернета вещей - да!
-
что потом делать с этими данными из умного дома? :) -
СЕЛЕКТИТЬ!
-
"мы им посылаем сигналы, а они под это танцуют и называют дабстеп"
-
Собираю с последним коммитом. Теперь ошибка в другом месте
-
какая?
-
/tmp/usr/ports/databases/clickhouse/work/ClickHouse-1.1.54214-testing/dbms/src/Storages/ColumnsDescription.cpp:110:32: error: non-const lvalue reference to type 'Pos' (aka 'const char *') cannot bind to a value of unrelated type 'char *'
if (!expr_parser.parse(begin, end, default_expr, max_parsed_pos, expected))
^~~~~
/tmp/usr/ports/databases/clickhouse/work/ClickHouse-1.1.54214-testing/dbms/src/Parsers/IParserBase.h:14:22: note: passing argument to parameter 'pos' here
bool parse(Pos & pos, Pos end, ASTPtr & node, Pos & max_parsed_pos, Expected & expected);
^
1 error generated.
*** [dbms/CMakeFiles/dbms.dir/src/Storages/ColumnsDescription.cpp.o] Error code 1 -
понятно, пора поднимать виртуалку.
-
@prll: Можно будет обращаться по вопросам clickouse ? Хочу добавить функции для работы с MAC адресами.
-
да
-
Плюс за маки)
-
планируются функции, аналогичные IPv4NumToString(num) и IPv4StringToNum(s)
-
только с Uint64
-
ну и вытягивание vendor oui
-
для начала, хотелось бы просто собрать clickhouse :)
-
вы имеете в виду кусок мака или словарь на базе oui.txt?
-
кусок MAC'а
-
первые три октета
-
А нету ли секретного range_hashed layout-a для словарей, в котором бы в качестве min/max можно было бы не только даты использовать, но и числовые типы? -
постараюсь завтра сделать фикс, уже в виртуалке варится..
-
заранее спасибо
- 05 May 2017 (52 messages)
-
вот теперь должно.
-
Скажите пожалуйста в clickhouse вначале select отрабатывает а потом where? -
select
concat('435', toString(country)) as country_test
from
banner_history_segments
where
country_test = '435BLR'
limit
100 -
в базе есть толко Country = 'BLR' ('435BLR' нет), а он находит и выводит 100 строк
-
Joined. -
можно считать, что все определенные алиасы подставляются в места использования, потом запрос исполняется.
-
то есть все таки кликхаус работает по другому в отличии от mysql. вначале селект потом where, т.к. в mysql наоборот
-
или это только с алиасами такое поведение?
-
where с алиасами работает как с оригинальными полями таблицы
-
потому что все определенные алиасы подставляются в места использования, потом запрос исполняется.
-
поля и алиасы в данном случае это просто некоторые имена имеющие определенный тип.
-
в этом смысле кликхаусный sql более продвинут, т.к. в нем можно алиасить почти все почти везде, и запрос все равно работает.
-
но утверждение что вначале select а потом where верно? то есть поведение оличное от mysql
-
"в начале идет" - в тексте запроса?
-
пример выше скинул
-
вы понимаете разницу между парсингом запроса и его исполнением?
-
я вообще не представляю как бы кликхаус работал, если бы он сначала выгребал петабайты данных
-
нет, считайте что ваш запрос
select
concat('435', toString(country)) as country_test
from
banner_history_segments
where
concat('435', toString(country)) = '435BLR'
limit
100 -
а потом накладывал where =)
-
то есть нужно называть алиас не так как оригинальная колонка
-
да, это обычно заканчивается плохо.
-
СПАСИБО!)
-
Вопрос: как сбросить содержимое Memory таблицы ? -
Да, это понятно , но не особо красиво.
-
подскажите пожалуйста дампы из КХ можно импортнуть в mysql? -
хочу поэкспериментировать с производительностью
-
джойню две таблицы по 30к записей каждая, по ряду параметров + регэкс, как-то долго
-
tab separated в mysql не заливается?
-
Ещё вопрос, если можно. По доке не удаётся понять что такое local-mode. Вопрос снимается - надо было просто запустить :)
-
Коллеги, а неужели никто не хочет подать доклад на РИТ? -
ни одного доклада в заявках не вижу
-
да, конечно!
-
подавай
-
Joined. -
Планируется ли тип данных Time с точностью до ms ?
-
А то не очень удобно всё в UInt32
-
Пока что нет, но запросов много. Поищи на github таск, или создай -
Спасибо.
-
Вопрос: можно ли как-то применить функцию при insert из csv файла? А то сейчас приходится загонять во временную таблицу и потом в основную преобразовывая string в uint
- 06 May 2017 (15 messages)
-
Можно проголосовать коммитами)
-
Для девелоперов есть дока
https://github.com/yandex/ClickHouse/blob/master/doc/developers/architecture.mdyandex/ClickHouseClickHouse is a free analytic DBMS for big data.
- 07 May 2017 (10 messages)
-
Joined.
-
Joined.
-
Joined.
-
Надо сначала схему ему дать, а там как обычно все
-
Joined. -
альтернатива тому что есть на гитхабе?
- 08 May 2017 (110 messages)
-
/stat@combot
-
-
Сделал сравнение КХ с kdb. Извиняюсь за формат в котором это :)
-
Вывод - с диска КХ конечно огонь. Но, на запросах из памяти оно отстаёт на порядки, из-за отсутствия индексов.
-
Joined. -
А нормально что при сборке КХ съедает 12+ГБ диска? База данных должна хранить данные, но это же должны быть мои данные а не ее?
-
-
-
-
Спасибо, попробую. У меня на ноуте дев виртуалка была на 20 гигов. На постгрес и Машу хватало с запасом :)
-
=> вопрос: можно ли в перспективе ожидать какой-то MemoryMergeTree или какой-то параметр для придудительного удержания в памяти части MergeTree? Судя по google.groups, не только у меня такая задача.
-
Joined. -
не нашел в доках где можно указать разделитель (;) для столбцов в строке при импорте данных в кх
INSERT INTO data FORMAT CSV
такое есть? -
нет -
Joined. -
@prill: Добрый день. Сделал pull request
-
=)) я похоже запустил clickhouse вместе с zetcd
https://gist.github.com/Slach/7d2e15fea5485e42a805c3fb73840c63 -
Добрый день, подскажите может есть какие-то инструменты для умных миграций бд? для билдирования версионности. хотим использовать liquibase (у нас 2 типа бд - mysql и clickhouse). че делать? может кто сталкивался
-
Ликвибейс не подойдет, так как апдейтов в кликхаусе нет -
Ликвибейс в своих системных таблицах хранит инфу, обновляет
-
а что использовать то?
-
Репликацию проверю напишу
-
у нас задача такая. мы делаем правки на ui (php) вносим изменения в бд (в два типа бд). Миграции собираются и во время билда группируются. другая команда платформа (java) эти миграции может легко выполнить откатить на своем дев сервере)
-
написать свой extension, метаданные хранить в mysql.
-
например.
-
опиши подробнее плиз. пока не понимаю
-
тут дело не в самих миграциях а в том что те миграции которые реализованы сми2 или laravel php они как обертка orm исполняются через php. а java разрабы не будет ставить себе php им нужен какой-то инструмент чтобы накатить и откатиь миграции
-
ликвибейс как замена php шным миграциям. но нету кх. в общем надо думать я так понял никто такого не реализовывал
-
удобная штука
-
>а java разрабы не будет ставить себе php им нужен какой-то инструмент чтобы накатить и откатиь миграции
так может они его сделают? -
смысл в том чтобы наши миграции были единные. они захотели удалить поле - взяли миграцию создали запушили. мы её взяли и забрали и тоже выполнили на своей базы + своя миграция. единная миграционная система двух команд
-
хз. буду думать
-
MapD Open Sources GPU-Powered Database | OmniSciSince starting work on MapD more than five years ago while taking a database course at MIT, I had always dreamed of making the project open source. It is thus with great pleasure to announce that today our company is open sourcing the MapD Core database and associated visualization libraries, effective immediately.
-
это реклама новой базы данных?) или что это - можно кратко посмотрел не понял
-
@milovidov_an Добрый вечер. Я вижу, Вы смотрели pull request. Там все нормально ?
-
Это просто mapd, оно действительно очень быстрое, но довольно узкоспециализированно.
-
быстрее чем кх ? )
-
Конечно, оно даже быстрее kdb
-
Summary of the 1.1 Billion Taxi Rides BenchmarksBenchmarks & Tips for Big Data, Hadoop, AWS, Google Cloud, PostgreSQL, Spark, Python & More...
-
Joined.
-
не успели с кх поработать а тут уже MapD ))
-
Только хотел эту ссылку :) по мне так кажется, что дотянуть КХ до схожих порядков можно создав engine с индексами в памяти. О чем я чуть выше писал.
-
Сейчас придут ребята с яндекс и забанят всех ))
-
Mapd это не новая технология. Ничего удивительного нет, если хранить данные в памяти gpu.
-
круто. но мы только вот вот переезжаем на прод кликхаус пока переписывали часть функционала
-
а вы тут со своим mapd )) может когда нибудь )))
-
я так понимаю через GPU это нехилые сервера нужны
-
Для gpu не нужны нехилые сервера.
-
я в плане дороговизны обработки через gpu
-
такие машинки не дешевые
-
для них нужны гпу по цене нехилых серверов) -
Gpu не особо дорогие вроде. Около 4к.
-
намного дороже чисто процессорной обработки
-
если уже и переходить то из-за безысходности
-
и скалируется гораздо сложнее, но зато можно майнить битки во время простоя
-
тесла за 800k всяк дешевле 20 лишних серверов
-
и?
-
Ну xeon топовый вроде тоже под 3k.
-
энергетика тоже денег стоит
-
Если посмотреть на тот блог, то видно, что в тесте после gpu идёт база на cpu с несильно отстающими результами.
- 09 May 2017 (63 messages)
-
всем привет
объясните за тему макросов??
https://clickhouse.yandex/reference_ru.html#Creating%20replicated%20tables ?
можно ли все таки вместо имени реплики и id шарда что то использовать кроме как определять macros в каждом отдельном конфиге для каждого сервера?Документация ClickHouse | Документация ClickHouseClickHouse is a fast open-source column-oriented database management system that allows generating analytical data reports in real-time using SQL queries
-
уточню вопрос, то что хочется уникальный путь в пределах шарда, это понятно
но может просто можно этот самый {shard} не из макросов брать? а через какой нибудь запрос из SELECT shard_id FROM system.clusters ?? -
да, я об этом говорю
-
а нельзя как то macros.xml
например сделать шаблоном? чтобы можно было например там значения переменных окружения использовать??
очень не хочется городить свой docker образ поверх стандартного -
Алекс =) кстати мы с вами будет похоже вместе на clickhouse вопросы на stackoverflow отвечать =) я там подписался, чтобы доку чаще перечитывать, отвечая людям
-
а у вас там просто свой тег или отдельно как-то под проект получили свое место там?
-
странно а почему не работают подстановки?
в /etc/clickhouse-server/config.xml
стоит
<macros incl="macros" optional="true"/>
делаю
/etc/clickhouse-server/macros.xml
<?xml version="1.0"?><macros><shard>ru</shard><replica>clickhouse-ru-1.local</replica></macros>
а в config-preprocessed.xml
получаю вместо macros пустоту
почему? -
спасибо
заработало
но почему то падает при создании таблицы
clickhouse-us-1.local_1 | 2017.05.09 13:34:59.661461 [ 5 ] <Debug> ga2clickhouse.hits_replicated (StorageReplicatedMergeTree): Creating table /clickhouse/tables/us/hits
clickhouse-us-1.local_1 | /home/robot-metrika-test/jenkins/workspace/clickhouse-packages-build@2/sources/contrib/libtcmalloc/src/tcmalloc.cc:286] Attempt to free invalid pointer 0x7f127c972b60
clickhouse-us-1.local_1 | 2017.05.09 13:34:59.665835 [ 9 ] <Error> BaseDaemon: ########################################
clickhouse-us-1.local_1 | 2017.05.09 13:34:59.666192 [ 9 ] <Error> BaseDaemon: (from thread 8) Received signal Aborted (6).
clickhouse-us-1.local_1 | 2017.05.09 13:34:59.668073 [ 9 ] <Error> BaseDaemon: 1. /lib/x86_64-linux-gnu/libc.so.6(gsignal+0x38) [0x7f127ee0e428]
clickhouse-us-1.local_1 | 2017.05.09 13:34:59.668207 [ 9 ] <Error> BaseDaemon: 2. /usr/bin/clickhouse-server(Poco::ThreadImpl::runnableEntry(void*)+0xa5) [0x33fb245]
clickhouse-us-1.local_1 | 2017.05.09 13:34:59.668220 [ 9 ] <Error> BaseDaemon: 3. /lib/x86_64-linux-gnu/libpthread.so.0(+0x76ba) [0x7f127f8be6ba]
clickhouse-us-1.local_1 | 2017.05.09 13:34:59.668224 [ 9 ] <Error> BaseDaemon: 4. /lib/x86_64-linux-gnu/libc.so.6(clone+0x6d) [0x7f127eedf82d]
clickhouse-us-1.local_1 | Aborted (core dumped) -
ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/hits', '{replica}', date, cityHash64( userId), (trackerId, date, cityHash64(userId), timestamp), 8192)
вот такое пытался создать -
1.1.54198
версия сервера -
Да сейчас попробую все достать и сделать issue
-
Возможно памяти не хватает в докере просто там 8 контейнеров в 2gb
-
Ну и я это дело пытаюсь с zetcd запустить вместо zookeeper
-
Вопрос: вопрос производительности buffer - хочется попытаться положить realtime данные через buffer без предварительной буферизации. Вопрос: где узкое место при таком подходе будет - парсинг? Может надо какой-то специфичный format указать?
-
Кажется что оно про разное совсем. Друид это в основном агрегатор, притом с отвратительным сообществом
-
А кликхаус - база данных для аналитики
-
Самолёт с картошкой тоже можно конечно сравнить, но смысл?
-
Совсем
-
Друид не предназначен для хранения сырых данных
-
А кх заточен под аналитику по сырым данным
-
Это разные подходы со своими особенностями
-
Всем привет! Подскажите, пожалуйста - а КХ читает все колонки, которые в подзапросе указаны?
К примеру, select date,event,count() from (select date,event,url) as t group by date,event;
В данном случае колонка url не нужна, будет ли она все-таки прочитана? Судя по тестам - да, она читается. Хотелось бы просто уточнить этот момент. Благодарю. -
В друид ты положил данных немного, посчитал что то и показал чиселку. Пересчитать если его по прямому назначению использовать уже не выйдет. А не по прямому можно, но ужасно медленно будет
-
Joined. -
Народ, а где core dumps для КХ создаются?
-
Спасибо будем думать
-
|/usr/share/apport/apport %p %s %c %P
и куда смотреть? -
а я сейчас попробую это сейчас исправить
так, обычные MergeTree создаются нормально
падает только на ReplicatedMergeTree ...
сейчас попробую запрос упростить как можно сильнее -
а я сейчас попробую это сейчас исправить
-
так дело точно не в кол-ве свободной памяти
-
щас попробую zetcd на zookeper заменить
-
да, проблема в zetcd
=( рано я вчера порадовался -
щас посмотрим что там по сети ходит... интересно же
никто случайно для wireshark не подскажет нормального анализитора пакетов для zookeeper protocol ?? -
https://github.com/twitter/zktraffic
щас это попробую как то прикрутитьtwitter/zktrafficZooKeeper protocol analyzer and stats gathering daemon - twitter/zktraffic
-
хмм...
я не знаю что я сделал
но оно заработало
<Debug> zetcd_test.test_replicated (StorageReplicatedMergeTree, RestartingThread): Activating replica. -
Slach/clickhouse-zetcd
Test stand for creating Clickhouse test cluster via docker and zetcd - Slach/clickhouse-zetcd
-
если у кого то есть время поиграться со стендом ... сообщите результаты в личку пожалуйста?
-
=(( ай блин это все стандартный zookeeper
-
https://github.com/yandex/ClickHouse/issues/777
в общем ребята, посмотрите если не сложно стенд который я собрал на досугеclickhouse core dumped when try work over zetcd · Issue #777 · yandex/ClickHousei create repo https://github.com/Slach/clickhouse-zetcd for reproducing stand clickhouse + zetcd latest clickhouse Dockerimage core dumped after run following query sudo docker-compose run clickhou...
- 10 May 2017 (105 messages)
-
Добрый день! коллеги а никто не сравнивал производительность КХ с СУБД на ГПУ (типа MAPD)?... -
Aleksey была статья выше -
с обсуждением
-
в районе 9го мая
-
спсб видел... но там скажем так заинтересованное лицо было (ибо железо странное в тестах...)... а независимые (ну или условно независимые) тесты никто не делал? и что сами ребята из яндекса по поводу такого движка как ГПУ думают? не спрашивали в кулуарах?
-
Угу
-
В обалке эти теслы стоят космических денег
-
Ребят а вообще существует драйвер java для clickhouse чтобы его внедрить в какую нибудь migrate tool ?
-
Документация ClickHouse | Документация ClickHouse
ClickHouse is a fast open-source column-oriented database management system that allows generating analytical data reports in real-time using SQL queries
-
есть мысль подключить драйвер для liquebase. это как реально ?
-
причем тут mapD ?
-
а сори
-
кошмар ваще
-
Документация ClickHouse | Документация ClickHouse
ClickHouse is a fast open-source column-oriented database management system that allows generating analytical data reports in real-time using SQL queries
-
в стандартные возможности это вряд ли укладывается, т.к. с точки зрения реляционной алгебры максимумы минимумы - это такая функция из отношения в отношние (из одной строки и 2n столбцов), и добавление их к основному ответу превращает обычный прямоугольный ответ в объединение цифр с некоторым соглашением про их смысл. в json их можно выдать, т.к. он поддерживает произвольную структуру, в tsv например начинаются неоднозначности.
-
поэтому либо plain old sql несколько раз, либо какие-то расширенные флажки и форматы. а как вы такие вещи делаете не в clickhouse?
-
и размножать одно значение для каждой строки?
-
Если только начинаете и не работает, то можете попробовать Talend, по нему мы можем подсказать :)
-
а какой формат дат у pentaho?
-
-
Joined. -
соглашусь, хотелось бы побольше running-функций, особенно runningSum
-
Почему-то упоминаются только крайности. Хотя есть промежуточный вариант :)
-
в профиле по-моему можно, для драйвера - это как? ClickHouseQueryParam такой есть, в ClickHouseProperties можно задать.
-
Joined. -
попробуйте в конфиг, но не к пользователю, а в профиль пользователя -
у jdbc один формат ответа - ResultSet. и по-моему он extremes не поддерживает, т.к. это немного нестандартная штука. в http вы можете получить "две таблички", но парсить их придется самому.
-
а как DBeaver должен отреагировать на максимумы-минимумы в ответе?
-
в лучшем случае - выдаст основной ответ, в худшем упадет при разборе ответа.
-
например jdbc при получении group by with totals format tsv оказывается в ситуации, когда у него есть ответ, потом есть одна строка состоящая из пустой строки и потом еще одна строка ответа. и если вы селектите одну строковую колонку, то вы не можете понять "где находитесь".
-
передача "двух таблиц" в plaint text заканчивается плохо. серверу все равно, он писатель.
-
у нас в драйвере есть ClickHouseStatement <: java.sql.Statement , через него можно,
-
ну или написать запрос select * from (query) cross join (select min/max from (query) ).
-
только без зведочки, звездочка по-моему до сих пор только левую таблицу заселектит.
-
Вопрос про идемпотентность вставки (которая работает для 100 последних блоков).
В какой момент осуществляется отбрасывание дублирующихся блоков: ещё до вставки или уже после вставки, во время мерджей? Т.е. могут ли дубли всё же на какое-то время появиться в таблице? -
Во время вставки
-
А 100 блоков считаются для каждой таблицы отдельно, или 100 - это на всю базу или даже на весь инстанс ClickHouse?
Т.е. если вставить 1 блок в таблицу 1, потом 100 блоков в таблицу 2, и потом опять первый блок в таблицу 1 - он отбросится или вставится? -
(судя по моему тесту - вставится, но хотел уточнить: это так задумано, или баг?)
-
Если так задумано, то, наверно, имеет смысл в документации поправить вот эту фразу:
"Это работает только для последних 100 вставленных в таблицу блоков." -
Секретные крутилки чтоб сборка влезала в 3g:
cmake -DUSE_STATIC_LIBRARIES=0 -DUNBUNDLED=1
но с ними возможны спецэффекты в неожиданных местах. -
Кто знает, в ReplacingMergeTree слияние дубликатов происходит только в рамках одной партиции или за все время слияния тоже выполняются? - 11 May 2017 (94 messages)
-
Подумал что чисто теоретически в концепции CH и gpumemory engine может быть :)
-
Спасибо
-
Привет!
Есть ли способ в CH, имея имя поля как строку, сделать select из этого поля?
Т.е. хочется, чтобы SELECT someFunction('field_name') FROM table_name в действительности делал SELECT field_name FROM table_name
Зачем надо:
Имеем таблицу с некоторым количеством полей плюс-минус одинакового смысла (к примеру, количество ошибок по типам, каждая колонка - отдельный тип ошибки).
Имеем графану с соответствующим datasource. Хочу данные из всех этих полей иметь на одном дашборде без хардкода имён полей, чтобы при добавлении/удалении полей в CH дашборды в графане перестраивались без ручного вмешательства.
Пробовал делать Templating: $metric as SELECT name FROM system.columns WHERE table = 'table_name' AND name NOT LIKE 'date%', но при выбранных опциях 'Multi-value' и/или 'Include All option' в переменной $metric появляется набор строк, разделённых запятой: 'error_type_1', 'error_type_2'. Соответственно, нельзя сделать что-то типа SELECT $metric FROM table_name, т.к. будет выполнено SELECT 'error_type_1' FROM table. -
всем привет! у вас в документации отсутствует раздел про настройку SSL в КХ. В конфиге есть пример, но пока у меня не получается завести с самоподписанным сертификатом. Строчки
<verificationMode>none</verificationMode>
<name>AcceptCertificateHandler</name>
раскоментировал, но всё равно при попытке подключения в лог сыпется
<Error> ServerErrorHandler: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = SSL Exception: error:140890C7:SSL routines:SSL3_GET_CLIENT_CERTIFICATE:peer did not return a certificate, e.what() = SSL Exception -
в тестах есть рабочий пример конфига и подписывания при запуске тестов
-
ой, попутал, там пример клиента для самоподписаного сервера на питоне
-
Есть ли простой способ сделать CREATE DATABASE nnn IF EXISTS или проверить наличие такой базы данных на сервере (второе даже лучше)
-
https://clickhouse.yandex/reference_ru.html#CREATE%20DATABASE + https://clickhouse.yandex/reference_ru.html#EXISTS?Документация ClickHouse | Документация ClickHouse
ClickHouse is a fast open-source column-oriented database management system that allows generating analytical data reports in real-time using SQL queries
-
блин, стыдно как-то
-
Продолжается регистрация на митап ClickHouse в Екатеринбурге 16 мая.
Если есть коллеги, друзья, кому это интересно, то можно поделиться анонсом в сетях:
https://twitter.com/ya_events/status/859366858604109824
https://vk.com/yandex.events?w=wall-17796776_5322
https://www.facebook.com/Yandex.Events/posts/1521278041225645
Спасибо!Яндекс.EventsClickHouse Meetup едет в Екатеринбург! Приглашаем на встречу 16 мая: https://t.co/e5ay8TFT8Y
-
ещё вопрос: для заливки данных всё так же только SQL? Очень надоело заниматься экранированием.
-
есть прекрасный FORMAT RowBinary где ты пишешь INSERT <...> FORMAT RowBinary а дальше идут бинарные данные как есть
-
описание структуры посмотреть в сырцах или я не нашел его в документации?
-
Документация ClickHouse | Документация ClickHouse
ClickHouse is a fast open-source column-oriented database management system that allows generating analytical data reports in real-time using SQL queries
-
ну или Native
-
но он сильно сложнее уже
-
спасибо
-
Да, похоже, мой тест был плохим. Ограничение в 100 блоков, как и заявлено, работает в рамках таблицы.
Единственный нюанс - оно не строгое, иногда получается до 110 блоков вставлять без дублирования, а в течение очень короткого промежутка времени может получиться и ещё больше. Но главное, что отклонение в большую сторону, а не в меньшую, так что не страшно.
P.S. Если кому ещё будет интересно - можно поискать в коде переменную replicated_deduplication_window, станет понятно, откуда берётся 110. -
Такая проблема. Есть таблица, запросы к которой содержат фильтр либо по столбцу а, либо по столбцу b. Проблема в том, что т.к. индекс построен (а,b), то фильтрация по столбцу b, с учетом того, что фактов записей в таблице с десяток миллиардов, не представляется возможной. Кто как поступает в такой ситуации? Есть мысль создать еще одну таблицу с индексом (b,a) и дублировать в нее данные. Но что-то не очень нравится мне эта идея.
-
Окей, спасибо. Интересный комментарий.
Но все же, интересно, как например у яндекса устроено. Здесь постоянно обсуждаются таблицы с огромным количеством столбцов. И никогда не возникает потребности фильтровать по разным столбцам? -
а ключи постфактум можно регенерировать?
-
у вас же select *
-
а, строчку.
-
вообще clickhouse пушит в prewhere условие по самой компактной колонке, так что ваш запрос с where возможно работает так же.
-
но 500mb это видимо не объясняет.
-
Home
Pilosa is an open source, distributed bitmap index that dramatically accelerates continuous analysis across multiple, massive data sets.
-
надо пропустить 500к строк. если у вас строки по килобайту, то вот они и получатся. prewhere выбирает блоки с выполненным условием, читая при этом меньшее число колонок.
-
запрос работает как limit(where(from))
-
возможно у вас эти 90 строк равномерно по всем блокам размазаны. надо смотреть на конкретные запросы и таблицы.
-
-
Угу;)
-
Подробно описывают, как пришли к кликхаусу. Какие либы используют и даже про железо. Найс
-
если есть вопросы, я могу передать коллегам либо ответить сам
-
я как раз занимался первичными тестами на синтетической нагрузке.
-
1M rps, понятно зачем нужен был нативный протокол.
-
не только поэтому, я думаю protobuf и прочие тоже бы выдержали такую нагрузку
-
проблема была в том, что эта статистика собирается из hot path
-
то есть вместе с запросом клиента, а в этом случае ключевая проблема - это оверхед, который вносит сборка / отпарвка этих сообщений
-
у capnp он ну очень маленький и сообщения собираются крайне быстро, избегая выделений памяти вообще
-
то есть, берется блок памяти из пула памяти и потом уже код демона заполняет его информацией которую извлек из запроса клиента и ставит в очередь на отправку на коллектор
-
default settings is to make a mark of every 8,192th row. This way only 122,070 marks are required to sparsely index a table with 1 trillion rows,
-
но ведь это миллиард. 8192*122070
-
можете подсказать по FORMAT RowBinary: если я правильно понимаю, то надо как-то сообщить кликхаусу с какого байта начинаются сырые данные
-
как правильно сообщить, что закончился текстовый INSERT и поехали бинарные данные?
-
INSERT INTO sessions (....) VALUES FORMAT RowBinary binarydata
-
вот что может стоять между RowBinary и binarydata ?
-
\n
-
спасибо
-
да, всё заработало, большое спасибо
-
я помню, тут обсуждался вопрос на тему хранения IP адресов. У меня сейчас пол-миллиарда строк с ip адресами в var string. Есть какая-то рекомендация по тому, как правильнее это хранить, учитывая, что пока не очень понятно как именно этим в последствии пользоваться?
-
возможно разумнее положить в fixed string 16 или fixed string + флаг на ipv4/ipv6?
-
у нас есть и ipv6
-
мы раскладываем в отдельные столбцы - в4, в6 и флажок про протокол
-
разработчики подтверждали, что это ОК
-
у нас тоже uint32+fixedstring(16)
-
я не знаю, как правильнее и благоразумнее, потому что в данный момент я вообще просто складываю. Там можно найти и такой треш, как 10.0.75.15, 195.43.32.10 =)
-
короче, разумнее раскладывать, ок.
-
я просто планирую очередную миграцию структуры и это слегка беспокоит =)
-
почему бы не хранить все в ipv6 fixed string 16 а для ipv4 использовать стандартный префикс ::ffff:
-
есть IPv4 mapped on IPv6
-
и тогда невозможно отличить, го этой проблемой страдает, что хранит все в слайсе битово и хрен отличишь :/
-
Joined. -
А чего твиттер неживой?;(
- 12 May 2017 (72 messages)
-
Joined. -
Добро пожаловать, 666 участник) -
-
раз уж моё появление привлекло внимание... с точки зрения админа, есть ли какие-то интересные моменты в кликхаусе? или docker run и забыл?
-
там вроде пул-реквест до сих пор не приняли
-
а, ошибся. приняли уже
-
Господа, такой вопрос - где кликхаус сервер хранит информацию о имеющихся базах и таблицах? Настроил в докер контейнере подключение папки /opt/clickhouse/data снаружи, создаю бд, создаю таблицы, они появляются в папке - но при пересоздании контейнера кликхаус перестаёт видеть эти папки, и ругается что базы данных нет, да и таблиц в ней тоже. -
недавно поменяли дефалтное место хранения на /var/lib.
-
<!— Path to data directory, with trailing slash. —>
<path>/opt/clickhouse/</path> -
Он создаёт по этому адресу папку с названием бд, и в ней папки с названиями таблиц, но при перезапуске контейнера не видит их
-
Они так и примонтированы
-
Лежат на хост машине физически
-
Причём, если создать бд и таблицу заново, в ней видны старые значения
-
Нашёл, надо после старта сервера выполнить команду attach
-
причём, для каждой таблицы. С её полным описанием. Жесть.
-
монтировать надо не /opt/clickhouse/data, а /opt/clickhouse
-
в противном случае нету папки metadata, в которой как раз и есть все create db, attach table
-
О, то есть, мне нужно только изменить монтирование папки?
-
Сейчас попробую, спасибо, а то я уже печалиться начал из за аттача
-
Контейнер перестал подниматься))
-
Если в volumes - ./clickhouse/data:/opt/clickhouse/data - всё работает. Если добавляю - ./clickhouse/metadata:/opt/clickhouse/metadata или заменяю на - ./clickhouse:/opt/clickhouse - exit 70
-
Joined. -
добрый день
вопрос по JOIN
я правильно понимаю что он не работает по имени таблицы а только по подзапросу? -
у меня просто при попытке приджойнить distributed таблицу ругается что такой нет в БД default
при этом при создании таблицы БД указана верно
например select ... from ... any inner join events using .... не работает. пишет нет таблицы default.events
select ... from ... any inner join stats.events using .... не работает. пишет нет таблицы stats.stats.events
но select ... from ... any inner join (select * from stats.events) using .... работает -
да, так работает. спасибо )
-
Попробуйте использовать функцию if -
Разобрался с контейнером. Если в папке metadata нет дефолтных папок - сервер умирает.
-
Там их не было, потому что я линковал внутрь пустую папку metadata, при первом создании контейнера
-
Joined. -
Добрый вечер, коллеги.
-
Вы имеете в виду папку с метаданными? Но если её не линковать, кх в контейнере после перезапуска контейнера не видит бд и таблицы
-
Я и так и так пытался)
-
-
Я вот этот образ брал, ну и конфиг компостера оттуда. Уже не помню, чём мне официальный не подошёл
-
Надо будет попробовать поднять официальный
-
> it wasn’t possible to hot-swap just the faulty disks, and second the array rebuild took tens of hours which degraded I/O performance.
-
золотые слова
-
когда уже прекратят эти тормозные рейды пихать куда ни попадя
-
в этом плане важный момент, чтобы база сама корректно хендлила данный кейс
-
часто при сбое диска линукс встает колом и увы, продолжить работу корректно уже никак не выходит
- 13 May 2017 (32 messages)
-
ребят, доброе утро. только начал экспериментировать с ch, прошу терпеливо направить:
Нужно настроить перекладку записей из имеющейся продуктивной MS SQL базы в таблицу CH.
На данный момент хочу делать это раз в минуту (за 60 секунд в источнике генерируется ~19к строк).
После некоторого тюнинга запроса на MSSQL инстансе он выполняется за 15-30 секунд (приходится джойнить две толстые таблицы), в зависимости от загрузки сервера.
1 секунда уходит на складывание PIVOT-ом пары строк в одну вида [date],[timestamp_utc],[metric.1],[metric.2]
всё это генерируется на стороне MSSQL сервера - windows server.
Какие есть годные варианты, чтобы максимально быстро сложить результирующий CSV в таблицу CH?
Пока успел попробовать только передавать через web-морду по 1000 строк curl-ом - ооочень медленно.
Поглядел на Go либу - она вроде только через web работает..
Может, я невнимательно читал документацию и задачу записи через web-interface я мог бы распараллелить? Engine = MergeTree -
Можно класть по любому количеству строк. Для го есть нативная библиотека неплохая
-
GitHub - ClickHouse/clickhouse-go: Golang driver for ClickHouse
Golang driver for ClickHouse. Contribute to ClickHouse/clickhouse-go development by creating an account on GitHub.
-
количество в 1000 на один POST где-то в документации встретил... поищу. И всё равно - получившееся число передавалось ощутимо долго, вся процедура ETL (простите, не DBA - могу не к месту использовать этот термин) выбивается из лимита в 60 секунд
-
Рекомендации не менее 1000
-
Можно хоть миллион
-
оуч, попробую! Спасибо за уточнение
-
Там рекомендация делать не очень много, но больших инсертов
-
Спасибо, я почему-то из офиса только одну разглядел - https://github.com/roistat/go-clickhouse, она мне не понравилась =)GitHub - roistat/go-clickhouse: Golang ClickHouse connector
Golang ClickHouse connector. Contribute to roistat/go-clickhouse development by creating an account on GitHub.
-
То есть лучше 10 раз в секунду по 100000 строк, чем 100 раз по 10000
-
в параллели можно insert делать?
-
М... Никто не запрещает как бы :)
-
я сейчас сразу проверить не смогу.. =) приходится нудить
-
@Civiloid спасибо за разъяснения
-
А можно я тогда вообще разойдусь и задам вопрос посложнее? 🤓
В задаче, что я описал выше, на стороне источника формируется избыточное количество строк для 60ти секунд - задан промежуток 58с > t > 122c. Eсть ли какие-то уже наработанные в community подходы для дедупликации строк? Прикидываю попробовать как-то реализовать механизм через temporary table, но вдруг уже кто-то изобрёл велосипед... -
Задачи, которые я хочу решить - удовлетворить свой перфекционизм, минимизировать мусор. В перспективе прикидываю сложить в CH значительное количество данных от разных систем (пока, например, исторических данных мониторинга от трёх систем) - начинать с захламления имхо не лучшая идея.
-
Условно костыльное решение: скидывать готовые csv в папку с именем вида unixtime.csv и заливать их по расписанию через clickhouse-client или веб-морду. Возможно менее костыльное- настроить сходное по логике через syslog-ng -
https://github.com/nikepan/clickhouse-bulk еще может помочь. но он тоже через вебGitHub - nikepan/clickhouse-bulk: Collects many small inserts to ClickHouse and send in big inserts
Collects many small inserts to ClickHouse and send in big inserts - GitHub - nikepan/clickhouse-bulk: Collects many small inserts to ClickHouse and send in big inserts
-
Вроде как лучше один раз в секунду по миллиону. Именно это написано в мануале
-
Но миллион в секунду - это нереальные же цифры
-
Ну совсем хорошо конечно так
-
Смотря чего
-
FusionIO и реальные;)
-
А еще можно в рам!)
-
можно, но если в одну таблицу то будет медленно, вставка пачками (большими) обусловленна тем что CH потом эти куски данных сливает вместе с имеющимися, а это дорогая операция
-
Спасибо. Прихожу к выводу, что оптимальнее загрузкой данных в CH было бы заниматься на стороне самого CH - вовне останется только подключение к mssql инстансу за данными. Распарсить и скормить в таблицу легче/быстрее на сервере CH через clickhouse-client, например..
-
Аналогичная проблема. И пока не проверил, но надеюсь что buffer engine тут поможет. Так как не очень хочется внешние обвязки для буфера делать: + дополнительная часть + задержка данных
-
да, buffer engine помогает с такими задачами, когда данные идут маленькими пачками -
Evgeny, @inv2004:
Кхм, не уверен, что касательно моей задачи вопрос в маленьких пачках данных. У меня сейчас жалкие 19к строк через web интерфейс передаётся 14+ минут, а это всего лишь данные источника за минуту. csv с этими данными - меньше 3Мб.
Важное замечание, возможно - вместо curl приходится использовать cmdlet Powershell-а 'Invoke-RestMethod' - может, косяк производительности в нём?
P.S.:
@maxlapshin, lol... 1.000.000 строк в секунду да при моей текущей производительности... -
А что странного в миллионе строк в секунду? И тут надо еще понимать:
1) размер строки, сколько там колонок. Строка из 10 интов, и 100 стрингов -- это две большие разницы.
2) производительность дисковой подсистемы. В рамках одного сервера упирается обычно в диск
3) сколько серверов в кластере. Вставка при правильном дизайне масштабируется линейно
Можно грубо прикинуть размер строки в байтах, поделить его примерно на 5 (компрессия), а еще лучше померить точнее, как жмет ваши данные КликХаус, и соотнести с write speed дисковой подсистемы. Это будет верхний предел, но КликХаус от него не сильно должен отступать при достаточно больших блоках -
Возможно в нем, потому что 13к строк это мало
- 14 May 2017 (8 messages)
-
У меня около 5000 строк в секунду. Но данных не очень много, строка, которую надо в cityhash и десяток чисел.
-
Я имел ввиду скорее на один сервер
-
Так зависит от данных. Если это что то в духе графитной потока то норм
- 15 May 2017 (166 messages)
-
Joined. -
Всем привет! Подскажите по докеру, что делаю не так?
Скачал последний
sudo docker pull yandex/clickhouse-server
Запускаю так
sudo docker run -d yandex/clickhouse-server
В ps -a выдает
yandex/clickhouse-server "/bin/sh -c 'exec ..." Exited (70) About a minute -
2017.05.15 06:48:20.346461 [ 1 ] <Error> Application: Net Exception: Cannot assign requested address: [::1]:8123
2017.05.15 06:48:20.346471 [ 1 ] <Information> Application: shutting down -
Вот оно, походу
-
но кова фига, если оно настроено по умолчанию все?
-
нет
-
ничего не выдает
-
Если бы был выклюен, он бы не биндился на него
-
Из нового добавилось только zookeeper
-
раньше норм было, вот обновился и началось))
-
netstat -tulpn | grep :8123
-
хотя давно пользовался, может и туплю
-
Или так docker run ..... -p IPV4:8123:8123 например
-
sudo netstat -tulpn | grep :8123
Ничего не выдает -
У меня такое было когда толи докеру в6 небыло доступно, толи на подклбченном впн в6 небыло -
bloom@bloom-desktop ~/domains/Web/docker_reps $ sudo docker logs 0db4bbab4278
Include not found: clickhouse_remote_servers
Include not found: clickhouse_compression
2017.05.15 06:48:20.334073 [ 1 ] <Warning> Application: Logging to console
2017.05.15 06:48:20.335773 [ 1 ] <Information> : Starting daemon with revision 54198
2017.05.15 06:48:20.335845 [ 1 ] <Information> Application: starting up
2017.05.15 06:48:20.336182 [ 1 ] <Debug> Application: rlimit on number of file descriptors is 1048576
2017.05.15 06:48:20.336191 [ 1 ] <Debug> Application: Initializing DateLUT.
2017.05.15 06:48:20.336196 [ 1 ] <Trace> Application: Initialized DateLUT with time zone `Zulu'.
2017.05.15 06:48:20.336642 [ 1 ] <Debug> Application: Configuration parameter 'interserver_http_host' doesn't exist or exists and empty. Will use '0db4bbab4278' as replica host.
2017.05.15 06:48:20.336738 [ 1 ] <Debug> ConfigReloader: Loading config `/etc/clickhouse-server/users.xml'
2017.05.15 06:48:20.338088 [ 1 ] <Warning> ConfigProcessor: Include not found: networks
2017.05.15 06:48:20.338102 [ 1 ] <Warning> ConfigProcessor: Include not found: networks
2017.05.15 06:48:20.338463 [ 1 ] <Information> Application: Loading metadata.
2017.05.15 06:48:20.338626 [ 1 ] <Information> DatabaseOrdinary (default): Total 0 tables.
2017.05.15 06:48:20.338879 [ 1 ] <Debug> Application: Loaded metadata.
2017.05.15 06:48:20.338973 [ 1 ] <Information> DatabaseOrdinary (system): Total 0 tables.
2017.05.15 06:48:20.339620 [ 1 ] <Information> Application: Shutting down storages.
2017.05.15 06:48:20.339665 [ 1 ] <Debug> Application: Shutted down storages.
2017.05.15 06:48:20.340117 [ 1 ] <Debug> Application: Destroyed global context.
2017.05.15 06:48:20.346461 [ 1 ] <Error> Application: Net Exception: Cannot assign requested address: [::1]:8123
2017.05.15 06:48:20.346471 [ 1 ] <Information> Application: shutting down
2017.05.15 06:48:20.346473 [ 1 ] <Debug> Application: Uninitializing subsystem: Logging Subsystem
2017.05.15 06:48:20.346528 [ 2 ] <Information> BaseDaemon: Stop SignalListener thread -
Явное указание в4 помогло
-
Может что прояснит)
-
Ок, сейчас попробую
-
У меня в ос в6 был, но гдето комуто не додали в окружении и кликхаус не взлетал
-
Через волюм конфиг прокинь Свой
-
link local v6 так же у всех по умолчанию, если только намеренно не выключить, а это уже ССЗБ
-
По умолчанию ядро в целом предпочитает v6 на любом интерфейсе
-
Ядро линукса
-
Попробуйте понизить приоритет precedence ::ffff:0:0/96 100 в /etc/gai.conf
-
Понимаю, а явное указание интерфейса при запуске контейнера пробовали?
-
по стандарту же IPv6 должен иметь приоритет над IPv4
-
Да, спасибо! Закомментировал ::1 в конфиге
-
все заработало чисто на IPv4
-
А какая разница есть ли приоритет? Главное что бы на интерфейсе lo был хоть какой-то в6 адрес, достаточно даже линк локал
-
А это имеет значение для возможности биндинга на в6?
-
В докере может не быть в6
-
Да понятно )
-
Пожалуйста :)
-
Не ::1
-
Что имеется ввиду?
-
::1 на lo существует всегда как и 127.0.0.1 пока включен стек в ядре. Если это не так, значит кто-то это изменил, а значит наверное знает, что делает и справится с этой ошибкой)
-
Речь конкретно о докере, а не об абстрактном линуксе
-
Докер использует другое ядро?
-
Докер использует все из хостовой системы на прямую?
-
Ядро - да, юзерспейс - нет. Но Алексей правильно заметил, что некоторые облачные провайдеры могут выключать в6 стек глобально
-
Ядро используется юзерспейсом из докера совсем не так как нативно -там как минимум вкдючаются неймспейсы, cgroups и т.п.. Если бы разница между докером и нативом была только в юзерспейсе, то вместо докера был бы просто скрипт с чрутом и образ системы
-
в современных линуксах неймспейсы и пр. могут использоваться процессами или системой инициализации
-
например если есть systemd, то процессы как минимум уже распиханы по cgroup'ам
-
Могут, никто не спорит. Но это капля в море по сравнению с тем что делает докер.
-
Но в целом Илья прав, юзерспейс может сильно менять поведение)
-
Докер это только юзерспейс к тем фичам, что в ядре появились примерно с 2.6.28
-
другое дело что netns позволяет тебе сильно играться с сетью
-
https://docs.docker.com/engine/userguide/networking/default_network/ipv6/
А по дефолту докер полностью выключает в6(Enable IPv6 supportHow to enable IPv6 support in the Docker daemon
-
Да, но где вы видели юзерспейс который этим пользуется? Я всего лишь к тому, что в общем случае условия работы в докере и в нативе достаточно сильно отличаются, хоть это и не важно для большинства приложений.
-
Но эти отличия могут в некоторых случаях изменять поведение приложения достаточно сильно.
-
Вот и ответ. В образе КХ нужно тоже отключить в6 и проблема будет решена. Кому надо, тот включит.
-
LXD/lxc :D
-
Опять частности :)
-
Я думаю мой посыл понятен
-
в принципе systemd может всем этим пользоваться, но сервисы обычно пишут так что используется только часть
-
(и наверное правильно)
-
У нетфликса кажется была прекрасная презентация на тему отличий докера от нативас примерами. Когда приложение видит 16 ядер и настраивает себя соответственно, а в докере ему выданы два. С остальными ресурсами тоже самое.
-
Люблю такие what()
-
Добрый день! Есть 2 сервера в реплике. Для пользователя default установлен пароль. На одном из серверов пытаюсь удалить данные из таблицу:
:) alter table test_table_10 drop partition 201703
Удаление не происходит, вываливается ошибка:
DB::Exception: Password required for user default.
Где ему надо прописать пароль для пользователя? В документации есть пример для distributed, но у меня обычная реплика -
в то самое место
<yandex>
<remote_servers>
<cluster_name>
<shard>
<internal_replication>true</internal_replication>
<replica>
<user>name</name> -
у меня сейчас этой секции вообще нет в конфиге. Т.е. если у меня всего 2 сервера в реплике, я всё равно должен эту секции создать и описать 1 шард. так?
-
оо, новый стейбл )
-
пора обновляться )
-
Joined. -
А пароль там можно указать только в открытом виде? я попробовал password_sha256_hex - не сработало
-
https://clickhouse.yandex/reference_ru.html#Distributed
password - пароль для соединения с удалённым сервером, в открытом виде. по умолчанию - пустая строка.Документация ClickHouse | Документация ClickHouseClickHouse is a fast open-source column-oriented database management system that allows generating analytical data reports in real-time using SQL queries
-
спсб
-
судя по доке, пароль и пользователя можно задать только в кластере. Соответственно, если default запаролен, необходимо и кластер описывать
-
Просто у меня в users.xml пароль для default в хэше, а в конфиге открытый - и так не работает, он всё равно ругается и требует пароль. Вот если в users.xml тоже сохранить в открытом виже - тогда работает.
-
Joined. -
Joined. -
Joined. -
Joined. -
Мне кажется, можно выставить TZ=UTC и может заработает без локальной тздаты
-
по поводу совсем отключеного ipv6 - теперь есть секретное отсутствие опции <listen_host> - если ее совсем нет в конфиге - то clickhouse попробует слушать ::1 и 127.0.0.1 и НЕ вылетит при ошибке "protocol not supported".
но при "Cannot assign requested address" все еще вылетит, если эта ошибка связана с отсутствием протокола - и ее можно добавить в игнорируемые.
https://github.com/yandex/ClickHouse/blob/master/dbms/src/Server/Server.cpp#L557yandex/ClickHouseClickHouse is a free analytic DBMS for big data.
-
Подскажите по репликации запросов, CREATE TABLE реплицируется или нет? Надо ли выполнять запрос на всех инстансах?
-
тупой вопрос, только начинаю вникать в тему репликации
-
Надо на всех
-
спс!
-
Вопрос по созданию Distributed таблицы: как правильно написать CREATE запросы, если я хочу создать распределенную таблицу над множеством таблиц ReplicatedMergeTree так, чтобы шардирование было по materialized полю strongestIdHash UInt64 MATERIALIZED cityHash64(idType, strongestId) ? при этом это поле strongestIdHash участвует в ключе у внутренних ReplicatedMergeTree-таблиц
-
если в CREATE-запросе для distributed таблиц повторить описание всех полей из ReplicatedMergeTree (с дефолтами и материализед-секциями), то пишет: "DB::Exception: Not found column strongestIdHash in block. There are only columns: ."
Если выкинуть дефолты и материализеды из запроса на создание Distributed таблицы, то не получается делать insert прямо в нее -
Joined. -
коллеги
а подскажите пожалуйста как импортировать данные в КХ из файла -
формат файла какой?
-
tabSeparated
только пример из доки не работает( -
cat filename | clickhouse-client --query="INSERT INTO ontime FORMAT CSV"
-
какие ошибки выдает?
-
у меня не csv
-
я сделал вывод http запроса в файл
я так понимаю кх возвращает tabseparated -
я взял данные с прод сервера и хочу на тестовый залить
-
Code: 27, e.displayText() = DB::Exception: Cannot parse input: expected \n before: \t500
-
точно одинаковые
-
clickhouse-client -h host-from --query="SELECT * FROM t FORMAT TSV" | sed -- 's/smth1/smth2/g' | clickhouse-client -h host-to --query="INSERT INTO t FORMAT TSV
я таким образом данные переносил с одного сервера в другой -
Доклад Cloudflare про использование Кликхауса: https://indico.dns-oarc.net/event/26/session/5/contribution/21/material/slides/1.pdf
-
Видео тоже есть на ютуб канале DNS OARC26.
-
там 5 часов видео -
а линканите видео плз
-
оно в обработке судя по всему
-
т.к там был перерыв и сейчас по днс секурити часть
-
Joined. -
Добрый вечер! подскажите, пожалуйста, как изменить значение в таблице? В документации есть про добавление новых столбцов/строк, а как изменить одно значение? -
Insert ... select в новую таблицу и потом rename
-
А вообще clickhouse предполагает write once
-
Спасибо. Тогда, может, есть лучший варинат хранения данных. Для аналитики надо хранить данные, типа счетчиков, то есть их постоянно придется менять.. В каком виде удобнее хранить такие данные? Видимо, вариант в таблице не очень хороший
-
если изменения имеют вид value += delta, то можно попробовать и в таблице,
-
да, именно такие, но не для всего столюца одинаковая delta
-
есть простой вариант, хранить всю историю изменений, т.е. сколько раз счетчик увеличивается, столько раз делать insert counter_id, value_delta. и потом получать значения через select sum(delta) group by counter_id. есть чуть более продвинутый вариант, когда часть этой работы на себя берет сервер.
-
этот вариант не подходит, так как в определенные моменты счетчик должен обнуляться (
-
храните в другом месте счетчики
-
Видимо, лучше будет вне CH хранить...
-
Спасибо
-
и по триггеру обсчитывайте то, что налилось в кликхаус
-
а как эти моменты выражаются в данных?
-
так оптимальнее всего имхо
-
можно попробовать буфер таблицу, кстати
-
считать ее и потом пересоздавать :)
-
а что если изменять scv, а потом подгружать как словарь?
-
При достижении максимального значения, должно быть обнуление
-
А что может быть не так если запускать в docker?
Code: 49. DB::Exception: Received from some-clickhouse-server:9000, 172.17.0.2. DB::Exception: Logical error: zero number of streams requested. -
Joined.
-
вы можете считать modulo(sum(delta), max_value), это будет эквивалентно занулению счетчика при достижении max_value.
-
Joined. - 16 May 2017 (75 messages)
-
DNS OARC 26: Monday
https://indico.dns-oarc.net/event/26/ Madrid, Spain
-
я нашел конкретное место в видео где они говорят про днс
-
спс
-
и анализ данных в кликхаусе
-
Вроде да и примерно час от того момента
-
У них видео не порезаны по докладам, увы
-
Joined. -
@Civiloid спасибо!
-
приветы! Можете по докер контейнеру помочь
-
POCO ERROR: Exception: Could not determine local time zone: boost::filesystem::canonical: No such file or directory: "/usr/share/zoneinfo/"
-
на ubuntu 16
-
terminate called after throwing an instance of 'Poco::Exception'
what(): Exception -
Вчера кто то писал что в образе убунту 16.04 отсутствует tzdata
-
не, это host система. image кликхауса стандартный из репа офицального
-
Собери на его базе свой, поставив tzdata.
-
Должно помочь
-
Ругань все равно на то нет zoneinfo, которые ставятся с tzdata
-
выходит yandex развлекаются там у себя
-
ну у них и репы офицальные под убунту
-
т.е. на серверах тож она не?
-
это лал. Может дебиан еще и 6 использовать? Чтоб совсем стабильно было?))
-
да, большинство на ubuntu у них.
-
я от том же
-
такие ответы конечно надо из документации черпать, но всё же. как резервное копирование делается в ch ?
-
конечно не о чем. Голословно заявлять что система unstable в то время когда на ней крутится очень не мало прода у лидеров как минимум рунета. Яндекс, Мыло...
-
а дебиан-6 был хорош... :)
-
убунту LTS релизы - нормальный и долго поддерживаемый дистриб вполне пригодный для серверных инсталляций
-
да ладно вам, это флуд и холивар )
-
Убунта очень много где, больше чем другие дебивн по количеству установок
-
Вчера был фикс про tzdata в репе кликхауса, до реджестри еще не доехало. Почемуто оптимизаторы образа убунты выкинули ее. -
Joined. -
Митап начался! -
Joined. -
Joined. -
Всем привет.
Тут давно спрашивали, не занимался ли кто реализацией бинарного (native) протокола. Она уже есть на Go, но удивительно, что никто ещё не начал ковырять её для Python.
Я взял на себя смелость и начал потихоньку пилить его: https://github.com/mymarilyn/clickhouse-driver. Там пока ещё много чего нет, в частности массивов, энамов, вложенных струкрур и прочего. Может кому-то это покажется полезным.
В данный момент запиливается поддержка компрессии.GitHub - mymarilyn/clickhouse-driver: ClickHouse Python Driver with native interface supportClickHouse Python Driver with native interface support - GitHub - mymarilyn/clickhouse-driver: ClickHouse Python Driver with native interface support
-
Привет!
Подскажите, можно ли в insert использовать значение, полученное из словаря? Получаю Code: 49. DB::Exception: Logical error: there is no global context
Подробный лог https://pastebin.com/pY3t6SHr -
Сто раз так делал.
-
-
Митап в Екатеринбурге
-
Добрый вечер! Столкнулся c проблемой, что MaterializedView нельзя переименовать через RENAME. Есть ли какая-нибудь возможность переименования вьюшек без дропа? Спасибо! -
Joined. -
Joined. -
Зачем?
- 17 May 2017 (86 messages)
-
Для ускорения расчётов.
-
Всем привет! А у кого-нибудь были кейсы использования кликхауса для решения маркетинговых задач или по оптимизации и аналитике рекламы?
-
Тут у 90% такие задачи.
-
Joined. -
Кто-нибудь делал перешардирование данных? На всех шардах создал таблицу одинаковым запросом create, на одном из шардов налил в таблицу данные, но при попытке перешардировать их в два других шарда получаю "DB::Exception: Table is inconsistent accross shards, e.what() = DB::Exception". Что может быть не так?
-
Всем привет. Почему при использовании in в запросах следущего вида :Select * from table1 where id in (select id from table 2 where...), select * from table1 where id in (table2). Не используется индекс по id?
-
А когда непосредственно значения в in передаю - все хорошо.
Движок MergeTree(date,(id,date),8192) -
в table2 такой же индекс?
-
Нет
-
Это либо memory таблица без индекса. Либо mergetree но там индекс другой
-
В описанном запросе "Select * from table1 where id in (select id from table 2 where...)" индекс должен использоваться. По крайней мере, в моем случае так и происходит
-
Очень странно...
-
добрый день
подскажите пожалуйста есть ли какая-то возможность создать VIEW поверх Distributed таблицы? -
Вы уверены? Месяца 3 назад такой функциональности еще точно не было. Индекс использовался только для вложенных запросов с функциями сравнения, предполагающими одно значение в ответе вложенного запроса (равно, больше, меньше и тд) -
монтирования вроде только один существует
-
ну если директория монтируется внутрь контейнера, то там только пробросить ее можно и все
-
маунт вроде в обход union fs идет, нет?
-
Товарищи, а как настроить на сервере логирование чтобы он выводил в лог всю строки INSERT на которой произошла ошибка при вставке. Ибо сейчас он выводит в лог только кусочек, а когда 150 колонок - очень не просто понять где при переливке произошёл косяк. -
Поделитись кто-нибудь открытым ключем E0C56BD4, которым пакеты кликхауза подписаны, похоже его дропнули с keyserver.ubuntu.com -
gpgkeys: no key data found for http://keyserver.ubuntu.com/
gpg: no valid OpenPGP data found. -
а про mapd не понимаю, откуда его сравнение с CH
-
у меня в докере отработало, ключ импортнулся
-
никто не мешает людям сравнивать самолет с арбузом
-
можно, но там с использованием индексов пол года назад была проблема. А так - это ж просто аналог подзапроса
-
и на мой взгляд, поддержка GPU за десятки тысяч баксов несколько уходит за рамки идеологии которую сейчас поддерживает кликхаус
-
и потом доказывать что одно лучше другого
-
кликхаусом я могу проанилизировать ТЕРАБАЙТЫ на паре своих домашних ноутбуков, на которых встроенное видео на 512мб=)
-
и лично мне нахрен эти GPU за миллионы не сдались, кому надо -купите/поставьте mapd :)
-
Metrica API — Connecting the Logs API to ClickHouse — Yandex TechnologiesClickHouse allows you to work with non-aggregated statistical data from Yandex.Metrica that you receive via the Logs API. To connect the Logs API to ClickHouse:
-
Ребят, добрый день
Может кто подскажет, не очень понимаю как сделать
Есть визиты, которые кладутся в базу сразу(юзерагент, ип, user_id и пр.), и есть информация которая приходит задолго после - время на странице, флаги типа был ли скролл и т.п.
Если в обычной бд не было проблем - просто проапдейти запись и все, то как в кх это сделать? -
еще 1 записью?
-
Joined. -
Collapsingmergetree
-
Т.е. грубо говоря мне приходит показание таймера в виде {visit_id: ..., seconds: ...}
После я нахожу последний визит, мержу секунды и вставляю эту запись?
Так?
Просто смущает что это куча одиночных операций селекта, а в доке указано ограничение на 100 запросов в секунду -
в обычной бд будут проблемы, т.к. апдейты тормозят.
-
у нас аналогично, сначала приходят данные о pageview со всей инфой, потом флаги времени на странице, скроллы и т.п., которые заполняют основную информацию, чтобы можно было сматчить с pageview, и значение для дополнительного столбца
-
т.е. каждый раз селект предыдущей версии записи делается? а движок какой таблицы?
-
CollapsingMergeTree
-
А select запросы с final? Или каждый раз полотно group by id, ua, userId,...?
-
зависит от того, что вы хотите посчитать.
-
если вам нужна последняя версия каждого объекта - то да. если нужна общая статистика - почти всегда свертка с Sign дает то что надо.
-
Ребят, извиняюсь за тупость
В случае с Collapsingmergetree
Когда мне нужно изменить запись по id - я нахожу эту запись и делаю два инсерта, один - на вставку старой(найденной) записи с Sign = -1, второй - на ставку измененной записи с Sign = 1
Правильно понимаю? -
Ну да
-
Но только оно сразу не схлопнется в одну запись
-
Да не, я понимаю что не схлопнется, меня sign не пугает
Меня пугает что перед каждой правкой нужно находить предыдущую версию, когда в доке написано ограничение 100 запросов в секунду -
в Метрике предыдущая версия живет в том числе снаружи.
-
Вы же понимаете что все в мире относительно? У кого то на 50 сляжет все. У кого то 1000 держать будет и не поперхнётся.
-
Да, я понял, спасибо, так и сделаю
-
Я понимаю)
Обидно будет если переедем, но не до конца оттестим
Хочется без даунтамов и серьезных изменений архитектуры после переезда -
> что перед каждой правкой нужно находить предыдущую версию,
для этого нужен какой-то (шардированный реплицируемый) kv-storage, на базе которого будет реализована функция (новые события,состояние)->(новое состояние,лог изменения). лог изменения писать в CH, велосипед городить свой. -
Ну это же Яндекс
уже ждешь что там велосипед написали и выложили) -
да можно просто метрикой пользоваться
-
А закешируте в аэроспайке например
-
А оттуда уже в кх можно выгребать
-
Он как раз хорошо шардируется
-
Joined. - 18 May 2017 (151 messages)
-
Насколько я помню тут говорили, что люди пытались делать подсчет денег на КХ и брали Float, а потом удилвлись почему сравнения нормально не работают, и почему 2.0 + 2.0 = 3.9999999994
-
я думаю тут есть ньюансы... основной в том что можно использовать энд-юзеровские решения типа GTX 1080... они как раз стоят даже дешевле чем ЦПУ.... единственное различие между такими ГПУ и теслами это стабильность работы и объемы памяти... последний факт думаю может быть наиболее важным...
-
Храните копии записей в kv-таблице
-
привет!
я только начала пользоваться кх
подскажите, как скачать данные в файл csv?
пишу такой запрос. все как будто выполнилось, но в файле пусто. -
-
А вы файл ищите: на сервере или у себя на локальной машине?
-
Если что, нужно второе
-
listen_host 127.0.0.1 или 0.0.0.0
-
на дев-сервере для табикса пришлось <listen_host>::</listen_host> прописать, иначе с внешних никак не получилось подключиться
-
мне кажется тут вам и бесплатно помогут если вопросы будут сфорулированные)
-
Я уже писал. В чем смысл gpu, когда пока даже в памяти индексов нет. Ну будет отставание в 2-3 раза от гпу, но это всё равно в 100 раз быстрее чем с диска.
-
Добрый день!
Подскажите пожалуйста настройку для изменения лимита, после которого над партицией не происходит OPTIMIZE c FINAL.
Можно ли эту настройку передать не перезагружая сервер? -
В kdb для хранения денег используется float, но они учитывают точность при сравнении.
-
Мне кажется что лучше в таком случаи брать готовые сервисы, если честно :)
-
вам же потом поддерживать то что фрилансеры насоздают )
-
Ребят, а кто нибудь собирал под маком CH?
-
Удачно?))
-
я собирал вчера
-
мастер собирается
-
Хочу покодить маленько. Вдруг выйдет чего полезного)
-
стейбл нет
-
плюс в дополнении к инструкции нужно cmake'у давать -DNO_WERROR
-
Во, спасибо!
-
у меня не собрался, но я извращенец, я цлангом его собираю
-
я извращенец )
-
у меня шланг еще и ванильный, это доставляет еще больше
-
А ты знаешь толк)
-
ну все, щас флуд пойдет
-
у меня еще гента вместо brew :)
-
про ванильные шланги
-
@dudy_dud короче собирается, работает, но в продакшн на макоси его выставлять не надо
-
раньше были проблемы с тем что он системный malloc тянул
-
Даже в мыслях не было)))
-
а это его делало раза в 2.5-3 медленее
-
Не хочется просто виртуалку поднимать под благородные ос
-
докер ) впрочем тоже виртуалка, да )
-
aws подними
-
угу ) но прозрачно для тебя
-
и через HypervisorFramework же
-
не?
-
Да нифига не прозрачно) ip то другой
-
Ладно ладно. Просто не хочу этого непотребства на рабочей тачке)
-
Делаю вставку в tinylog, 10k post'ов по 10k и 1k post'ов по 1m -> получается скорость 2.5m/sec. Можно ли ожидать прироста сменив формат csv на binary? Всего 4 колонки: дата и 4 числа и один float
-
Во что упираетесь?
-
Пока не готов проанализировать. Только накидал тесты.
-
Но вижу, что tabseparated в 1.5 раза быстрее
-
Вопрос: CH будет keep-alive держать с множеством Post'ов ?
-
Или уже чтото более нативное появилось за пару недель? Из интерфейсов в смысле.
-
Не http
-
есть нативный интерфейс, на Го хороший очень клиент
-
GitHub - ClickHouse/clickhouse-go: Golang driver for ClickHouse
Golang driver for ClickHouse. Contribute to ClickHouse/clickhouse-go development by creating an account on GitHub.
-
C++ бы клиент улучшить!)
-
мы в метрике написали свой filter pushdown.
-
коллеги, а здесь имеется в виду абсолютное или относительное отставание таблицы? https://github.com/yandex/ClickHouse/blob/1db9a73059880b082fa4f9c01b549597bf34e8d2/docs/ru/settings/settings.rst#max_replica_delay_for_distributed_queriesyandex/ClickHouse
ClickHouse is a free analytic DBMS for big data.
-
Добрый день!
Подскажите пожалуйста настройку для изменения лимита, после которого над партицией не происходит OPTIMIZE c FINAL.
Можно ли эту настройку передать не перезагружая сервер? -
@AndreevDm кхм
-
format json , rows_before_limit_at_least
-
при некоторых условиях точное число не получится, но для ряда случаев подойдет.
-
Joined. -
Приведите пример ожидаемого результата.
-
Так чёт не понятно(
-
При чем тут бд вообще?)
-
То есть вы хотите по сэмплу интерполяцию какую-то для конкретной величины?
-
Видимо, автор вопроса имеет в виду интерполяцию результатов запроса, если их можно интерпретировать как временной ряд. Для построения графиков, например. -
Приросты чтоль?
-
Ок, фильтрация )
-
avg от полученных результатов чтоль?
-
Что такое N?
-
Что-то типа фильтрации шумов выходит
-
Что то вроде кластеризации
-
Но только по соседям?
-
Мне кажется для такого нужны оконные функции
-
Которых вроде ещё нет
-
Да, есть только лимит бай
-
Имеется в виду такая задача: есть M значений временного ряда, где M достаточно велико. Необходимо вывести N значений (N « M) таким образом, чтобы сохранить внешний вид и форму временного ряда.
-
А почему просто не делать агрегацию сразу в нужном формате?
-
Ну пусть и подзапросом. Кликхаус за запросы денег не берет)
-
Ну типа avg group by trunc(date, 'minute')
-
Ну можно генерить запрос в зависимости от N
-
Group by делать по некому выражению
-
Чтобы точно получать нужное количество
-
например можно делать select avg/median group by intDiv(t,M/N)
-
для времен произвольных округлений сейчас нет, есть фиксированный набор.
-
высокие частоты пропадут, из синуса может остаться ноль, например. хотя может это и нужно.
-
Не обязательно. Это зависит от того, как построить M точек, аппроксимирующих исходный ряд.
-
допустим вам нужно 100 точек за месяц. вы планировали группировать по не знаю чему, минуте, а надо по 432 минуты. либо это будет внешний запрос, в котором будет group by intDiv(номер минуты, 432) либо вы во внутреннем запросе сразу меняете выражение group by на вот это. count не нужен, нужет end-start / point length.
-
лимит вы и так знаете чему равен, он равен этой же величине, или меньше, если для некоторых точек нет данных. если вы добавите лимит, то у вас нарисуется кусок графика. обычно это не то что надо.
-
и datetime -> unixtime, да.
-
возможно более подходящим вариантом будет исходя из диапазона с данными и "разумного" количества точек брать одну из подходящих функций toStartOfX(dt) и использовать для получения точек ее. тогда сетка будет регулярной, но M будет переменным. если toStartOf функции отличаются гранулярностью не в очень много раз, то колебания у M будут тоже не очень большими. и данные, которые обычно имеют суточную/недельную цикличность, будут нарисованы с объяснимыми диапазонами в каждой точке. функции такого вида достаточно несложно добавлять. если конечно не нужна гранулярность средняя между днем и неделей.
-
красивое решение
- 19 May 2017 (60 messages)
-
-
Joined. -
-
Joined. -
от количества серверов/таблиц. Места нужно не много.
-
Ребят, а какие уровни логирования есть в КХ? Чет не найду нигде -
Ага, спасибо, Алексей)
-
Joined. -
Всем привет!
Есть ли что-то по типу ассоциативного массива в селекте ? -
есть таблица с двумя колонками, есть словарь, а что вы хотите сделать.
-
SELECT [sumIf(confirmed, {cond}), sumIf(valid, {cond}] FROM tbl
SELECT [conf => sumIf(confirmed, {cond}), valid => sumIf(valid, {cond}] FROM tbl -
Как сделать, чтобы консольный клиент отрабатывал ^С? А то напрягает )
-
нет, функция везде одна(суммирование), просто хочу получать ассоциативный массив
{confirm: 123, valid: 456} -
странно) Я бы наоборот хотел отключить выход из клиента по ^C
-
не выход нужен, а удаление ввода
-
да, было бы удобнее так
-
через кликхаус хочу получить данные из метрики.
делаю такой запрос, но почему-то кол-во просмотренных страниц почти в 2 раза выше, чем в интерфейсе метрики: -
-
в чем может быть проблема?
-
какой урл в интерфейсе метрики?
-
А нету зеркала на другом домене к репозиториям http://repo.yandex.ru/clickhouse/trusty ? -
в яндексе зобанили?)))
-
К сожалению наоборот :(
-
как вариант, взять Cloudflare и через свой домен тупо запросксировать
-
если ребята с Я не ограничивают по host хидеру - отработает
-
ограничнивают =(
-
по айпи открывается mirror.yandex.ru
-
-
Joined. -
Не поможет
-
Пока что только через медленные прокси, иначе: ping yandex.com - ping: cannot resolve yandex.com: Unknown host, и так на все домены.
-
тоже самое
-
ах, я кажется понял почему у вас не работает=(
-
вариант за CF - становится очень неплохой идеей
-
cdnjs - The #1 free and open source CDN built to make life easier for developers
Simple. Fast. Reliable. Content delivery at its finest. cdnjs is a free and open-source CDN service trusted by over 12.5% of all websites, serving over 200 billion requests each month, powered by Cloudflare. We make it faster and easier to load library files on your websites.
-
вот тут народ раздает более-менее популярные js либы
-
вроде уже спрашивали, надо смотреть поиском по groupArrayArrayArray
-
Вопрос: keep-alive + чанками нормально обработка работает? Просто с keep-alive+buffer+rowbinary удалось до 21k/sec разогнать, хочется ещё разогнать чуть.
-
- 20 May 2017 (3 messages)
- 21 May 2017 (17 messages)
-
подскажите как решить проблему с установкой на ubuntu 17
там по умолчанию библиотека libc6 версии 2.24
а clickhouse-server-base : Depends: libc6 (< 2.20) -
и в документации кстати неточность, не устанавливается по доке которая в Quick start
sudo apt-get install clickhouse-server-common clickhouse-client -y
Reading package lists... Done
Building dependency tree
Reading state information... Done
Some packages could not be installed. This may mean that you have
requested an impossible situation or if you are using the unstable
distribution that some required packages have not yet been created
or been moved out of Incoming.
The following information may help to resolve the situation:
The following packages have unmet dependencies:
clickhouse-client : Depends: clickhouse-server-base (= 1.1.54231) but it is not going to be installed
clickhouse-server-common : Depends: clickhouse-server-base (= 1.1.54231) but it is not going to be installed
E: Unable to correct problems, you have held broken packages. -
Можно из исходников собрать пакет. Это очень просто делается: https://github.com/yandex/ClickHouse/blob/master/doc/build.mdyandex/ClickHouse
ClickHouse is a free analytic DBMS for big data.
-
как я понял, для 17 надо из исходников.. к
-
Всем привет. Подскажите, пожалуйста, как правильно построить запрос в кликхаусе. Есть таблица:
user_id | date | flag
1 | dt1 | 0
1 | dt2 | 1
2 | dt3 | 0
2 | dt4 | 1
3 | dt5 | 1
нужно для каждого пользователя выбрать дату, в которую flag в первый раз стал 1, и только если до этого хоть раз был ноль. то есть запрос должен вернуть 1|dt2, 2|dt4 -
Селектите все у кого есть 1. Потом джойните к ним все записи с 0 и датой меньше чем 1
-
Спасибо, буду пробовать :)
-
первое что в голову пришло
SELECT
user_id,
min(d_1) as md1
FROM
(
SELECT
user_id,
date AS d_1
FROM table
WHERE flag = 1
)
ALL INNER JOIN
(
SELECT
user_id,
date AS d_0
FROM table
WHERE flag = 0
) USING (user_id)
WHERE d_0 < d_1
GROUP BY user_id
SELECT
user_id,
arraySort(groupArray(date)) AS ds,
arraySort((x, y) -> y, groupArray(flag), groupArray(date)) AS flags,
arrayMap(i -> ds[i], arrayFilter(i -> ((i > 1) AND ((flags[(i - 1)] = 0) AND (flags[i] = 1))), arrayEnumerate(flags)))[1] AS d_1
FROM table
GROUP BY user_id
HAVING d_1 != '' -
также можно посмотреть на sequenceMatch.
-
select user_id, minIf(date, flag=1) as d from table group by user_id having minIf(date, flag=0) < minIf(date, flag=1) and minIf(date, flag=0) > 0;
-
1,0,1?
-
не вернет ничего. и не должен по условию
-
точно, я прочитал как дату первой единицы после нуля.
- 22 May 2017 (112 messages)
-
Joined. -
это хостнейм от mirror.yandex.ru
-
я думаю можно даже не зеркало, а прокси
-
ведь проблема не с доступностью, а с блокировкой
-
я не контрибьютор, но просили передать
rsync://mirror.yandex.ru/yandexrepo/ -
анонсик бы куда, уверен, украинским коллегам сейчас очень актуально
-
подскажите, есть ли возможность что бы КХ в запросе на COUNT() таки возвращала ноль? пустой ответ как-то не очевиден
-
в будущем.
-
Кто б еще доку по кликхаузу зазеркалил, для украиских коллег...
-
-
Спасибо!
-
а что, https://clickhouse.yandex даже заблокировали?ClickHouse DBMS
ClickHouse is a fast open-source column-oriented database management system that allows generating analytical data reports in real-time using SQL queries
-
жесть
-
Решили не морочиться с dpi :(
-
ага, такой dpi для бедных))
-
супер!
-
Спасибо!
-
Всё же buffer очень небыстрый если по одной строке класть :(
-
немножко непонятно по словарям. У меня в /etc/clickhouse-server/config.xml дефолтная строчка: <dictionaries_config>*_dictionary.xml</dictionaries_config>
-
я создал файл /etc/clickhouse-server/hostnames_dictionary.xml который начинается с: <dictionary>
<name>hostnames</name> -
это правильно ?
-
вот вопрос в том: надо ли <dictionary> заворачивать внутрть <dictionaries> ?
-
ага, вот это не очень очевидно было из документации
-
дальше там по select * from system.dictionaries вроде можно разобраться
-
Вопрос: можно ли общаться с КХ с помощью RowBinary но не через http?
-
Можно ли ожидать ускорение на порядки в сравнении с rowbinary+Post?
-
Я ориентируюсь на kdb, где удаётся вставить порядка 50к/с при одиночной записи. Сейчас в КХ всего около 3к (на прошлой неделе я похоже ошибся) , хотелось бы не меньше 20к.
-
Причина для этого - 1) хочется избавиться от внешних буферов 2) иметь данные близкие к realtime
-
Пробовал вставку в memory а не в buffer - ничего особо не меняется -> похоже горлышко где-то в http.
-
Это про вставку по одному? Или блоками?
-
Ну вот тут и загвоздка. Kdb быстрее, хотя в целом всё похоже.
-
Я надеялся, что buffer спасёт
-
Использовать сетевой буфер - понятно. Спасибо.
-
Но всё равно не буду оставлять попытки разогнаться. Может быть http-чанки помогут.
-
Может я не понимаю, а в чём потенциально замедление класть большое количество мелких строк на стороне КХ, если используется buffer. Я предполагал, что это просто сохранение в память. В kdb я делаю тоже самое. + думал что buffer позволит разогнаться даже быстрее.
-
Понял, спасибо, да, мне тоже кажется что скорее всего это и тормозит. Из-за этого и думал сбежать на нативный (не очень хочется) Или чанки.
-
Да, ясно, спасибо. На kdb всё летает и из-за этого хочется чего-то похожего.
-
Ребят, а есть ли у кого пример создания таблицы на движке File ?
-
Извиняюсь, я переспрошу, так как не видел ответа - чанками это как-то можно осуществить чтобы не закрывать соединение?
-
Потому как при формирование такого пакета надо context-size передавать
-
Т.е. он каждый чанк тогда не будет обрабатывать как запрос? Ок
-
А, т.е. схема ему не нужна? Правильно ли я понимаю что все столбцы будут в формате строк?
-
Ага, вроде понял. Завтра проверю. Большое спасибо!
-
sha_transform из kernel до 40%, даже не знаю что это.
-
а покажите perf top целиком?
-
sha_tranform из кернел - это оооочень странно
-
в ядре оно используется разве что для SYN cookie
-
да и-то в последних ядрах заменили на ситихэш
-
-
только в таком виде пока.
-
Так, есть мысль, что надо обновиться.
-
У нас похоже для internal не самая свежая версия. Спасибо!
-
а это точно из ядра, а не из clickhouse?
-
да, похоже с ядра http://elixir.free-electrons.com/linux/latest/ident/sha_transform
-
загааадкааа
-
=> кидаться собрать последнюю версию смысла нет?
-
я бы лучше тыкнул энтер в perf top и посмотрел, откуда идет вызов этой функции
-
а в dmesg нет ничего в стиле "syn flood" ?
-
Не вижу
-
а файловая система случаем не ZFS?
-
Xfs
-
-
похоже на то
-
Я тут вроде не причём :)
-
DB::Settings::... вызывает такое поведение
-
вот да
-
Ещё раз напишу что я вставляю по одной строке. Но тем не менее.
-
слушайте, у меня есть машина с такой нагрузкой
-
секнду
-
Так что там нагружать: curl_easy_perform с одной строкой rowbinary в цикле.
-
В #define Apply_for_settings видно random на loadbalancing. , Если оно вообще к этому.
-
-
у меня вот так
-
но у меня не хттп протокол
-
я открываю базу 1 раз и пишу строки туда через С++ либу
-
По одной за insert?
-
Попробую завтра с другим load_bal
-
Поодной да
- 23 May 2017 (98 messages)
-
Сомнительно. У меня одно соединение.
-
Ok, завтра сделаю. Просто, если я правильно понимаю, то всё же при вставке в буфер ничего сложного происходить не должно, кроме обработки http.
-
а может цурл каждый раз открывает новое соединение?
-
и это вызывает валидацию пароля повторно?
-
В http протоколе пароль проверяется на каждый запрос. Нет сущности "пароль на соединение"
-
ну, видимо в этом и ответ, почему столько ша1 в выдаче
-
это внешний чат
-
Joined. -
Но мы не против послушать))
-
после обновления до последней версии появилась ошибка во внешнем словаре: last_exception: Code: 36, e.displayText() = DB::Exception: Unknown key \'name[1]\' inside attribute section, e.what() = DB::Exception
ругается вот на это:
<name>created</name>
<type>DateTime</type>
<null_value>NULL</null_value>
хотя в мускуле поле (timestamp) селектится нормально, и до обновления работало нормально. Никто не знает в чем причина? -
точно, мой косяк, почему-то раньше не алертило об ошибке =)
-
значит никто словарем и не пользовался, можно выпиливать
-
идеи чего? проектов для хакатона?
-
посмотреть на все возможные инструменты визуализации, сделать выводы, еще раз посмотреть, потом еще раз посмотреть, пересмотреть выводы, а потом запилить универсальную 👍🏻 -
и в open-source 😬
-
QueryEditor extends React.Component, вот это все.
-
Joined. -
т.е. надо на нативный попробовать переехать? Ок
-
#faq #query_log #log_queries
-
Добрый день, что нибудь появилось для миграций в clickhouse ?
-
Точно говорю: действует
-
Ну это, select, insert :(
-
а как же алтер столбцов
-
создание новых таблиц и т.д.
-
Вот рад бы к вам как-то присоединиться. Мы как и многие делаем сейчас морду вокруг кликхауса
-
Делаешь новую таблицу и переливаешь туда
-
что к чему...
-
Яндекс дайте миграции(
-
А сами написать?)
-
за миграции -- минус минус.
-
это не первостепенная фича, первостепенная - кастомные шардирования)
-
и батчер)
-
о нет
-
)) блин
-
Trivial Buffer вмержили
-
оооо, дай доки)
-
а в чем ключевое отличие от обычноно буфера ожидается?
-
не знал, видел просто что вы его смержили )
-
тогда это не батчер
-
Привет, у нас в ZK у некоторых ReplicatedMergeTree таблиц по 19 миллионов znode-ов (при том что в system.parts у соотв. таблиц не более 500-600 записей). Похоже, это ненормально и ZK от этого нехорошо. Есть идеи, что может быть не так и как починить? -
Да, похоже, дело именно в этом. А как теперь это починить, если старой реплики уже нет и не будет?
-
Ясно, так и подумал. Спасибо большое за быстрый ответ! :)
-
Месяц назад поменялся формат записей в Zookeeper-е. С версии 3 на версию 4. Теперь новую версию КХ нельзя откатить на более старую, ругается на
DB::Exception: Unknown ReplicatedMergeTreeLogEntry format version: 4
Есть простой способ все-таки откатиться? -
Joined. -
Наступил на баг https://github.com/yandex/ClickHouse/pull/810 . Надо либо откатываться, либо собирать из исходников версию с патчем :(Fix bugs in graphite rollup. by ztlpn · Pull Request #810 · yandex/ClickHouse
This PR fixes known problems with graphite rollup: destructive rollup with Time=0 if no pattern matches differences in row count for Path and Value columns missed output rows on the boundaries bet...
-
В логах ошибка "Sizes of columns doesn't match" появилась только в новых версиях (в 1.1.54135 не было). Но возможно я наступил еще в какой-то баг? Симптомы - растет количество несмердженных чанков, от этого растет потребление CPU, через пару дней cpu заканчивается совсем
-
подскажите плз, есть ли что-то такое что нужно знать о джойнах но не указано в доке? у меня left и inner join дают одинаковые результаты
при том что в левой таблице на порядок больще строк чем в правой, КХ упорно выбирает все данные как по inner join'у -
например
select count() as raw, sum(uniq_weekly), sum(uniq_daily) from idstats where country_name = 'us'
дает что-то вроде 147933 │ 17636 │ 59033
но
select count(*) as raw, sum(uniq_weekly) as uniq_weekly, sum(uniq_daily) as uniq_daily, count(substep) as download from idstats any left join events using uid where substep = 'Download' and country_name = 'us'
дает 5735 │ 684 │ 2303 │ 5735 -
что как бы вообще не верно
-
Версия из мастера помогла, спасибо. Но вообще конечно повезло что уже пофиксили. Иначе не было бы дороги ни вперед, ни назад :(
-
Почитай в документации про разницу any/all join -
оба варианта возвращают одно и то же
точнее разница там в пару единиц -
Да, действительно тут дело не в этом.
Возможно, разные условия в where? -
Мда, через native скорость упала ещё в разы, до ~20 в секунду. Может дело в библиотеке клиента - не знаю. Так как cpu почти не загружен. ... компрессия ... отключена.
-
Хочется lowlatency
-
Вчера оказалось что post тоже не подходит по причине того что там каждый раз шифруется пароль.
-
Но что-то в 25 строк в секунду верится с трудом. Да, у native немного больше оверхед на мету, но 25/с тут явно не в этом дело.
-
Но тем не менее http+rowbinary всё же около 3000 выдаёт. Понимаю что не особо рекомендуемое использование, но всё же.
-
Делая вставки по 1 просто потом огребешь веселые мержи.
-
А чем буфер таблица не угодила?
- 24 May 2017 (75 messages)
-
Так я в Buffer и вставляю. Я так понимаю он и должен собрать данные чтобы потом не было очень много мерджей.
-
@inv2004 в общем случаи нельзя оптимизировать под latency и скорость вставки пачками одновременно. Кх оптимизирован под последнее
-
И не надо из него делать то к чему он не предназначен
-
Да, Я понимаю, просто хотел понять предел какой возможный. В данный момент он не ясен: при вставке post - упирается в sha пустого пароля но все же 3к, а вот с native не считает пароль, но производительность всё равно упала аж в 100 раз.
-
Я просто объясню. Есть задача, на которую неплохо ложится кдб, которая имеет ~ аналогичную векторную структуру, при этом является довольно универсальной. У КХ тоже есть преимущества, но просто хочется понять основные моменты которые он сможет покрыть, а что не сможет. При этом, КХ и кдб кажутся довольно близкими родственниками.
-
Joined.
-
Joined. -
Добрый день! Подскажите пожалуйста, каким образом можно указывать таймзону в виде смещения от UTC вместо использования имён часовых поясов при работе с датами? -
Например, найти имена поясов, соответствующих смещению
-
Таймзона — это же больше, чем смещение по utc
-
вот с апдейтами самая грустная ситуация в вещах типа user agent
-
у нас очень много нераспознающихся useragent и приходится править тот код, который парсит, а следовательно приходится апдейтить таблицу
-
апдейтить её нельзя
-
Useragent можно писать в рядом стоящую sql базу, а в CH вытаскивать через словарь например
-
Ну так да
-
Или сделать внешний словарь в кх в памяти на цсв
-
сейчас у нас 275961 разных useragent
-
Немного
-
ну это ж вообще не о чем.
-
Поместится во что угодно
-
а если я захочу сделать распределение по операционным системам, то это будет норм?
-
А почему это должно стать не норм?
-
кликхаус сделает 270 тыс лукапов к словарю, приклеит и всё агрегирует?
-
сейчас у нас поле операционная система лежит в строке
-
Э
-
а тут будет снаружи
-
ну словарь же по факту С++ ный хэш
-
а это ОЧЕНЬ БЫСТРО
-
Кликхаус внешние словари подтягивает в память с некоторой частотой. Это хэш-таблица
-
оок
-
звучит что надо именно так делать
-
Только правильно настройте частоту обновления и всё такое
-
std::unordered_map C++11: 2.0 mega ops per second
-
ну вот как-то так в синтетических тестах оно работает :)
-
std::map: 0.8 mega ops per second
-
ну и это на 1 поток процессора, ессна
-
Спасибо! Этот вариант мне подходит.
-
Такой вопрос, нормально ли кликхаус скушает такую выборку в селекте - concat(toString(round(click/show*100)), '%') as CTR, или лучше такие вычисления делать уже в коде? (на тестовом стенде, естественно всё работает прекрасно, интерсно именно не будут ли тупить вычисления на больших объёмах данных)
-
Если я мигрирую zookeeper с трёх нод на другие три в несколько этапов:
0. Машинки 1, 2 и 3 надо перевезти на 1, 4 и 5 с переналивкой первой.
1. Наливаю машины 4 и 5, добавляю их в кластер, жду, пока догонится ZK
2. Переналиваю машину 1, восстанавливаю на ней ЗК
3. Убираю ноды 2 и 3
Если я в этот момент пропишу в clickhouse все 5 нод, то он себя будет нормально чувствовать при пертурбациях?
Если прописать дополнительные две ноды до того, как они станут доступны, как он поведёт себя в этом случае? -
столкнулся вот с таким багом, который уже в статусе “закрыт”
https://github.com/yandex/ClickHouse/issues/246
мои комментарии внизу тикета. кто может что посоветовать?Logical error: zero number of streams requested · Issue #246 · yandex/ClickHouseUbuntu 14.04, установлена по документации, конфиги дефолтные. Запросы вида CREATE TABLE, SHOW CREATE TABLE проходят успешно, но на SELECT 1, SELECT * FROM и т.п выдает ошибку: Received exception ...
-
Получается что для того что бы это правильно сделать, можно не делать миграцию, а сначала сделать словарь, попробовать и лишь потом мигрировать таблицу
-
Ну вам не нужна миграция, чтобы попробовать запросы, которые используют внешние словари
-
Ага, вот я об этом
-
Я про ноды зк, кх никуда не едет и только меняется конфиг, который относится к zookeeper
-
спасибо, буду сапёром, значит
-
OPTIMIZE TABLE реплицируется?
-
да, проверил сам )
-
Можно ли как-то сделать make install, но не собирая тесты?
-
cmake -DENABLE_TESTS=0
-
Было бы здорово, так как добавлять в словарь сейчас не совсем удобно.
-
Это я нашел в разделе планов развития в Екатеринбургской презентации
-
Просто для информации: дело было не в пароле: uuid генерился из random => прямая передача query_id позволила разогнать мелкие вставки в два раза. Теперь видно что всё упирается в new, что ок. На чём этот странный эксперимент и заканчиваю. :)
-
Если не средствами SQL -- то самое простое touch файла с описанием словаря.
-
Joined. -
Joined. -
Всем привет! Ребята, подскажите пожалуйста правильный вариант запроса. Есть таблица с полями id, name, amount, created_at. Нужно сделать запрос на сумму по amount за последнюю неделю с гранулярностью 15 минут. как сделать??
- 25 May 2017 (105 messages)
-
Документация ClickHouse | Документация ClickHouse
ClickHouse is a fast open-source column-oriented database management system that allows generating analytical data reports in real-time using SQL queries
-
А как можно обновить словарь средствами SQL?
-
Пока никак. Это в roadmap Яндекса
-
Joined. -
Здравствуйте!
Проблема с запросом в БД. При увеличении диапазона, количество записей выдает меньше
Может это связано с типом столбца Float?
Как можно решить данную проблему. Between тоже не помогает -
-
Забавно)
-
А сколько rows processed во втором случае?
-
во стором случае processed 47.06
-
да, столбец входит в первичный ключ
тип x Float64 -
таблица нереплецированная
-
/stat@combot
-
/stat@combot
-
Всем привет! Есть таблица с полями ts, name, amount. Нужно сделать запрос на сумму по amount за последнюю неделю с гранулярностью 15 минут. причем в некоторых интервалак может не быть данных и должна быть строка с 0 и временем интервала, как сделать??
-
кажется вы это спрашивали вчера. а, может не быть данных. тогда надо left join
-
например так
SELECT
number,
sum(v)
FROM
(
SELECT number
FROM system.numbers
WHERE (number % 15) = 0
LIMIT 4
)
ANY LEFT JOIN
(
SELECT
number,
1 AS v
FROM system.numbers
WHERE ((number % 15) = 0) AND (number NOT IN (15, 45))
LIMIT 4
) USING (number)
GROUP BY number
ORDER BY number ASC -
Joined. -
всем привет! у меня проблема с материализованным представлением. обновились данные в исходной таблице, используется в запросе для представления. само представление осталось без изменений. Как его заставить пересчитаться? -
изменился атрибут в справочнике
-
пересоздать с указанием POPULATE
-
это очень тяжелый способ...
-
получается, данные в мат. представлении никогда не обновляются?
-
ну да. Они туда кладутся только.
-
P.S.
Если я не прав и такое уже возможно. Тагните меня плз в ответе!) -
печаль
-
У мат вью основной кейс как я понял по доке это слушать таблицу с сырыми данными и агрегировать их на лету например.
-
Для случая когда нужны и агрегаты и сырые данные
-
но при этом "Например, при наличии GROUP BY, данные будут агрегироваться при вставке, но только в рамках одной пачки вставляемых данных."...
-
как сложить 2 DateTime, делаю так toDateTime('2016-06-15 23:00:00') + toDateTime(number) ошибка DB::Exception: Illegal type DateTime of second argument of function plus.
-
спасибо!!
-
Вопрос: я правильно понимаю что нет ни одного поколоночного формата для вставки кроме native? (Который не рекомендуется)
-
Спасибо.
-
Поколоночная вставка? А можно поподробнее?
-
Не очень уверен про КХ, но смысл в том, что данные передаются в формате: колонка1: массив1 данных; колонка2: массив2 и ТД => для вставки не надо делать flip, а по сути достаточно одного memcpy
-
@milovidov_an Алексей, а нету планов сделать нэтив / официальную либо для С++?
-
текущая вполне спарвляется с задачей, но есть несколько неприятных бажков и хочется оптимизации без выделения памяти на каждом шагу:(
-
А он тут есть? :)
-
затяните его)
-
Я не знаю что такое с artpaul, но мой клиент на нём тормозит жутко. 20 вставок в секунду.
-
Не думаю что проблема на стороне КХ
-
у меня вроде около 200 вставок, но есть жалобы на потерю данных :/
-
хз на чьей они стороне вот, вряд ли на кликхаусе
-
угумс:(
-
Ну, просто учитывая 6000 простым post'ом, начинает казаться что что-то с клиентом не то.
-
cамое вот страшное вот это https://github.com/artpaul/clickhouse-cpp/issues/18Unexpected exception when Clickhouse daemon restarts · Issue #18 · artpaul/clickhouse-cpp
Hello! I have the following code to push data to CH: try { clickhouse::Block block; auto packet_direction = std::make_shared(); packet_direction...
-
приложение разносит вдребезги при перезапуске CH демона + подозрения на потери данных где-то перед вставкой
-
И, я может не понял, но почему там в коде делается insert values ? Хотя навеоное просто не понимаю.
-
там нужно собирать столбцы данных
-
имя - aaa, bbb, ccc
-
возраст - 11, 22, 44
-
и потом инсертом вгонять в базу
-
-
А это норм? Я просто для понимания. Немного смущает.
-
не, оно работает - это железно
-
Всё равно не понимаю
-
echo 'INSERT INTO t VALUES (1),(2),(3)' | POST 'http://localhost:8123/'
-
ну вот пример из документации
-
Так это не нативный формат, хотя и формирования строки под values я там с ходу не обнаружил.
-
не, там дальше идет вставка блоками
-
// TODO check connection
-
не хватает только вот этой штуки :)
-
Т.е. в данном примере values просто игнорируется? Тогда всё логично.
-
Values на скрине это кусок запроса
-
Понял.
-
так что посоветуете? Хранить данные в float32 и Обновить clickhouse?
-
ого..не float64, a float32
-
Вы правы
-
обновление clickhouse решить проблему? Или лучше float64 использовать
-
спасибо!
-
-
или теперь будут с -debug?
-
2017.05.25 13:09:57.227116 [ 120 ] <Error> BaseDaemon: ########################################
2017.05.25 13:09:57.240811 [ 120 ] <Error> BaseDaemon: (from thread 62) Received signal Segmentation fault (11).
2017.05.25 13:09:57.240842 [ 120 ] <Error> BaseDaemon: Address: NULL pointer.
2017.05.25 13:09:57.296645 [ 120 ] <Error> BaseDaemon: 1. /lib/x86_64-linux-gnu/libc.so.6(+0x16e5c0) [0x7f79b906e5c0]
2017.05.25 13:09:57.301385 [ 120 ] <Error> BaseDaemon: 2. clickhouse-server(Poco::ThreadImpl::runnableEntry(void*)+0xa5) [0x34e6845]
2017.05.25 13:09:57.301416 [ 120 ] <Error> BaseDaemon: 3. /lib/x86_64-linux-gnu/libpthread.so.0(+0x76ba) [0x7f79b99e56ba]
2017.05.25 13:09:57.301433 [ 120 ] <Error> BaseDaemon: 4. /lib/x86_64-linux-gnu/libc.so.6(clone+0x6d) [0x7f79b900682d]
Уже второй раз упал инстанс вот с такой ошибкой, у кого-то было? Версия кликхаус 1.1.54187 -
Joined. -
Спасибо, попробую
-
Joined. - 26 May 2017 (46 messages)
-
Оно там не то что бы игнорируется, предположим что у вас есть 2 запроса:
а)
INSERT INTO table VALUES (value_a, value_b, value_c);
б)
INSERT INTO table (a, b) VALUES (value_a, value_c);
на сервер отправляется запрос без данных, т.е. все что после VALUES отбрасывается и в случае "а" сервер ответит клиенту с указанием всех колонок в таблице и их типами в том порядке в котором ожидает их принять,
в случае "б" вернет набор только колонок a и b, причем в указанном в запросе порядке -
это мало, у меня есть тестовый кейс для выявления одного бага в библиотеке, там поднимается КХ в докере и к нему идут очень много мелких запросов (~1000 строк) получается где-то 300 rps, но после этого КХ до бесконечности сыплет в логи
lib/clickhouse/data/default/t1/tmp_20380101_20380118_41976_299766_1, e.what() = File access error
2017.05.26 09:39:56.270920 [ 3 ] <Error> void DB::BackgroundProcessingPool::threadFunction(): Poco::Exception. Code: 1000, e.code() = 39, e.displayText() = File access error: directory not empty: /var/lib/clickhouse/data/default/t1/tmp_20380101_20380118_41976_299766_1, e.what() = File access error
2017.05.26 09:39:56.319561 [ 10 ] <Error> void DB::BackgroundProcessingPool::threadFunction(): Poco::Exception. Code: 1000, e.code() = 39, e.displayText() = File access error: directory not empty: /var/lib/clickhouse/data/default/t1/tmp_20380101_20380118_41976_299766_1, e.what() = File access error
2017.05.26 09:39:56.338284 [ 5 ] <Error> void DB::BackgroundProcessingPool::threadFunction(): Poco::Exception. Code: 1000, e.code() = 39, e.displayText() = File access error: directory not empty: /var/lib/clickhouse/data/default/t1/tmp_20380101_20380118_41976_299766_1, e.what() = File access error -
Последняя версия драйвера? Если это не таймаут, и есть подозрение что дело в драйвере можно создать задачу в него с описанием ошибки. -
@artmkin огромное спасибо!)))
-
Joined. -
Всем привет. У меня такая ситуация - есть таблица статы и обычная вьюха, тянущая данные из этой таблицы, плюс дополнительные
вычисления. Вьюха создана запросом, вида
CREATE VIEW V AS SELECT *, expr1 as col1, expr2 as col2 FROM Table;
Вопрос - при добавлении колонки в таблицу вьюха ее не видит. Есть ли возможность обновлять вьюху, не пересоздавая ее
на каждом альтере основной таблицы? Спасибо) -
Возможно, стоило подождать пока КХ смерджит колонку со всеми кусками или зафорсить событие выполнив OPTIMIZE по таблице
-
Joined. -
Joined.
-
Ребят, а только у меня прогресс бар обновляется только по нажатию Enter?
-
Ubuntu 16.04
Стоковый bash.
После ввода запроса, и нажатия Enter появляется вот такая строка: -
-
И пока запрос не выполнится, она не меняется. В конце запроса уже вылетают результаты.
-
если периодически нажимать Enter во время выполнения, то происходит обновление
-
Выглядит это так
-
SecureCRT - xterm
-
Хм, сейчас попробовал штатным терминалом OS X. Там прогресс бар есть и работает.
там TERM=xterm-256color -
#define SAVE_CURSOR_POSITION "\e7" - просто новая строка
#define RESTORE_CURSOR_POSITION "\e8" - вернуло в начало строки
#define CLEAR_TO_END_OF_LINE "\033[K" - просто новая строка -
-
У меня косячина похоже в securecrt. Он видимо как то не совсем верно все интерпретирует
-
долбани команду env, покажи выведет. Из маковского терминала или кастомный клиент?
-
Странно. У меня тож самое
- 27 May 2017 (17 messages)
-
Joined. -
Всем привет!
-
sudo service clickhouse-server status
/etc/init.d/clickhouse-server: line 274: running_processes: command not found
/etc/init.d/clickhouse-server: line 274: [: -eq: unary operator expected
clickhouse-server: process unexpectedly terminated -
Ubuntu 14.04, версия: 1.1.54236
-
start/stop/restart работают, status отсох :)
-
похоже на старую версию инит скрипта
-
сейчас там на строке 274 совсем другое, и эту проблему уже решали
-
можно попробовать взять содержимое https://raw.githubusercontent.com/yandex/ClickHouse/master/debian/clickhouse-server.init и положить в /etc/init.d/clickhouse-server:
-
Можно сделать
sudo apt-get --reinstall -o Dpkg::Options::="--force-confask" install $package
Должно помочь -
Привет. А кто может по табиксу подсказать? Можно ли его использовать в прокси режиме. Что бы доступ до кх был только с сервера с табиксом, но не у клиентов?
-
Вроде разработка tabix server только в прогрессе, ещё нет - 28 May 2017 (66 messages)
-
done
-
@Felixoid спасибо, помогло :)
-
а можно ли в внешнем словаре в layout совместить complex_key_hashed и cache ?
-
мне бы распарсить useragent и запихать в кеш
-
но ключом будет строка
-
Неоптимально но подойдет. Когда я писал свою хранилку для стоковых данных то получилось сделать ряд хороших оптимизаций
-
В кх их нет, но он сам по себе крут
-
complex_key_cache
-
а требования есть ? я вот о opentsdb для такой задачи думаю что хорошо подойдет
-
Opentsdb о другом
-
Вообще
-
Короче. Лить стакан в кх можно
-
а что такое стоковые данные, простите, за невежливость?
-
Биржевые
-
а
-
Стакан это строка из, скажем,40 чисел: отсортированные по цене предложения на покупку и продажу с ценой и обьемом
-
Они характеризуются сильными колебаниями в середине и неподвижностью по краям,так что межстрочная компрессия даст потрясающий результат
-
имейте ввиду:
- низкие требования к консистентности данных; -
это неотъемлемое свойство данных с биржи. Совершенно нормально получить мусор, скачки на 3 порядка, старые данные, повторы и прочий мусор. Если московская биржа ещё более менее что-то приличное отдает, то американские вместе дают жуткий шум
-
Joined. -
А есть ли в ClickHouse возможность хранить в поле массивы Key => Value ?
-
можете подсказать по словарям которые через executable
-
указал как CSVWithNames и получаю такую ругань:
-
Code: 27, e.displayText() = DB::Exception: Cannot parse input: expected , before: useragent","os_family","os_type","os_version_major","os_manufacturer","browser_family","browser_type","browser_version_major","browser_manufacturer"",,,0,,,,0,\n:
Could not print diagnostic info because two last rows aren't in buffer (rare case)
: (at row 1), e.what() = DB::Exception -
при этом:
-
# echo "Lavf53.32.100" | /opt/retroview/scripts/useragents.erl dict
"useragent","os.family","os.type","os.version_major","os.manufacturer","browser.family","browser.type","browser.version_major","browser.manufacturer"
"Lavf53.32.100",,,0,,"mag","stb",0,"infomir" -
что должен отдавать скрипт?
-
ИМХО, если планируется данные с бирж потом чистить, то ClickHouse для этого кейса не оч подходит.
-
Чистить надо сразу
-
На входе
-
Не всегда это возможно
-
Конечно. Есть база заточенная под стоки - кдб. Собственно во многих банках именно она.
-
Для поиграть сгодится
-
Вот незадача: cache executable наплодил зомбей, cache http жалуется на connection refused
-
Сочувствую
-
Это оффтоп, но инфлакс не работает с мало мальски большими базами и запросами. Можешь погуглить какие в среднем проблемы с ним у людей сейчас.
-
двадцать мегабайт =)
-
сорок мегабайт, может даже больше... может даже шестьдесят -
может кто-нибудь посоветовать, как отладить ситуацию с тем, что кликхаус говорит, что не может подключиться при исполнении запроса, в котором участвует доступ к http dictionary?
-
ой. а есть прувы ? если не против давайте на эту тему в @metrics_ru тут не релевантно. -
@the_real_jkee 700! поздравляю.
-
Ага, уже 700. Всех поздравляю!
-
Ура!)
-
помог strace. Я прописал 127.0.0.1, а коннект идет к [::1]
-
можно хранить Nested с массивами Keys и Values, для некоторых задач подходит.
-
Joined. -
Joined. - 29 May 2017 (76 messages)
-
так, насчёт словарей такие замечания:
-
1) во-первых в http источник КХ засовывает несколько раз один и тот же ключ
-
2) во-вторых какая-то проблема с превращением 127.0.0.1 в [::1]
-
3) следующее — не очень понятно какой был рассчетный паттерн использования executable: запускается на очень маленькое количество ключей и часто дохнет. Хорошо бы поднимать процесс и долго его кормить
-
у меня софтина не слушает на ipv6
-
<listen_host>::</listen_host>
-
я пока сделал по-другому: я дал не 127.0.0.1, а внешний хостнейм, который разрезолвился в ipv4
-
а с dictionary и кешем ещё вопрос в том, что вот как бы так сделать, что бы кеш можно было сделать персистентным, т.е. хорошо бы что бы был файл, а если ключа нет в файле, тогда идти за executable к http серверу
-
Received exception from server:
Code: 359. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Table fastnetmon.host_metrics was not dropped.
Reason:
1. Table size (57.24 GB) is greater than max_table_size_to_drop (50.00 GB)
2. File '/var/lib/clickhouse/flags/force_drop_table' intedned to force DROP doesn't exist
How to fix this:
1. Either increase (or set to zero) max_table_size_to_drop in server config and restart ClickHouse
2. Either create forcing file /var/lib/clickhouse/flags/force_drop_table and make sure that ClickHouse has write permission for it.
Example:
sudo touch '/var/lib/clickhouse/flags/force_drop_table' && sudo chmod 666 '/var/lib/clickhouse/flags/force_drop_table'.
0 rows in set. Elapsed: 0.222 sec. -
занятная защита :)
-
не, мне нравится)
-
типа данные менее 50 гигов не шибко ценны, а вот больше - не смей, мужик!)
-
Добрый день скажите плиз можно ли какие-то метрики с кликхаус снять для графита? может есть какая-то тулза ?
-
ClickHouse/graphouseGraphouse allows you to use ClickHouse as a Graphite storage. - ClickHouse/graphouse
-
эт про другое )
-
если именно с кликхауса - в настройках можно указать )
-
привет)) ты понял о чем я спрашиваю)
-
как-то снять нагрузку количество запросов и т.д. чтобы в графане мониторить. где в кликхаус искать?
-
там не так много метрик
-
и все же. какие именно? где рыть? может я в доке упустил про это
-
Server/config.xml ?
-
<graphite> в clickhouse-server/config.xml
-
там можно указать root_path (префикс метрик в графите)
-
host/port, interval
-
и 3 параметра
-
@maksim_melnichuk оно дампит в общем system.metrics, system.events и system.asynchronous_metrics
-
вижу. там две секции
-
мне только одну расскоментить и порт поменять
-
Ага
-
спасиб
-
Привет!
Как на КХ лучше написать запрос, который на большой таблице фактов посчитает по выбранному измерению сумму последних (по времени) N фактов? -
@Civiloid смотрю в графане все статы по нулям, хотя запросы идут. там две секции метрики и события
-
я пока не дошел до мониторинга кликхауса ) пока просто играюсь
-
там только статы есть по AsynchronousMetrics
-
у меня есть все статы )
-
они правда с дырами иногда )
-
то есть у меня за 8 часов есть 3-4 пропущенные точки
-
а где можно глянуть описание по этим ключам стат? а то не совсем понятно что есть что
-
во всех метриках одинаковые )
-
я боюсь в комментах в коде )
-
@Yandex дайте доку по метрикам )
-
MarkCacheBytes MarkCacheFiles вот по этим только есть. какой-то кеш
-
Всем привет! Может кто подсказать, как скормить в словарик данные через АПИ проекта, отдавая JSON?
-
или там только tsv?
-
Документация ClickHouse | Документация ClickHouse
ClickHouse is a fast open-source column-oriented database management system that allows generating analytical data reports in real-time using SQL queries
-
CSV, TSV и куча другого
-
А вниешние словари то соберутся если указать "кучу всего"?
-
Добрый вечер. Для range_hashed словаря, start_date или end_date может быть null?
-
"Если граница диапазона является NULL или является некорректной датой (1900-01-01, 2039-01-01), то диапазон следует считать открытым. Диапазон может быть открытым с обеих сторон."
Нашел. -
С 2039 по 1900... Интересно...
-
А может ли у range_hashed словаря не быть атрибутов?
-
У меня просто id и start/end
@clickhouse_ru / Public archive of Telegram messages.
- 01 May 2017 (38)
- 02 May 2017 (60)
- 03 May 2017 (51)
- 04 May 2017 (147)
- 05 May 2017 (52)
- 06 May 2017 (15)
- 07 May 2017 (10)
- 08 May 2017 (110)
- 09 May 2017 (63)
- 10 May 2017 (105)
- 11 May 2017 (94)
- 12 May 2017 (72)
- 13 May 2017 (32)
- 14 May 2017 (8)
- 15 May 2017 (166)
- 16 May 2017 (75)
- 17 May 2017 (86)
- 18 May 2017 (151)
- 19 May 2017 (60)
- 20 May 2017 (3)
- 21 May 2017 (17)
- 22 May 2017 (112)
- 23 May 2017 (98)
- 24 May 2017 (75)
- 25 May 2017 (105)
- 26 May 2017 (46)
- 27 May 2017 (17)
- 28 May 2017 (66)
- 29 May 2017 (76)
- 30 May 2017 (127)
- 31 May 2017 (61)