- 01 November 2018 (261 messages)
-
Нет -
Если у вас их не один то нет проблем с утилизацией
-
Любой порядок ? А почему не порядок Primary Key ? -
Потому что несколько потоков обрабатывают запрос -
Это если кратко
-
Разве КХ учитывает numa? -
ну в целом я вижу что он отлично утилизирует все ядра без исключения если есть чем
-
привет.
выполнил delete where, чтобы перелить кусок данных. все прошло успешно, переливаю данные – ошибок нет, но в таблицах они не появляются.
кто-нибудь сталкивался? версия последняя, лью в ReplicatedMergeTree через Distributed. -
как вы переливаете данные через delete ?
-
репл.табла запоминает последние 100 залитых блоков, и обрасывает их повторно при заливке как дубли -
похоже на это
-
попробуйте сделать что-то типа: for i in {1..100); do clickhouse-client -q "inset into table (date, x) values ('1980-01-01', $i)"; done, то есть налить 100 фейковых блоков, а потом снова вашие данные, чтобы проверить эту теорию
-
переливаю = удаляю, потом заливаю новые
-
Ну если теже самые то вам ответили уже а если новые то надо смотреть
-
Увы не получится
-
спасибо, похоже на это. почему-то я думал о 100 строках, а не блоках.
-
насколько я понимаю, при вставке кх ваще ничо не думает про строки, тока про блоки :)
-
Коллеги, добрый день. Вопрос небольшой - как КХ с гипертредингом работает? Или лучше его отключить, если железо выделено только для него? -
По опыту работы с другими ресурсами - гипертрединг зло
-
HyperThreading дает прирост, если тип нагрузки разный в разных тредах, или если очень много случайных хождений в память
-
не подскажете. постоянно пишутся такие записи в логи
2018.11.01 10:43:54.883644 [ 23 ] <Warning> default.table (StorageReplicatedMergeTree): Part 20181018_20181018_255528_255528_0 is covered by 20181018_20181018_255006_255528_103 but should be merged into 20181018_20181018_255528_255533_1. This shouldn't happen often.
2018.11.01 10:43:55.078847 [ 23 ] <Error> default.table (StorageReplicatedMergeTree): DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageReplicatedMergeTree::LogEntryPtr&)>: Code: 49, e.displayText() = DB::Exception: Part 20181018_20181018_255528_258283_109 intersects previous part 20181018_20181018_255006_255528_103 (state Committed). It is a bug., e.what() = DB::Exception, Stack trace: -
nginx к пример
-
что может быть не так?
-
на том же PHP включение HT увеличивало qps, который выдерживает сервер, примерно на 50%
-
у меня на nginx отключение его давало прирост до 30% в rps
-
Не совсем так. Во-первых, таким способом можно утилизировать все сервера при запросах в Distributed таблицы, даже если в запросе не используется сэмплирование. Потом, с более мелкими шардами проще будет переносить часть данных на другие сервера. Про NUMA внятного ответа тоже как-то не услышал.
-
а если просто выставить воркеров по числу физических ядер и прибить гвоздями через taskset, то тоже с HT хуже?
-
по идее, в этом случае не должно быть разницы с действительно отключенным HT
-
Разае есть такие операторы?
-
С NUMA прикол например в том, что если один тред хочет выделить памяти больше, чем есть на его NUMA-узле, то его ждет сюрприз
-
сто лет не имел проблем с гипер тредингом , тем более с нгинксом, и в кх включен никаких проблем
-
плюс в целом обращение через шареную память к другим NUMA-узлам примерно на 30% медленней, чем к своей памяти (числа зависят от реализации)
-
но КХ вроде по умолчанию умный и использует при выполнении запроса не больше половины доступных ядер :)
-
NUMA - это отдельный разговор да, просто вопрос больше в бенчмарке наверное
-
мы синтетикой гоняли nginx и пришли к выводу (да и не только мы) что трединг лучше выключить
-
я подумал, возможно и тут без него потенциально можно выжать больше чем с тредингом
-
Да, я это и имел в виду, когда говорил про половину ядер :)
-
вообще, NUMA должна прямо очень больно ощущаться на 4-процессорной машине, и в намного меньшей степени — на двухпроцессорной
-
но про какой-либо учет топологии памяти в планировщике КХ я не слышал
-
Привет.
Вопрос идеологический: при работе с materialized view CH предполагается транзакционным - то есть, вставка в исходную таблицу откатится, если не сработает вставка во вьюшку, или нет? -
не транзакционная вставка. MV - "pre-insert" триггер -
Именно pre, не post? если он не сработает - что будет с исходным запросом?
-
при ошибке вставки во вьюшку исходный запрос не откатится?
-
нет :)
-
у нас так данные дублировались при ошибке вставки в мат вью
-
вернее даже при исполнении селекта в мат вью
-
это шедевр! Спасибо большое за информацию
-
печально. Я тут выше когда-то жаловался на разницу во вьюшках, все с репликацией. появляются потери данных во вьюшках при ошибках работы с ZK. Часть таких мест исправляли летом, но, видимо, не все исправили.
-
Лучше крон
-
чем мат вью
-
хотя и тут гарантий не будет
-
но более контролируемо
-
Есть смысл кому-то сообщать детали по работе с ZK, по ошибкам? Кажется, вот тут дочинили не все:
> Исправлена возможность потери данных при вставке в Replicated таблицы в случае получения ошибки Session expired (потеря данных может быть обнаружена по метрике ReplicatedDataLoss). Ошибка возникла в версии 1.1.54378. #2939 #2949 #2964 -
ок. Хотя я тут перепроверил - возможно, не везде был правильный апдейт. Проверю еще раз и вернуюсь.
-
апдейт на нужную версию, имею в виду.
-
как вариант, не перегоняйте, переименуйте старую таблицу, накройте обе таблицы merge таблицей. -
а в России вообще бывают митапы по CH? -
не, мне не хватает времени и знаний -
класс, а мск когда примерно?
-
спасибо
-
в целом да если она не входит в ключ партицирования и в индекс
-
никто не напомнит, как ограничить полосу пропускания для репликации?
-
столкнулся после очередного апгрейда CH с проблемой загрузки https-словарей:
2018.11.01 15:54:06.896909 [ 150 ] {} <Error> ExternalDictionaries: Failed reloading 'hub_city' external dictionary: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = SSL Exception: error:14007086:SSL routines:CONNECT_CR_CERT:certificate verify failed, e.what() = SSL Exception
Конфиг оставался старым, без указания секции openssl. Добавил openssl->client с дефолтовыми настройками из умолчательного конфига - пока ничего не изменилось. Может есть какое-то стандартное направление, куда копать? -
Всем привет.
Может кто сталкивался сервер не видит партицию(не переносит в detached при соотв запросе), но и при запросе не читает данные из партиции. Как можно вылечить? или что необходимо смотреть? -
а сертификат валидный ?
-
посмотреьт логи кх
-
конечно. Ситуация пока исправилась только отключением проверки в openssl->client->verificationMode.
-
в логах по этому поводу ничего не увидел, поэтому тут и спросил
-
в обоих ?
-
да
-
странно конечно а вообще парт в системной таблице партов он видит ?
-
а что вы до этого с ним сделали?
-
в ерор логах то lock файл заблочен дргим инстансом, но как писал Алексей это не критично, когда будет возможность рестартануть сервер разберусь
-
как глянуть
-
ну селект систем партс
-
ничего, но есть подозрение что это произошло когда принудительно инстанс убивал, когда проблемы были
-
а какие проблемы то ?
-
в систем партс нету =(
-
А в Kafka engine таблицах можно как-то парсить вложенные json? Есть поле, в котором массив объектов. Хотелось бы это как-то в Nested запихать -
проблема была в том что инстанс сожрал все ресурсы машины
-
а вот смотрите, я пытаюсь сделать UNION ALL на две таблицы, одна из которых отличается на три колонки, я пытаюсь добавить их так
(SELECT *, toInt64(0) as resdur, toString('') as reslog, toUInt64( 0) as VisibleID FROM ...
типы колонок подсмотрел во второй таблице так
SELECT toTypeName( resdur) , toTypeName(reslog) , toTypeName(VisibleID) FROM
и вот он мне выдает такую ошибку
There is no supertype for types UInt64, String because some of them are String/FixedString and some of them are not
что я делаю не так? -
уфф, это все усложняет, спасибо
-
Всем привет!
Подскажите, пожалуйста, столкнулся с проблемой, что удаление партиции занимает много времени. В таблице порядка 140М записей. Сильно ли влияет на скорость удаления то, что в этот момент идут запросы на чтение. И можно ли ускорить этот процесс если сначала отсоединять партицию? -
хм... понятно. Спасибо!
-
Это единственный способ -
Joined. -
Joined. -
Joined. -
Joined. -
Joined. -
Joined. -
Если я добавил новую колонку, насколько болезненный апдейт этой колонки по первичному ключу? В теории хотелось бы батчем дописать значения новых колонок, без изменения существующих данных для других колонок.
-
где тут картинка была?!? -
а в ключ нельзя добавить колонок новых же
-
Так, мне в ключ не нужно
-
успокойтесь зайдите в яндекс картинки там есть на любой вкус
-
а вам апдейтнуть а не добавить новую
-
так у вас данные других колонок и не будет менять
-
В SQL это будет UPDATE table SET column = value Where PK = something
-
ALTER … UPDATE ...
-
а не просто UPDATE
-
Это подчёркивает, что операция UPDATE в КХ очень дорогая
-
Ок
-
Но это update для строчек где нет значений у этой колонки в принципе
-
Ребят, а join_use_nulls прописывается в профиль юзера или в config.xml ?
Чет прописал в config.xml: <join_use_nulls>1</join_use_nulls>
и никакого эффекта -
Там всё то же самое, можно и WHERE и что хотите 🙂
-
Нашел. Все же пишется в профиль
-
https://github.com/yandex/ClickHouse/issues/3472
переписан будет весь файл (парт) -
odbc
-
-
-
Партишн с обновляемой колонкой, только он будет задет, так ведь ?
-
Есть ли возможность выполнить пачку alter update в батче. По сути я хочу записать данные в колонку, где для данного диапазона ключей никаких значений нет
-
вся ОДНА колонка, за октябрь, может лежать у вас в файле размером 200ГБ, то что вы обновляте поле одной строку ПУСТОЕ (что это вообще?), ничего не значит, будут перезаписаны 200ГБ.
-
одним alter обновляйте.
-
если будет партиций больше 200, все встанет, все партиционируют помесячно.
-
Что именно всё ? Если все запросы обращаются к 10 партициям максимум ?
-
работать не будет. ЦПУ будет жрать, а работать не будет.
-
все стараются чтобы запрос ходил в минимальное число партиций.
-
Товарищ эксперт, по какой технической причине "встанет всё"?
-
например у вас есть кастомер, а запросы одного кастомера затрагивают только его партиции, когда кастомер уходит, очень удобно дропнуть все его партиции.
-
надо домерживать, и сортировать результат из сотен партиций
-
Если один запрос обращаться к сотне
-
берете и делаете тест и убеждаетесь что две партиции в select хуже чем одна, далее делаете выводы.
-
Партиции по дням, в одной партиции 100-200 млн строк, селекты за два года работают вполне норм
-
Есть два апдейта с разными условиями, какой будет синтаксис:
-
Делаете тест с одной партицией размера 10х и одной партицией размера х. И ? В чём проблема если сегментов 1000 ?
-
Спасибо за комментарий, тоесть данных за два года или один запрос затрагивает 700 разделов?
-
Да, 700 партиций :)
-
По конкретноым id идут постоянные селекты за все время (2 года), id в индексе, все ок
-
в этом случае не должно. Т.е. запрос будет читать данные у вас за час?
-
Конечно медленнее, но не кртичино, замеры показали чтото типа 12 сек и 8 , за 2 года. На периодах месяц и меньше разницы нет, таких запросов 95%
-
8 сек месячные, 12 сек суточные
-
партицированием может быть не только по времени
-
будет работать, но возможно запрос охватывающий все партиции за два года работает 4 мин. вместо 1.
-
По дням
-
По конкретной id
-
Я правильно понимаю что запрос по айди и так или иначе достает малый объем данных ? Мне кажется что запросы агрегации на партицированных таблицах (при условии что запрос к одной партиции) должны летать
-
Есть задача, сделать энричмент данных. Я так понимаю наиболее ClickHouse way это словари ?
-
Да, все так, объем малый, на суточных партициях быстрее даже работает, чем на месячных, большинство запросов выбирает последние 3-4 дня
-
делать энричмент перед выставкой в нашей архитектуре значит ещё раз писать в кафку тоесть ещё больше брокеров...
-
Завтра вам пару селектов кину :)
-
Тут должна быть кнопка подписаться на сообщения этого парня. Большое спасибо.
-
Если есть словарь - то можно джойнить с ним, апдейт не нужен. Я видел есть энжены для внешних баз, я так понимаю словарь может быть в редисе и с ним джойнить ?
-
если памяти хватит
-
Вчитался, у нас нет селектов не по полю сортировки😁я доступы отбираю за такое. Только если доп.условие
-
Но ради интереса попробую
-
Всем привет!
Столкнулся со следующей проблемой: при попытке создать таблицу с двухсторонней связью(https://docs.sqlalchemy.org/en/latest/orm/basic_relationships.html One-to-many + backpopulates) из SQLAlchemy ORM. Вот код схемы: https://gist.github.com/tonko22/40fe8823810d6cd681223a004cbfab01, а ошибка картинков ниже.Hello guysHello guys. GitHub Gist: instantly share code, notes, and snippets.
-
-
А у яблока есть поддержка в телеграм-чатиках? -
Я правильно понимаю что первичный ключ заставляет КХ сортировать данные при слиянии сегментов mergeTree или использовать сортированные множества ? Насколько это влияет на производительность записи ? Предварительная сортировка сильно помогает скорости записи ?
-
Нагрузка на проц на другой машине
-
LMS деревья изначально были созданы для работы с HDD, для того чтобы избежать random disk IO при записи, я так понимаю кликхаус тоже. Не выглядит ли логичным для работы на SSD использовать какой-то движок без постоянных слияний и write amplification ?
-
bump
-
что такое ssd в Амазоне? EBS или NVME в сервере?
-
ок. Просто я подумал про ssd в сервере.
-
Кого можно поспрашивать по архитектуре ?
-
Я вот читаю )
-
Кстати да, такой же вопрос! А работают ли в кликхаусе двусторонние связи? -
Мне кажется что если написать движок для таблиц, на основе LMDB (one LMDB file per column). Можно будет подменить реализацию таким образом чтобы писать всегда в один файл, и не делать мержей.
-
И LMDB будет лучше для SSD
-
Я пока не понял какой именно интерфейс нужно реализовать
-
yandex/ClickHouse
ClickHouse is a free analytic DBMS for big data. Contribute to yandex/ClickHouse development by creating an account on GitHub.
-
А насколько "много" данных можно будет туда записать в единицу времени?
-
С этим у LMDB не очень ))
-
Какой раздел документации мне подскажет что делать вместо foreign key? (чтобы реализовать связь parent-child)
-
Но разделение данных по колонкам должно сильно помочь
-
От сюда вопрос о применимости такого движка в КХ
-
Они и сечас разделены или мы о разном?
-
Да, но наверно слияния не тут реализовано.
-
Не делать так
-
Вот тут смотрите https://github.com/yandex/ClickHouse/blob/master/dbms/src/Storages/MergeTree/MergeTreeDataMergerMutator.cppClickHouse/ClickHouse
ClickHouse is a free analytic DBMS for big data. Contribute to ClickHouse/ClickHouse development by creating an account on GitHub.
-
Как же связь реализовать ?
-
Да раздельно, но LMDB однопоточная запись, поэтому распараллеливание по колонкам даст ему серьёзный буст
-
Никак, денормализуете и пишите все в одну таблицу или используете словари
-
Ну запишите, а доставать потом как, нужно иметь какой-то механизм доступа (индексы и все такое), а если не одну колонку, а две и более вытаскивать, а чтение распараллелить? Получается просто избавиться от мержей в MergeTree не получится и придется писать свой движок. насколько он будет лучше на чтение/запись?
-
LMDB - copy on write persistent B-tree
-
Очень интересные бенчмарки, я сам немного игрался - но очень плохой драйвер для Java был на тот момент.
-
Joined. - 02 November 2018 (143 messages)
-
как минимум рядом можно каких-нибудь ещё агрегатов заодно посчитать -
Joined. -
:) select uniq(ip) from DB.Table
SELECT uniq(ip)
FROM DB.Table
┌─uniq(ip)─┐
│ 26451956 │
└──────────┘
1 rows in set. Elapsed: 145.463 sec. Processed 31.05 billion rows, 248.39 GB (213.44 million rows/s., 1.71 GB/s.)
Ну такое. Не быстро, но и не встало :) -
Joined. -
:) select uniqExact(ip) from DB.Table where date between '2018-09-01' and '2018-09-30'
SELECT uniqExact(ip)
FROM DB.Table
WHERE (date >= '2018-09-01') AND (date <= '2018-09-30')
┌─uniqExact(ip)─┐
│ 18916283 │
└───────────────┘
1 rows in set. Elapsed: 19.083 sec. Processed 4.14 billion rows, 41.39 GB (216.90 million rows/s., 2.17 GB/s.) -
суточные партиции если что
-
ip не в индексе
-
а что вы имели ввиду под "все встало"?)
-
не встает что-то)
-
ну оно как бы так и есть, просто долго и все
-
11 rows in set. Elapsed: 50.854 sec. Processed 23.26 billion rows, 232.59 GB (457.38 million rows/s., 4.57 GB/s.)
-
надо все тестить, у меня сейчас две копии этой таблицы, одна с месячными партициями, другая, из которой эти селекты, суточные. Посуточный вариант работает намного лучше в нашем случае. Как я и говорил, большинство селектов за последние 3-4 дня, но и по id за все время тоже все быстро работает
-
а аналитик, если что, подождет 60-100 сек, если напишет такие запросы
-
как-то не очень хочется ронять кластер-то 😉
-
ну например если задрать max_memory_usage и попробовать ОЧЕНЬ жирно поселектить, то вполне можно убить по памяти, по процу не замечал, чтоб реплика умирала, или кластер
-
ну тут кажется надо исходить от селектов
-
Рецепт-то простой - нормально делай, нормально будет
-
Joined. -
У нас была еще одна необходимость - оперативно перезалить данные, с месячными партициями быстро не сделаешь.
-
А поле ip это String или, скажем, FixedString(16)?
-
Int
-
Не, не встает 😂
-
Не по полю сортировки, и стринг, и за все время... хватит ))
-
😁
-
От объемов данных же много зависит, тут 200 млн в день. У нас была табла, где 2 млрд за сутки, там я не рискну делать суточные, там часто за большой период селектят
-
Никто за 2 года так не селектит, это все синтетика
-
Скрипты и интерфейсы по дням, аналитики по месяцам
-
Кто за год селектит, подождет чутка
-
И тот кто сервер ребутнет тоже может подождать ;)
-
Ну как бы не обломится подождать 40 сек вместо 20, с учетом того, что его годовые селекты ручные и редкие
-
Зато api и все остальное летает на последних днях :)
-
Чтобы удобно хранить и делать супер быстрые выборки с ограничением по ключу партицирования
-
Да
-
Чаще всего это просто дата, а в первичном ключе дата с часами и запросы с временными ограничениями выбирают очень маленькое количество данных
-
В первое время все запросы были настолько быстрыми, что мне казалось это не правда, но расхождение с дороги запросами меньше чем на пару процентов говорили что оно и в правду такое быстрое
-
Коллеги, подскажите плиз, как проще всего путь к файлу (/dir1/dir2/dir3/file.ext) обрезать до 2го уровня вложенности? нужно получить /dir1/dir2 ? -
не знаю как проще, ноя бы регуляркой резал
-
спасибо, я что-то спросил и зря,
URLPathHierarchy(concat('http://a.ru', file)) получил, что нужно -
ну вооот -
Даже в телеграм со своим спамом полезли. В святая святых. -
какой спам?
-
а это модератор почистил или тут что то стоит для автоматизации?
-
Что пишет? Телепаты в отпуске
-
КХ не поддерживал больше одного JOIN в рамках одного SELECT. И сейчас не поддерживает. Может у вас подзапросы потерялись?
-
На время выборки влияет -КХ сначала смотрит по мин/макс ключа партиционирования в какие партиции идти. Мержи идут только в рамках партиции. Если у вас партиция по месяцу и в первичном ключе первой идет дата, то, для уменьшения латенси, проще уменьшить гранулярность индекса, но, разници особой с партициями по дням не сильно много будет. Партиция - еденица хранения в таблице, для них есть ряд операций обслуживания: удалить, переместить, присоеденить ... если этим удобнее пользоваться с каким-то отличным от месяца ключем - велкам в кастомные. Множество партиция достаточно плохо могут влиять на производительность селекта и вообще сервера так как сильно больще нужно делать дисковых операций, сильно больше файлов индексов, "засечек" и прочего что при старте нужно в память поднять, а потом при селектах там смотреть. + сильно больше нужно будет регистрировать в ZK
-
Проверил на актуальной версии - потери есть, тикет https://github.com/yandex/ClickHouse/issues/3529Data loss in materialized views with ZooKeeper errors · Issue #3529 · yandex/ClickHouse
Looks like fixes "ZK Session expired" in #2939 #2949 #2964 are not enough. Found discrepancy between original table and view. Error logs on both replicas for this view for affecte...
-
Joined. -
коллеги, доброго дня! Вопрос - с чем может быть связана ошибка: ServerErrorHandler: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = Not found: http_port
на сервере включен HTTPS -
если я правильно понял документацию - прописывание в конфиге HTTP порта отключит HTTPS
-
сам спросил - сам ответил. Ошибка возникает, если попытаться подключится по HTTP на native-порт
-
Joined. -
вроде запрещено? Note that there is no way to add a column to the beginning of a table -
CREATE TABLE AS SELECT ...
-
От объема данных зависит -
Проще и быстрее в коде поддержать желаемый порядок колонок
-
всем привет! а есть какая-то библиотка на python, которая может красиво выводить код? По типу как далает табикс или datagrip когда хочешь посмотреть DDL -
@ushliy87
-
Чтобы поменять структуру индекса таблицы, лучше всего insert from select?
-
Это единственный способ
-
Нет
-
Реплицируемая?
-
Если не в конец добавить колонок то можно, если совсем поменять то нужно переливать
-
yandex/ClickHouse
ClickHouse is a free analytic DBMS for big data. Contribute to yandex/ClickHouse development by creating an account on GitHub.
-
при запросе ALTER TABLE testdb.table FREEZE PARTITION "(201810, 185)" WITH NAME 'test'; валится ошибка DB::Exception: Wrong number of fields in the partition expression: 1, must be: 2.. Я так понимаю что это просто некорректное название партиции? -
то есть все-таки через ALTER TABLE.. ADD COLUMN.. MODIFY PRIMARY KEY можно частично менять структуру индекса?
-
спасибо
-
или даже просто ALTER TABLE ... MODIFY PRIMARY KEY
-
мне кажется надо какие то ограничения на названия партиций все таки
-
@ztlpn Когда? )
-
Кстати, ты будешь на хайлоаде в этом году ?
-
Это будет очень круто, жаль, что не попадаешь. Вообще у нас тут погода еще пока "ничего", можно митап придумать )
-
одновременно через точку с запятой 😁
-
без разницы в принципе, как вам удобней будет
-
сперва к локал , а потом удалить дистрибьютед и создать заново , так как к дистрибьтед нельзя добавлять колонки
-
В смысле нельзя
-
ну раньше не работало
-
по крайней мере в ддл
-
Всю жизнь тау альтерю
-
дистрибьютед таблицы ?
-
Да
-
хз , завтра на тестовом стенде попробую , помню точно что не работало поэтому в сценарии пересоздание ее используем
-
Ну on cluster нет, но на каждой ноде почему бы и не проальтерить
-
ну лишний ручной головняк
-
На дистрибутед?
- 03 November 2018 (74 messages)
-
Joined. -
А блиц-митап будет без тебя? -
Кроме того, Алексей Миловидов указан как докладчик в двух слотах 🙂
-
Joined. -
Joined. -
Привет всем!
Мы пытаемся внедрить Clickhouse на нашей фирме и пока в полном восторге от performance. Но есть одна проблема с важным типом запросов для нас. Нам нужно агрегировать строки и потом фильтровать результат, отбрасывая группы с малыми суммами (что мы делаем с помощью HAVING). Проблема возникает, когда промежуточный результат (до фильтрации) не влезает в память на одной машине. Clickhouse отказывается выполнять запрос, хотя финальный результат после фильтрации должен влезать в память. Можно ли как-то эти грабли обойти? Запрос выглядит примерно так: SELECT a,b,c,d,SUM(Count) cnt
FROM mytable
GROUP BY a,b,c,d
HAVING cnt > 100
Заранее спасибо! -
у вас в принципе столько памяти на тачке нет или ограничение CH паникует?
-
просто второе можно подкрутить, насколько я знаю, если надо больше
-
bytes_before_external_group_by
-
блин, телеграм глючит -
Ошибка такая: Code: 241, e.displayText() = DB::Exception: Received from clickhouse-06.service.tmo.dns.teralytics.net:9000, 10.92.115.16. DB::Exception: Memory limit (for query) exceeded: would use 2.33 GiB (attempt to allocate chunk of 491520 bytes), maximum: 2.33 GiB., e.what() = DB::Exception
-
А скок данных у вас?
-
Всего 700 миллионов строк
-
Но будет расти
-
Ну так 2.3 гига маловато будет для performance
-
Ну это мы наверно сможем подкрутить, но когда данные будут расти опять будем нарываться на те же грабли.
-
С Вьюхой не надо будет столько ресурсов постоянно.
-
Там дело в том что комбинации колонок a,b,c,d пользователь может свободно выбирать. Слишком много mat view придется создать
-
С мат Вьюхой конечно же
-
Я думал, может запрос как-то можно переписать
-
Тогда пробуйте крутить max_bytes_before_external_group_by, ну и ресурсов хоть чуть чуть добавьте, ch крутой, но все же не магический.)
-
Типа запаковать несколько колонок в хеш,
-
Но из него же потом не достать значения
-
Тут проблема, как я понимаю, в том что фильтрация с HAVING слишком поздно происходит
-
А понимаю
-
Это конечно заказ, но надо попробовать
-
И результат будет неточный из-за коллизий
-
Тьфу, не заказ а хак хотел написать
-
Ага
-
Я еще думал, может ли это быть связано с тем, какие колонки в индекс добавлены.
-
Это влияет на сортировку
-
А на фильтрацию?
-
Если бы все колонки были в индексе, мог бы clickhouse раньше применить HAVING фильтрацию?
-
Чтобы не надо было так много держать в памяти?
-
Как ты применишь хэвинг фильтрацию, когда ещё не все данные посчитались подумай -
Да наверное никак
-
Но индекс мог бы теоретически помочь понять, будет ли ещё что-то добавляться в какие-то группы
-
И если нет, то сразу выбросить их
-
2 гига для современного смартфона уже маловато как бы :-)
-
Сделайте фильтрацию на стороне кода, если без хэвинг запрос отрабатывает
-
Привет.
А можно склонировать таблицу (схему) без явного указания движка новой таблицы ?
CREATE ... AS SELECT ... хочет явного указания ENGINE -
Нет без HAVING он конечно тоже не сработает. Я бы сильно удивился, по крайней мере
-
Зачем
-
Что-то мне кажется, что вариантов никаких, если у вас данные еще и расти будут
-
У нас апликуха создает таблички в рантайме и хотелось бы чтобы она брала схему не из себя (кода, как сейчас делает) а из шаблон-таблицы
-
Если вам кроме sum ничего больше не надо, можно попробовать разбить селект на несколько, а потом соединить результаты
-
Надо
-
Ну тогда 2 гига видимо это мало для ваших запросов
-
Так у вас as select, откуда кх узнать какой движок выбрать?
-
Он за вас не знает, что вам надо, мемори или мержтри
-
Я понимаю. Мне интересно было если можно как-то еще через QL создать клон таблицы. В документации ничего другого не нашел.
-
create table as table_template
Insert into table select ... -
Не канает?
-
Глупый вопрос: а SELECT с лимитом гарантировано вернёт столько строк, сколько запрошено если в базе они есть? Не может вернуть меньше? -
Хм. Канает. Спасибо.
- 04 November 2018 (17 messages)
-
Не, создайте новую и перелейте селект инсерт
-
Местами в любом случае не поменять сейчас, так как это изменит порядок сортировки на который "все" завязано. Ограничение реплик в том, что они метаданные в ЗК хранят, а тот альтер вообще никак это не учитывает.
-
Это было бы хорошо:)
-
можно ли вставлять комментарии в текст запроса?
-
насколько помню да, некоторые это в системах мониторинга используют, чтобы разделать запросы
- 05 November 2018 (158 messages)
-
Подтверждаю, в соседнем чате присутствует (Pro Telecom), ботов заворачивает при входе -
а зачем нужен kafka_row_delimiter если сообщения в кафке и так имеют границы? -
Подскажите а есть ли возможность создать таблицу так что бы во время вставки значения автоматически конвертировались с помощью функции. Например я вставляю UUID (fixedString32) а оно на лету с помощью UUIDStringToNum() превращалось в FixedString16? -
Для Materialized field как я понимаю нужно что бы рядом было оригинальное поле. Мат вью тоже как то перебор, зачем мне еще одна таблица. Инсерт я делаю с помощью infi.clickhouse-orm, и не могу засунуть функцию туда.
-
если понимать, что умеет tool, и для чего он, то почему бы и не воспользоваться удобными вещами? или все нужно самим писать всегда -
При использовании функций в инсерте используется медленный sql-парсер, имейте ввиду
-
Без функций используется быстрый потоковый парсер
-
https://pocoproject.org/docs/Poco.Net.SSLManager.html
verificationMode - none не работает? -
Да, что-то вроде
<client>
<verificationMode>none</verificationMode>
<invalidCertificateHandler>
<name>AcceptCertificateHandler</name>
</invalidCertificateHandler>
</client> -
А зачем? Если у вас самоподписанный сертификат то установите его в систему как доверенный и кликхаус будет адекватно его проверять и пропускать. -
18.14.11, 2018-10-29
Исправлена ошибка Block structure mismatch in UNION stream: different number of columns в запросах с LIMIT. #2156 -
А, точно, хорошо что работает )
-
Кто нибудь сталкивался с проблемой расчета сум?
Суть есть поле amount *.xxxx (4 знака после запятой) тип Float64 сумма этих чисел получается с какимто нереальным хвостом что приводит к большим расхождениям=( (round(Y, 4) не подходит=( ) -
Храните в базе целые числа, умноженные на 10000. После суммирования делите на 10000 - не будет потерь точности
-
Интересует причана потяри точности
-
Дело сложнее это выявилось на том примере который написал
-
>(round(Y, 4) не подходит=( )
почему?
Есть тип Decimal -
Так хвост может быть больше
-
Причина в float64
-
серьезно? )
-
Что может вылечить?
-
Абсолютно
-
Использовать int64 или decimal вместо float64
-
Посмотреть показания мониторинга и проверить логи :)
-
Стратует, с партициями по дням для этого требуется какое-то время
-
Вы не написали примера.
Потеря теоритически может быть если очень быть если складывать очень, ну очень большие числа, с маленькими. -
Все числа не имеют огромных значений
-
-
-
Хотя фактическое значение суммы 12.7776
-
максимальное значение
-
-
если вы хотите что-то складывать и хотите не терять точность, то не надо использовать float32/64 -
Это я уже понял
-
Видимо только Decimal спасет=(
-
храните все как целые числа умножайте на нужное количество знаков после запятой
-
знаков может быть больше
-
Кликхаус считывает данные после рестарта. См. https://github.com/yandex/ClickHouse/blob/98c2ed582cd974882e2eec5573fb2dffa1ecb44b/dbms/src/Storages/StorageMergeTree.cpp . Нужно немного подождать, пока он дочитает все данные. Если у вас много таких строк в логах, то, скорее всего, вы шлете слишком много отдельных инсерт-запросов. кликхаус это не любит. Попробуйте объединить инсерт запросы в более крупныеyandex/ClickHouse
ClickHouse is a free analytic DBMS for big data. Contribute to yandex/ClickHouse development by creating an account on GitHub.
-
Видимо так и придется делать=( Но это прямо костыль
-
Лет 15 назад в сбербанковской базе рубли хранились умноженные на 10000. Хватало. -
это основной рабочий вариант там где нет типа деньги
-
???
select toDecimal128('0.25',38)+toDecimal128('0.25',38)
┌─plus(toDecimal128('0.25', 38), toDecimal128('0.25', 38))─┐
│ 0.50000000000000000000000000000000000000 │
└──────────────────────────────────────────────────────────┘ -
Слышал, что decimal в кх подглючивает, поэтому я бы лучше использовал int*
-
-1.53764733841876984180947473102331183104
-
Стало еще интреснее
-
=))))
-
Хотя 12.7776=)))
-
Я понял что поменять правда данные придется перезаливать но это не страшно=)))
-
Завтра буду эксперементировать=)
-
это наверняка у вас в клиенте
что с
select toString(toDecimal128('0.25',38)+toDecimal128('0.25',38)) -
=)
-
-
Если бы=(
-
-
ну и все правильно, попробуйте понять что такое float и что 1/4 например бесконечная периодическая дробь в binary
-
чем вам round у флоат не угодил?
decimal и float это две стороны одной медали и там и тут жопа -
Можно Power BI попробывать, бесплатно для персонального использования.
-
А в какой версии clickhouse появилась оптимизация с фильтрацией подзапроса с условием where из надзапроcа? -
Добрый день, что у Кликхаус с консистентностью Materialized View при вставке в таблицу-донор?
-
Ничего
-
И второй вопрос: есть набор колонок по которым нужен быстрый поиск, при этом кажется естественно их все в "ключ сортировки" положить - но порядок по одному набору колонок никак не коррелирует с другой. Не лучше ли тут завести materialized view в котором был бы другой набор колонок в "ключе сортировки"
-
в общем-то ни в какой, не доделано. И выключили 18.14.10, 2018-10-23
enable_optimize_predicate_expression выключена по умолчанию. -
Для view https://github.com/yandex/ClickHouse/blob/master/CHANGELOG_RU.md#clickhouse-release-181213-2018-09-10, но оно поломано было, в мастере поправили
-
Нет, про автоматическую оптимизацию select * from (select * from tbl) where a = 1;
-
Нет такой
-
Сорян
-
Ок
-
Допустим, но могу ли я быть уверен в том что данные попавшие в таблицу попадут в MV ? Это всё работает в стиле eventual consistency ? Или всё же есть шанс "потерять" часть данных ? Так что в таблице доноре они есть - а в вьюхе нет?
-
Нет, данные могут разьехаться
-
да есть оно
set enable_optimize_predicate_expression = 1;
select count() from (select * from part_test prewhere V>1000) where A=700;
1 rows in set. Elapsed: 0.053 sec. Processed 10.15 million rows, 162.40 MB (189.79 million rows/s., 3.04 GB/s.)
set enable_optimize_predicate_expression = 0;
select count() from (select * from part_test prewhere V>1000) where A=700;
^C
23%Cancelling query.
Ok.
Query was cancelled.
0 rows in set. Elapsed: 68.444 sec. Processed 2.33 billion rows, 37.22 GB (33.99 million rows/s., 543.82 MB/s.) -
enable_optimize_predicate_expression не про view, оно "переписывает" запрос, view частный случай
-
Ага, нашел, спасибо
-
Joined. -
Подскажите как поддерживать консистентность вручную ?
-
сама таблица тоже не гарантирует консистентность и атомарность инсерт, какая разница-то?
-
Никак, мы пишем в копии таблиц, проверяем что все сходиться и потом перемещаем партиции (раз в сутки), для реалтайма просто вьюхи, не сильно критично что что-то поедет
-
Вообще некий аналог транзакций рассматривался, там есть сложности и не понятно кто и когда возьмется делать
-
Вроде помню, что можно было делать PARTITION BY (), сейчас попробовал - не получается -
киньте плз пример
-
PARTITION BY toYYYYMM(Date)
-
нет, я имею в виду именно пустой синтаксис
-
by tuple()
-
но можно опустить весь partition by, будет то же самое
-
да!
-
ага
-
кстати, на последней версии вот эта простыня, которая вылазит, если неправильно таблицу создаешь, все еще дает указания в старом формате
-
вот эта
https://github.com/yandex/ClickHouse/blob/master/dbms/src/Storages/MergeTree/registerStorageMergeTree.cpp#L229yandex/ClickHouseClickHouse is a free analytic DBMS for big data. Contribute to yandex/ClickHouse development by creating an account on GitHub.
-
PR сделайте ;)
-
угу
-
хаха, понадобилось заснуть на 60 сек.
select sleep(3) from numbers(20) settings max_block_size = 1 -
Joined. -
Вам обратный индекс нужен
-
@den_crane может, помните, мы обсуждали как-то, что кросс-репликация не очень хорошо вписывается в модель использования кх и вы сказали, что много кто держит параллельно-реплицируемые кластеры. А как в таком случае обрабатывается выход машины из строя?
-
Joined. -
Joined. -
я не это сказал (никто особо не экономит и не парится что запрос выполняется на половине(трети) нод, когда запросов одновременно 2, это уже не проблема), но это не важно, в чем вопрос?
предположим есть 3 железки с 6(3*2) виртуалками.
node1 : shard1_0, shard3_1
node2: shard2_0, shard1_1
node3: shard3_0, shard2_1
селекты идут к трем железкам, т.е. да придется сделать дистрибьютид таблицу чтобы ходила в только в shard0 (для максимальной производительности), и еще одну резервную дистрибьютид чтобы ходила во все, например в другой базе данных, т.е. называться эта дистрибьютид таблица будет также например.
умерла node2: shard2_0, shard1_1, есть shard2_1 и shard1_0, делаем фолбек на другое соединение, а там прописана другая бд, и там другая дистрибьютид которая ходит в 6 КХ (в 4 потому что 2 померло). -
>придется сделать дистрибьютид таблицу чтобы ходила в только в shard0
а как это сделать? кластер сконфигурировать второй? -
да, конечно.
-
ага, понял
-
кластеров же много может быть, у меня каждая нода КХ -- член 5 кластеров (есть например таблицы дублированные на все ноды кластера, без шардов)
-
это я вспомнил просто этот разговор, к тому, что вы еще раньше говорили
>просто у всех нормальные реплики, знаю товарищей у которых цать шардов * 3 реплики. -
прочитал как “никто не кросс-реплицирует”
-
ну ок, путаница какая-то. Я вам рассказывал что никто не делает кросс-реплицию, у всех все просто, запрос выполняется половиной железок. В этом случае все просто
4 железки 2*2, дистрибьютид накрывает все 4, в случае выхода из строя любой ноды, дистрибьютид таблица все сделает сама, просто будет ходить(писать) в живой шард. -
1) Кросс-репликация двойную нагрузку на запись и мерж создает. Поэтому если система много пишет, то лучше ее избегать.
2) В кросс-репликации не работает распределенный DDL -
А если держать два набора (например, 6 машин, по 3 в кластере с параллельной репликацией и еще один изо всех 6 машин)?
Назовем эти кластеры А, Б и АБ. Тогда я пишу только в А (с фейловером на Б, затем на АБ, или сразу на АБ - неважно), читаю из А и Б, при этом могу в Б позволять какие угодно запросы, даже рискуя вылететь по ООМ и т.д.? -
Хотя мне @den_crane открыл глаза, что независимо от того, что где лежит, я всегда смогу наделать подходящих кластеров
-
так все и делают. Пишем в одном месте, стараемся читать из другого, и у меня например автоматически это получается, потому что есть параметр nearest_hostname и я хосты называю аккуратно.
пишем
host0-1 --- shard0
host0-2 --- shard1
host0-3 --- shard2
(читаем)
host1-1 --- shard0
host1-2 --- shard1
host1-3 --- shard2 - 06 November 2018 (187 messages)
-
подскажите, как сделать mat view из kafka, чтобы при выходе из строя одной машины загрузка продолжалась на другой? пока у меня получилось только с одной машины загружать
-
Joined. -
коллеги, есть ли в КХ возможность выбрать названия столбцов по условию?
-
есть таблица system.columns, там есть названия столбцов. но запрос на стороне приложения всё равно лепить надо -
про system.columns в курсе, думал может есть возможность какой то внутренней обвязки
-
хотелось чего то вида:
WITH (SELECT name FROM system.columns WHERE...) as columns SELECT columns FROM table -
Есть
SELECT dateDiff('year', toDate('2017-12-31'), toDate('2016-01-01'))
https://github.com/yandex/ClickHouse/search?l=SQL&q=DATEyandex/ClickHouseClickHouse is a free analytic DBMS for big data. Contribute to yandex/ClickHouse development by creating an account on GitHub.
-
В КХ нельзя сделать "Соотнесенный подзапрос"
-
Привет. А в версии 18.14.12-stable есть какие-то известные грабли?
Читая этот канал, заметил что иногда в новом релизе что-нибудь отваливается и не все стабильные релизы созданы равными... -
WHERE p.product_id IN ( SELECT ...
-
Если я правильно понял, конечно...
-
Сходил-таки по ссылке. Лично у меня графана получает список для графиков top5 ровно так, как указано в примере для студентов.
-
А вот соотнесённых - разве что действительно через join...
-
индексов нет, коррелированный подзапрос будет работать жутко медленно, а словари делают это жутко быстро.
-
Привет. Вопрос про ключ шардирования. Есть таблица с индексом по (date, user_id). Нагрузка от каждого юзера приходит очень разная, при этом их не сильно много, распределение по юзеру будет неравномерным. Как сделать шардирование, чтобы оно ускорило выполнение запросов для конкретного юзера: то есть данные одного юзера были размазаны по шардам. Что делать: шардировать по дате или подмешивать какой-то случайный элемент в ключ шардирования? Как это сделать правильно? -
Что такое шардирование? В КХ под этим понимают размазывание по разным нодам и наоборот надо стараться что бы данные одного юзера лежали как можно ближе желательно на одной ноде.
И сколько юзеров? Десять или миллиард? Ничего подмешивать не надо, это наоборот ухудшит. -
Юзеров несколько тысяч, активных - сотня, но основную нагрузку создают единицы
-
То есть с помощью шардирования ускорить выполнение запросов для отдельного юзера можно даже не пытаться?
-
Сколько у вас нод КХ? Что такое шардирование в вашем понимании?
-
3 ноды
-
а как данные заливаются / шардируются?
-
Пока они заливаются в одну ноду, сейчас переезжаем на кластер
-
нормального никогда не будет ,а так да уже есть давненько
-
да
-
https://clickhouse.yandex/docs/ru/query_language/alter/ раздел мутации -
Запросы всегда охватывает данные одного пользователя? Я бы попробовал order by user_id, date. А шардировал бы или рандомом или по пользователю.
-
Добрый день. Есть типичный вопрос новичка. Делаем небольшую базу для аналитики. На 1 ноде нормально все поднялось в связке fluentd, zoo, kafka, CH. Хотим поднять на второй ноде сделать реплику. правильно ли я понимаю что на 2й ноде надо поднять zoo+CH, а на 1й указать в настройках адрес zoo со второй ноды?
-
Фильтр по дате присутствует всегда, по юзеру в большинстве случаев
-
тогда я бы точно попробовал order by user_id, date
-
А у вас "главный"zoo где должен быть? На какой ноде? Вы же понимаете, что в общем случае нужно нечетное кол-во zoo-инстансов?
-
нет , если балуетесь используйте один зукипер
-
то есть достаточно подключить 2ю ноду к тому же zoo, который на 1й ноде? и реплики должны работать? Про отказоустойчивость сейчас не говорим
-
понял, спасибо!
-
Да
-
репликация работает на уровне таблиц, каждая таблица реплицирует саму себя как написано в ddl, обмениваясь информацией через зукипер с такой же таблицей. Сам КХ про репликацию ничего не знает и делать ничего не будет.
-
всем спасибо, будем пробовать
-
Можете и на одном сервере попробовать, в КХ можно сделать реплику на тойже машине )
-
не, для внутренних задач хочу 1 ноду, куда будт приходить данные. На второй реплика. И тяжелые запросы будут делать на реплике
-
Да, всё так. Только для репликации нужно чтобы ноды КХ видели друг друга по 9005-му порту (репликация работает по отдельному http-порту)
-
это хорошее уточнение, спасибо
-
9009
-
+1. Извиняюсь, это у меня такой порт для репликации. По умолчанию - 9009. Спасибо
-
а в логах КХ что? -
поищите в логах КХ 20181106_192217_192507_59
-
а потом?
-
Приветствую. Подскажите пожалуйста, можно ли как то для словаря сделать более сложный запрос? А именно с join -
или придется использовать 2 словаря для этого?
-
что то типа: dictgetstring(name, attr, dictgetint64(name, attr, column)) ?
-
есть движок, который представляет словать как обычную таблицу https://clickhouse.yandex/docs/ru/operations/table_engines/dictionary/
-
и потом получается делать join внутри запроса в КХ?
-
по идее должно :)
-
хм, может плохо выразился
-
мне нужно что бы словарь обращался к mysql не по select column from table where id=X а например select a.column from table b join table2 a on a.id = b.table2_id where b.id=X
-
сделайте view в MySQL
-
так похоже у вас словарь с ключом tuple , используйте complex словари
будет getdict ( dict, attr, (55555,'ooo')) -
Тут написано, что две реплики выполняли мерж, и когда первая закончила, она неожиданно обнаружила уже готовый парт.
Видимо, скачала со второй. Про это тоже в логе сообщения должны быть -
нет, поле в КХ одно
-
view в mysql зло 🙂 особенно на 10млн+ строк в мускуле , как минимум в 5.5 было так, в 5.7 не тестировал вьюхи
-
ClickHouse release 18.4.0, 2018-07-28
Настройка use_minimalistic_checksums_in_zookeeper таблиц семейства ReplicatedMergeTree включена по-умолчанию. Эта настройка была добавлена в версии 1.1.54378, 2018-04-16. Установка версий, более старых, чем 1.1.54378, становится невозможной. -
какой бред
-
Привет, какой самый быстрый способ изменить ключ сортировки? create table select from? дамп и обратная заливка? -
Привет! Сделали запрос drop table на distributed таблицу, и он перешел в background. Можно ли его форсированно выполнить или отменить? -
>create table select from
insert ... select -
он выполнится когда закончатся длинные select к distributed
-
А если таких select нет?
-
одна из черепашек врет.
-
Нашли, правда есть
-
Действительно, кильнули select, и дроп прошёл. Спасибо!
-
Joined. -
Ребята, подскажите плиз, а есть ли разница в работе по скорости между
WHERE eventType IN 1
и
WHERE eventType = 1 -
нет, это будет одно и тоже, CH перепишет это в where equals(eventType,1)
-
Спасибо
-
Спасибо! Правда опять уткнулся в 900K строк в секунду
-
вообще-то это неплохо и даже очень хороший результат.
-
ага, тоже подметил
-
у нас на HDD при таком переливе и общей нагрузке 200-250к выходит
-
400 или 500 максимум видел
-
Меня несколько смутило, что чтение с дисков, не более 50MB/s(iowait по нулям), со сброшенными кэшами
-
Joined. -
ну покрутите,
max_block_size = 1000000
max_threads = 1(,16,32,64),
<parts_to_delay_insert>300</parts_to_delay_insert>
<parts_to_throw_insert>600</parts_to_throw_insert> -
давное не работал со словарями типа ip_trie, раньше вот такой запрос ошибкой не заканчивался:
SELECT dictGetString('ip', 'geoname', tuple(IPv4StringToNum('127.0.0.1')))
Received exception from server (version 18.12.14):
Code: 53. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Key type at position 0 does not match, expected String, found UInt32.
что я сломал?) -
а у вас geoname описано как стринг?
-
<attribute>
<name>geoname_id</name>
<type>String</type>
<null_value></null_value>
</attribute> -
выше в запросе опечатка geoname вместо geoname_id, но это не влияет на ошибку(
-
ну он ждет в ключе стринг, а вы ему не стринг передаете
-
это конечно хорошо, но как быть с документацией?
-
хз тогда :)
-
не знаю, что было - но пересоздал файл словаря - теперь работает)
-
Уточните, что такое максимально близкое? И причем тут начало часа для p?
Что такое 1540641600000 и 1540663200000 в запросе?
Будет проще, если приведёте численый пример -
Видимо
-
имелся ввиду toStartOfHour
-
Но вообще, действительно, задачу хотелось бы всё ж уточнить
-
Joined. -
Joined. -
Joined. -
SELECT *
FROM test173
┌─p─┬───────────────────t─┐
│ A │ 2018-11-07 00:35:23 │
│ A │ 2018-11-07 00:14:23 │
│ B │ 2018-11-07 00:18:23 │
│ B │ 2018-11-07 00:04:23 │
└───┴─────────────────────┘
SELECT
p,
min(t) AS min_time
FROM test173
GROUP BY
toStartOfHour(t),
p
┌─p─┬────────────min_time─┐
│ A │ 2018-11-07 00:14:23 │
│ B │ 2018-11-07 00:04:23 │
└───┴─────────────────────┘ -
я его убрал раньше чем вы спросили))))
-
😂
-
а не проще
select * from (
select 'A' p, toDateTime('2018-11-07 00:35:23') t union all
select 'A' p, toDateTime('2018-11-07 00:14:23') t union all
select 'B' p, toDateTime('2018-11-07 00:18:23') t union all
select 'B' p, toDateTime('2018-11-07 00:04:23') t)
order by p, t-toStartOfHour(t)
limit 1 by p
A 2018-11-07 00:14:23
B 2018-11-07 00:04:23 -
ну и если для каждого часа то
select p, t, toStartOfHour(t) h from (
select 'A' p, toDateTime('2018-11-07 00:35:23') t union all
select 'A' p, toDateTime('2018-11-07 00:14:23') t union all
select 'A' p, toDateTime('2018-11-07 12:14:23') t union all
select 'A' p, toDateTime('2018-11-07 12:35:23') t union all
select 'B' p, toDateTime('2018-11-07 00:18:23') t union all
select 'B' p, toDateTime('2018-11-07 00:04:23') t)
order by p, h, t-toStartOfHour(t)
limit 1 by p,h
A 2018-11-07 00:14:23 2018-11-07 00:00:00
A 2018-11-07 12:14:23 2018-11-07 12:00:00
B 2018-11-07 00:04:23 2018-11-07 00:00:00 -
если с отредактированным вариантом если сравнить то да -- менее читаемо.
но в общем limit by позволяет выбрать все поля из таблицы для искомой записи, т.е. если полей будет например больше чем p и t. -
limit без order by выберет что угодно, а не ближайший к началу часа.
-
если есть коррелированный подзапрос с лимитом, то его иногда можно переписать через джойн и limit by
-
ну вот попробуйте выбрать за один заход в таблицу (ВСЕ ПОЛЯ), нужны строки с мин. t для каждого p
select * from (
select 1 p, 1 t, 'zzz' x, 4 y union all
select 1 p, 2 t, 'xxx' x, 5 y union all
select 2 p, 2 t, 'yyy' x, 6 )
order by p, t
limit 1 by p
1 1 zzz 4
2 2 yyy 6 -
и особенно если нужно первых 5, в каждой группе (p)
-
да, но argMin придется для каждого поля написать и посчитать.
-
ну вот так будет
select p, V.1, V.2, V.3 from (
select p, argMin((t,x,y),t) V from (
select 1 p, 1 t, 'zzz' x, 4 y union all select 1 p, 2 t, 'xxx' x, 5 y union all select 2 p, 2 t, 'yyy' x, 6 )
group by p)
1 1 zzz 4
2 2 yyy 6 -
argMin в разы быстрее чем order by + limit by
https://gist.github.com/den-crane/fcc95468f37e40f9ff2a22cf3e250c0f -
Joined. - 07 November 2018 (120 messages)
-
Коллеги, подскажите плиз, при обновлении на 18.14.12 получаю " <Error> Application: DB::Exception: Cannot create table from metadata file /var/lib/clickhouse/metadata/dnl//hosts.sql, error: DB::Exception: ODBCBridgeHelper: clickhouse-odbc-bridge is not responding, stack trace" - это какая-то ошибки сборки под центось ? 18.14.11 - нормально завелась
-
Joined. -
А можно trace увидеть? -
-
Стабильно воспроизводится на 18.14.12, но не воспроизводится на 18.14.11?
-
На тестовом стенде на 18.14.12 не вылезло, в продакшн - вылезло. Разницы нет никакой, конфиги идентичны. Если найду закономерность- напишу. Но это сборка по центос - может быть что-то с init.d скриптами
-
Кто-то уже жаловался на это именно на CentOS, но там была какая-то не самая свежая версия 18.14.хх. Единственное изменение, которое было в этом месте в 18.14.12 это увеличение таймаута для получения ответа от odbc-bridge, влиять не должно никак.
-
Нашел, что уже мой вопрос обсуждался, подскажите, вам удалось решить задачу с вставкой nested json?
-
спасибо. а случайно не знаешь, можно ли положить всё сообщение из топика кафки в отдельный столбец КХ?
-
Здравствуйте. Подскажите пожалуйта есть ли функция, которая может вернуть предыдущю строку относительно текущей? Я нашел только runningDifference, которая возвращает дельты между текущей и предыдущей записью для каждой записи, но мне необходима другая операция, а не вычитание. -
ого. Хардкорненько. Учитывая, что у меня еще есть и nested attributes, которые тоже являются массивами, то прийдется знатно помудохаться.
-
проще сделать на уровне своей программы, наверное.
-
Добрый день. А кто как переименовывает название столбца в таблице? Есть идеи? -
@milovidov_an, Алексей, не в курсе, будет ли кто-то завтра-послезавтра из команды Облака на полях HighLoad ? -
явно будут, у них ±3 доклада
-
От облака будет еще стенд -
Jnkbxytymrj? cgfcb,j
-
Отличненько, спасибо
-
-
Подскажите плиз, может есть какието очевидные вещи в запросе которые можно оптимизировать?
SELECT
adId AS adId,
sellerId AS sellerId,
if(isFinite(sumIf(cpc, eventType = 1) / sum(eventType IN 1)), sumIf(cpc, eventType = 1) / sum(eventType IN 1), 0) AS AvgCPC,
sum(eventType IN 1) AS Clicks,
if(isFinite(sum(eventType IN (3, 4)) / sum(eventType IN 1)), sum(eventType IN (3, 4)) / sum(eventType IN 1), 0) AS EngagementCTR,
sum(eventType IN (3, 4)) AS Engagements,
sum(eventType IN 2) AS Impressions,
quantile(0.9)(rankScore) AS RankScore90pct,
ifNull(countDistinct(if(eventType IN 2, sessionId, NULL)), 0) AS SessionsWithImpressions,
ifNull(countDistinct(if(eventType IN 3, sessionId, NULL)), 0) AS SessionsWithWebsiteClicks,
sumIf(cpc, eventType = 1) AS Spent,
if(isFinite(sum(eventType IN 1) / sum(eventType IN 2)), sum(eventType IN 1) / sum(eventType IN 2), 0) AS ViewCTR
FROM
(
SELECT
adId,
cpc,
eventType,
rankScore,
sellerId,
sessionId,
timestamp
FROM d_events
WHERE (tenant = 3) AND (date >= (toDate('2018-11-06') - 1)) AND ((toDate('2018-11-06') + 1) >= date)
)
WHERE (toDate(timestamp, 'Europe/Amsterdam') >= '2018-11-06') AND ('2018-11-06' >= toDate(timestamp, 'Europe/Amsterdam'))
GROUP BY
adId,
sellerId
LIMIT 0, 20 -
Возможно ли както закешировать значения sum(eventType IN 1) в пределах запроса?
-
limit без order by?
-
что вы имеете ввиду? не понял вас
-
одинаковые выражения считаются один раз.
-
что если вы берете limit и не пишете order by, то в общем случае у вас два одинаковых запроса по одинаковым данным выдают разные ответы. иногда это не то что хотелось бы получить.
-
Вы имеете ввиду Group By ?
-
limit выдает рандомную строку без order by.
group by не упорядочивает строки
КХ обрабатыватывает запрос многопоточно, limit выдаст просто первую строку которую вернет один из потоков
select n from (select number n from numbers(100000) order by rand())
group by n
limit 1
----
88975
select n from (select number n from numbers(100000) order by rand())
group by n
order by n
limit 1
----
0 -
🙂 select n from (select number n from numbers(100000) order by rand()) group by n limit 3
SELECT n
FROM
(
SELECT number AS n
FROM numbers(100000)
ORDER BY rand() ASC
)
GROUP BY n
LIMIT 3
┌─────n─┐
│ 0 │
│ 89828 │
│ 46085 │
└───────┘
3 rows in set. Elapsed: 0.022 sec. Processed 131.07 thousand rows, 1.05 MB (6.00 million rows/s., 48.00 MB/s.)
🙂 select n from (select number n from numbers(100000) order by rand()) group by n limit 3
SELECT n
FROM
(
SELECT number AS n
FROM numbers(100000)
ORDER BY rand() ASC
)
GROUP BY n
LIMIT 3
┌─────n─┐
│ 0 │
│ 89828 │
│ 46085 │
└───────┘
3 rows in set. Elapsed: 0.021 sec. Processed 131.07 thousand rows, 1.05 MB (6.26 million rows/s., 50.10 MB/s.)
все время одинаковые результаты получаю -
вы неудачник
-
это просто демонстрация и в общем-то понятно почему одинаковые результаты, но это явно не то что хотелось.
-
Секция LIMIT
LIMIT m позволяет выбрать из результата первые m строк. LIMIT n, m позволяет выбрать из результата первые m строк после пропуска первых n строк.
n и m должны быть неотрицательными целыми числами.
При отсутствии секции ORDER BY, однозначно сортирующей результат, результат может быть произвольным и может являться недетерминированным. -
я все равно не понял как это относиться к моему вопросу, но спасибо вам за ответы =)
-
в моем вопросе limit просто для примера
-
когда я вижу
GROUP BY
adId,
sellerId
LIMIT 0, 20
я сразу исправляю на
GROUP BY
adId,
sellerId
ORDER BY
adId,
sellerId
LIMIT 0, 20 -
Понял, спасибо, я в курсе =)
-
про sum(eventType IN 1)
вам папакарл ответил что можно но не нужно
но вообще вот
select (sum(1) as X) * 1000, X+1 -
а вот за это спасибо!
-
всем привет -
такая проблема появилась, селект по distributed таблице падает с ошибкой Block structure mismatch in MergingSorted stream: different names of columns
-
по локальной таблице отрабатывает без ошибок
-
ClickHouse release 18.14.11, 2018-10-29
Исправления ошибок:
Исправлена ошибка Block structure mismatch in UNION stream: different number of columns в запросах с LIMIT. -
была бага
-
Да, я видел, когда гуглил, но у меня проблема с разными наименованиями столбцов. Проверил все таблицы на всех нодах, и локальные, и распределенные, везде все одинаково.
-
в этом и бага - везде все правильно, а выдает ошибку
-
подскажите пример чарта, как поднять кластер КХ в kubernetes -
Посмотрю какая версия сейчас стоит
-
Joined. -
вы понимаете зачем у меня тупл?
-
попробуйте осознать argMin((t,x,y),t)
-
надо себя заставить написать ()
-
Это всё-таки другая бага была, исправлена буквально на днях: https://github.com/yandex/ClickHouse/issues/3162
Она уже в мастере, как скоро фикс оказывается обычно в релизе? на 18.14.12 ещё повторяетсяBlock structure mismatch in MergingSorted stream #3162Clickhouse server version 18.12.17 Query to distributed table sometimes fails with error: 2018.09.18 13:39:41.251273 [ 1108366 ] {efbabc85-def6-4747-9443-c302558e8793} executeQuery: Code: 171, e.displayText() = DB::Exception: Blo...
-
Этот фикс уже 18.14.13, правда релиз ещё не в stable, но уже скоро.
-
👍
-
Joined. -
Коллеги, приветствую! Подскажите, есть ли возможность отфильтровать данные по дате с учетом таймзоны? есть поле и Date и Datetime, сейчас на бэкэнде идет формирование запроса к Datetime со сдвигом, например с 21:00 одного дня до 21:00 другого дня, но это адски неудобное решение .. может что посоветуете?
-
а в чем вопрос-то?
select * from (
select 'UTC' tz, toDateTime('2018-01-01 00:00:00', 'UTC') dt union all
select 'Europe/Moscow',toDateTime('2018-01-01 00:00:00', 'Europe/Moscow'))
where dt >= toDateTime('2018-01-01 00:00:00', 'UTC')
UTC 2018-01-01 00:00:00 -
https://events.yandex.ru/lib/talks/6166/ вот тут объяснено, вроде меньше данных не будет, groupby будет быстрееLink
Приглашаем технических специалистов на ClickHouse Meetup. ClickHouse была разработана в Яндексе для нужд Метрики, но почти сразу стала использоваться для решения самых разных задач. Эта система работает быстрее всех известных нам СУБД и легко обрабатывает петабайты данных. Разработчики системы расскажут о новых функциях и планах, а пользователи — о собственном опыте. Вы сможете также пообщаться с представителями индустрии, которые уже используют нашу СУБД в своих проектах.
-
Доброго всем вечера! Ребят прошу совета. Есть кластер из 8 шардов, хотим сократить количество нод до 4, какой верный алгоритм без потери данных разрулить это? -
detach, копируем на другой шард, там attach
-
Спасибо! А копировать каким образом? При помощи clickhouse-copier?
-
scp / ftp
- 08 November 2018 (142 messages)
-
воу воу
-
Заходишь в тот чат, а там вертика 😂
-
Это где? -
И первый терабайт бесплатно
-
Вроде нету у них чатика. Только у платного саппорта есть в телеге -
Теперь непонятно) без картинки
-
Ну вот да
-
Это не саппорт, это дилеры у нас в стране, да и то, нет там поддержки, только маркетинг
-
Я в своё время зарегался, чтобы скачать community edition, так мне в течении получаса позвонили. И стали расспрашивать, кто я, зачем мне вертика, куплю ли я
-
это да, могут, хотя скачать можно и без реги 😬
-
Всем привет! Надеюсь, не нарушу правила чатика.
В международное маркетинговое агентство ищу удаленного разработчика, перед которым будут стоять интересные задачи, связанные с highload.
Подробности здесь: https://docs.google.com/document/d/14f9ctV716BgCZvWIT-l1OVxKVHFLKQRajYCgkDMQFyA/edit
Благодарю за внимание. Буду признательна за рекомендации.FS-developer_SМы – международное маркетинговое агентство. Специализируемся на лидогенерации, привлечении целевых пользователей и покупателей. Отлично умеем работать с целевой аудиторией, что обеспечивается в том числе in-house инструментами для аналитики и сегментации трафика. Ищем в команду удаленного фуллст...
-
Два года назад нельзя было
-
Joined. -
Joined. -
Joined. -
Joined. -
Joined. -
Joined. -
Joined. -
Joined. -
Joined. -
Joined. -
астрологи объявили неделю хайлоад++. количество людей в группе увеличилось.
-
Joined. -
герои 3 ?) -
Joined. -
ClickHeroes 😎 -
астрологи обьявили неделю спамеров, количество спамеров увеличилось в два раза
-
Joined. -
Joined. -
есть array
а группировать по массиву - это как? по равенству? учитывая порядок или нет? -
Парни а как посчитать uniq(some) но чтоб туда попадали только поля которые больше 0 (some > 0) например?
-
uniqIf
-
Массивы через Array join, но я бы 2 раза подумал, а надо ли) храните все в одной таблице пока это возможно.
-
Да, можно
-
version 18.12.13
наткнулся на странноватое поведение, stream_flush_interval_ms отрабатывало все как надо по дефолту, после пересоздания матвью и консумера из кафки, и последующего рестарта кх – все вроде работает, но сбрасывает буфера через секунд 20-30. как можно починить? -
Спасибо!
-
судя по поведению эта переменная вообще не отрабатывает, ориентируется только на размер блока
-
что по осути означает такая запись в логах?
Started streaming to 1 attached views
Stopped streaming to views
это не stream_flush ? -
обновил на последнюю версию – те же симптомы. по минуте может отрабатывать. как лечить?
-
Joined. -
подскажите как таблица развернуть горизонтально
исходная таблица
user;status;count
user1;100;1
user1;200;3
user1;300;2
user2;100;1
user2;200;3
user2;300;2
ожидаемый результат
user;status100;status200;status300
user1;1;3;2
user2;1;3;2 -
можно например select user, groupArray(number) from table group by user -
там порядок может быть любой, мне такое не подойдет
-
не понял какой другой порядок?
user2;300;2
user1;100;1
user1;300;2
user2;100;1
user2;200;3
user1;200;3
? такой например -
я просто не допонял, меня вот такая констукция устроит, спасибо за ответ
select user, groupArray(status), groupArray(count) from table group by user -
я в c++ вообще не очень, но чет даже в коде репозитория не вижу использования этой переменной в том качестве, в котором оно предполагается.
оно вообще работает? :) -
В последних релизах настройки Кафки в settings перенесли, можно посмотреть как оно теперь работает.
-
yandex/ClickHouse
ClickHouse is a free analytic DBMS for big data. Contribute to yandex/ClickHouse development by creating an account on GitHub.
-
ну вот я в коде основной ветки не вижу использования в движке (но тут может я не соображаю достаточно) и по поведению – ощущение что оно только по размеру буфера отрабатывает
-
Вот тут https://github.com/yandex/ClickHouse/blob/master/dbms/src/Storages/Kafka/StorageKafka.cpp поищите поyandex/ClickHouse
ClickHouse is a free analytic DBMS for big data. Contribute to yandex/ClickHouse development by creating an account on GitHub.
-
max_block_size
-
вот block_size есть, а stream_flush_interval_ms только тут
https://github.com/yandex/ClickHouse/blob/6aec41a2bddeeb2fcaf528e7059e3d3f94ee0f6e/dbms/src/Storages/Kafka/StorageKafka.cpp#L524
и limits.max_execution_time дальше вроде как используется только для ограничения по длительности запросаyandex/ClickHouseClickHouse is a free analytic DBMS for big data. Contribute to yandex/ClickHouse development by creating an account on GitHub.
-
Кликхаус дешевле! -
а *баться можно дольше) -
ощущения незабываемые -
факт -
И ... Можно весь рабочий день и ночь
-
поищите сообщения о дисконнектах в логах. кажется, что-то похожее было с go-шным клиентом, который неправильно обрабатывал разрывы сессий
-
hello - это часть хэндшейка, кто-то решил что у него уже нет этой сессии - либо клиент либо сервер
-
Привет!
Такой вопрос про запись в из файла.
Есть файлик, в котором разделитель "," и null как пустая строка
И В строковый тип данных записывается пустота как null, а вот в числовой - нет
и падает с такой ошибкой
",,,,,,,,,," is not like Float32
можно ли как-то указать формат null отличный от \N? Или мб есть какой-то другой способ записывать пустоту как null?
Не хотелось бы во всем файле пустые значения заменять на \N -
пока нет. есть пул-реквест на возможность указывать default значения в источниках данных (допускающих пустые значения), но он слишком много всего меняет, пока не добавили. Ожидается, что для этих колонок можно будет задать default-ы и они применятся
-
Вроде получилось записать, если у полей выставить Nullable(Float32).
Такой тип может как-то сказаться на производительности? -
https://clickhouse.yandex/docs/ru/data_types/nullable/ "Почти всегда использование Nullable снижает производительность, учитывайте это при проектировании своих баз."
-
Всем привет. А кто-то с timescale сравнивал производительность? -
не встречал, но это не сложно сделать самому с помощью https://github.com/timescale/tsbsGitHub - timescale/tsbs: Time Series Benchmark Suite, a tool for comparing and evaluating databases for time series dataTime Series Benchmark Suite, a tool for comparing and evaluating databases for time series data - GitHub - timescale/tsbs: Time Series Benchmark Suite, a tool for comparing and evaluating databases...
-
Привет, продублируй в личку чтоб я не забыл, у меня сейчас нет компьютера под рукой чтоб посмотреть
-
Спасибо.
-
Сравнивали как раз при помощи tsbs. На следующей неделе опубликуем
-
Я думаю результат ~понятен. Но интересует степень отставания. Смотрю на timescale , так как оно не требовательно по помяти на очень бюджетных хостингах.
-
для сравнения можно еще ознакомиться со статьей https://medium.com/@valyala/when-size-matters-benchmarking-victoriametrics-vs-timescale-and-influxdb-6035811952d4When size matters — benchmarking VictoriaMetrics vs Timescale and InfluxDB
Recently Timescale published Time Series Benchmark Suite (TSBS) — a framework for TSDB benchmarking. Let’s give it a try.
-
Здорово!
-
было бы интересно посмотреть сравнение ch и timescaledb на нодах 4-8-16гб рамы, да -
Как принято говорить "печально"
-
Joined. -
@milovidov_an с премией HighLoad 🍻 -
Joined. -
🥇🏆🍻🥂
-
Были ли у кого-то следующая ошибка Table structure in ZooKeeper is too different from local table structure. ?
Возникла после удаления таблиц и создания новой. -
Спасибо, буду изучать.
-
Но дело в том что таблице все были удалены корректно
-
is ch faster than tc? -
С митапа не будет, поэтому по макимуму попробуем использовать день, если интересно кому )
-
Я не знаю точно, но в статье + нашел аналогичное на сайте tc, упоминается что нет компрессии, что для big data (не говоря просто о скорости чтения) - довольно важно.
-
Joined. -
Спасибо за уточнение. У меня задачка с биржи льется поток orders & trades нужно сохранять, вот думаю какую базу лучше использовать
TimescaleDB or ClickHouse какие pros & cons получу от каждой
Если кто то сталкивался, подскажите куда копать -
У меня и на работе и дома для pet-проекта аналогичная задача. Но так как на работе нет ограничений по железу - там много решений, однако для дома, и траффик не такой большой, и 2-4gb памяти и диск хотел бы ужать, из-за этих ограничений не уверен что туда ch подойдёт (из-за помяти). А tc по диску вот не подходит оказывается.
- 09 November 2018 (164 messages)
-
Joined. -
Вкратце — на легких миллисекундных запросах с высокой локальностью данных (выборка по конкретному чему-то) tc будет несколько быстрее, на более тяжелых агрегациях (статистика для много чего-то) — ch будет сильно быстрее.
-
Посмотреть бы на запросы. Сильно тяжёлые уже не так важно сколько. Интересно от простых до одной группировки например.
-
Вот список запросов: https://github.com/timescale/tsbs#appendix-i-query-typesGitHub - timescale/tsbs: Time Series Benchmark Suite, a tool for comparing and evaluating databases for time series data
Time Series Benchmark Suite, a tool for comparing and evaluating databases for time series data - GitHub - timescale/tsbs: Time Series Benchmark Suite, a tool for comparing and evaluating databases...
-
TC быстрее на single groupby — там серднее время выполнения единицы или десятки миллисекунд. Так что оно не так важно
CH быстрее на double groupby и high cpu — там среднее выполнение запросов измеряется секундами или десятками секунд, поэтому сильно заметно -
TC сильно быстрее на lastpoint и group by order by limit — CH не умеет эффективно это выполнять.
-
Получается tc довольно быстрый.
-
В сравнении с InfluxDB — да, быстрый. В сравнении с CH — ну вот смотря для чего. Мне кажется, что если запрос выполняется 30 или 40 миллисекунд — это не так важно. А 10 или 50 секунд (не милли) — это уже существенно.
-
Довольно ключевая вещь для timeseries(финансовых), имхо
-
Да. Тут однозначно TC выигрывает (разница в порядки). Во всех остальных — CH по совокупности лучше
-
Ну вот 5 или 15 на простых тоже существенно. Так что без полной картины я не особо могу обсуждать.
-
Light queries, time in ms
Test Name ClickHouse TimescaleDB InfluxDB
single-groupby-1-1-1 13,67 4,39 2,6
single-groupby-1-1-12 14,97 38,35 13,84
single-groupby-5-1-1 22,46 4,72 6,72
single-groupby-5-1-12 24,24 41,49 55,84
cpu-max-all-1 37,51 45,02 59,12
high-cpu-1 18,69 36,14 20,07
single-groupby-1-8-1 37,51 23,98 8,24
single-groupby-5-8-1 72,73 24,65 31,07
Heavy queries, time in s
Test Name ClickHouse TimescaleDB InfluxDB
groupby-orderby-limit 2,2014 0,08289 67,9422
double-groupby-1 2,40525 31,48191 8,02475
lastpoint 4,62182 0,60388 2,24293
double-groupby-5 6,59089 41,52558 37,9129
double-groupby-all 12,57339 52,95058 76,19916
high-cpu-all 11,04427 17,33342 80,75683 -
-
-
-
Как-то так это выглядит
-
В PR можно посмотреть запросы: https://github.com/timescale/tsbs/pull/26Add a feature ClickHouse database support by sunsingerus · Pull Request #26 · timescale/tsbs
ClickHouse can be tested along with all other DBses. ClickHouse implementation is based on TimescaleDB.
-
Ага, спасибо, посмотрю обязательно.
-
Спрашивай, если еще актуально. -
утро доброе. подскажите, пожалуйста, а clickhouse не умеет динамически альтерить таблицу при инсерте, как эластикс? типа добавилась колонка, он alter сделал?
(подозреваю, что нет, но все-таки) -
Нет -
спасибо
-
И слава богу!
-
кто-нибудь пользуется кликхаусом для сбора nginx/apache/email логов? хочется elk заменить очень, не очень понятно какой лог шиппер взять
-
+
-
Fluentd+kafka
-
16000 строк в секунду обрабатывает
-
У меня пока в проекте - смотрю в сторону clicktail
-
я хотел fluentbit и без кафки попробовать, напрямую в ch, было бы супер минималистично - но по форматам данных не сходится
-
Ставя кафку, ставится zoo
-
не хочется джаву заводить для мелких деплойментов
-
Клик с репликацией тоже будет требовать zoo
-
Правильно ли я понимаю, что версия zoo /zookeeper-3.4.13.jar от 15 июля не подойдет для репликации?
-
и нужен именно 3.4.5+ ?
-
13>5
-
хотя... я похоже не проснулся -_-
-
пятница
-
Joined. -
а размеры данных на диске ch vs timescaledb какие получились?
-
CH - 3G
Timescale - 26G
Influx - 458M. Видимо, использует всякий delta или double delta encoding -
В CH обещают добавить дельты очень скоро
-
👍
-
toMonday
-
Joined. -
Joined. -
Joined. -
Joined. -
Joined. -
A range_hashed справочники только Date поддерживают? -
без DateTime?
-
Вот фичереквест https://github.com/yandex/ClickHouse/issues/838Feature request: add ability to apply delta or delta-of-delta encoding to numeric columns before compression · Issue #838 · yandex/ClickHouse
Clickhouse fits well for time-series DB from the performance point of view. But the compression ratio for the data stored in such databases may be further improved. Tables in time-series DBs usuall...
-
Date и целочисленные типы.
-
Пока ждали добавления дельтакодинга, создали собственную tsdb, используя "фишки" кликхауса - https://medium.com/devopslinks/victoriametrics-creating-the-best-remote-storage-for-prometheus-5d92d66787ac :) В кх кроме дельта кодинга не хватает индексов по произвольным лейблам для временных рядов, как в прометеусеVictoriaMetrics — creating the best remote storage for Prometheus
The first public announcement of VictoriaMetrics — the best remote storage for Prometheus
-
Круто! Хотя еще круче и полезнее было бы допилить КХ, а не создавать новую tsdb )
-
КХ - инструмент для широких нужд, а мы делаем спкциализированное решение только для tsdb
-
Как любит говорить Майкл Стоунбрейкер — One size does not fit all.
-
Joined. -
Всем привет!
Кто нибудь использует update в продакшен? -
второй вариант более кх-вей
-
ну только лучше пустые колонки, чем nullable
-
а что если иметь столбец DateTime, плюс UInt16 с миллисекундами?
-
Лучше одной колонкой UInt64 с таймстемпом в миллисекундах
-
А как partitioning key сформулировать?
-
Оффтопик по хайлоаду - митап в 17 будет же? А где? -
Владивосток
-
engine = buffer ?)
многие говорят, что он не катит, но не совсем понятно почему -
а если есть проблемы, то может его допилить, а не велосипедить?
-
Он не катит, начиная с какого-то количества инсертов в единицу времени. Но, впрочем, у меня до этого не доходит пока что.
-
partition by A/1000/3600/24/7/4
-
кафка как вариант, хотя тоже не без претензий
-
это да, и самая раздражающая - неработающий stream_flush_interval_ms -
вы тоже на него наткнулись? я вчера прям удивился
-
да, пока сделали «ход конём» - на уровне сервера ставим max_block_size в мелкое значение (100 по-моему)
так запись идёт быстрее более-менее
но чтение при этом тоже страдает
поэтому в читателях при коннекте сессионно возвращаем в дефолт
а-ля
if _, err := connect.Exec("SET max_block_size=65536"); err != nil {
return nil, err
}
думаю, как допилим основную функциональность, вернёмся к этому и может созреем до PR-а и фикса этого всего -
хотя в ченьжлоге видел, что блок сайз теперь можно делать и потаблично
но это тоже такое, полумера, кмк -
работающий stream_flush_interval_ms нужен, конечно
-
Joined. -
насколько я понял (читая переписку в тикетах) проблема в том что невозможно со стороны читающего сфлашить недочитаннный блок(max_block_size), и там неясно что вообще делать.
-
теперь уже можно для кафка таблицы, не?
-
да, я тут про это как раз
> хотя в ченьжлоге видел, что блок сайз теперь можно делать и потаблично
> но это тоже такое, полумера, кмк -
я чет даже issue по этому поводу не нашел, в код полез
-
https://github.com/yandex/ClickHouse/issues/2169
https://github.com/yandex/ClickHouse/issues/2508
https://github.com/yandex/ClickHouse/issues/2382ClickHouse Kafka Performance Issue · Issue #2169 · yandex/ClickHouseFollowing the example from the documentation: https://clickhouse.yandex/docs/en/table_engines/kafka/ I created a table with Kafka Engine and a materialized view that pushes data to a MergeTree tabl...
-
спасибо, видимо под вечер уже глюки начались
-
string
-
1. Зависит от того. насколько "длинные" у вас массивы
2. Есть функция arraySort -
Это нормально
-
А куда торопиться
-
это быстро :) раньше намного медленнее освобождало
-
подскажите, как сделать splitByChar(',', arrayStringConcat(quantiles(), ',')) ? не знаю как превратить результат quantiles() в строки =(
-
Это даже не нагрузочное 30рпс на мелких запросах
-
КликХаус не тормозит - пока что он падает
-
где падает? не срабатывают лимиты по памяти?
-
падают запросы или сам сервер?
-
давайте issue на github-е с деталями
-
через arrayMap можно попробовать
SELECT arrayMap(x -> toString(x), [1, 2, 3]); -
да так работает, спасибо =)
-
Joined. -
select xx,yy from (select [1,2,3] as x, [4,5,6] as y) array join x as xx,y as yy
-
SELECT
replaceRegexpOne(q, '(.*),(.*)', '\\1') AS q1,
replaceRegexpOne(q, '(.*),(.*)', '\\2') AS q2
FROM
(
SELECT arrayJoin(arrayMap(x -> concat(toString(arr1[indexOf(arr2, x)]), ',', toString(x)), arr2)) AS q
FROM
(
SELECT
[1, 2, 3] AS arr1,
[4, 5, 6] AS arr2
)
)
┌─q1─┬─q2─┐
│ 1 │ 4 │
│ 2 │ 5 │
│ 3 │ 6 │
└────┴────┘
😂😂😂 -
но ведь можно arrayMap сразу на два массива натравить
-
groupArray так и работает.
-
Сорян...
-
да, должно работать.
-
в документации мало? https://clickhouse.yandex/docs/ru/operations/table_engines/log/
-
Спасибо, я как раз по какой-то непонятной причине его пропустил
-
Спасибо за доклад! -
R language and Statistical data analysis
Язык программирования R, статистика и машинное обучение/data mining
За спам и флуд -- бан
Публикация вакансий по согласованию с админами
https://t.me/rlang_ruR (язык программирования)Язык программирования R, статистика и машинное обучение / data mining !!! README: https://github.com/r-lang-group-ru/group-rules/blob/master/README.md#how-to-ask-a-good-question
-
Отличная круглая цифра!
-
Цифра в 2049-ричной системе счисления
-
привет всем. а кто ловил ошибку
Column count in parameter table (5) doesn't match column count in schema (28) - 10 November 2018 (45 messages)
-
Привет, как бекапить базу? -
Желательно инкрементально
-
Бекапьте по дням
-
А что высматривать в консоли, если не коннектит табикс? -
База смотрит в интернет, и даже отдает 200 ок из браузера
-
схемы в sql файл и потом в кх через клиента с мультиквери
-
https сделать для начала и на табиксе и на кх. Современные браузеры шибко умные и сильно не любят смеси http и https.
-
ну там if not exist на всякий случай
-
на табиксе висит сертификат, но он вроде протух. я пытался в апаче вообще отключить https, но он все равно редиректит на https, почему-то
-
Вобщем, либо везде работающий https, либо везде http.
-
Как вариант - включить в кх опцию для табикса на /
-
Сделал везде http, поехало, спасибо
-
Не могу переключить бранч на stable, собирая CH на macOS.
Сделал:
git clone --recursive --depth=10 https://github.com/yandex/ClickHouse.git
cd ClickHouse/
git checkout stableClickHouse/ClickHouseClickHouse is a free analytics DBMS for big data. Contribute to ClickHouse/ClickHouse development by creating an account on GitHub.
-
на git checkout stable получаю pathspec 'stable' did not match any file(s) known to git.
git branch показывает только master
git tag молчит -
что я делаю не так?
-
Благодарю, шикарнейший доклад! -
-
@milovidov_an спасибо за доклад на HL -
а вот подскажите по такому моменту.
у меня кафка одним инстансом работает, из кх матвью подключен, при небольших объемах данных – все норм.
с флушем по таймеру понятно – оно не работает пока.
но вот тут еще какая ситуация – я делаю микро-нагрузочное тестирование и отсылаю данные рейтом 200 rps на протяжении 5 минут.
в этот момент вижу по логам кх, что он просто перестает обновлять матвью, нету запросов к кафке.
2018.11.10 17:30:12.549668 [ 21 ] {} <Debug> StorageKafka (myKafka): Started streaming to 1 attached views
спустя пять минут
2018.11.10 17:35:14.552367 [ 34 ] {} <Debug> StorageKafka (myKafka): Started streaming to 1 attached views
это сама кафка ему не дает подключаться в момент нагрузки или что происходит вообще? -
ну и в кафке видно, что консумер замер
-
смотрю по другому топику, там и час может пройти между выгрузками 🙀
а может и еще больше – там нагрузку снимал просто.
это баг, фича или я что-то делаю не так? -
Joined. -
У меня одна таблица для доступа из кафки, другая Матвью в базу. Провисов не видел, 16к запросов в сек делается...
-
без пауз, прям потоком льется?
-
Да
- 11 November 2018 (140 messages)
-
У меня есть маленький вопрос про LowCardinality. Мы сейчас булем пробовать метрики перенести на КХ и очень хочется попробовать его, так как угикальных String названий метрик не особо много, вопрос собственно больше в том как его аккуратно прокинуть в createWithNumericBasedType чтоб можно было использовать с sumMap (на сколько я помню он ,LowCardinality, должен был хэшть строку) и, соответственно в Nested (xxxMap) структурах для SummingMergeTree ?
-
Ну, у девушки, наверное, большие глаза. -
Joined. -
а у вас какая версия кх?
-
Можно разово поднять значение для parts, там установлено по умолчанию максимум 300 parts, я поднимал до 1000, но таким образом можно выстрелить в ногу, надо осторожней
-
Во точно, оно
-
а что дает высокую нагрузку на зукипер?
-
Нужен будет рестарт кх, вносить их в конфиг.xml, в раздел mergetree
-
Когда серверр начинает упираться в железо, диск проц сеть
-
У нас высокая нагрузка на кх, постоянно были такие ошибки, когда зк вместе жили
-
Зк отселили на виртуалки, ошибок больше нет
-
Я про session expired
-
как думаете, это как-то можно поковырять глубже? хочу понять в ком проблема – в кх или в кафке.
консольный кафка клиент отдает норм, кх ходить не хочет, просто не делает Started streaming to 1 attached views в период "высокой" нагрузки. ну она реально не высокая, ресурсы на машинах свободны. -
Я смогу скинуть свои конфиги, но уже завтра. Сейчас нет доступа
-
да, спасибо, я стукну, если не разберусь к тому моменту
-
но я пока логически хочу понять где может быть проблема и куда смотреть
-
то есть там еще такая ситуация, два топика в который примерно одинаково пишется, но в один пишется накопленное, раз в 10 секунд, а во второй – постоянно. первый в кх нормально отрабатывает, второй – нет.
попробую пока пересоздать таблицы еще. -
https://clickhouse.yandex/docs/en/operations/table_engines/kafka/
тут неполная дока в этом моменте?
DETACH TABLE consumer;
ATTACH MATERIALIZED VIEW consumer; -
в общем, решилось все только после пересоздания консумера из кафки и матвью.
остальные все действия – ребуты кх, зукипера и кафки, аттачи/детачи, не принесли результата. -
не, не решилось, минут 10 отработало нормально и опять то же поведение 🤦♂️
-
Привет, нет, такого не должно быть. Я позже посмотрю и отпишусь.
-
нельзя
-
Joined. -
ну у вас лажа в зукипере просто видимо )
-
смотрите логи зукипера
-
Такой странный вопрос: а пробовали отдельно сбоку поставить кластер кх + пустой зукипер и там попробовать пересоздать таблицы как надо? ATTACH в существующие таблицы точно работает.
-
И, кстати, подобное наблюдал при переполнении диска у зукипера (восстанавливал его потом из бекапа).
-
Нет, но придётся поизвращаться с содержимым /var/lib/clickhouse
-
Т.е. лучше заранее сделать DETACH, SHOW CREATE TABLE и куда-нибудь всё в сторонку оттащить.
-
Потом, когда кх таки заработает с зукипером - пересоздать таблицы и сделать ATTACH
-
В моём случае (реплика 3x) достаточно было сделать это на одном сервере - на остальные среплицировалось.
-
А встречались вот такие ошибки: “Existing table metadata in ZooKeeper differs in primary key” ?
-
Сделал след.
Обновил метаданные таблице, чтобы создать новый индекс поле.
После выполнения ATTACH TABLE вылетает след. ошибка “Existing table metadata in ZooKeeper differs in primary key” -
В КХ нельзя изменить колонки первичного ключа
-
[Question] Add column to SummingMergeTree table #3054
Hello. As I know I can add a column to an existing SummingMergeTree table using Alter table statement. But is it possible to add this new column to the primary key or to the aggregated columns ? For example I have a table: CREATE TABLE T...
-
Это для нереплицируемых так можно, для реплицируемых метаданные еще и в ZK хранятся
-
А в саом ZK в логах что?
-
Я догадался, а реально ли в самом ZK эти данные поправить ?
-
Нужны все запросы которые висели, кто-то кого-то ждал, но взаимной блокировки быть недолжно
-
цель надо обновить структуру данных.
Первым делом надо добавить колонку в таблицу и тем самым изменить аггрегацию данных для ReplicatedSummingMergeTree -
Как решают такие задачи ?
-
Реально. Но вы можете только добавить поле в ключ в конце и он не должен поменять физическую сортировку (поле по нему должно быть с дефолтовыми значениями)
-
Пока только перелить данные, но скоро можно будеть через ALTER это делать
-
Да, все так и делаю.
-
@kshvakov Не подскажите как обновить данные в ZK или есть какая-то инструкция, для моей задачи.
-
Нет инструкции
-
Куда, хотя-бы “капать”, чтобы мне понять что изменить в ZK нужно.
-
Я бы посоветовал создать нереплицируемую таблицу такойже структуры рядом, перекинуть туда партиции, поменять ключ там, дропнуть везде реплицируемые и накатить с новой структурой и перенести партиции снова
-
Или просто INSERRT INTO NEW TABLE SELECT * FROM OLD TABLE
-
ого, ну ладно. Видать это самое простое решение.
-
Kirill
А подскажите, у меня в одной из таблиц вот такой индекс.
(campaign_id, company_id, creative_id, zone_id, event_datetime)
Если в основном я делаю запросы сперва по event_datetime, а потом уже фильтрую по другим колонкам.
Может же это быть причиной медленных выполнения моих запросов ?
Данных у меня не много примерно 5 лярдов.
полей у меня не много.
┌─name───────────┬─type─────┬─default_type─┬─default_expression─────┐
│ event_date │ Date │ DEFAULT │ toDate(event_datetime) │
│ event_datetime │ DateTime │ │ │
│ company_id │ Int32 │ │ │
│ zone_id │ Int32 │ │ │
│ campaign_id │ Int32 │ │ │
│ creative_id │ Int32 │ │ │
│ domain │ String │ │ │
│ device │ String │ │ │
│ os_type │ String │ │ │
│ browser │ String │ │ │
│ lang │ String │ │ │
│ country_code │ String │ │ │
│ impression_cnt │ Int32 │ DEFAULT │ CAST(0 AS Int32) │
│ click_cnt │ Int32 │ DEFAULT │ CAST(0 AS Int32) │
└────────────────┴──────────┴──────────────┴────────────────────────┘ -
* это зависит от кардинальности в campaign_id, company_id, creative_id, zone_id
* от того как вы пишете where event_datetime
* от того какой период вы пытаетесь охватить запросом
* от кол-ва партиций который оббегает запрос
* от того что вы понимаете под медленно
* от значения настройки optimize_move_to_prewhere -
>от того как вы пишете where event_datetime
в основном с даты по даду
* от того какой период вы пытаетесь охватить запросом
в основном за прошлый месяц данные
>* от того что вы понимаете под медленно
Иногда запросы по 40 сек идут. -
а как партиционирована таблица? по event_date ? надо его тоже всегда писать вам в where тогда
40 быстро, у меня медленно если 15 мин.
в общем как бы информации не хватает, SET send_logs_level='debug' и смотрите что там пишется -
CREATE TABLE xxxx.statistic_by_minutes_4 (
event_date Date DEFAULT toDate(event_datetime),
event_datetime DateTime,
company_id Int32,
zone_id Int32,
campaign_id Int32,
creative_id Int32,
domain String,
device String,
os_type String,
browser String,
lang String,
country_code String,
impression_cnt Int32 DEFAULT CAST(0 AS Int32),
click_cnt Int32 DEFAULT CAST(0 AS Int32)
) ENGINE = ReplicatedMergeTree(
\'/clickhouse/tables/1/xxxx/statistic_by_minutes_4\',
\'ch01-weu.xxx\',
event_date,
(campaign_id, company_id, creative_id, zone_id, event_datetime),
8192
)
event_date - вообще не использую. -
не используете? у вас партиционировано по нему, допишите его в where посмотрите будет ли разница.
-
Все норм, они ждут когда завершится rename
-
Он дожидается седектов которые идут (это как минимум)
-
и возможно rename ждет конца идущих мержей
-
добрый вечер. а это нормально что не приходит мерж
http://joxi.ru/l2ZLnopTwXYgZr -
это починил. но в логах какая-то страная ошибка
<Error> ServerErrorHandler: Code: 210, e.displayText() = DB::NetException: Connection reset by peer: while reading from socket (10.0.0.4:50958), e.what() = DB::NetException, Stack trace:
при этом инсерты отрабатывает нормально. и данные появляются -
Could not calculate available disk spacе
может места нет или не может определить сколько свободно? - 12 November 2018 (247 messages)
-
Joined. -
Joined. -
Joined. -
Joined. -
увеличьте лимит в sysctl.conf и /etc/security/limits.conf
-
ну увеличьте на 20 процентов
-
Смотря сколько партиций/колонок он затрагивает
-
Каждая колонка это файл, но нужно понимать что в партиции может быть много партов если по какой-то причине они еще не смержились
-
+ еще файлы засечек на колонку
-
А читать их как?
-
Он параллельно читает, может из разных партиций
-
зачем экономить на дескрипторах?
-
а движок у таблицы какой?
-
ну тогда он будет работать в сто раз медленее , и не будет смысла его использовать
-
к тому же в каждой партиции обычно несколько партов это еще надо умножить на и х количество
-
наврятли
-
возьмите lsof и посмотрите количество открытых файлов , ну а если хотите теоретические обоснование открытым файлам то почитайте матчасть
-
а ulimit проверяли для рута? А os какая?
-
Добрый день. Есть ли у кого какие статьи под рукой или какая другая информация по zoo. А именно какие параметры в нем мониторить, что бы понимать что ему хорошо
-
а не LimitNOFILE в /etc/systemd/system/clickhouse-server.service надо смотреть?
-
Joined. -
Его и надо, по-моему.
-
Joined. -
активный issue висит вроде
-
Yandex ClickHouse Driver · Issue #3332 · metabase/metabase
Metabase is great tool for Visualization and http://clickhouse.yandex is great database for analytics Could anybody add support for https://github.com/yandex/clickhouse-jdbc in Metabase ? ⬇️ Please...
-
а где советуют? что-то я видимо упустил
-
В примере конфига зукипера из доки есть ротация сих логов с оставлением N последних
-
по сути желательны последний и предпоследний.
-
По-крайней мере, накатить последний лог в случае дизастера может и не получиться.
-
Joined. -
Automatic purging of the snapshots and corresponding transaction logs was introduced in version 3.4.0 and can be enabled via the following configuration parameters autopurge.snapRetainCount and autopurge.purgeInterval.
а это не подойдет? -
zoo.cfg
-
Привет! А подскажите, а есть какой-нибудь пригодный инструмент для визуализации данных из clickhouse? Табикс это жесть, нет никакой возможности централизованно для команды настроить визуализации, каждый сам свои сырые запросы, это не подходит. То есть я хочу, чтобы у меня команда могла смотреть на графики из кликхаус, как это сделать, кто что использует?
-
У нас сделано:
autopurge.snapRetainCount=6
autopurge.purgeInterval=1
snapCount=1000000 -
Там по-умолчанию нет, а вообще опции есть.
-
у нас пока хватает графаны
-
was introduced in version 3.4.0
-
-
Ну и рекомендуемая версия для зукипера всё ж поновей
-
ClickHouse plugin for Grafana | Grafana Labs
ClickHouse datasource for Grafana
-
А разве Grafana не про time series data? или там любые можно графики-выборки-запросы делать?
-
Без query cache и при выполнении тяжелых запросов для графиков может стать грустно :( -
Это да, часть дашбордов грузится секунд по 20. Но я же сказал _пока_ хватает :-)
-
грусть тоска прям. Мне бы что то вроде Metabase.
-
Про оно самое с некоторыми исключениями, но пока именно это и требуется.
-
Посмотрите Redash
-
Вот оно что)
-
Joined. -
Мы юзаем Redash, делает все что вы хотите -
Спасибо, попробуем его селф хостед вариант
-
так себе решение, хочется сказать
-
можете ещё сервер предлагать ребутать
-
Коллеги, а подскажите, пожалуйста, есть ли какая-то известная бага/фича/магия связанная с limit ?
Например, такой запрос работает нормально:
select *
from groot3.events
where rocket_date = today()
and message_category = 'client'
and name in ('page_impression', 'section_impression')
Но если добавить в конец limit 10, то всё ломается:
select *
from groot3.events
where rocket_date = today()
and message_category = 'client'
and name in ('page_impression', 'section_impression')
limit 10
и падает с такой ошибкой:
Code: 171, e.displayText() = DB::Exception: Block structure mismatch in UNION stream: different names of columns:
event_hash String String(size = 0) и так далее 2 списка колонок, где есть небольшая разница в последовательности
Это лечится? Как? Версия=18.12.14 -
вроде не требуется перезапуск ClickHouse, когда ZooKeeper отпустило
-
Говорят, в 18.14.13 действительно починено
-
хотя для 18.14.11 такое же сообщение было 🙂
-
> Исправлена ошибка Block structure mismatch in UNION stream: different number of columns в запросах с LIMIT. #2156
-
А вот для 18.14.13
> Исправлена ошибка Block structure mismatch in MergingSorted stream. #3162 -
а версия КХ какая?
-
Спасибо! Будем обновлятся)
-
Joined. -
https://pastebin.com
офигительная штука для таких вопросов -
Добрый день, пытаюсь запросить около 20 млн записей с кх сервера через golang, используя драйвер github.com/kshvakov/clickhouse. Где-то 1 млн записей выкачивается с нормальной скоростью (4 MБ/c). Потом скорость падает до 100 КБ/c и остается такой до конца. Вот лог драйвера:
[clickhouse][connect=1][rows] <- data: packet=1, columns=43, rows=8192, elapsed=1.106877511s
[clickhouse][connect=1][rows] <- progress: rows=8192, bytes=6762571, total rows=0
[clickhouse][connect=1][rows] <- data: packet=1, columns=43, rows=8192, elapsed=1.170799767s
[clickhouse][connect=1][rows] <- progress: rows=8192, bytes=6092824, total rows=0
[clickhouse][connect=1][rows] <- data: packet=1, columns=43, rows=8192, elapsed=959.585951ms
[clickhouse][connect=1][rows] <- progress: rows=8192, bytes=7328057, total rows=0
[clickhouse][connect=1][rows] <- data: packet=1, columns=43, rows=8192, elapsed=38.558764707s
[clickhouse][connect=1][rows] <- progress: rows=8192, bytes=6649779, total rows=0
[clickhouse][connect=1][rows] <- data: packet=1, columns=43, rows=8192, elapsed=1m22.861005012s
[clickhouse][connect=1][rows] <- progress: rows=8192, bytes=6605601, total rows=0
[clickhouse][connect=1][rows] <- data: packet=1, columns=43, rows=8192, elapsed=1m23.435027637s
[clickhouse][connect=1][rows] <- progress: rows=8192, bytes=6651228, total rows=0
Тот же самый запрос выполняется нормально через clickhouse-client, без просадок по скорости загрузки. Может быть кто-то сталкивался с такой проблемой? -
clickhouse-obfuscator
ClickHouse release 1.1.54388, 2018-06-28 -
Он сильно медленный на выкачиваение данных, но деградации быть не должно, по идее.
-
Выставил block_size в 100 млн, перестало тормозить после одного милиона
-
SELECT column1,column2,column3, column4
FROM table1
LIMIT 168370600, 100
запрос и бесмыссленный (без order by), и не жизнесопсобный, КХ не может эффективно скипнуть 168370600. Это не работает. -
Joined. -
а если надо очень много данных вычитать, всю таблицу, допустим, то что, не разбивать на запросы лимитом, а сразу всю тянуть?
-
скорее всего.
Скорее всего в КХ вообще это не сделать. Пока КХ не умеет для order by использовать sortkey (индекс). -
если за раз не удается, надо найти что-то, например по дням where date between '... ' and '... '
-
казалось бы, логичнее читать без всякой сортировки, как лежит на диске
-
а, ну разбить-то можно по краям партиций
-
ну а у него в памяти например 15% лежит, и читает он в 48 потоков.
-
Желательно так
-
Это виртуальная память
-
Вам нужен столбец RSS
-
Ну в top он называется RSS
-
Видимо в htop это RES
-
Resident Set Size
-
RES и RSS это одно и то же
-
вообще, лучше всего потребление памяти показывает PSS (Proportional Set Size), но обычные тулзы его не показывают
-
https://serverfault.com/questions/740210/htop-res-virt-colors
The red color indicates that the amount of VIRT or RES memory is in the area of gigabytes. The light blue color corresponds to megabytes, and therefore white color means kilobytes.
This is, that the users has instantly a visual information, if he searches for processes, which consume a lot of memory. Notice that, the nice values (NI) are also red, when they differ from 0 for the same reason as above. -
virt это любая адресуемая память в любых дескрипторах, в т.ч. диск и другие устройства
-
Привет.
КХ очень не нравятся кастомные файлы таймзон, настолько что он отказывается стартовать если localtime в системе взят из другой базы - "custom time zone file used".
А почему для него это так критично? -
Можно бить на диапазоны по партициям и по первичному ключу (если знаете, какие значения он может принимать) или просто SAMPLE 1/10 OFFSET N/10 , если таблица поддерживает сэмплирование
-
остальные способы будут заставлять кликхаус читать больше данных (иногда намного больше), чем вы хотите скачать
-
Добрый день.
Существует движок по MergeTree. В документации подробно описано то, что он позволяет
Но есть движок-интеграция Kafka. Как я поняЛ, при его использовании ClickHouse автоматически подключается к Kafka и слушает сообщения. Отсюда вопросы:
- что делать,если я хочу индексацию как в MergeTree?
- Там релизовано записывание данных батчами?
Или я все не так понял? -
не так.
в документации написано:
Чтение сообщения с помощью SELECT не слишком полезно (разве что для отладки), поскольку каждое сообщения может быть прочитано только один раз. Практичнее создавать потоки реального времени с помощью материализованных преставлений. Для этого:
Создайте потребителя Kafka с помощью движка и рассматривайте его как поток данных.
Создайте таблицу с необходимой структурой.
Создайте материализованное представление, которое преобразует данные от движка и помещает их в ранее созданную таблицу.
https://clickhouse.yandex/docs/ru/operations/table_engines/kafka/ -
все, необходимо было сформулировать вопрос, получить в ответ точную цитату из инструкции. Все стало понятно. (не сарказм, так бывает, спасибо)
-
При удалении базы получил такую ошибку:
Table redtrack_v2..inner.impressions_view doesn't exist.. Теперь любой запрос к этой базе выдает такую же ошибку. Подскажите как удалить остатки базы? -
Взять имя таблицы в кавычки или в backticks:
DROP TABLE `.inner.omg` -
Joined. -
Старые версии КХ бывало дропали inner таблицу до MV, и потом доходили до дропа MV и получалась такая проблема. Пофиксить можно по разному:
остановить КХ, удалить каталог базы в каталогах meta и data,
сделать detach MV, создать таблицу .inner.impressions_view, attach, drop MV -
а почепму просто drop table не сделать ?
-
ну тогда да руками
-
в зукипере
-
я не помню точно какая команда ну там либо rm либо rmr я очень давно делал когда только начинал с кх и всякие тесты по крешу проводил
-
там помню хелп можно было в зккли написать
-
и там был список команд
-
ну да рмр видимо рекурсивное удаление
-
я помню когда удалил тоже была проблема что директория не пуста , и потом использовал какую то рекурсивную команду удаления
-
ну там же просто файловая система по сути
-
ну сделайте бекап зукипера на всякий случай
-
удалит путь который пропишешь в команде не все данные кх
-
Всем привет!
А есть ли какие-то рекомендации по вставке в clickhouse? Если у меня пока только 1 тачка, то какой клиент лучше использовать, чтобы убедиться в том вставились данные или нет?
Вопросы возникли когда начали пропадать данные при вставке, явно что-то не так делаю. Собственно, вставляю в 50 потоков и в каждом потоке батчами до 100к записей -
Joined. -
может стоит логи глянуть?
-
ну и самый надёжный клиент - это clickhouse-cli встроенный
-
ну это плохо так вставлять , в го клиент говорит если были проблемы со вставкой , все таки 50 потоков это много для кх на одной тачке если они часто вставляют одновременно
-
в логах ошибки с чтением и записью блоков, правда непонятно связано ли это с таумаутом дисковых операций
-
ну не должно быть ошибок
-
ну посмотрите топ в пиковые нагрузки если нет мониторинга
-
а что значит батчами по 100к ?
100к insert-ов или 100к записей в одном insert? -
100k записей в одном insert
-
а ошибки вообще контроллируются? Все инсерты успешны были?
-
Коллеги, всем привет.
Нам нужно гарантировать запись в clickhouse, но вставка отвечая 200 не сбрасывает на диск.
На HL Алексей Миловидов посоветовал использовать репликацию, так как в процессе идёт запись на диск(я так понял). Вот читаю доки можно настроить insert_quorum.
Правильно я понимаю что при получении 200 на insert уже точно будет fsync на диск? -
Как понять, что insert прошел успешно? Мб подскажете, в питонячьем неофф клиенте insert ничего не возвращает
-
200 вернулось.
-
Значит надо на другой клиент переходить
-
скорее всего вы неправильно поняли, insert_quorum используется чтобы получить ответ что инсерт прошел на нескольких репликах, в этом случае вероятность потери данных после полученного 200 меньше.
-
А что подразумевается под insert на реплику?
-
Значит двести вернули n реплик указанных в инсерткворуме
-
что блок записался больше чем на 1й ноде в replicated* таблицу.
https://clickhouse.yandex/docs/ru/operations/settings/settings/#insert_quorum
это кстати про блок, а не про insert. Сам инсерт неконсинтент и не атомарен. -
А эта таблица лежит где? она будет потеряна в случае перезагрузки сервера?
-
это та самая таблица куда вставка идет. Каждый блок инсерта - это парт - файл, при перезагрузке, незасинканые файлы ( парты ( последние блоки)) потеряются
-
А в какой момент принимается решение сбросить на диск? С какой задержкой, от чего зависит?
-
ну как обычно, это os определяет - если ос ядро линукса то vm.dirty_expire_centisecs vm.dirty_ratio ?
-
Коллеги, а правильно понимаю, что движок MergeTree используется по умолчанию? В доке везде пишут, что при создании МатВью надо обязательно указать движок. При этом у меня в МатВьюхах нет указаны движки и.... работает )
-
Joined. -
Коллеги, ещё 1н вопрос, будьте любезны.
Есть встроенный движок kafka, он даёт какие-то гарантии консистентного импорта?:) -
Joined. -
ну устарела документация, некоторое время назад появилась возможность "TO" -- указать таблицу в которую будет писать MV, поэтому движок у MV теперь обязателен, только если MV сам неявно создает inner таблицу.
-
Ага, спасибо, примерно так и думал... я использую конструкцию как раз с TO.
-
а можно как то посмотреть какой размер у MV?
-
сам MV, это лишь sql файл, а таблица - это обычная таблица
select round(sum(bytes)/1024/1024/1024) size, count(), database,table
from system.parts
where active = 1 and table like '%%'
group by database,table
order by size desc -
SELECT
table,
formatReadableSize(size) AS size,
rows,
days,
formatReadableSize(avgDaySize) AS avgDaySize
FROM
(
SELECT
table,
sum(bytes) AS size,
sum(rows) AS rows,
min(min_date) AS min_date,
max(max_date) AS max_date,
max_date - min_date AS days,
size / (max_date - min_date) AS avgDaySize
FROM system.parts
WHERE active
GROUP BY table
ORDER BY rows DESC
) -
тогда я не совсем понимаю логику... у нас сделано так: есть таблица Kafka. Она подписывается на топик. Т.к. селектить напрямую от туда нельзя, т.к. данные читаются 1 раз - сделал MV_logs, которое из Kafka -> Logs. То есть таблица Logs - это тамблица с сырыми данными. После этого начинаю делать другие MV. Они получаются типа Create MV 'name' to 'table_name' FROM MV_logs. И оно работает. Даже если просто делать select * from MV_LOGS, которое по идее просто должно трансферить данные из кафки - отображаются очень старные данные, которых там не должно быть
-
show create mv_logs
CREATE MATERIALIZED VIEW CDN_LOGS.mv_logs TO CDN_LOGS.Cache_logs ( ) AS SELECT ) AS type FROM CDN_LOGS.Kafka -
странно что работает, но в общем в доке описан механизм сразу из кафко-таблицы в мв скидывать
https://clickhouse.yandex/docs/en/operations/table_engines/kafka/ -
Пример запроса на любое другое MV CREATE MATERIALIZED VIEW CDN_LOGS.mv_codes TO CDN_LOGS.codes FROM CDN_LOGS.mv_logs
-
потому что не важно откуда делать селект из inner ( MV ) таблицы или из MV, это не имеет отношения к кафке вообще.
-
то есть запрос select * from mv_logs делается из inner таблицы MV ?
-
запросы select from mv_codes и select from codes всегда вернут одно и тоже.
-
я понимаю, что вернут одно и тоже... я хочу понять откуда данные забираются
-
т.к. судя по логике - источником данных должна быть таблица Kafka.
-
данные забирает из кафки таблица engine=kafka ( CDN_LOGS.Kafka ) и пихает в MV, который пихает в CDN_LOGS.codes
-
ClickHouse Community Meetup in Beijing on October 28, 2018
Interest in ClickHouse among Chinese experts is growing rapidly. It was second ClickHouse Meetup in Beijing this year an
-
CREATE MATERIALIZED VIEW mmmm TO store FROM чего_угодно
когда вы делаете запрос к mmmm , фактически делается запрос к store. -
а насколько консистентно он это делает?
-
примерно нинасколько, у менч по крайней мере.
-
угу, есть нюансы
-
-
то есть, получается если есть MV CREATE MATERIALIZED VIEW mv_logs TO Cache_logs FROM Kafka, И я делаю запрос, другой MV - CREATE MATERIALIZED VIEW mv_avgreqtime_ts TO avgreqtime_ts FROM mv_logs, то данные будут читаться с Cache_logs, а не с Kafka?
-
так то все очень неплохо работает. и быстро и вроде без видимых дропов данных. Просто мат часть понять
-
в целом, да так и получается... спасибо
-
Joined. -
Добрый вечер. Такой вопрос к пользователям Redash.
У меня 10 серверов, реплика 2, 5 шардов. Соответственно локальные таблицы и поверх distributed.
В настройках redash не нашёл способа сделать так, чтобы запросы шли на разные сервера, чтобы не нагружать один «master», который указан в настройках соединения к ClickHouse.
Как вы решаете/обходите эту проблему? -
nginx/chproxy/haproxy
-
Мммм… Спасибо
-
так если таблица уже distributed и распределяет запросы
тогда какая разница кого нагружать? -
Данные все равно через один хост пойдут, нагрузка конечно не такая как если бы он выполнял сам, но если есть простые способы от нее избавиться, то почему нет?
-
Joined. -
ммм, потому что наверное это преждевременные оптимизации?) сам редаш умный и спокойно кеширует результат ответа, сколько бы юзеров не лазило.
У нас это организовано несколькими дашбордами которые апдейтяться раз в час -
Ладно, спасибо. Посидим так, - посмотрим, сколько желающих запрашивать графики, если что, будем проксировать
-
тоже думал, как лучше организовать и собирался уже добавить возможность указывать несколько серверов, но в итоге решил использовать chproxy+haproxy
- 13 November 2018 (202 messages)
-
как тебя удялят, сделает мой день! -
Неправильно были названы секции. -
Всем привет. Подскажите пожалуйста, есть ли возможность просчитывать площади полигонов средствами КХ? -
Joined. -
Вопрос про засечки, есть ли разница в оптимальности между двумя вариантами ключа (вымышленный пример)?
1) Порядок столбцов: id, gender, age
2) Порядок столбцов: id, age, gender
При условии, что age и gender имеет одинаковый тип, но gender бывает только 0 или 1 -
а как же gender is a spectrum? какая неполиткорректность(
-
Всем привет.
А как-то можно получить от самого КХ список detached партиций? Или "смотри листинг папок на диск, Люк"? -
<max_concurrent_queries>100</max_concurrent_queries>
в конфиге? -
У нас в конфигурации хосты повторяются, не видим в этом проблемы
-
Например мы используем такой кластер all где перечислены вообще все хосты кликхауза. Потом можно делать ON CLUSTER all
-
Joined. -
grafana ?
-
там нет возможности строить нормально аналитические графики
-
Какие аналитические графики вам необходимо строить? почему вы считаете что в Графане для этого нет возможностей? -
потому что графана для тайм сериес дата и как только я захочу там иметь график из серии "воронка", он будет грузиться неизвестное количество времени.
-
так это проблема не в графане - а в количестве запрашиваемых вами данных, и количестве имеемых вычислительных ресурсов
-
да как угодно, факт в том, что с помощью этого инструмента аналитические графики строить невозможно при разумных потраченных ресурсах.
-
Мы из датасорса ClickHouse, в Графане, показываем графики по входящим логам от продуктовых nginx, поток которых равен ~12Млн строк/мин. У нас все ок, графики есть - за последние сутки отрисовывает ~10сек
-
Вообще-то это как раз пример time series
-
так это потому что тайм сериес дата. Отобразите там график медианы количества операций определенного типа в разрезе когорт юзеров и посмотрите, что произойдет.
-
И, кстати, графана-то как раз нормально большие объёмы переваривает. Вот броузеры...
-
Так это не проблема - подобный запрос построить можно, Графана предоставляет возможность прокивыдвать "Типы операций" и "типы когорт юзеров" в тело запроса. КХ получит этот запрос - обработает его и вернет результат - долго ли он будет его обрабатывать зависит от количества общитываемых данных и ваших мощностей.
Если вам нужны подобные выборки БЫСТРО- то строить их из сырых данных идиотия! Используйте аггрегаторы, и TSDB. -
Графана здесь совершенно непричем!
-
это как микроскопом гвозди забивать. На графане это неудобно. Если уж говорить для обычных SQL, то метабейз в сто раз круче графаны для графиков не про потоки времени. Вся проблемпа только в том, что с кликхаусом у них интеграции нет. "Построить запрос можно" и "это удобное и адекватное решение" - разные вещи.
-
А какой софт для прокидывания в клик таких объемов если не секрет? Кафка и zoo?
-
Мы на go написали свой маленький лог-коллектор - с парсингом и применением кастомных функций. Возможно заопенсорсим
-
А чем метабейз поможет лучше запрос построить? Вы путаете интерфейс и бэкенд.
-
судя по логам – 2-3 секунды
-
но наверное оно от многих параметров зависит, раз недетерминировано
-
Сделай прокси, проще будет
-
прокси - nginx c https-бекендом, а не специально написанное приложение.
-
если id уникален и не бывает одинаковых id с разным age то достаточно просто id (если это не summing...)
если хочется ускорить запросы без id в where то id первым все портит.
в общем надо делать тесты, надо знать что такое id, но судя по названиям индекс должен быть gender,age,id
Скорее всего ткаой sortkey позволит быстро выполнять любые комбинеции
Where age=
where gender=
Where id=
Where gender= and id=
Where age> and gender= -
Здравствуйте, пытался сделать загрузку в виде kafka -> MergeTree -> SummingMergeTree через 2 MV, в SummingMergeTree данные не попадают, это так и должно быть? Если делать в виде kafka (group1) -> MergeTree + kafka(group2) -> SummingMergeTree, то все ок, но вопрос к оптимальности такого решения
-
каскадироват mv нельзя.
я бы попробовал повесить оба mv на одну кафка таблицу.
Что такое group2? -
group2 - это kafka consumer group id
-
> я бы попробовал повесить оба mv на одну кафка таблицу.
спасибо, попробую -
работает!
-
Как думаете из-за чего может быть такие спайки на ноде при репликации в часы наибольшей нагрузки
-
трафика там 5 мбит где то
-
пропускная способность zoo?
-
иногда нода может решить скачать смерженный кусок с другой ноды, вместо того чтобы мержить локальные
-
схема пока 1 активная база, 1 реплика...
-
зеленое - это входящий траффик на тот хост, куда вы пишете?
-
да входящий на реплику
-
исходящий откуда качается собственно такой же
-
но на "другой" не идут клиентские INSERT?
-
на основной как раз идут инзерты все. На реплику потом все переливается
-
а это где посмотреть можно?
-
select * from system.asynchronous_metrics
SELECT *
FROM system.asynchronous_metrics
┌─metric──────────────────────────────────┬──────value─┐
│ jemalloc.background_thread.run_interval │ 0 │
│ jemalloc.background_thread.num_runs │ 0 │
│ jemalloc.background_thread.num_threads │ 0 │
│ jemalloc.retained │ 1344557056 │
│ jemalloc.mapped │ 4880314368 │
│ jemalloc.resident │ 4736299008 │
│ jemalloc.metadata_thp │ 0 │
│ jemalloc.metadata │ 20982104 │
│ ReplicasMaxQueueSize │ 0 │
│ UncompressedCacheCells │ 0 │
│ MarkCacheFiles │ 222 │
│ Uptime │ 334619 │
│ UncompressedCacheBytes │ 0 │
│ MarkCacheBytes │ 9328 │
│ jemalloc.allocated │ 890980888 │
│ ReplicasMaxInsertsInQueue │ 0 │
│ ReplicasMaxMergesInQueue │ 0 │
│ ReplicasMaxRelativeDelay │ 0 │
│ jemalloc.active │ 907632640 │
│ ReplicasSumQueueSize │ 0 │
│ ReplicasSumInsertsInQueue │ 0 │
│ ReplicasMaxAbsoluteDelay │ 0 │
│ ReplicasSumMergesInQueue │ 0 │
│ MaxPartCountForPartition │ 19 │
└─────────────────────────────────────────┴────────────┘ -
это в данный момент (сейчас нету такой гребенки)
-
нашел
-
BackgroundSchedulePoolTask │ 2 │ Number of active tasks in BackgroundSchedulePool. This pool is used for periodic tasks of ReplicatedMergeTree like cleaning old data parts, altering data parts, replica re-initialization, etc.
-
не в асинхронных метриках, а в просто метриках
-
слишком зависит от схемы данных...
-
а где его увеличить можно? в конфиге клика?
-
да, это безусловно
-
спасибо, посмотрим
-
Интересно кто на митап в Амстердам собирается? Яндексу пора собирать фанатов 🍺 для поездок по миру. Майка у меня есть
-
/stat@combot -
а select-ы где выполняются? они к distributed таблице?
-
distributed таблиц нет. Селекты только к 1 активной базе, с которой сливается реплика
-
ну я бы почитал логи КХ на обоих серверах, что в этот момент происходит.
-
ошибок и варнингов нету, только дебажные логи
-
Блин я думал это суббота, там кстати до сих пор to be announced для первого доклада -
Вопрос касался разницы порядка age и gender
Так как gender меняется реже (а такое бывает ровно 1 раз) правильнее ли его ставить раньше
С другой строны gender меняется чаще и фильтр по нему будет продуктивнее (будет фильтроваться меньшее число строк)
Верно ли это рассуждение? -
нашел вот такое
-
stderr.log
%3|1542103714.940|FAIL|ClickHouse 18.14.8#consumer-2| [thrd:localhost:9092/bootstrap]: localhost:9092/bootstrap: Receive failed: Disconnected
%3|1542103714.940|ERROR|ClickHouse 18.14.8#consumer-2| [thrd:localhost:9092/bootstrap]: localhost:9092/bootstrap: Receive failed: Disconnected -
кафка похоже
-
не видя запросов и не зная что такое id ответить нельзя.
есть запросы вида id= and gender= and age > ?
я бы начал с gender, age
но вообще -- id первым все портит (я предполагаю что есть запросы без where id=) -
Ребята, подскажите пожалуйста, может есть директива которая говорит кликхаусу не использовать кеш? для оценки быстроты выполнения запроса
-
кеш чего? линукса? [ echo 1 > /proc/sys/vm/drop_caches ]
кеш марков? кеш uncompressed? создайте и дропните любую mergetree табли -
Кеш результата запроса
-
нету такого
-
понял, спасибо =)
-
Все же вопрос касался конкретно засечек и способа их хранения. Это вопрос к разработчикам.
Например, если подряд идет много одинаковых данных, влияет ли это каким то образом на засечки или нет. -
ааа, тогда прошу прощения, я не хотел мешать.
-
как проще всего сделать копию всей DATABASE со всеми таблицами внутри одного сервера?
-
Ну там ещё мету надо и если реплики то тоже не просто все
-
нет, реплик нет, спасибо
-
а мету какую?
-
Ребят, помогите советом. Хочу вывести из нагрузки реплику из шарда, хотел уточнить план действий, для себя составил таким образом:
1) убираю в конфигах с шарда на всех нодах реплику которую нужно потушить; Убираю её же с конфигов зукипера
2) рестартую Кликхаус
3) Тушу сервер
Подскажите если что не так! Спасибо! -
а, вижу
-
Третьим пунктом идет рестарт
-
а зукипер будете вручную чистить? надо дропнуть все replicated таблицы на ней, иначе zk взорвется из-за того что ее реплика будет писать в zk информацию для нее, а забирать некому.
-
нашел в конфиге такую секцию
<resharding>
<task_queue_path>/clickhouse/task_queue</task_queue_path>
</resharding>
непонятного происхождения, и в исходниках кх не грепается - это что-то из старой функциональности? -
Надо дропнуть таблицы чтобы почистились пути в зукипере, что значит убираю ее из конфигов зукипера?
-
А кто прикручивал алертинг к графане? я так понял из коробки там не работает их алертинг и все обещают сделать...
-
а вот смотрите, у меня есть таблица с партициями, ключами и т.д., если я делаю VIEW AS (SELECT * FROM этой таблицы ), то он перестает это все учитывать?
делаю отчет который на голой таблице считается условно 5 секунд, а когда через такой вот вью – то 10. -
t.me/clickhouse_ru/73647Denny Crane in ClickHouse не тормозит
да есть оно set enable_optimize_predicate_expression = 1; select count() from (select * from part_test prewhere V>1000) where A=700; 1 rows in set. Elapsed: 0.053 sec. Processed 10.15 million rows, 162.40 MB (189.79 million rows/s., 3.04 GB/s.) set enable_optimize_predicate_expression = 0; select count() from (select * from part_test prewhere V>1000) where A=700; ^C 23%Cancelling query. Ok. Query was cancelled. 0 rows in set. Elapsed: 68.444 sec. Processed 2.33 billion rows, 37.22 GB (33.99 million rows/s., 543.82 MB/s.)
-
а оно в пределах пользовательской сессии работает?
-
enable_optimize_predicate_expression выключено по умолчанию, потому что нашлись баги, и пользоваться ей не рекомендуется.
Просто не пользуйтейсь view вообще. -
:)
-
-
а чем пользоваться вместо view?
-
или писать запросы вручную или генерить?
-
да вот вью у меня и генерятся
-
там же ведь вроде еще была деградация производительности, когда много вложенных селектов были, даже без вью
-
или у этих проблем общий корень?
-
тут телепат нужен, но предикаты из внешнего запроса вглубь не проталкиваются, это точно.
-
ясно, спасибо, буду крутить
-
Кто-нибудь сталкивался с
Code: 62. DB::Exception: Syntax error (data type): failed at position 1: . Unrecognized token: while receiving packet
?
Происходит при определённых условиях.
1. Выбираю * из таблицы
2. В таблице есть NESTED структуры..
3. Происходит иногда, - можно указать, например, limit 1 и будет ошибка, а на limit 100 не будет ошибки
Таблица на самом деле широкая - внутри NESTED структуры есть LowCardinality(String) и много всего другого -
Конфиг зукипера я имел ввиду то что прописано в zookeeper-servers в секции nodes, у нас несколько реплик прописаны там ( А дропать реплицируемые таблицы в какой момент, в этой схеме? После того как убрать из конфигов шарда и рестарта кликхаус серверов?
-
Там нигде реплики не прописываются
-
Дропать можно в самом начале
-
Было бы прикольно проиндексировать этот чат, выделить вопросы и ответы. И сделать типа stackoverflow, кроме того бот автоматом предложит ответ если таковой имеется в базе. Ведь здесь собралась огромная, бесценная база знаний по теме. И таких групп много где нужен такой бот.
-
Ну тогда сложно будет продавать суппорт по 350 долларов в час
-
польза для общества важнее
-
Спасибо!
-
а не проще всем просто перейти на SO, а этот чат удалить?
-
ну телеграм дал второе дыхание чатам, можно ведь найти точку соприкосновения
-
одно другому не мешает
-
я слышал можно микроскопом гвозди забивать.
-
в этом чате 99% интересных вопросов остаются неотвеченными, потому что их никто не увидел из-за потока мусора.
-
смею предположить что большая доля вопросов в таких группах повторяется в том или ином виде, либо же более правильный ответ на этот вопросы был дан ранее, но никто не помнит когда и лень искать (бот помнит)
-
буду рад, если я подтолкну кого-то на создание такого бота и он будет опенсурсным 😉
-
согласен, но ведь ничего не мешает "обновить" ответ
-
этот бот пахнет как стронг ИИ.
-
актуализировать
-
именно
-
вы шутите, я надеюсь.
-
это такой чуть более хороший collapsing
-
обычный collapsing при мерже строк относящихся к одному ключу считает что более поздние записи более правильные, в случае когда в одном куске оказывается несколько (больше двух) записей с минусом и плюсом, то этот кусок лога кажется интерпретируется как самая первая запись с минусом и самая последняя с плюсом, и по-моему при схлопывании ключа в ничто, т.е. удалении, тоже есть какой-то спецэффект. в версионированном движке эти вещи сделаны более аккуратно.
-
ReplicatedVersionedCollapsingMergeTree('path, '{replica}', partition, sample, orderby, 8192, sign, version)
-
Вложеннные селекты в MV не будут работать да?
-
MV выполняет запрос на (over) вставляемом блоке.
зыж: я бы почитал ответ иван иваныча на этот вопрос. -
Привет! Есть ли информация, насколько MV замедляет вставку в таблицу-источник, и что будет, если будет много MV над одной таблицей?
-
Собираюсь вот такую таблицу (ReplicatedMergeTree) создать:
event_date Date DEFAULT toDate(event_datetime)
event_datetime DateTime
zone_id UInt32
campaign_id UInt32
creative_id UInt32
link_id UInt32
creative_type UInt32
impression_cnt Int64
click_cnt Int64
Запросы в основном буду делать по event_datetime, потому как нужна поддержка различных тайм-зонов для клиентов.
Ну и дополнительно буду фильтровать по creative_type, меньше всего будут фильтры по zone_id,campaign_id, а тем более по creative_id и link_id
Подскажите какой лучше всего сделать индекс?
Сегментировать лучше всего наверно по event_date или сократить до YYYYMM ? -
Будет много таблиц и много вставок, в новых версиях вставку можно распараллелить.
-
зачем вам event_date ? и сколько дней будете хранить?
если на пример во многих запросах будет скажем where campaign_id и campaign_id имеет мало возможных значений то
partition by YYYYMM(event_datetime)
order by creative_type, campaign_id, event_datetime
но сказать точно можно только заполнив таблицу похожими данными (с похожим распределением) и прогнав тесты. -
@den_crane “event_date” убрал =)
“и сколько дней будете хранить” - как это понять? вечно хранить буду. -
это вопрос про партиционирование, партиционировать по дням или по месяцам.
При вечном хранении у вас будет либо 365 либо 12 партиций в год. Я голосую за YYYYMM.
Для вечного хранения я бы не рискнул делать 365 партиций, вот если бы хранили данные месяц (у меня например никаких жестких дисков не хватит хранить год), можно было бы использовать дневные партиции. -
Спасибо!
-
а кто-нибуть знает это нормально распределение партиций?
-
mc [arturch]~ (307 kb) uploaded November 13, 2018 Joxi
made using Joxi.net
-
я думал будет одна запись за месяц
-
это парты, а не партиции
-
сорри, неправильно вырозился. это так и будет? или они должны оптимизироватся и схлопыватся?
-
должны, схлпонутся через бесконечность лет, когда-нибудь.
вы зачем на диск смотрите? есть таблица system.parts -
проще же
select round(sum(bytes)/1024/1024/1024) size,count() parts_count, database,table,partition
from system.parts
where table like '%моя таблица%' and active
group by database,table,partition
order by size desc -
А вот в итоге без event_date не создать таблицу =(
DB::Exception: Date column name must be an unquoted string
По другому же никак ? -
вы о чем? запрос покажите
-
CREATE TABLE IF NOT EXISTS xxxxx.link_stat_9 ( event_datetime DateTime, zone_id UInt32, campaign_id UInt32, creative_id UInt32, creative_type UInt8, impression_cnt Int64, click_cnt Int64) ENGINE = ReplicatedMergeTree('\''/clickhouse/tables/2/xxxxx/link_stat_9'\'' ,'\''ch02-weu.xxxxx'\'',toYYYYMM(event_datetime), (creative_type, zone_id, campaign_id, event_datetime), 8192)
-
я же писал
partition by YYYYMM(event_datetime)
order by creative_type, campaign_id, event_datetime -
вот так
CREATE TABLE IF NOT EXISTS link_stat_9 ( event_datetime DateTime, zone_id UInt32, campaign_id UInt32, creative_id UInt32,
creative_type UInt8, impression_cnt Int64, click_cnt Int64)
ENGINE = MergeTree
partition by toYYYYMM(event_datetime)
order by (creative_type, zone_id, campaign_id, event_datetime) -
и вы зря не используете макросы
вот это /clickhouse/tables/2/xxxxx/link_stat_9'\'' ,'\''ch02-weu.xxxxx'\'
вырождается в '/clickhouse/tables/{shard}/link_stat_9','{replica}'
и можно выполнять на любой ноде, ddl везде будет одинаковый -
/clickhouse/tables/ тоже можно выразить через макрос или убрать через zk chroot
-
Поизучаю, спасибо.
-
Joined. -
Приветствую.
Подскажите, как можно взаимодействовать с ClickHouse из Rust? Или из программ на Cи. -
Я видел пару крейтов, но насколько они живы не щупал.
-
Вероятно тоже скоро понадобится, но кажется протокол не очень сложный. Ну или биндинги.
-
Это если про raw, а другие варианты думаю проще ещё.
-
в конце запроса FORMAT TabSeparated
https://clickhouse.yandex/docs/en/interfaces/formats/#tabseparated - 14 November 2018 (165 messages)
-
Joined. -
Joined. -
добрый, подскажите, можно ли менять clickhouse_compression на лету?
-
А какие есть ещё варианты? А если про raw, то куда смотреть? Сишного драйвера я не нашёл.
-
надо менять на мердж три , минус зукипер конечно
-
а зачем там зукипер ?
-
ничего не репоизируется
-
просто поверх обычного mergetree дистрибьютед таблица
-
Joined. -
а как вы бенчмарки делаете по запросам?
-
Joined. -
Joined. -
Всем привет. как в клик хаусе узнать разницу между datatime?
-
Дата начала - дата окончание. разница
-
?
-
SELECT datediff('day', toDate('2018-01-01'), toDate('2018-09-01')) -
Спаасибо.
-
Товарищи, есть ли знающие люди по движку Kafka? Бьюсь с проблемой уже который час( В общем есть Кафка, в нее попадает JSON. Сделал табличку:
CREATE TABLE default.kafka_queue
(
event_time DateTime,
event_type String,
app_name String,
advertising_id String
) ENGINE = Kafka SETTINGS
kafka_broker_list = 'kafka-stack-docker-compose_kafka1_1:9092',
kafka_topic_list = 'topic1',
kafka_group_name = 'group1',
kafka_format = 'JSONEachRow'
Проблема: Пишу в kafka - из таблицы ничего не вычитывается.
В кафке данные точно есть - консольным клиентом вычитывается все отлично по топику.
В конфиг КХ добавил:
<kafka>
<debug>all</debug>
<auto_offset_reset>smallest</auto_offset_reset>
<security_protocol>plaintext</security_protocol>
</kafka>
</yandex>
Делаю select из таблицы - в логах КХ никаких ошибок нет, только:
<Debug> StorageKafka (kafka_queue): Starting reading 1 streams, 65536 block size
2018.11.14 11:31:21.687047 [ 43 ] {e2c0c4ff-53c1-46ed-bc41-ebaf92dedc2a} <Trace> InterpreterSelectQuery: FetchColumns -> Complete
2018.11.14 11:31:21.688144 [ 43 ] {e2c0c4ff-53c1-46ed-bc41-ebaf92dedc2a} <Debug> executeQuery: Query pipeline:
Expression
Expression
Kafka
2018.11.14 11:31:21.688750 [ 43 ] {e2c0c4ff-53c1-46ed-bc41-ebaf92dedc2a} <Trace> StorageKafka (kafka_appsflyer_kos): Creating formatted reader
2018.11.14 11:31:24.186764 [ 43 ] {e2c0c4ff-53c1-46ed-bc41-ebaf92dedc2a} <Trace> StorageKafka (kafka_appsflyer_kos): Committing 0 messages
Т.е. оно как бы вычитало 0 сообщений? Но в логах кафки вообще нет никаких логов когда КХ что-то там пытается.
Когда же из консоли вычитываю - кафка пишет лог что кто-то подключился.
Создается ощущение что КХ до кафки не доходит, но в логах ошибок никаких нет.
Куда посмотреть еще можно? -
Из хоста КХ порт кафки доступен
-
если делать обычный селект из таблицы кафки в кх - данные есть?
-
данные из таблицы кафки читаются только 1 раз
-
нет, вообще данных нет, про 1 раз знаю, проблема в том что вообще ни разу не вычитываются
-
@crazyproger хост брокера странный, может попробовать там ip указать?
-
пробовал IP - то же самое, хост из контейнера нормально пингуется/telnet'ится по этому имени
-
я бы попробовал создать таблицу с одним строковым полем и всеми теми же настройками
-
чтобы исключить проблемы в некоректных данных в таких местах
event_time DateTime – точно уже не помню, но при разнице в форматах, оно у меня не проходило ничего -
ну и еще можно в метриках кафки глянуть – считываются ли данные или остаются висеть
-
Я только что создал таблицу направленную "вникуда" - несуществующий хост и порт, заселектил - в логах КХ все идентично ни одной ошибки.
-
В логах кафки косумер даже не создается от КХ, только от консольных клиентов
-
Спасибо, это крайне полезная инфа, сейчас попробую
-
Joined. -
здравствуйте, как лучше распарсить строку вида:'ActionType=return_gift|GloryLevel=86|M3PlayedAll=11328|SessionId=3357|TimeSpentInGame=61846|TotalExp=4026758' , т.е. аргументы эта строка и ActionType, а получить надо return_gift
-
т.е. по типу json
-
ok, спасибо
-
Привет!
Использую тип Nullable(Float32) и Nullable(Int32).
И при insert из csv null'ы заменяются нулями. Это немного портит данные. Можно ли как-то null'ы оставлять как null'ы? -
В самом файлике они как пустые значения. Собственно, поэтому и использую тип Nullable.
-
Привет, как посмотреть , сколько оперативной памяти жрет внешний словарь?
-
:) select name, bytes_allocated from system.dictionaries;
-
ok, спасибо
-
Joined. -
через \N
-
Заменять все значения в файле на \N? Oo
-
в любой непонятной ситуации я подозреваю selinux, если у вас редхат или центос я бы проверил системный лог. Ну и tcpdump покажет пытается-ли КХ забрать из кафки.
-
@den_crane Все в докерах, хост - macos. TCPdump показывает что КХ соединяется с кафкой, соединение живет пока живет таблица. Но вот заглянув в дамп я не увидел там топика передающегося в кафку. По дампу видно что КХ с кафкой общаются 1 раз в секунду примерно мелкими пакетами, на уровне приложения.
-
вы пробовали в топик много положить? КХ забирает пачками по 65 тыс.
-
этого не пробовал, но там же вроде КХ либо пачку большого размера либо какая есть но по таймауту, разве нет? Попробую ваш вариат.
-
@den_crane Кажется я разобрался, дебаг логи librdkafka сыпятся не в файл а в консоль, а я ее не смотрел.
В логах вот что https://gist.githubusercontent.com/crazyproger/9049201fd9c39fe6e50863927d727441/raw/f2029bd501a8858311a1e7dc3c81c827439618d2/gistfile1.txt
Насколько я понял - clickhouse бутстрапится из кафки и та ему отдает адрес брокера localhost... -
Печально что КХ по-умолчанию ничего не сообщает касательно доступности брокеров и т.д. Только врубать kafka.debug=true.
-
Скажите пожалуйста, надо ли тюнить настройку max_read_buffer_size в ClickHouse? Если у нас рейд из 6 дисков, то надо выставить размер буфера как минимум в 6 Мб, правильно? Особой документации или даже упоминаний в интернете этой настройки я не нашел 🙂
-
Я сделал такой вывод на основе недавнего выступления Алексея Миловидова на хайлоаде: https://youtu.be/hkcOmILykas?t=11929 . Поправьте меня, если я не прав.HighLoad++ 2018. Трансляция, 9 ноября
HighLoad++ 2018 http://www.highload.ru/moscow/2018 -------- Нашли ошибку в видео? Пишите нам на support@ontico.ru
-
это была фраза для программистов, которые пишут приложения. Т.е. когда вы будете писать свою программу и захотите утилизировать диск полностью -- имейте ввиду буфер и многопоточность.
Рейд у вас какой? 0 , 5 , 6, 10 ? хардварный/софтверный? -
mdraid, 6 дисков
-
раид какой 0 или 10 ?
-
или 5 ?
-
короче Алексей там сказал про layout = far и в доке было упоминание про размер страйпа 1МБ.
-
не уверен, но вроде либо 5 либо 10
-
цирк.
-
я не админ :), и настраивал не я
-
поэтому на память не помню и посмотреть тоже не могу
-
для layout = far и страйпа в 1МБ надо пересобирать.
-
+1 забейте
-
просто far мы итак выставили
-
да, я спрашивал про настройки КХ
-
а не рейда
-
Joined. -
Всем привет! Встал вопрос о том чтобы использовать КХ вместо ms sql. В связи с этим встал вопрос, есть ли смысл в переезде при том условии, что в обозримом будущем будет лишь одна нода в «кластере»?
-
Как альтернатива еще рассматривается oracle
-
зависит от того, как вы использовать собираетесь, а не от количества нод
-
Аналитические запросы по таблицам +- 2 млрд строк
-
аналитические запросы – самое то для кх
-
слишком мало строк для ClickHouse
-
Ну 2 ярда это в условиях ограниченности нынешней системы, гипотетически может возникнуть необходимость ворочать 10+ млрд
-
Да, на одной ноде 2 млрд строк это нормально
-
Ну там уже понятно будет расширение
@clickhouse_ru / Public archive of Telegram messages.
- 01 Nov 2018 (261)
- 02 Nov 2018 (143)
- 03 Nov 2018 (74)
- 04 Nov 2018 (17)
- 05 Nov 2018 (158)
- 06 Nov 2018 (187)
- 07 Nov 2018 (120)
- 08 Nov 2018 (142)
- 09 Nov 2018 (164)
- 10 Nov 2018 (45)
- 11 Nov 2018 (140)
- 12 Nov 2018 (247)
- 13 Nov 2018 (202)
- 14 Nov 2018 (165)
- 15 Nov 2018 (221)
- 16 Nov 2018 (235)
- 17 Nov 2018 (36)
- 18 Nov 2018 (42)
- 19 Nov 2018 (159)
- 20 Nov 2018 (157)
- 21 Nov 2018 (162)
- 22 Nov 2018 (196)
- 23 Nov 2018 (95)
- 24 Nov 2018 (43)
- 25 Nov 2018 (22)
- 26 Nov 2018 (190)
- 27 Nov 2018 (204)
- 28 Nov 2018 (210)
- 29 Nov 2018 (277)
- 30 Nov 2018 (272)