- 01 December 2019 (3 messages)
-
Joined. - 02 December 2019 (103 messages)
-
Joined. -
Alert! eSandesh Support Bacha is a known spammer and is CAS banned. Ban is strongly recommended. -
Joined. -
добрый день. столкнулся с проблемой
(version 19.15.3.6 (official build)) (from thread 47) Received signal Segmentation fault (11).
2019.12.02 08:03:40.646387 [ 48 ] {} <Fatal> BaseDaemon: Address: NULL pointer. Access: read. Address not mapped to object.
2019.12.02 08:03:40.646512 [ 48 ] {} <Fatal> BaseDaemon: 3. 0x55575e9ae116 DB::Block::bytes() const /usr/bin/clickhouse
2019.12.02 08:03:40.646554 [ 48 ] {} <Fatal> BaseDaemon: 4. 0x55575ea13106 DB::BlockStreamProfileInfo::update(DB::Block&) /usr/bin/clickhouse
2019.12.02 08:03:40.646585 [ 48 ] {} <Fatal> BaseDaemon: 5. 0x55575ea19e83 DB::IBlockInputStream::read() /usr/bin/clickhouse
2019.12.02 08:03:40.646615 [ 48 ] {} <Fatal> BaseDaemon: 6. 0x55575b8e87ed DB::TCPHandler::receiveData() /usr/bin/clickhouse
2019.12.02 08:03:40.646642 [ 48 ] {} <Fatal> BaseDaemon: 7. 0x55575b8e92eb DB::TCPHandler::receivePacket() /usr/bin/clickhouse
2019.12.02 08:03:40.646674 [ 48 ] {} <Fatal> BaseDaemon: 8. 0x55575b8e942e DB::TCPHandler::readDataNext(unsigned long const&, int const&) /usr/bin/clickhouse
2019.12.02 08:03:40.646728 [ 48 ] {} <Fatal> BaseDaemon: 9. 0x55575b8e99be DB::TCPHandler::readData(DB::Settings const&) /usr/bin/clickhouse
2019.12.02 08:03:40.646754 [ 48 ] {} <Fatal> BaseDaemon: 10. 0x55575b8e9c31 DB::TCPHandler::processInsertQuery(DB::Settings const&) /usr/bin/clickhouse
2019.12.02 08:03:40.646780 [ 48 ] {} <Fatal> BaseDaemon: 11. 0x55575b8eb26d DB::TCPHandler::runImpl() /usr/bin/clickhouse
2019.12.02 08:03:40.646806 [ 48 ] {} <Fatal> BaseDaemon: 12. 0x55575b8eb4fb DB::TCPHandler::run() /usr/bin/clickhouse
2019.12.02 08:03:40.646834 [ 48 ] {} <Fatal> BaseDaemon: 13. 0x55575f71f3c0 Poco::Net::TCPServerConnection::start() /usr/bin/clickhouse
2019.12.02 08:03:40.646860 [ 48 ] {} <Fatal> BaseDaemon: 14. 0x55575f71fadd Poco::Net::TCPServerDispatcher::run() /usr/bin/clickhouse
2019.12.02 08:03:40.646889 [ 48 ] {} <Fatal> BaseDaemon: 15. 0x555760da9901 Poco::PooledThread::run() /usr/bin/clickhouse
2019.12.02 08:03:40.646916 [ 48 ] {} <Fatal> BaseDaemon: 16. 0x555760da76ac Poco::ThreadImpl::runnableEntry(void*) /usr/bin/clickhouse
2019.12.02 08:03:40.646942 [ 48 ] {} <Fatal> BaseDaemon: 17. 0x55576151ceb0 ? /usr/bin/clickhouse
2019.12.02 08:03:40.646980 [ 48 ] {} <Fatal> BaseDaemon: 18. 0x7f28ef0b06db start_thread /lib/x86_64-linux-gnu/libpthread-2.27.so
2019.12.02 08:03:40.647017 [ 48 ] {} <Fatal> BaseDaemon: 19. 0x7f28ee9cd88f clone /lib/x86_64-linux-gnu/libc-2.27.so
гугление не помогло - пишут дескать в моей версии этот баг уже устранён, ан нет, я с ним таки столкнулся. можете подсказать как мне решить мою проблему? -
Joined. -
всем привет, столкнулись с багом - на таблицу MT добавили индексы, после чего перестало работать условие WHERE 1 = 1 -
Code: 49, e.displayText() = DB::Exception: ColumnUInt8 expected as Set index condition result. (version 19.14.6.12 (official build))
-
Это баг и скорее всего уже пофикшен https://github.com/ClickHouse/ClickHouse/pull/7685Forbidden to use column name more than once in insert query. by alesapin · Pull Request #7685 · ClickHouse/ClickHouseI hereby agree to the terms of the CLA available at: https://yandex.ru/legal/cla/?lang=en Changelog category (leave one): Bug Fix Changelog entry (up to few sentences, not needed for non-signific...
-
обновитесь до последней 19.15
-
так я же и привожу второй строчкой версию 19.15.3.6 (official build)
-
а последняя 19.15.6.21
-
а, благодарю, сейчас попробую
-
Привет!
Может кто то знает почему
select
15730567168 - toFloat32(15730567168+1) as a11;
дает 0 ?
Версия КХ последняя официальная -
-
@pavlov_m @cebka 😱
спасибо !! -
спасибо, помогло
-
а возможно ли как то сторить очередь кафки в сыром виде без построения агрегированных страниц ? -
Так напишите MAT VIEW без выражений агрегации и сторите куда хотите -
Добрый день. Если в запросе словарь по ключу может вернуть два и более ответа, и ответ словаря используется в группировке - будет ли в ответе две строки на ключ, или такое поведение не предусмотренно? -
Скорее всего при загрузке словаря в КХ, вы не сможете по ключу получить два и более ответа. Т.е. в словаре дубли по ключу есть, а в КХ - не будет
-
Joined. -
можете пример показать
-
Как-то так https://pastebin.com/gKfciiy1CREATE TABLE kafka ( data String,) ENGINE = Kafka;CREATE TABLE data_from_k - Pastebin.com
Pastebin.com is the number one paste tool since 2002. Pastebin is a website where you can store text online for a set period of time.
-
круто, спасибо большое
-
Добрый день, проблема со словарями, при добавление внешнего словаря он не отобразился в system.dictionaries, при попытке его обновить ручками "system reload dictionary dict_name" запрос зависает, и кильнуть запрос не получается "kill query where query_id = '1234'", есть варианты починить это, не перезапуская кх? -
Пытался оставить пустой тэг <dictionaries>, после удалил, но не помогло
-
Не очень понятно, почему проблема одного словаря, может сломать весь механизм
-
Предполагаю, что проблема возникла, после добавления неудачного словаря, который я починил, но после все сломалось
-
А какая версия КХ?
-
19.9.2.4
-
Select version()
-
в 19.10 очень сильно улучшалась загрузка словарей, не хотите обновиться?
-
Хочется, но это не просто и не быстро)
-
А проблему, хотелось решить сейчас
-
Попробую, воспроизвести такую ситуацию на локальной машине с новой версией, посмотрим, что получиться
-
Alert! А is a known spammer and is CAS banned. Ban is strongly recommended.
-
SELECT 'all', 'all', 'all', count(1) FROM event_photo_upload LEFT JOIN event_delete_photo ON event_delete_photo.photoId=event_photo_upload.photoId WHERE placeId IN('bljtd77heqe9e0tuu68x') AND toString(event_delete_photo.photoId)==''
вот такой запрос вызывает реакцию DB::Exception: Method createColumn() is not implemented for data type Set. при чём тут Set и как переписать запрос, чтобы он работал? версия 19.17.4.11 -
У вас точно в запросе написан "=="? В КХ такого нет
-
Есть) Проблема похожа на https://github.com/ClickHouse/ClickHouse/issues/7799.19.17 Method createColumn() is not implemented for data type Set. · Issue #7799 · ClickHouse/ClickHouse
The test case: ClickHouse client version 19.17.2.4 (official build). Connecting to localhost:9000 as user default. Connected to ClickHouse server version 19.17.2 revision 54428. :) select count() F...
-
0_0 откатил версию до 19.15.6.21 и всё заработало. == таки есть, да
-
Есть задача создать отказоустойчивый кластер с КХ и Зукипером. Есть у кого опыт, кластеризации между разными ДЦ и хостерами ? -
зависит от нагрузки
1. ноды зукипера в одном дацентре. В крайнем случае в датацентрах с летенси <50мс С ОЧЕНЬ надежной сетью между.
2. писать в реплики КХ которые близко к Зукиперу (летенси <100мс), другим репликам запретить становится лидерами таблиц. -
а ноды зукипера разносить в разные хостеры ? летенси имеет значение ?
-
использует ли clickhouse партиции для оптимизации запросов? -
см 1
-
да
-
да
-
partitioning is not intended to speed up SELECT queries (ORDER BY key is sufficient to make range queries fast). Partitions are intended for data manipulation (DROP PARTITION, etc). -
>partitioning is not intended to speed up SELECT queries
тут имеется в виду что speed up самый минорый фактор для выбора стратегии партиционирования, и только для тех кто понимает как на самом деле работает insert -
всавка в MV и таблицу неатомарны, нужно постоянно следить за ошибками инсертов и чинить руками
-
да, у меня такая фигня бывает раз в неделю, отвал зукипера, отвал сети между КХ и заливалкой и т.д.. Я чиню MV вручную, довствляя кусок который не вставился в MV.
-
Что такое "вью созданный параллельно"?
-
да, приблизительно
-
да
-
И ретрай insert-а не помогает. При ретрае проверяется что блок в таблице уже есть и вставка пропускается и в таблицу и в MV.
-
Ребят а что случилось с WHERE 1 = 1 ? -
Почему перестало это работать?
-
А версия какая? -
19.14.6.12
-
where 1 тоже не работает? -
может прокатит UID="user-name";
но проще сделать пользователя без -, и пароль без @ и $ -
значит никак
-
в 19.7 поменялся lz4
-
надо на всех репликах сделать либо <19.7 либо >19.7
-
либо не использовать lz4
-
а есть orm для явы, поддерживающий clickhouse ? -
слава богу, нету.
-
должно хватить базового encode URI. Например в javascript - encodeURIComponent(). Полученные логин/пароль после должны проходить валидацию -
Alert! Marcos is a known spammer and is CAS banned. Ban is strongly recommended.
-
Alert! James Daves is a known spammer and is CAS banned. Ban is strongly recommended.
-
Alert! Lity Mariya is a known spammer and is CAS banned. Ban is strongly recommended.
- 03 December 2019 (163 messages)
-
Спамеров привалило/// -
Привет 🖖 Подойдёт ли КликХаус для хранения данных временных рядов ? -
Да, подойдет
-
Joined. -
добавить память или лимитировать в конфиге -
Памяти добавить или объем выборки уменьшить
-
в сервер
-
Добрый день. У меня есть такая проблема. Пул серверов шлет инсерты в КХ, примерно так:
клиент 1 - INSERT INTO table3 (c1, c2, c3) VALUES ('v1', 'v2', 'v3')
клиент 2 - INSERT INTO table3 (c1, c2, c3) VALUES ('v4', 'v5', 'v6')
..
Ему тяжеловато от этого. Я хочу их тупо запайплайнить, и слать пакет одним запросом, вот так:
прокси1 - INSERT INTO table3 (c1, c2, c3) VALUES ('v1', 'v2', 'v3')\r\nINSERT INTO table3 (c1, c2, c3) VALUES ('v4', 'v5', 'v6')
И отправлять одним запросом раз в секунду - накопленное количество.
- поддерживает ли парсер КХ вот такой вот, или какой то другой пайплайнинг?
- поможет ли это КХ зажить весело и счастливо, или мне надо всенепременно упарываться парсером, переформатировать и слать вот так: INSERT INTO table3 (c1, c2, c3) VALUES ('v1', 'v2', 'v3')('v4', 'v5', 'v6') ?
Заранее спасибо! -
нет
-
в профиле пользователя, в users.xml -
Попробовал. 16.987g в свопе после вставки 100к, 18, после вставки следующих 100к.
-
why?
-
я предполагаю что вот этот запрос: INSERT INTO table3 (c1, c2, c3) VALUES ('v1', 'v2', 'v3')
Внутри - превращается вот в такой пул запросов:
с1 -> v1
с2 -> v2
Тк КХ - колоночная субд => нет никакого смысла приводить запросы к виду:
INSERT INTO table3 (c1, c2, c3) VALUES ('v1', 'v2', 'v3')('v4', 'v5', 'v6')
Так как все равно распарсится на примитивы. Но.
Всё зависит от реализации записи. Если они делают так:
file.write(с1, v1)
file.fsync()
То будет тормозить. А если делают fsync по таймеру, раз в секунду, например - то тормозить не будет. Обычно - красавчики делают fsync по таймеру - или отдают это ОС. Но если они не красавчики, то нужно запилить парсер и слать одним запросом( -
но это все мои предположения )
-
Добрый день. Столкнулся с проблемой при установке clickhouse-client на Mac OS. Утанавливаю как здесь написано: (https://github.com/arduanov/homebrew-clickhouse)
Во время установки выдает варнинг, но устанавливается. А при попытке запустить clickhouse-client падает ошибка. Кто-то сталкивался с подобным? -
а что теперь есть вторичные индексы https://clickhouse.yandex/docs/ru/query_language/alter/#manipuliatsii-s-indeksami ? -
интересно, спасибо
-
посдкажите, а какие ограничения на именования таблиц? а то в документации найти не могу
-
Joined. -
Подскажите, я правильно понимаю, что невозможно к существующей таблице добавить непустую колонку? То есть в новой колонке навсегда первые н записей останутся пустыми?
-
ADD COLUMN [IF NOT EXISTS] name [type] [default_expr] [AFTER name_after]
Добавляет в таблицу новый столбец с именем name, типом type и выражением для умолчания default_expr (смотрите раздел Значения по умолчанию). -
Можно задать значение по умолчанию
-
Но нельзя заполнить из SELECT, скажем?
-
Вроде бы нет
-
Спасибо!
-
А можно задать значение по умолчанию в виде выражения сразу? Оно хранится как выражение или пересчитается физически? -
Класс, спасибо
-
Joined. -
-
Баг в dataGrip -
Там на самом деле 0000-00-00
-
Коллеги, доброго времени, подскажите пожалуйста, версия кх 1.1.54380 , можно ли как-то адекватно удалить из таблы записи с фильрацией по условию?
-
такой вопрос, есть таблица, в которой около 10 мил. записей, но часть этих записей - не валидны, (разные id при идентичных значениях) как можно перенести только валидные данные в другую таблицу, что бы потом ее уже использовать как основную, при условии, что все валидные id имеются? -
Только перелить нужные данные в новую таблицу, а старую удалить
-
спасибо!
-
Переливаете нужные данные в новую таблицу, а старую таблицу удаляете. Затем работаете с новой таблицей
-
я изначально в вопросе указал, что "можно перенести только валидные данные в другую таблицу, что бы потом ее уже использовать как основную", осталось решить - как это сделать лучше, в этом и вопрос.
-
Insert From Select
-
ок, спасибо
-
Есть несколько вариантов, смотря чем определяется валидность данных:
OPTIMIZE DEDUPLICATE (есди PRIMARY KEY это id за исключением ключей партиции)
INSERT SELECT + GROUP BY id
INSERT SELECT + LIMIT 1 BY id
ALTER TABLE DELETE WHERE -
валидность тут скорее условная, дело в том, что данные в CH льются из postgresql, но оказалось, что часть данных на постгрес - была физически удалена, и те id что есть в постгрес - валидны, а то, что успело залиться в CH - становится не валидным из за дублирования данных под разными id
надеюсь понятно описал
что делаю сейчас - выгружаю csv с id из постгрес, подключаю файлик как внешние данные и буду заливать в новую таблицу данные по insert into new_table select * from old_table where id in (csv_file)
если есть способ лучше и быстрее - поделитесь -
Joined. -
Есть параметр что-то там Dictionary lazy load ?
Вообще словарь должен загрузится как и раньше. Сделайте тикет с полным логом в виде файла, чтобы было видно три попытки загрухки словаря. -
Не совсем понял ситуацию, так как, если делать так id IN(), то туда могут попасть одинаковые id, если они есть в файле.
-
в файле будут уникальные id из PG ибо там это primary Key
-
Подскажите пожалуйста, апдейт config.xml кушается на лету, или надо рестартовать сервер? -
Это понятно. Но если в PG есть id = 1
А в CH есть id = 1, который повторяется 2 раза
То строки с id = 1 так же повторно скопируются, если написать id IN(1)
Возможно я не так понял -
Большинство настроек на лету применяется -
Налету обновляется большинство натсроек, но не все
Сразу после измненеия проверьте значение настройки так
>SELECT * FROM system.settings WHERE name = 'имя настройки' -
понял, спасибо! речь о доступе с не только локалхоста
-
Надо рестартовать. В config.xml только словари и описание кластера без перезагрузки
-
благодарю
-
все верно, но это подходит под условия моей проблемы.
что бы понимать лучше опишу ситуацию чуть подробнее
у нас тут один... гм... не очень хороший человек, написал функционал, который для исправления одной ошибки, физически удаляет данные в PG и пересоздает запись, под новым ID (он уже знает что так делать не надо, и функционал, который он делал - исправлен, но вот данные остались и с ними нужно что-то делать)
в это время, на другом серваке, кафка, каждые 2 минуты, вытягивает данные из PG и поливает ими CH, как следствие в CH есть данные и по удаленным записям, и по пересозданным
в итоге каунт с одними и теми же условиями, выдает разницу в несколько сот тысяч записей, которые нужно как-то ликвидировать на CH -
Добрый день! Пожалуйста, подскажите с одним вопросом.
Есть запрос таково вида:
SELECT id, A.count
FROM table
WHERE id IN( SELECT 1 FROM A)
Таблица А - вычисляемая таблица, время вычиление неколько секунд (от 1 до 60).
id - первичный ключ, просто перенести A в JOIN, убрав WHERE не получится
Текущее решение:
SELECT id, A.count
FROM table
JOIN A
WHERE id IN( SELECT 1 FROM A)
Данное решение увеличивает время запроса в 2 раза. Хочется этого избежать. -
Для миллиона строк решение вполне вменяемое
-
select * from a any inner join table using(id), тогда правда у вас вся таблица будет в память вычитываться, если она очень большая то это решение не подойдет -
хм, topK возвращает только 10 результатов -
Joined. -
А как посмотреть в кх очередь заданий ddl ? -
А в кх не появилась возможность добавлять колонки в distibuted таблицу ? или чтобы она автоматом подхватывала если изменились колонки в таблице на которую она смотрит
-
Joined. -
Joined. -
Joined. -
пересоздание подразумевает удаление таблицы то есть какой то простой а это не айс
-
что такое SELECT 1 FROM A
SELECT id, A.count
FROM table
JOIN A
WHERE id IN( SELECT 1 FROM A) -
Раньше альтера не было на дистрибьютед, завтра проверю
-
Как то можно в arraymap передать countif?
-
Спасибо, недавно обновился до последней
-
всегда был alter на дистрибьютед, с самой первой версии
-
И можно было добавить колонку разве? У меня в памяти сидит мысль что я читал документацию и там было только пересоздание для дистрибьютед для добавления колонки
-
можно было
-
у countIf один аргумент
-
Ты путаешь.
-
-
-
ясно, ну да фигню какую-то пытаетесь сделать
-
arraySum(i-> i > 10), или arrayFilter
-
А ну да точно
-
Спасибо
-
PARTITION BY date ORDER BY (date,
date в ORDER BY смысла не имеет, там всегда одно значение, из-за PARTITION BY date
1. Если действительно хочется быстро искать (это вообще неправильный вопрос для OLAP), делайте две таблицы одна ORDER BY unique_id вторая ORDER BY click_id и все храните два раза. Но проблема в вашем неправильном желании. Скоро появится zorder индекс который несколько облегчит.
2. фильтровать через таблицу отсортированную по creative_id, который вычисляется из client, campaign, publisher
3. 700 серверов, в каждом по 600ГБ озу -
сделайте POC из двух шардов, да померяйте, кто знает как у вас данные сожмутся и запросы может данные за 6 лет будут считать.
-
Привет всем, если необходимо чтобы КХ повторно "потрогал" парты, для применения изменений к старым данным, это же вроде можно имитировать через мутацию? -
речь про запись добавленных алтером column default на диск?
-
скорее skip index хочу накатить
-
ALTER TABLE [db.]table MATERIALIZE INDEX name IN PARTITION partition_name похоже где-то в доке рядом с этим, читаю )
-
а сразу нельзя было это сказать? дедушка партизан?
-
сорян )
-
Joined. -
Joined. -
Joined. -
client, campaign, publisher это ведь атрибуты баннера не правда ли?
-
ну вот показали баннер желтые труселя, даже если он персонализирован, и там написано special for you Denny, все равно у этого баннера есть id, где он у вас в таблице?
-
не конкретный баннер, а сам криэтив
-
все это не то, видимо разговор слепого с глухим
-
Подскажите, delta encoding можно применить к полю timestamp? LowCardinality был бы эффективен для поля user_agent, как я понял из вебинара Secrets of ClickHouse Query Performance by Altinity Ltd...
-
тут пишут про бОльшее количество -
-
>Подскажите, delta encoding можно применить к полю timestamp?
да, помогает, если отсортировано по timestamp
>LowCardinality был бы эффективен для поля user_agent,
да - 04 December 2019 (152 messages)
-
У меня есть таблица
user_id
order_id
price
status
dt - datetime
к ней наджойнина таблица с пользователями
users_table.reg_dt - дата регистрации пользователя
Я хочу получить для каждого пользователя арреи в котором будет сумма price для каждой его нумерованной недели с момента регистрации
Пока единсвенный рабочий вариант у меня это явно перечислить все недели:
WITH (SELECT groupArray(number) FROM numbers(1, 52)) as week_n
SELECT
users_table.user_id
, array(sumIf(table.price,
table.status = 1 AND
toRelativeWeekNum(table.dt) - toRelativeWeekNum(users_table.reg_dt) = 1),
sumIf(table.price,
table.status = 1 AND
toRelativeWeekNum(table.dt) - toRelativeWeekNum(users_table.reg_dt) = 2),
sumIf(table.price,
table.status = 1 AND
toRelativeWeekNum(table.dt) - toRelativeWeekNum(users_table.reg_dt) = 3),
~~~~~~~~~
sumIf(table.price,
table.status = 1 AND
toRelativeWeekNum(table.dt) - toRelativeWeekNum(users_table.reg_dt) = 52)
) AS array_prices
GROUP BY users_table.user_id
Пробовал:
1) запускаеться но дублирует значение первой недели на все
, arrayJoin(weeks) as week_n
, array(sumIf(table.price,
table.status = 1 AND
(toRelativeWeekNum(table.dt) - toRelativeWeekNum(users_table.reg_dt)) = week_n)) AS array_prices
2) не запускаеться
, arraySum(tupl -> (
tupleElement(tupl, 3)
)
, array(
tuple( groupArray(table.price)
, week_n
, groupArray(toRelativeWeekNum(table.dt) - toRelativeWeekNum(users_table.reg_dt))
, groupArray(table.status)
)
)
) as test
Вопрос:
Таких полей кроме price достаточно много и явно не правильно всех из перечилслять так, хочеться понять как можно считать это не хардкодя -
Joined. -
Joined. -
Привет, как узнать что выполняет ClickHouse в данный момент?
Хочу отследить причину нагрузки -
SHOW PROCESSLIST -
Можно еще мержи и мутации посмотреть, в доке ищи
-
Можно добавить hostName() в ключ группировки и включить настройку distributed_group_by_no_merge -
Это условный запрос, там столбцы с агрегацией
-
Joined. -
господа, приветствую
есть проблема с наливкой копии продакшн-базы из бэкапа
используется этот спосок https://clickhouse.yandex/docs/ru/operations/backup/#manipuliatsii-s-partitsiiami
проблема в том, что там отсутствуют таблицы с Engine=Log и их нет в бэкапе
подскажите, пожалуйста, можно ли, используя этот способ, получить бэкап и лог таблиц тоже? -
Добрый день! При попытке залить таблицу упираюсь либо в ошибку выделения памяти, либо в ограничение на память для запроса. Какую настройку подкрутить, чтоб не покупать больше RAM?
-
Добрый день. Я вставляю данные по 100 000 строк. Как вставить только уникальные по паре полей? Чтобы не заморачиваться предварительной вычиткой и отбором. -
Вставлять в replacingmergetree -
Мы сейчас занимаемся приоритезацией задач по дальнейшему улучшению документации ClickHouse и чтобы сделать это правильно, нам нужна обратная связь от вас. Если готовы помочь нам, заполните, пожалуйста, вот эту небольшую форму: https://forms.yandex.ru/surveys/10014882
Тем временем, следующий ClickHouse митап в Москве состоится уже через неделю, 11 декабря: https://yandex.ru/promo/clickhouse/moscow-december-2019
Количество мест ограничено, так что стоит поспешить записаться, но live трансляцию тоже собираемся делать. -
None
-
Подскажите, как узнать виртуальные столбцы таблицы? Есть ли у ReplacingMergeTree возможность получить версию? -
почитал, сомнительный вариант
никто не знает, когда обновление произойдет
есть варианты прямо в INSERT условие вставить?
в гугле есть варианты, но поддерживаются ли они CH? -
Например, в distributed есть _table, _part и еще несколько, вдруг в ReplacingMT есть что-то вроде _version
-
Я не понял, что такое columns_version, у меня там 0
-
Нет, речь про версию записи в ReplacingMT
-
Добрый День.
Подгружаю bash-ом данные на КХ:
"cat mytext | clickhouse-client --format_csv_delimiter="$" --format_csv_allow_double_quotes=0 --format_csv_allow_single_quotes=0 --query "insert into schema.my_table FORMAT CSV ";"
В файле редко попадаются битые строчки с лишним кол-вом столбцов. На этих битых строчек процесс загрузки падает.
Какая опцию прописать при загрузке, чтобы пропускать строчки, которые нельзя проинсертить? -
А почему всего 140 символов? -
Нет, это когда добавляешь две записи с одинаковым ключом, а он берет последнюю по его версии, она может быть указана явно (в виде реального столбца) или не указываться и КХ решает сам
-
input_format_skip_unknown_fields
input_format_allow_errors_num
input_format_allow_errors_ratio
Можно поиграться с этими параметрами -
Спасибо за помощь.
Есть ли возможность включить лог ошибок в внешний файл или табличку в КХ, если строчку не принимает?
Есть ли опция по регулированию размера батча при такой загрузке? -
видимо случайно, убрал
-
использование SELECT FINAL помогает, но тормозит запросы
есть ли варианты эффективнее?
или альтернатива только предварительная очистка данных? -
Привет
Подскажите, при вставке данных по HTTP-протоколу может ли КХ вернуть ответ, но при этом дообработать вставку в фоне? -
Насколько большие вставки у тебя и как много повторов?
-
Если идёт вставка в distributed таблицу, то так и будет
-
Вопрос тем кто использует clickhouse-backup - он работает удалённо по сети? -
Вставка в не-distributed
-
по 100 000 вставки
во время разработки дубликаты по несколько раз в день
в продакшене раз в неделю, примерно -
clickhouse-backup, есть упоминание параметра host, но запускать рекомендуется от "Run as 'root' or 'clickhouse' user" - что намекает на локальное использование.
-
Тогда вопрос, в том
Что такое поведение нужно получить, или как раз не нужно? -
Просто хочется понять, бывает ли такое, и если бывает, то какой код при этом возвращается, 200 или какой-то другой
-
Емнип, в таком случае вставка сразу обрабатывается и если пришло, 200 ok, то данные вставлены
-
А где-то можно уточнить это поведение, чтобы быть на 100% уверенным?
-
Гарантированного варианта, вставить только уникальные записи в clickhouse, что бы не было некого промежутка времени между вставкой и чисткой дубликатов нет, ну окромя select final и group by
-
Т.е., предварительная очистка. Это эффективнее, чем селекты тормозить.
-
Есть же несколько сценариев использования CH
Один из них акцентирован на максимально быстрой записи большого объема информации. Так получается сейчас. Грубо говоря, сидит разработчик и анализирует тонны логов. Логи постоянно и помногу пишутся, а разработчик один. Тогда за скорость выборки можно не так волноваться.
А другой - на максимально компактном хранении и быстром чтении для использования. Пользователей и информации много, а новая информация записывается, но не так чтобы уж очень много. Тогда надо не так критична скорость записи.
Не планируются варианты движков с такими оптимизациями? -
данных много на входе?
-
так я и делаю
хотел узнать, можно ли это переложить на саму бд -
Привет. А я не понял, это прямо для всех поддержка или для кого надо поддержка?
https://clickhouse.yandex/docs/ru/introduction/info/ -
Ну просто как-то очень уж фантастически звучит, что в три часа ночи по бесплатному телефону со мной кто-то поговорит про ClickHouse.
-
телефон доверия КХ
вы хотите поговорить об этом? ) -
Да да, примерно
-
Алиса -
это чтобы вы не повесились )
-
Да я просто узнать, не очень люблю вообще формат общения голосом по телефону 😊
-
Joined. -
-
null as zero будет рисовать 0 даже если не существует записи
-
с виду это графана решает
-
See max_parallel_replicas setting -
Но для этого не нужна Distributed таблица.
-
Добрый день! А здесь есть разработчики CH? Хочу написать новую функцию, вижу, что другие наследуют IFunction, но в исходниках перед её объявлением стоит коммент «Previous function interface». Значит ли это, что для новых функций я должен использовать что-то другое?
https://github.com/ClickHouse/ClickHouse/blob/master/dbms/src/Functions/IFunction.h#L351 -
Спасибо!
-
Привет, как сделать словарь в кх вида id->tuple(String)? сами данные в tsv
-
Нет. Нет.
-
А никто не ловил вот такую ошибку при попытке подключиться к MDB Яндекс.Облака драйвером clickhouse-driver? SSLCertVerificationError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate in certificate chain (_ssl.c:1056) -
-
мне в другую сторону
-
а я понял. нельзя.
-
видимо придется сложить в String и делать split, спасибо
-
Призываю в чат людей использующих clickhouse-backup и TTL совместно.
-
если я поставлю TTL - то, вроде как самая поздняя партиция будет постоянно меняться => она будет улетать в backup в постоянно порезанном виде. Как этого избегают ?
-
o, спасибо, вот прямо именно этого очень и хотелось!
-
там еще чот есть про это
-
попробую найти как до компа доберусь
-
повторю вопрос, с позволения
-
-
Да, есть ALTER TABLE ... MODIFY SETTING
-
нет. Таблицы с движками Log нельзя использовать для долговременного хранения. Они только для краткого хранения (секунды при заливке), ребут МОГУТ не пережить
-
написать скрипт который тебе создаст нужное кол-во таких запросов и выполнит их? ты программист или чо?
-
один clickhouse-client генерит скрипт дропа и подает на вход другому
cat drop.sql|clichouse-client -mn | clickhouse-client -mn -
drop.sql например
select concat('alter table ',table, ' drop partition ',partition, ';')
from system.parts
where active = 1 and table = 'xxx' --and partition like '%201906%'
group by database,table,partition
order by database,table,partition
в system.parts есть поля min_time max_date -
Кто-нибудь пробовал подключать Metabase к MDB Clickhouse?
-
я
-
ну либо я вопрос не распарсил
-
И как?
-
да хз, суперсет удобнее с виду
-
тут все какое-то мультяшное и сложное
-
У меня он на сертификат ругается
-
а так вроде работает
-
вероятно я вопрос не понял
-
потому что понятия не имею о каком вообще сертификате идет речь
-
MDB в Яндекс.Облаке)
-
там нужно SSL сертификат поверх наложить
-
ах сорян, и правда не распарсил
-
/stat@combot -
-
Добрый день.
Подскажите, есть ли новости или планы по изменению движка регулярок? Мне нужны негативные регулярки, в re2 не поддерживаются. -
Всем привет. Подскажите, плиз, есть ли какие-то best practices по перегону данных из одной таблицы в другую в рамках одного инстанса? Есть одна табличка (~500m записей), нужно перегнать их в другую с немного изменённой структурой. INSERT SELECT подходит прекрасно за исключением одного момента. Есть несколько materialized views. Их тоже надо как-то перегнать и мне интересно, как лучше это сделать. Пробовал создать на новой таблице и после этого перегонять данные — падает с ошибкой о лимите памяти на запрос. Такая же история если просто делать INSERT INTO new_matview_name SELECT ... FROM old_matview_name. Пока что крутится в голове просто переливать данные постепенно, небольшими кусочками, но выглядит так, будто есть способ проще/эффективнее. Clickhouse-copier вряд ли подойдёт, т.к. всего 1 инстанс, зукипер не используем. -
так а какая разница для clickhouse-copier один инстанс или нет -
таблицы то разные
-
Господа, а есть какой-то аналог EXPLAIN ANALYZE?
-
Мы зукипер не заводили, а только ради этого его поднимать не хочется
-
1. сколько памяти у сервера?
2. что такое в MV что оно жрет память? Join ?
3. попробуйте set max_block_size=10000, max_insert_block_size=100000 перед insert в таблицу с MV. -
set send_logs_level = 'debug'
у КХ нет оптимизатора, там все прямое как палка -
1. 32GB, кажется
2. На первый взгляд ничего такого, просто табличка
3. Попробую, спасибо -
>32GB
set max_memory_usage=20000000000, max_bytes_before_external_sort=15000000000, max_bytes_before_external_group_by=15000000000
>2. На первый взгляд ничего такого, просто табличка
ну group by / order by там есть? -
Буду смотреть, спасибо!
-
Order by безусловно есть
-
Joined. -
гм, в select-e order by ? нафига? он там только память жрет и тормозит.
-
Спасибо
-
Надо подумать)
-
Сама таблица MergeTree(), matviews с другими движками (например, SummingMergeTree())
Order by, соответственно, в качестве первичного ключа -
я спрашивал про order by в select. При чем тут первичный ключ движка.
-
А, пардон, в таком случае нет
-
Селект просто втупую забирает данные из таблицы
-
Joined. -
Подскажите! ситуация подталкивает к использованию таблиц merge, собственно и возник вопрос , хотя ответ , скорее всего будет - "нет" , но все же. Есть 2 таблицы - данные идентичны , различия только в order by. Обращение идёт к таблице merge , к примеру , по ключу сортировки из первой таблицы. Какой вернётся результат ? Двойной- поскольку данные идентичны , или же мердж подумает , что за предикат и будет искать только в той таблице , где это актуально? -
Этот вопрос из-за того, что смутила фраза в документации " При чтении будут использованы индексы тех таблиц, из которых реально идёт чтение, если они существуют "
-
двойной
-
имеется в виду что если индекс есть подходящий, он будет использован
-
Кстати с merge не работает optimize_move_to_prewhere (надо писать prewhere вручную)
- 05 December 2019 (183 messages)
-
Благодарю!
-
Мы Int64 таймстемпы сохраняем -
Всем привет, сталкивался кто-нибудь с таким поведение: есть две таблицы, обычный ReplicatedMergeTree и AggregatingReplicatedMergeTree, связаны через MV. Данные перетекают из первой во вторую, все ок. Но в некоторые моменты (похоже на мержи) данные за последний час (время до часа округляется) перепрыгивают в 00:00:00, в итоге первый час постепенно растет, а последующие как получится. Что-то не пойму куда копать. Версия 19.17.4.11
-
Время каждой новой записи >= предыдущей
┌──────────────────ts─┬─────X─┐
│ 2019-12-05 06:00:00 │ 42360 │
│ 2019-12-05 07:00:00 │ 4824 │
└─────────────────────┴───────┘
спустя некоторое время
┌──────────────────ts─┬─────X─┐
│ 2019-12-05 06:00:00 │ 43428 │
│ 2019-12-05 07:00:00 │ 5052 │
└─────────────────────┴───────┘
это уже в отдельной, свеже созданной таблице, т.е. воспроизводится. Смотрел данные, все корректно со значением времени. -
Если имелось ввиду перепрыгивают в 00:00, то проверьте часовой пояс серверов и clickhouse-server, если сервера разные
-
UTC, это смотрел, на примере выше перепрыгивает в 6 часов (так как значений раньше нет) и если бы были проблемы с поясом то прыгало на оффсет максимум, а тут с текущего в первый в пределах партишена
-
причем если перелить партишен целиком, все ок 😕
-
Либо я дурак, либо лыжи не едут https://gist.github.com/fuCtor/cd51dc0313d6652469c76b8fa6bda939response.txt
GitHub Gist: instantly share code, notes, and snippets.
-
полностью воспроизвелось на другом инсте, в гисте SQL и все ответы Clickhouse
-
тчерт =( таки сам дурак, забыл в order by вложить ts, вот он и схлопывает
-
Ребят, а flush_interval_milliseconds для query_log/part_log применяется без рестарта? -
HAVING SUM(flag) > 0
-
а блин, не увидел про group by
-
Joined. -
Всем привет!
Помогите разобраться пожалуйста, почему такой баг
https://github.com/ClickHouse/ClickHouse/issues/8030`Exception: Number of columns doesn't match` while inserting with UNION ALL into AggregatingMergeTree table · Issue #8030 · ClickHouse/ClickHouseI get an exception when trying to insert data into table. It looks like floating bug, or I just cannot understand why this is happening. Code: 20. DB::Exception: Received from host:port. DB::Except...
-
Всем привет! Ни кто случайно не пробовал коннектиться из qlik к базе КХ? Вроде как это можно сделать через ODBC, но пока не получается разобраться как именно ^_^ -
Наверное просто мало данных и кх решает, что вообще можно не мержить их пока.
Можете принудительно схлопнуть с optomize, ну или нагенерить больше данных. -
Не, миллионов должно хватать)
Покажите создание таблицы. -
Joined. -
А у вас данные за несколько месяцев? Схлопывание работает в пределах одной партиции, если у вас данные размазаны на несколько - будут дубликаты в select *.
-
Сделайте запрос с отсечением по creation_datetime и посмотрите на дубликаты там
-
(чтобы из одной партиции взялись)
-
Не уверен, есть ли проблема в том, что sign - не последнее поле в таблице у вас. Еще можно логи посмотреть на предмет того, что он по какой-то причине не может смержить. Куда-то он об этом пишет (в описании CollapsingMT видел что-то про это).
-
Joined. -
Всем привет. А подскажите, пожалуйста, про ArrayIf
В доке написано, что Комбинаторы -If и -Array можно сочетать. При этом, должен сначала идти Array, а потом If. Примеры: uniqArrayIf(arr, cond), quantilesTimingArrayIf(level1, level2)(arr, cond). Из-за такого порядка получается, что аргумент cond не должен быть массивом.
А как тогда указывать условие на элемент массива cond? -
например так
SELECT sumIfArray(v, c)
FROM
(
SELECT
[1, 2, 3] AS v,
[1, 0, 1] AS c
)
┌─sumIfArray(v, c)─┐
│ 4 │
└──────────────────┘ -
гм, я думал оно должно работать как фильтр на элементы массива (
-
вот фильтр на элементы массива
select arrayFilter(x -> x > 2, [1,2,3,4,5]) -
а вот мне нужно было countIf. но я сделал в итоге через arrayJoin
-
спасибо!
-
CREATE DICTIONARY {dict_name} ( key UInt64, value UInt16 ) PRIMARY KEY key SOURCE(CLICKHOUSE(HOST '{client.host()}' PORT {client.port()} TABLE '{table}' DB '{db}' USER 'default')) LIFETIME(MIN 0 MAX 0) LAYOUT(HASHED()); -
Ребят, может кто-то знает?
-
-
Значит без шансов. Спасибо)
-
Joined. -
Joined.
-
поменять местами таблицы?
-
а что нужно? последнее значение etc?
-
меняете местами, убираете лишнее
-
правая таблица должна умещаться в лимит
-
можно правую таблицу сгруппировать по user_id и groupArray(table2.data)
-
если поместится в память
-
можно добавить костыль в правую таблицу: Where user_id in (select user_id from table1 Where 1...)
-
есть ощущение, что можно переделать запрос
-
user_id уникальны? если нет, группировка, фильтр и джойн
-
вам в table2 нужны все user_id?
-
если в правой таблице есть лишние user_id, фильтруем условием выше
-
можно добавить костыль в правую таблицу: Where user_id in (select user_id from table1 Where 1...)
-
скопируйте сюда запрос, будет проще
-
Joined. -
Всем привет, нужен совет, кто обновлял клихаус просто с краторным разрывом от текущей версии)) Есть база примерно 0.5T, кликхаус 1.1.54336. Обновляться сразу до последней, я боюсь. У меня есть вторая нода там сейчас 19.17.4.11, я перекинул данные просто копированиаем файлов на обновленную ноду, вроде все работает и проблем как таковых нет. Кто-то знает могут ли быть какието проблемы в дальнейшем и стоит ли так вообще перекидывать? Стопать продовскую ноду на долго не вариант -
Дмитрий предложил вам ограничить набор из table2 , чтобы он поместился в оперативную память. Это можно сделать множеством способов. Например первый способ : select * from table1 all inner join (select * from table2 where field1 in (select distinct field1 from table1)) as a1 on a1.field1 = table1.field1 -
И второй способ - на мой взгляд более правильный. Дело в том что скорее всего вы будете в конечном рекордсете данные группировать, или фильтровать (если конечно речь не идет про батч загрузку данных в другой источник). Поэтому лучше сделать эту обработку непосредственно в подзапросе. Пример 2 : select * from table1 all inner join (select field1, max(field2) as f2 from table2 where field1 in (select distinct field1 from table1) group by field1) as a1 on a1.field1 = table1.field1
-
Второй вариант - предпочтительнее - он существенно ограничит расходование оперативной памяти. Просто примените нужную вам агрегатную функцию , или ограничьте подзапрос с помощью where
-
пол терабайта с гигабитной сеткой скопируют через командную строку (сlickHouse-client) в течении часа - двух без остановки продовской ноды. Может быть просто перекинуть данные через конвейер ? Есть и более модные варианты - например clickhouse-copier (https://clickhouse.yandex/docs/ru/operations/utils/clickhouse-copier/)
-
Я тоже думаю что по времени это много не займет. Спасибо, сейчас пощупаю clickhouse-copier)
-
Например - есть 2 одинаковые таблицы на 2-х серверах srv1(version1) и srv2(version 19) create table tab (col1 int) Engine = MergeTree order by col1. В командной строке второго сервера : $clickHouse-client -h srv1 -q "select col1 from tab format TSV" | clickHouse-client -h srv2 -q "insert into tab(col1) format TSV"
-
подскажите пожалуйста, если я делаю INSERT INTO lcal_table SELECT * FROM remote(...) и выборка будет большая, оно же не будет сначала в память все грузить? Или нужно селект на пачки разбить? -
; )) Попробуйте сделать так как я буквально постом выше предложил. Будет быстрее скорее всего
-
Какой-то бред. Зачем насиловать все insert-ми, если можно просто скопировать файлы?
-
вы все сделали правильно.
Проблемы будут у приложения. Тестируйте приложение. -
как раз этим и занимаемся)
-
Кто-то сталкивался с таким?
Code: 20. DB::Exception: Received from host:port. DB::Exception: Number of columns doesn't match.
Какой-то плавающий баг, возникающий в рандомных местах 🤷♀️
Подробнее эту дичь описала здесь https://github.com/ClickHouse/ClickHouse/issues/8030`Exception: Number of columns doesn't match` while inserting with UNION ALL into AggregatingMergeTree table · Issue #8030 · ClickHouse/ClickHouseI get an exception when trying to insert data into table. It looks like floating bug, or I just cannot understand why this is happening. Code: 20. DB::Exception: Received from host:port. DB::Except...
-
было очень много изменений в sql. Например SELECT count(*) FROM table WHERE 0 выдает другой результат (empty_result_for_aggregation_by_empty_set) Читайте changelog Backward incompatible changes.
-
ну баг и что? Никто кроме вас так инсерты делать еще не догадался.
Это вообще какой странный подход. Непонятно зачем так делать инсерты.
По-моему вы шли в библиотеку, зашли в лес, потерялись, и спрашиваете где север. Я не знаю где север, знаю где библиотека. -
А как еще инсертить в столбцы AggregateFunction?
У вас есть другие предложения?
You can’t use a normal INSERT to insert a row in a table containing AggregateFunction columns, because you can’t explicitly define the AggregateFunction value. Instead, use INSERT SELECT with ‘-State’ aggregate functions for inserting data. (пруф https://clickhouse-docs.readthedocs.io/en/latest/table_engines/aggregatingmergetree.html) -
@den_crane Нет , не бред - при всем уважении к вам. Я предположил , что структура таблиц , может быть изменена на новом сервере. Ну как минимум - использован новый синтаксис в создании таблиц
-
>А как еще инсертить в столбцы AggregateFunction
конечно знаю 🙂 .
создаете null таблицу, навешиваете на нее MV и вставляете в null. Я только так и делаю.
https://gist.github.com/den-crane/f7382cd4f1f859ff6ac46afe7dc9925a -
Так и где ТС просил переделывать таблицу? Где ему в ответе написали что все можно переделать при этом?
а copier вообще требуют кучу мозговых усилий и зукипер. -
Но это же не значит , что мое предложение - бред ? ; )) это еще один из вариантов решения задачи. На самом деле я сам не раз переносил файлами - это конечно же быстрее
-
Повторюсь - это позволит как минимум избавиться от depricated методов создания таблиц.
-
Интересный подход, но если честно выглядит как костыль
Хотелось бы инсертить напрямую -
вы инстертите медленным парсером (из-за select-в), что вообще не подходит для bigdata.
напрямую можно новой функцие input , которая позволяет в insert
INSERT INTO example SELECT id, ifNull(num, -1) FROM input('id UInt32, num Nullable(Int32)') format JSONEachRow {"id": 1, "num": null};
и еще вам можно использовать SimpleAggregateFunction
create table test_table
(
x Int64,
cnt UInt32,
min_ts SimpleAggregateFunction(min, UInt64) Codec(LZ4),
max_ts SimpleAggregateFunction(max, UInt64) Codec(LZ4)
)
engine = AggregatingMergeTree() order by x
insert into test_table values (1,1,1,1);
insert into test_table values (1,1,2,2);
optimize table test_table final
select * from test_table -
SimpleAggregateFunction для sum / min / max работает быстрее и занимает меньше места, чем функции со стейтами
-
👍
-
FixedString(50) -- лучше чем просто String только в случае если там действительно 50 символов, иначе надо использовать String
https://t.me/clickhouse_ru/87609Alexey Milovidov in ClickHouse не тормозитFixedString имеет смысл использовать только в тех случаях, когда строки действительно имеют фиксированную длину. В остальных случаях, преимущества по скорости не будет, или даже скорость работы будет хуже.
-
Там действительно fixed, +- несколько символов
-
ноды заняли всю память и jvm ушла в gc?
-
и у вас будут проблемы скорее всего и с памятью и со скоростью. Первичный ключ в озу,
у вас primary key (category, direction, field1, field2, field3, field4) , >200 байт.
Не знаю какой размер будет у таблицы (в строках), я бы переделал на хеши (8 байт вместо 50). -
сколько размер снепшота у зукипера? (у меня несколько таблиц по 400млрд, размер базы / снепшота 50МБ)
-
эээ в каком смысле стираете?
-
все ясно, это херня какая-то
-
>напрямую можно новой функцие input , которая позволяет в insert
INSERT INTO example SELECT id, ifNull(num, -1) FROM input('id UInt32, num Nullable(Int32)') format JSONEachRow {"id": 1, "num": null};
А если столбец типа AggregateFunction? -
зукипер простой как палка, у меня аптайм у нод зукипера по 4 года, это самая надежная вещь на этой планете, после заббикса.
-
размер базы зукипера зависит от прямоты ваших рук. От размера базы КХ почти не зависит.
-
create table mv_z_store(a date, max_b AggregateFunction(MAX,Int64)) ENGINE = AggregatingMergeTree Partition by toYYYYMM(a) order by a;
INSERT INTO mv_z_store SELECT a, maxState(b) FROM input('a Date, b Int64') group by a format CSV "2019-12-05",1
INSERT INTO mv_z_store SELECT a, maxState(b) FROM input('a Date, b Int64') group by a format Values ('2019-12-05',1); -
Всем привет! Кто-нибудь знает, можно ли в clickhouse сделать map для массива? нужно выбрать из массива элементы, которые удовлетворяют некоторым условиям -
не в этом. Сколько памяти у сервера? Это выделенный сервер? ЗК и кликхауз нельзя ставить вместе
Ищите OOM в линуксе sudo dmesg | tail -
Скорее всего про бомбу замедленного действия - читали ? https://clickhouse.yandex/docs/ru/single/#zookeeperДокументация ClickHouse | Документация ClickHouse
ClickHouse is a fast open-source column-oriented database management system that allows generating analytical data reports in real-time using SQL queries
-
Вы задаете партиционирование и регулируете правильность (по партициям) и частоту инсертов
-
ну место на диске кончится, при чем падения зукипера?
-
Вариант, попробую
Спасибо -
Да, спасибо!)
-
Что-то я действительно сегодня - много предполагаю.
-
SELECT arrayStringConcat(arrayMap(i -> x[-i], arrayEnumerate(extractAll('Misha', '.') AS x)))
┌─z─────┐
│ ahsiM │
└───────┘ -
спасибо!))
-
32ГБ достаточно. Единственное что у меня настроено -Xms8g
Смотрите размер снепшота в момент заливки, может у вас вылетает за 32ГБ и надо тогда разбираться почему
еще echo mntr|nc localhost 2181 показывает размер базы в zk_approximate_data_size -
да, и еще этот парамерт задает цель гарбадж коллектору, к которой надо стремится.
-
еще момент. Если реплика КХ выключается, она перестает читать и чистить свою очередь репликации и база ЗК естественно начинает расти, раньше она росла до бесконечности, теперь вроде есть какой-то предохранитель.
-
И еще ЗК нужны SSD, иначе медленно работает, у жестких дисков только 200 seek/sec, <200 транзакций ЗК.
-
у начальных EBS 3000iops -- тоже нормально.
>стереть реплицируемую таблицу из ЗК берет больше часа
что-то неправильно, слишком много партиций? -
3k достаточно. В консоли у сервера(cloudwatch) видно сколько он жрет iops, проверьте есть там полочки из 3к или нет
и партиционирование важно, меняем PARTITION BY получаем разницу в 100 раз
You should not. When you insert every 5 minutes and your inserted rows cover 1 (sometimes 2) hour and the insert creates only one part.
I was talking about another case. Partition by (toStartOfHour(), other_column). If the batch (1 mil. rows) contains many (i.e. 10) different values of other_column (covers 10 partition) the batch (insert) will be separated to 10 parts. It has negative impact on performance.
For this case it should be 10 inserts (10 batches) with 1mil. rows each with only one other_column value.
CREATE TABLE bad
( k Int64, s String)
ENGINE = ReplicatedMergeTree ('/clickhouse/{cluster}/tables/bad','{replica}')
PARTITION BY k ORDER BY s;
insert into bad select number, 'x' from numbers(110);
0 rows in set. Elapsed: 3.829 sec.
insert into bad select number, 'x' from numbers(110);
0 rows in set. Elapsed: 1.347 sec.
insert into bad select number, 'x' from numbers(110);
0 rows in set. Elapsed: 0.874 sec.
CREATE TABLE good
( k Int64, s String)
ENGINE = ReplicatedMergeTree ('/clickhouse/{cluster}/tables/good','{replica}')
PARTITION BY tuple() ORDER BY s;
insert into good select number, 'x' from numbers(110);
0 rows in set. Elapsed: 0.032 sec.
insert into good select number, 'x' from numbers(110);
0 rows in set. Elapsed: 0.013 sec.
insert into good select number, 'x' from numbers(110);
0 rows in set. Elapsed: 0.008 sec. -
Joined. -
Всем привет.
А может кто-нибудь подсказать, как понять, чем занята мутация? Запущена давно, счетчик партиций уменьшается понемногу, на нагрузка на сервер почти что никакущая. Чего он ждет, во что упирается? -
Есть ли какая-то, дефолтная агрегирующая функция у AggregatingMergeTree для Decimal колонок? -
У меня на lcal_table завязаны еще мат вьюшки, которые по объемам больше исходных таблиц. Не хочу их же через сеть тащить. Думал создать пустые MV и сделать инсерт из remote.
-
если функция не упомянута в AggregatingMergeTree и поле не в ключе, для любого типа данных AggregatingMergeTree берет any
т.е. при схлопывании строк по первичному ключу, будут вычислены state функции, для остальных столбцов подставится какое-то значение из любой строки. -
круто, спасибо
-
значит дело в чем-то другом. Парты это не проблема.
-
мне этого не понять.
Инсерт вам даст максимум пару миллионов строк в секунду, файлы с партами у меня копируются со скоростью примерно в 500раз выше. -
sar -d 1 100
-
Гляну. Но графана и нетдата ничего интересного не показывают.
-
Ну, там таже утилизация 20%, что и ожидалось. Бездельничает.
-
Добрый вечер. Подскажите, имеется ли какой-либо калькулятор для примерного подсчета количества серверов/железа и т.д. для ClickHouse под определенный объём данных? -
В общем, alter table T1 where (select from T2) очень плохо работает. А если заранее собрать ответ селекта, то alter table T1 where (1, 2,3,4 ...) работает отлично.
-
нет. У меня есть таблица А, загружаю в нее 100ГБ сырых, таблица получается 1ГБ, есть другая таблица B, заливаю в нее 100ГБ, получается 150ГБ
-
А вы что хотите подсчитать ? -
Про калькулятор «железа» я, наверное, всё-таки не в ту степь увёл :) но, скажем, мы в принципе хотим понять подойдёт ли нам CH, если нам необходимо залить в таблицу 150млрд записей, сколько она будет весить в CH, какой будет коэффициент сжатия. И будет ли ворочаться аналитика типа sum() group by...
-
Пример данных:
-
-
Да, никто неподскажет вам. Тут же всё исключительно от данных ваших зависит. Какая кардинальность в каждом из столбцов.
-
Выше приводили пример, что может ужаться из 100 ГБ в 1 ГБ, а может и 150 ГБ стать
-
Если вся таблица такая, то сожмётся очень хорошо. Тут много дублей.
-
берете 10млрд. и грузите в виртуалку в ноутбуке. Смотрите сколько получилось на диске, прогоняете group by.
- 06 December 2019 (207 messages)
-
Доброе время суток, подскажите в какю сторону копать. Есть такая ошибка
2019.12.05 14:17:21.982194 [ 337212 ] {606c4c80-5008-4b22-9bb9-4faa1559c5f6} <Error> executeQuery: Code: 210, e.displayText() = DB::NetException: I/O error: Broken pipe, while writing to socket (ip:39432), e.what() = DB::NetException (from ip:39432) (in query: SELECT user_id, uid FROM my_table), Stack trace:
2019.12.05 14:17:21.982356 [ 337212 ] {606c4c80-5008-4b22-9bb9-4faa1559c5f6} <Warning> TCPHandler: Client has gone away.
На клиенте я получаю ошибку: bad connection -
на чем написан клиент?
какие firewall \ nat \ кубернетесы стоят между клиентом и сервером?
какие таймауты на клиенте для TCP выставлены? -
Joined. -
Клиент написан на Go и размещен в кубере, используется библиотека github.com/kshvakov/clickhouse.GitHub - ClickHouse/clickhouse-go: Golang driver for ClickHouse
Golang driver for ClickHouse. Contribute to ClickHouse/clickhouse-go development by creating an account on GitHub.
-
Joined. -
Насчет таймаутов TCP посмотрю.
-
Добрый день!
Заранее извиняюсь, что задаю заезжанный вопрос, мало ли что-то имзенилось в новых версиях в JOIN
>SELECT id, name FROM ids
>JOIN (SELECT id, name FROM ids_names) USING id
-- ids - миллоин строк
-- ids_names - 100 строк
-- результат 100 строк, прочитано миллон строк (fullscan)
Как переписать запрос, чтобы не было fullscan без использования дополнительного подзапроса? -
Как может быть такое , что Optimize DEDUPLICATE не удалил дубликаты из таблицы,а FINAL удалил ?
-
Для чего предназначена папка /var/lib/clickhouse/cores? У меня на тестовом сервере в этой папке штук 20 файлов с названиями вида core.nnnnn. Есть по 2гб, есть один 6гб -
Попробуйте засунуть сабселект в IN, поместить id в ids в индекс. -
Не совсем понятен вопрос. А как вы хотите без FS? Вы джойните 2 таблицы.
-
FS не должено быть в таких ситуациях. Сейчас реализуем через пдзапросы, временные таблицы или временные файлы.
Так же USING может испоьзоваться в оптимизаторе запросов. -
FS какой таблицы ? КХ ведь делает hashjoin. Какую из двух таблиц вы не будите читать полностью ?
-
В IN можно перенести. Но JOIN тоже нужуен. Дополинтельный подзапрос делать не хотим.
-
В in у вас не будет чего ? FS таблицы ids_names?
-
FS надо исключать везде где это возможно. Обе таблицы нельзя читать полностью, у них обоих есть индекс.
-
Привет! А подскажите пожалуйста, как перетащить из одной базы в другую большую табличку без зукипера?
-
Они у вас в любом случае читаются полность. У вас join без фильтров .
-
Как бы вы не делали. С In или с join.
-
В примере нет WHERE. Если добавить WHERE IN - не будет FS.
Артем Зуйков уже озвучил верный полход. Но он все еще имеет минусы, так как подзапросы могут отличаться и каждый подзапрос будет делать лишнюю выборку. Это почти всегда лучше чем FS, но я наделся, что внутри разрабатывают оптимизацию USING с прокидыванием USING dj вне в WHERE.
Либо что-то похожее. Инетерсно знать мылси разработчиков на этот счет. -
Два запроса будут на мелкую таблицу. Если не подходит - можно из мелкой таблицы сделать словарь и доставать из нее name по id. Вариация на тему лукап джойна. Тема сделать один подзапрос для in и join интересная, но это надо делать (в in подмножество колонок из join)
-
Не будет Fs, а что будет ? Как вы избежите полного чтения таблицы ids_names?
-
Да, я привел простой пример, на практике JOIN таблица может быть сложной и вычислемой.
-
Можете сформулировать задачу на гитхабе, чтоб не потерялось?
-
Простите, речь только про большую таблицу. Как избежать FS при USING. То что внутри JOIN не инетресует в рамках этого вопроса.
-
Если аналогичной уже нет, то сфорулию, спасибо.
-
Объясните плиз. Вижу , что вы друг друга понимаете, а я не понимаю ).
-
Тут не понятно, какая будет лишняя выборка у подзапроса: лишнее будет чтение второй таблицы в in. Не у компа сейчас, давайте запрос с in + join напишем
-
КХ же делает Hj.вот он построил по таблице справа Мапу и сканирует большую таблицу
. Как избежать фулскан, если индекс разряжен ? -
Добавить в скан первой таблицы in (select id from ids_names)
-
Но нам не достаточно только фильтра по id, надо достать еще names, поэтому нужен еще join или словарь id - name (из id _names)
-
Подскажите, а можно как-то в отладочных целях серверу "запретить" делать мёржи? Хочется посмотреть сколько кусков порождается после insert-а в таблицу. -
Можно остановить мержи
-
Можно совсем остановить или для конкретной таблицы
-
спасибо
-
https://clickhouse.yandex/docs/ru/query_language/system/
См. SYSTEM STOP MERGES -
Подскажите, как правильно сделать вставку в AggregationMergeTree с помощью JSONEachRow формата
Есть таблица
CREATE TABLE Table
(
id UInt64,
column AggregateFunction(max, UInt64)
)
ENGINE = AggregatingMergeTree()
ORDER BY (id)
в нее прекрасно проходит запрос следущего вида.
INSERT INTO Table (id, column) SELECT 1, maxState(toUInt64(15))
Как сконструировать такой-же только с помощью JSONEachRow
Если передавать просто значение, без агрегирующей функции получается ошибка., что ожидались qoutes.
Если пытаюсь вставить значение обернутое в агрегирующую функцию строкой, то в итоге он вставляет просто строку в этот столбец
т.е. вот такой запрос
INSERT INTO "Table" FORMAT JSONEachRow
{"id": 1, "column": "maxState(15)"}
вставляет в поле column буквально эту строку -
Joined. -
-
Что я делаю не так?
-
Понял
-
подскажите плз, как можно посмотреть, что в данный момент грузит CH?
достаточно легкие запросы по несколько секунд выполняться начали.
SELECT * FROM system.processes - возвращает только мой запрос -
show processlist -
но лучше смотреть в логи
-
show processlist - пустой
-
в логах - сам черт ногу сломит, там самый дебажный дебаг включен
-
Всем привет! Ловлю такую вот ошибку:
DB::Exception: Missing columns: '--i.url_hash' while processing query
Есть идеи? -
SELECT i.pictures.url_hash FROM item_distributed AS i выполняется нормально
-
и до этого выполнял тесты, но без распределённых таблиц - всё было окей
-
Там группировка есть?
-
есть groupArray
-
У меня бывает не находит колонку, когда неправильно группировку задаю
-
Или когда слишком много джоинов
-
Ух! INNER JOIN ON arrayJoin() сильно.
-
ну а как ещё Nested сджоинить)
-
множественные джойны переписываются с использованием алиасов начинающихся на --
-
заведите issue, видимо в arrayJoin не прокинулось или прокинулось без учета нестед i.pictures
-
забавно, что до того как сделали распределённые таблицы - всё работало.
-
в теории можно вытащить в самом запросе, а в ON секции использовать алиас
-
Подскажите, пожалуйста.
-
у вас были падения, по этим файлам при помощи отладчика gdb можно посмотреть что было не так. делаете gdb path/to/clickhouse-server path/to/core, потом внутри bt
-
Спасибо. А эти файлы можно удалить? Это просто дампы?
-
(по идее то же самое должно быть в логе с маркером - много #### ) - заведите issue на падения (лучше предварительно поискать такие же уже заведенные)
-
да, можно, но лучше предварительно посмотреть что там
-
Логи могут тоже грузить систему.
Если процессов запрос не показывает - значит их нет.
Можно выключить глобальные логи и продебажить конкретный запрос. -
Закончилось место для смонтированной директории. Там тестовый сервер. Спасибо за пояснение!
-
Такое может быть, если в партиции слишком много партов. Попробуйте сделать optimize или посмотрите сколько их.
-
а где это можно посмотреть? не подскажете?
-
select count() from(
SELECT * FROM system.parts); -
это много или не очень?
-
таблиц 16
-
Ребят, а есть у кого нибудь опыт импортирования avro файлов в clickhouse? -
select count() from(
SELECT * FROM system.parts where active);
2519 -
Joined. -
-
в любом случае - спасибо, направление получено
а по htop сервака... гм... там просадка невозможна практически, очень большой запас -
в продолжению к этой истории. попробовал убрать алиас i, т.к это основная таблица к которой джоинятся все остальные. В итоге получаю уже такую ошибку:
DB::Exception: Cannot refer column 'pictures.url_hash' to table.
при этом SELECT pictures.url_hash FROM item_distributed всё также прекрасно выполняется -
я так понимаю у меня выход только создавать issue)
-
В запросе есть звёздочки?
Или есть ли таблица, используемая в двух join или where одновременно? -
если не указывать PARTITION BY то партиционирования не будет или оно будет какое-то произвольное?
-
Ещё стоит проверить что имя url hash используется один раз.
Замечены ошибки, если дублируются alias столбцов -
звездочек нет. таблицы джоянится по одному разу. но есть одна особенность что по сути за счет arrayJoin Nested массив сначала раскладывается и джоинится к другой таблице по хэшу, а потом результат этого джоина опять схлопывается до массива за счет groupArray(). эта схема работала на тестовых данных и даже на этих данных, но без distributed таблиц. но сейчас даёт сбой. хотим попробовать уйти от Nested в пользу обычных массивов и избавиться от таблицы которая требует groupArray(arrayJoin()) это должно помочь сто процентов, плюс нам все равно нужно избавляться от джоинов)
-
копайте в сторону того что кубер разрывает соединение, коннект к clickhouse из клиента через куберовский service идет? что в качестве CNI использутется.
-
Все в одну будет литься (с префиксом all_что-то там)
-
в запросе даже поля с одинаковым именем в разных подзапросах - под алиасами, потому что алиасы на таблицу в этом случае не спасали на одной из версий кх
-
спасибо
-
Коллеги, юобрый день! Подскажите, пожалуйста, реализована ли в библиотеке clickhouse-go поддержка флага any_join_distinct_right_table_keys=1. Если нет, то как пользоваться старыми джоинами? -
@kshvakov
-
Joined. -
Если нет, но очень хочется, можно добавить самому) там есть файлик со всеми поддерживаемыми настройкамм, query_settings.go или вроде того (в драйвере).
-
просто нужно добавить одну строчку?
-
Скорее всего да, попробуйте и если не получится - то можно посмотреть детальнее, что не так.
-
Подскажите, пожалуйста. Хочу вынуть при помощи запроса SELECT arrayReduce('sum', arrayFilter(x -> (x > 0), arrayDifference(groupArray(toUInt64(Value * 100))))) / 100 as time FROM graphite.data WHERE Path = 'some.path' AND (toStartOfMonth(Date) = toStartOfMonth(subtractMonths(today(), 1))) вынуть некий монотонно возрастающий параметр (время cpu), вычесть из каждого последующего текущий, выкинуть нули и отрицательные значения и просуммировать. Но результат всякий раз разный, я подозреваю, что данные перед аггрегацией не выстраиваются
TL;DR
В groupArray, судя по всему, прилетают несортированные данные -
хотя, вроде бы, должны прилетать изначально сортированными, при создании таблицы указано ORDER BY (Path, Time)
-
Всем привет. Подскажите, каким образом я могу посмотреть текущие открытые коннекты от клиентов? Ожидал, что это мне покажет SHOW PROCESSLIST, но он всегда возвращает 0 записей. -
Joined. -
-
arrayReduce('sum', arrayDifference(groupArray(toUInt64(Value)))) всякий раз возвращает разный вариант
-
всем привет!
давно не общался с sql
а подскажите плиз, как в CH объявить переменную?
DECLARE @StartTime DATE - ругается на синтаксис -
ну у меня вопрос как раз с JSONEachRow.
как из консоли это сделать я знаю) -
Много потоков. Они читают разные куски. Кто успел первым получается в начале.
-
И как это сделать в консоли ?
Какой из 3 способов вы попробовали? -
Спасибо. Какой-то способ избежать этого, кроме max_threads=1 и подзапроса с order?
-
Order by необходим.
-
я делал с помощью
INSERT (column) SELECT maxMerge(15) -
если я просто добавляю order by Time (колонка со временем), то запрос ругается, что она не под группировкой
-
Вы понимаете -- это бред. Это не заливка потока. Так на проде вставлять не получится. Пробуйте способ 3 -- у вас все получится. В способе 2 написано что вам нажны simpleaggregstionfunction которые в 2 раза быстрее и занимают меньше места. Использовать надо способ 1.
-
окей, спасибо.
-
Вот сюда добавьте https://github.com/ClickHouse/clickhouse-go/blob/master/query_settings.go и PR сделайте ;)ClickHouse/clickhouse-goGolang driver for ClickHouse. Contribute to ClickHouse/clickhouse-go development by creating an account on GitHub.
-
Прости кис, закрутился( -
и это правильно, так и задумано.
- Если указать DEDUPLICATE, то произойдет схлопывание полностью одинаковых строк (сравниваются значения во всех колонках), имеет смысл только для движка MergeTree. -
-
У меня они не схлопнулись почему то. Вот я так и ожидал. Движек реплэйсингмерджтри
-
повторяю: и это правильно, так и задумано.
-
И вообще final это не аналог DEDUPLICATE
-
optimize table DEDUPLICATE
optimize table DEDUPLICATE FINAL
делают разное -
А что тогда значит deduplication в конструкции optimize?
-
Что делает dedup с данными в таблице ?
-
- Если указать DEDUPLICATE, то произойдет схлопывание полностью одинаковых строк (сравниваются значения во всех колонках), имеет смысл только для движка MergeTree.
optimize table DEDUPLICATE FINAL -- то произойдет схлопывание полностью одинаковых строк даже в партициях где один парт -
только для движка MergeTree
- Если указать DEDUPLICATE, то произойдет схлопывание полностью одинаковых строк (сравниваются значения во всех колонках), имеет смысл только для движка MergeTree. -
А точно по всем колонкам сравнивает а не по примари ключу ?
-
ver — столбец с версией, тип UInt*, Date или DateTime. Необязательный параметр.
При слиянии, из всех строк с одинаковым значением первичного ключа ReplacingMergeTree оставляет только одну:
Последнюю в выборке, если ver не задан.
С максимальной версией, если verзадан.
Это из доки по КХ -
create table D (A Int64, B Int64) Engine=MergeTree() order by tuple();
insert into D values(1,1), (1,1);
optimize table D deduplicate;
SELECT *
FROM D
┌─A─┬─B─┐
│ 1 │ 1 │
│ 1 │ 1 │
└───┴───┘
optimize table D final deduplicate;
SELECT *
FROM D
┌─A─┬─B─┐
│ 1 │ 1 │
└───┴───┘ -
create table D (A Int64, B Int64) Engine=MergeTree() order by tuple();
insert into D values(1,1);
insert into D values(1,1);
optimize table D deduplicate; <--------------
SELECT *
FROM D
┌─A─┬─B─┐
│ 1 │ 1 │
└───┴───┘ -
В первом случае дубли в одном парте. Парт один. optimize без final ничего не делает.
-
deduplicate -- имеет смысл только для MergeTree. У остальных движков схлапывание по первичному ключу.
-
1. Alter table Freeze
2. rsync shadow на другой / другие в папку detached
3. drop table
4. на других шардах в папке detached
let i=1;for f in `ls -1` ; do echo $i $f;((i++)); echo "alter table XXXX attach part '$f';"|clickhouse-client ; done -
Подскажите, пожалуйста, является ли нормальной практикой реплейсить партиции из таблицы т2 в таблицу т1, во время выполнения долгих селектов из т1 по этим же партициям? Движок мержтри. -
кто подскажет -
2019.12.06 18:48:04.069324 [ 7 ] {} <Error> bool DB::{anonymous}::checkPermissionsImpl(): Code: 412, e.displayText() = DB::Exception: Can't receive Netlink response: error -2, Stack trace:
0. 0x55e8a3d58f60 StackTrace::StackTrace() /usr/bin/clickhouse
1. 0x55e8a3d58d35 DB::Exception::Exception(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, int) /usr/bin/clickhouse
2. 0x55e8a389fa6b ? /usr/bin/clickhouse
3. 0x55e8a3d70668 DB::TaskStatsInfoGetter::TaskStatsInfoGetter() /usr/bin/clickhouse
4. 0x55e8a3d707e9 DB::TaskStatsInfoGetter::checkPermissions() /usr/bin/clickhouse
5. 0x55e8a3d5febb DB::ThreadStatus::initPerformanceCounters() /usr/bin/clickhouse
6. 0x55e8a7227288 DB::ThreadStatus::initializeQuery() /usr/bin/clickhouse -
гугление ничего не дало
-
запускаю как демон штатно
-
привет, как решил ошибку свою с 412 кодом, помоги. плиз
-
контейнер? LXC ? docker ? WSL ?
-
просто север CentOS без докера — как сервис демона и все — один сервер, без класера — накатил свежак и еще не успел нормально поработать залил 10 строк в одну таблицу через ява код и все. И уиедел косяк это, но так то база работает но стал смотреть логи так как линк с посгрес базой не смог сделать через линкованную таблицу jdbc моста
-
вот лог
-
в любой непонятной ситуации, возьмите полотенце, и отключите SELinux
-
ладно спасибо
-
я не шучу.
-
Я однажды два дня убил разбираясь что за бред происходит. Оказалось SELinux
-
ок
-
SELinux не дает сервисам делать нехорошее. Читать файлы которые они по его мнению не должны читать, ходить по сети и т.д.
-
выключен Selinux у меня —
[kakunin@DCtestClickHouse ~]$ sestatus
SELinux status: disabled
[kakunin@DCtestClickHouse ~]$ -
может этот лог понятнее будет
-
покажите вывод
# getcap /usr/bin/clickhouse -
[kakunin@DCtestClickHouse ~]$ getcap /usr/bin/clickhouse
/usr/bin/clickhouse = cap_net_admin,cap_ipc_lock,cap_sys_nice+ep
[kakunin@DCtestClickHouse ~]$ -
может дело в красных ошибках этих ?
-
setcap cap_net_admin=-ep /usr/bin/clickhouse
и перезапустить КХ -
ок завтра продолжим. с тяпницей
-
Joined. -
Так и не исправили вставку из MySQL таблиц. Открывать issue? -
это зависит от прикладного ПО. отмониторь если часто уходишь в своп и прокачал кх по настройкам то может и нужно оперативы но нужно наблюдать. нет общих рецептов. если про модели то corsair и crusial самая совместимая память. если у тебя сервер то нужно подбирать регистровую память я думаю
-
Ну кликхаус очень активно все параллелит
-
Для него больше ядер лучше, чем более высокая частота.
Другое дело,что вам возможно это уже и не нужно -
Как прокачать кх по начтройкам
-
Есть ман какой нить. Я не про советы по эксплуатации на оф сайте
-
а что там за проблемы?
-
я делал из postresql нормально и думаю из явы делать то без разныцы муsql или еще что
-
я новичек но там все просто открываешь конфиги и делаешь сжатие и кеши и т.п
-
Добра.
SELECT countIf(ee = 'start' ) AS views , countIf(ee = 'click' ) AS click ,
multiIf(ee = 'start' , SUM(prc) as money )
FROM default.log where cid = 1234
multiIf(ee = 'start' , SUM(prc) as money ) - вот это не работает ..
Как то можно тут получить сумму если ee = 'start' ? -
Ругается вот так - DB::Exception: Column ee is not under aggregate function and not in GROUP BY.
-
тут нужно сбалансировать по хардам и памяти . это можно нагуглить как мониторить системы но с этого нужно начать. так как узкое место может просто другое к примеру локалка на 100 мегабит. нужно гонять сжатные данные или наоборот это мониторирование скажет
-
384 Гига не в сервер это хорошо. Какой год у вас?
>регистровую
это называется ECC, коррекция ошибок. Понятие регистровая -- умерло 15 лет назад
>corsair и crusial самая совместимая памят
дада, в сервер. Там хиниксы и кингстоны, и еще например в hp нужны hp-compatible иначе будет плакать и откызваться работать по нормальному. -
я про сами ручки, которые можно покрутить, мб переписать запросы. Но прежде чем переписывать нужно разобраться глубже, и порой не понятно. Поэтому и спрашивал про мануал
-
сделал issue. Не работает вставка из таблиц MySQL. При этом селект, указанный для insert отрабатывает корректно
-
>multiIf(ee = 'start' , SUM(prc) as money )
sumIf(ee = 'start') -
сломали после версии 19.17.2.4, это последняя рабочая версия где корректно работает insert .... from mysql
-
объем озу нужно не по максиму а с умом и может у него персоналочка на 128 г рамы раз так спрашивает. а hp это барахло вроде как не вижу в них ничего хорошего. как раз вышла новость что нр облажался с ссд серверными. так что это не люди которые с головой дружат
-
sumIf(ee = 'start') а это куда SUM(prc)
-
О вот так заработало
sumIf( prc , ee = 'start' ) as money
Спасибо -
подними монитор ресурсов . это прояснит узкие места. как все равно нужно это делать так как это частное ПО. свои особенности
-
Joined. -
Дополнительные индексы , они же experemental_data_skipping индексы кто - то использует ? Какие-то подводные камни есть ? Слышал про удаление лишних строк при alter delete , но в новых пофиксили уже.
-
привет, подскажие плз, если упирается в max_memory_usage_for_all_queries, могут идти такие ошибки?
oException: Allocator: Cannot mmap 1.00 GiB., errno: 12, strerror: Cannot allocate memory, Stack trace:
или джойнам все равно на этот лимит и mmap сфейлился, потому что памяти нет и скоро ждать оома? -
какая версия КХ ? Ошибка повторяется если запрос снова выполнить?
-
19.7.3.9, ошибок было много(на тачке почти кончилась память)
-
но потом отпустило
-
нет джойнам не все равно, будет другая ошибка , про лимит. Ошибки Cannot mmap 1.00 GiB быть не должно если все правильно работает.
-
значит надо уменьшить max_memory_usage_for_all_queries / max_memory_usage, чтобы не ронять КХ, чтобы запросы упирались в лимит.
-
/etc/clickhouse-server/users.xml: <max_memory_usage>10000000000</max_memory_usage>
/etc/clickhouse-server/users.xml: <max_memory_usage_for_all_queries>26000000000</max_memory_usage_for_all_queries>
Mem: 32135 -
32 это мало, докиньте свопа 32, если SSD
или max_memory_usage_for_all_queries = 20 -
GB или GiB?
-
GB
-
ок, спс, а есть где-нибудь подробная статья, по ch memory usage со всеми кешами и т п?
-
и в рантайме если лимит уменьшить, то все что саллоцировано кх уже не отдаст до рестарта?
-
нету, 5GB marks_cache, 8GB uncompressed -- но он выключен по умолчанию
-
так это лимиты на запрос. Причем тут аллокация вообще. Запрос закончился, память отдал.
-
ясно, спасибо
- 07 December 2019 (71 messages)
-
Joined. -
Всем привет, подскажите в какую сторону смотреть - абстрактно: одновременно выполняю 10 запросов, 7 довольно легких, 3 тяжелых; ответы на 7 легких запросов прилетают нормально, а на 3 тяжелых с 80% вероятностью получаю connection refused; оперативка выжирается по максимуму еще на "легких" запросах, в логах смущает 2019.12.07 12:40:31.306470 [ 1 ] {} <Information> : Starting ClickHouse 19.14.3.3 with revision 54425
2019.12.07 12:40:31.309148 [ 1 ] {} <Information> Application: starting up
2019.12.07 12:40:31.339104 [ 1 ] {} <Trace> Application: Will mlockall to prevent executable memory from being paged out. It may take a few seconds.
2019.12.07 12:40:31.378121 [ 1 ] {} <Trace> Application: The memory map of clickhouse executable has been mlock'ed -
Я к тому что происходит рестарт
-
подейстовало, ошибки изчезли, спасибо
-
я хочу прилинковать базу на посгресс и у меня проблемы — тип number не понимает яндекс, что нужно написать?
select * from jdbc('jdbc:postgresql://мой_ip:5432/моя_срока_подключения', 'MY_SCHEMA', 'MY_TABLE') as k;
Code: 86, e.displayText() = DB::Exception: Received error from remote server /columns_info?connection_string HTTP status code: 500 Can not map SQL type 2 (NUMERIC) to ClickHouse, body: Can not map SQL type 2 (NUMERIC) to ClickHouse (version 19.17.4.11 (official build)) -
вот как у меня в PostgreSQL
CREATE TABLE MY_SCHEMA.MY_TABLE
(
id numeric NOT NULL,
event_type numeric NOT NULL, ....
вот по методике яндекса https://clickhouse.yandex/docs/ru/query_language/table_functions/jdbc/ -
Факу FAQ у вас нет и умной вики с описанием кодов ошибок и похоже что бы понять ваш код нужно лесть в сорцы, но я не знаю С++ и нужно платить кто юзает ваш код (последнее шутка)
-
Joined. -
@den_crane можешь помочь гугу? скажи путь куда рыть плиз
-
нет. Мне это не интересно. Зачем кстати jdbc мост. Я бы использовал стандартный -- odbc.
Кстати jdbc мост разработка не яндекса а баду. -
я джавист, мне проще все на яве моей, не нужно зависеть от ядра и нативности
-
? Odbc мост часть кх, какое ядро, какая нативность
-
ок расмотрю но это путь в ад, так как odbc это хрень майрософта, а от него мне нужно бежать
-
вот оффициальный яндекс разве обман ? https://github.com/ClickHouse/clickhouse-jdbcGitHub - ClickHouse/clickhouse-jdbc: JDBC driver for ClickHouse
JDBC driver for ClickHouse. Contribute to ClickHouse/clickhouse-jdbc development by creating an account on GitHub.
-
он общается с кликхаусом по http для начала
-
ну ок, я же не против модульности, чем это плохо? это же как модель у микросервисов — модно и гуд — как я понимаю это просто 2 языка - С++ и ява и поэтому так спарили их
-
и это яндексовское https://github.com/ClickHouse/clickhouse-jdbc-bridge —- я это и юзаюGitHub - ClickHouse/clickhouse-jdbc-bridge: A JDBC proxy from ClickHouse to external databases
A JDBC proxy from ClickHouse to external databases - GitHub - ClickHouse/clickhouse-jdbc-bridge: A JDBC proxy from ClickHouse to external databases
-
Гайз, а кто-то помнит функцию для временных рядов которая добавляет нули в дыры?
Условно, у меня есть метрика во времени с равным шагом, хочу возвращать нули там где не было данных. -
ладно — погружись в ход, может патчик сделаю
-
если че это jdbc драйвер к КХ.
по вашему вопросу про jdbc-bridge спросите Krashuevina , он автор тут в чате -
with fill
-
точно, спасибо!
-
я таких не нашел — ок покурю коды его — если что напишу его в гит-хаб — пофиксил для себя
-
Joined. -
ну а вы почему не добавили? Почему я должен был?
-
путина спросите, я тут вообще при чем?
-
я живу канаде, поэтому имею возможность удалять спам и ссылки на вирусы в моей таймзоне, поэтому я админ в чате.
-
Мне кажется все таки основная причина в ваших ответах))))
-
так ботов заведите и спамить будет меньше и голосования на спаммеров а раз ты ближе к США скажи нашему дурову что бы из коробки избавил нас админов чатов от спама, раз есть новые релизы и яндексу не помешает отвечать официально а не от один ты за всех
-
Не позволяет корпоративная политика
-
т.е. я опять виноват.
Я считаю что писать доку к опенсорсу - бесплатному продукту -- это наша обязанность. Я пишу. Вы видимо нет, поэтому идите в жопу. -
Люди может просто не знают как доку к КХ писать . Есть ли дока , как писать доку ?)
-
Я один раз по моему что то написал но там был просто какой то косяк в документации который меня смущал, преклоняюсь перед вашей самоотверженностью
-
Который смущал мою работу
-
нужен аккаунт на гитхабе.
в доке карандаш (справа вверху) нажимаете , (получаете fork КХ в свое репо), редактируете маркдаун, комитите, потом делаете пул-реквест. -
не виноват, просто я тоже не знал а я ругаю яндекс что сложное ПО и минимум поддержки и помощи от них , а тебе респект — ты реально мне помог - уважуха
-
во первых множество, подчеркиваю МНОЖЕСТВО функционала добавлено разными внешними разработчиками, некоторые из них вообще говорят только на китайском, и пишут коменты в коде с помощью гугл-транслейт.
во вторых если вы не курсе, КХ бесплатный, мы за него деньги не платим, поэтому ожидать какой-то поддержки от Яндекс странно, также странно ожидать что Альтинити будет вам оказывать поддержку бесплатно, я кстати тоже не помогаю бесплатно (никому не помогаю в личке). -
Альтинити кстати неплохие ребята если нужен платный сарпорт
-
Наверное начну ответы из чата в FAQ оформлять.
(А то мимо телеграма жизни нет :) -
Да это хорошая идея я давно ещё предлагал
-
FAQ я думаю станет просто слишком большим, нет никаких frequently вопросов. КМК надо просто к каждому разделу в доке добавить раздел "in depth", где подробно с примерами все разжевывать. (Т.е. дока должна оставаться краткой, иначе она будет как дока к ораклу, стопка книжек -- 70см толщиной (у меня была))
-
Вот да, документация есть, а примеров нет.
-
Тогда бы стоило бы иметь список каких то best practise.
все же общие принципы организации таблиц подходящие для многих существуют -
так можно гуглить по кодам ошибок к примеру — гугл под копотом имеет много книг но все знания можно нагуглить, на кой черт яндексу алиса если не облегает жизнь кодерам?
-
так телеграммка гуглитца в гугле в веб режиме если нет блокировок сайт на зоне РФ (телеграмка запрешена в раше)
-
идея хорошая, я помогу.
когда начинал с кх, сделал свой маленький faq, но он совсем нубский.
щас знаю побольше. и есть кого спросить (сс @madm1ke например)
пингуй, когда начнешь делать! -
может бот запилите для преложения вопроса и его решения
-
ну надо в любом случае базу факапов и факов сначала набрать
и альтинити пнуть кек -
ок
-
что такое альтинити. просвятите плиз. гугл не подсказал. как понимаю это модуль кликхауса так?
-
-
спасибо добрый человек
-
в блоге много интересного
-
ок гляну сп
-
жаль что на анл языке. не идеально его понимаю. я про их блог в альтинити
-
Как я понимаю - granularity указывает через сколько значений order by делать засечку, по которой потом будут искать.
-
дальше имхо, не верьете, пожалуйста
set(0) -- это все значения -- это бесмысленный конструкт, который не рекомендуется, потому что индекс будет размером как столбец, поэтому по столбцу искать дешевле, и тупо индекс умножает размер занимаемый столбцом.
GRANULARITY 1 -- из скольких гранул основного индекса, создавать гранулу индекса.
>когда надо искать запись по ID какое значение является рекомендуемым
да никакое, skip индексы в этом случае практически не помогают никогда. Помогает сделать еще одну таблицу (MV) отсортированную по ID. -
а kv-базы чем не подошли для поиска по id?
- 08 December 2019 (6 messages)
-
Joined. -
ок но я не спец но лучше кратно степени 2 типа не 1000 а 1024 и т.п. так как память сегментируется ос кратно 1-4к байту
-
Joined. -
Joined. -
Joined. - 09 December 2019 (149 messages)
-
Доброе утро всем. а кто нибудь знает что именно означает GRANULARITY ? как для Primary key, так и для skip indexes?
чем GRANULARITY 3 от GRANULARITY 4 отличается вот в этом примере?
https://clickhouse.yandex/docs/en/operations/table_engines/mergetree/#table_engine-mergetree-data_skipping-indexes -
primary key хранит значения ключевых полей каждой n-й строки. Т.е. если index_granularity 8192 а в таблице 16384 строк, то в индексе будет значения только для 2 строй -- 1й и 8193й.
minmax GRANULARITY 3 -- означает что в skip индексе будет сохранено minmax значение для сразу 3х гранул первичного индекса (3*index_granularity строк).
set(1000) GRANULARITY 4 -- означает что в skip индексе будут сохранены 1000 значений 4х гранул первичного индекса (4*index_granularity строк), если уникальных значений больше 1000, то сохранено будет ничего. -
спасибо большое
-
а как работает KILL QUERY SYNC ?
в смысле понятно что оно пытается лочить что-то или как то сигнал в running threads передать, вопрос что блокируется, когда проверяется? -
только если к этой таблице в других коннектах идет обращение и блокирует тот кто раньше успел, остальные коннекты ждут
bad connection у вас возникает судя по всему, потому что в go драйвере таймауты выставлены и он не получает ответ
смотрите в нативном клиенте что происходит
SELECT query, query_id, elapsed, rows FROM system.processes WHERE query LIKE '%your_big_table%'; -
сам clickhouse во время дропа нормально доступен
-
Joined. -
Подскажите, плз, верно ли я понимаю, что для таблиц класса ReplacingMergeTree если явно не указывать поле version, то при схлапывании берется любая первая попавшаяся запись. При этом никаких служебных колонок нет, по которым можно найти ту запись, что была добавлена последней. -
When merging, ReplacingMergeTree from all the rows with the same primary key leaves only one: - Last in the selection, if ver not set. - With the maximum version, if ver specified.
doc -
Last in the selection больше похоже на последнюю вставленную, чем на рандомную :)
-
последняя запись надо полагать в последнем вставленном парте, а последний парт находится по времени вставки
-
Они же мержатся в конечном итоге. Записи будут в одном парте одинаковые
-
У меня такое же понимание. Пытался найти, как определить из списка записей - какая последняя, не смог. Для себя решил, что прозрачности может только ver добавить, но не уверен. Может кто-то сталкивался.
-
Можно попробовать посмотреть в исходниках. Например зайти со стороны инструкции optimize.
-
Привет!
Никто не сталкивался с такой проблемой - обновились с 19.11 до 19.16 и на репликах начали биться куски таблиц и начались попытки их перевыкачать с других реплик, ошибки типа
Code: 226, e.displayText() = DB::Exception: Marks file '/var/data/clickhouse/data/default/rawlog_shard/tmp_fetch_20191202_222396_222396_0/id.mrk' doesn't exist (version 19.16.2.2 (official build))
Причем если глянуть в system.replication_queue, то в колонке num_tries для некоторых таких попыток число много больше единицы.
Ну и в очереди system.replication_queue оказались десятки тысяч заданий и подобная процедура уже идет третьи сутки. -
есть ли смысл вообще до 19.17 обновляться? Или ролбечится? Или может просто дропать всю реплику и фетчить всё заново?
-
-
Там правее в вашем запросе есть ProfileEvents. Среди них есть RWLock. Помониторьте. Может они его ждут.
-
А какой у вас дживек таблицы ?
-
Добрый день. С чем может быть связана ошибка Code: 442, e.displayText() = DB::Exception: There was an error on [<host>:9000]: Code: 442, e.displayText() = DB::Exception: Temporary tables cannot be inside a database. You should not specify a database for a temporary table. (version 19.13.7.57 (official build)) (version 19.13.7.57 (official build))
при запросе
curl --silent 'http://<host>:8123/?session_id=123&user=<user_name>&session_timeout=3600&password=<password>' --data 'CREATE TEMPORARY TABLE p_47_626_1537126630 ON CLUSTER <cluster_name> (rdid String)' ? -
как я понимаю нет временных таблиц можно memory заюзать - см доку https://clickhouse.yandex/docs/ru/operations/table_engines/
-
-
если базу перегнать то на яве это заюзал и допилил под себя https://github.com/llofberg/db-copyGitHub - llofberg/db-copy: A simple ETL tool to copy data between JDBC databases etc.
A simple ETL tool to copy data between JDBC databases etc. - GitHub - llofberg/db-copy: A simple ETL tool to copy data between JDBC databases etc.
-
мне нужен был перегон из postgresql в clickhouse и много данных - но я да так почти и делал простно на движке
-
порциями фигачить или через мост jdbc-bridge https://github.com/ClickHouse/clickhouse-jdbc-bridge я просто джавист а вы можете на GOGitHub - ClickHouse/clickhouse-jdbc-bridge: A JDBC proxy from ClickHouse to external databases
A JDBC proxy from ClickHouse to external databases - GitHub - ClickHouse/clickhouse-jdbc-bridge: A JDBC proxy from ClickHouse to external databases
-
тут описан велосипед то что вам нужно но у меня проблемы с интом — https://www.altinity.com/ — там NY taxi и вот "велик" https://clickhouse.yandex/docs/en/getting_started/example_datasets/nyc_taxi/ClickHouse Software And Services — Altinity
Deploy and operate ClickHouse, a lightning fast, open source SQL data warehouse for real-time analytics, time series, and log analysis.
-
вот так пробовали? что не сработало?
pgsql -c "COPY TO STDOUT" | clickhouse-client —progress "INSERT INTO ... FORMAT CSV"
клиент кликхауса сам по идее побъет на блоки записей и все вставит -
Народ, а кто в курсе как именно работает LEFT JOIN в clickhouse?
-
строит hash-map по правой таблице, сканит левую, дописывает строки в результат. если в правой было несколько таких ключе, то для каждого левого вхождения формирует n строк результатов, если вхождений не было - дописывает дефолтами (если join_use_nulls - дефолт NULL, иначе 0/пустая строка/начало юникстайм)
-
join_use_nulls в рантайме можно менять?
вроде SET не ругнулся, но такое ощущение что не воспроизвелось -
См. system.settings после SET join_use_nulls
-
блин я тупой, походу datagrip же через jdbc работает а тот работает поверх HTTP и там join_use_nulls не срабатывает, потому что это "другой коннект"
хотя это же server level а не connection level будет? -
SET в http не работает, если нет именованной сессии
Тут надо использовать SETTINGS join_use_nulls -
спасибо
-
Добрый вечер, коллеги. Генерирую тестовые данные и мне регулярно прилетает на больших обьемах данных ошибка: Cannot parse input: expected ) before: 7587),
Ну там в конце постоянно цифра разная. В чем может быть причина кто-то в курсе? -
версия? values / CSV , текст insert-а?
-
скобки есть в генерируемых данных?
-
временные таблицы не для этого. Они должны создаваться только на инициаторе, потому что они автоматически передаются инициатором на другие ноды.
-
19.13
Cannot parse input: expected ) before: 7587), (\'refcode\',4,1,17587), (\'refcode\',1,1,17587), (\'refcode\',1,0,17587), (\'refcode: (at row 21348)
Вот фул -
4я колонка это Date
-
Дни
-
Всегда на нее ругается
-
Пишу в php используюя либу smi2/phpclickhouse
-
нет если даты будут то будет не сварение желудка
-
на простых данных да прокатит
-
лучше добавлять кавычки " иначе могут быть проблемы, КХ пытается угадать какие кавычки используются ' или " и будет падение при первой же одинарной кавычке вначале текстового поля.
COPY (select * from crash_test) TO PROGRAM 'clickhouse-client --query="INSERT INTO crash_test FORMAT CSV"' with csv force quote *;
или выключать одинарные кавычки в CH --format_csv_allow_single_quotes 0 -
Привет, подскажите пожалуйста, кто делал словари в mdb Clickhouse на Яндекс.Облаке?
-
не подскажете, пжт, как указать разделитель при сохранении в CSV? Вместо запятой, чтобы был другой символ?
INTO OUTFILE '/tmp/gg.txt' FORMAT CSV .....? -
clickhouse-client --format_csv_delimiter '|'
select 1,1 into outfile '/tmp/gg.txt' format CSV
cat /tmp/gg.txt
1|1 -
если на чистом sql то в режиме сессии "SET format_csv_delimiter = ','"
-
хороший вопрос в том смысле что КХ это такая штука которая делает агрегацию лучше всех.
У ва данные за два дня поместятся в ОЗУ ? -
видимо вы что-то другое понимаете под словом аггрегация
-
Всем привет! С чем может быть связана такая ошибка:
inflate failed: buffer error
IN:INSERT INTO gmc_item_distributed ( gmc_id,item_id,country_code,label_code,updated_at,flag ) FORMAT TabSeparated
Возникает при попытке загрузить файлик ~10мб 300к строк. в другие таблицы всё грузится нормально -
посмотрите на движки SummingMT / AggregatingMT и materialized view. КХ уделает всех в разы.
-
Подскажите пожалуйста, в чем причична такой ошики и как исправить:
Code: 24, e.displayText() = DB::Exception: Cannot write to ostream at offset 2097322 -
предагрегировать данные, чтобы вместо нескольких миллиардов сырых данных, в MV было в разы меньше и они лежали в нужном порядке для запросов.
-
ну по разному можно сделать, можно сделать что агрегаты будут задублированы на все ноды (я так делаю).
можно сделать шардинг так что не нужна будет финальная агрегация и т.п. -
ещё добавлю, что строки при этом все попадают в таблицу. кто сталкивался?
-
есть еще такой вариант, сделать выделенную машину с кучей памяти и nvme и положить на нее только таблицы - агрегаты (репликацией) и ходить туда с риал-тайм запросами
-
что в .err логе КХ ?
-
если бы у меня до него был доступ)
-
ну так попросите посмотреть тех у кого есть доступ.
-
похоже в коде КХ нету такого <inflate failed: buffer error>
это где-то у вас в приложении / api -
https://github.com/ClickHouse/ClickHouse/issues/412
но в отличии от этого случая проблема встречается на файлах любого размера.DB::Exception: inflate failed: buffer error · Issue #412 · ClickHouse/ClickHouseHi, when inserting to Clickhouse with HTTP transport and gzip (compression level 1), I see a lot of stack traces like the following. They don't happen regularly (sometimes the pipeline keep...
-
странно то что возникает она именно при выгрузке в эту таблицу. остальные - норм, и размеры там больше
-
😬😬😬 таким образом нужно наоборот увеличивать granularity дополнительного индекса , чтобы ускорить поиск ? Как-то в голове не укладывается .
-
Больная тема 🙄
-
конечно нет.
-
вам просто не подходят skip индексы, они не для вашей задачи
-
Joined. -
У меня была идея сделать каскад репласинг мердж три таблиц с партиционированием по дню, месяцу и году соответсвенно
. Сворачиваться будет по одним полям , а людям нужно искать по другим 🙄. Они соедены мердж таблицами , пользователь обращается через них. Соответственно проходит день , данные улетают в месяц и та секция дропается и т.д И это принципиально , чтобы в конце - концов при запросе через какой-то веб им пришло минимальное количество строк , причем последних по дате , и не пришлось бы прикручивать дистинкт, груп бай и тд. Если уж и это не подходит , тогда наверно и кликхаус не подходит 😁 -
товарищи, я пытаюсь воспроизвести бенчмарк вот этого чувака https://tech.marksblogg.com/billion-nyc-taxi-rides-clickhouse-cluster.html . Создаю Distributed таблицу:
CREATE TABLE trips_mergetree_x3
AS trips_mergetree_third
ENGINE = Distributed(perftest_3shards,
default,
trips_mergetree_third,
rand());
И заливаю в нее данные:
INSERT INTO trips_mergetree_x3
SELECT * FROM trips_mergetree;
Дальше у него написано, что кликхаус через некоторое время сам распихает данные по шардам, но у меня все данные остаются на той ноде, на которой я эту таблицу создал. ЧЯДНТ?1.1 Billion Taxi Rides: 108-core ClickHouse ClusterBenchmarks & Tips for Big Data, Hadoop, AWS, Google Cloud, PostgreSQL, Spark, Python & More...
-
при этом, как и в его примере,
SELECT *
FROM system.clusters
WHERE cluster = 'perftest_3shards'
FORMAT Vertical;
возвращает все три сервера -
Joined. -
так а что этот селект выдает? Колонки shard_num replica_num?
>у меня все данные остаются на той ноде
в смысле select count() показывает нужно кол-во на ноде-инициаторе? А на остальных нодах 0 строк? -
distributed-таблица вообще показывается только на той же ноде, на которой я ее создал. И дата-каталоги на двух других нодах пустые.
-
на вопросы можете ответить?
-
Row 1:
──────
cluster: perftest_3shards
shard_num: 1
shard_weight: 1
replica_num: 1
host_name: 35.158.138.58
host_address: 35.158.138.58
port: 9000
is_local: 0
user: default
default_database:
errors_count: 0
estimated_recovery_time: 0
Row 2:
──────
cluster: perftest_3shards
shard_num: 2
shard_weight: 1
replica_num: 1
host_name: 18.196.146.211
host_address: 18.196.146.211
port: 9000
is_local: 0
user: default
default_database:
errors_count: 0
estimated_recovery_time: 0
Row 3:
──────
cluster: perftest_3shards
shard_num: 3
shard_weight: 1
replica_num: 1
host_name: 18.184.241.98
host_address: 18.184.241.98
port: 9000
is_local: 0
user: default
default_database:
errors_count: 0
estimated_recovery_time: 0
3 rows in set. Elapsed: 0.002 sec. -
^
-
select count() from trips_mergetree_third c каждой ноды
-
ээээ
-
вообще везде нули
-
т.е. distributed не может запихать данные в таблицы, весь лог КХ должен быть завален ошибками
-
спасибо, судя по всему, почему-то не видит другие ноды
-
сейчас поковыряю
-
в итоге если отключить http-compression, то запрос выполняется валидно
-
go / jdbc ?
-
GitHub - smi2/phpClickHouse: php ClickHouse wrapper
php ClickHouse wrapper. Contribute to smi2/phpClickHouse development by creating an account on GitHub.
-
curl-м попробуйте
-
т.е ограничить курл по времени?
-
нет. я спрашиваю curl-м проблема воспроизводится?
-
аа curl-ом ) так в либе и так курл под капотом, но попробую позже вне либы его заюзать, спасибо за совет
-
Joined. -
Спасибо. А примеры такого есть? Таблица, насколько я могу судить, и создается на одной ноде. Ответ об ошибке приходит от другой ноды (если не ошибаюсь от реплики)
-
Появилась ли возможность работы с графами - никто не знает? Вроде Алексей Миловидов намекал, что возможно появится... нужно определить все дочерние вершины графа с минимальными временными затратами...
-
И никаких прогнозов? -
вам в гитхабе уже ответили. Вы делаете что-то бессмысленное. Создавайте таблицы например Engine=Memory. Temporary - это тоже Engine=Memory но они для другого.
-
Добрый вечер. Скажите, если в mergetree order by tuple, т е нет индексов и все селекты делаю по партиции целиком, то параметр granularity не имеет значения? На скорость запросов это не повлияет? Просто у меня очень пухлые записи с большими массивами....
-
имеет для многопоточности, если будет одна очень большая гранула, то только один поток будет выполнять запрос. И вроде памяти будет больше жрать для больших гранул.
-
Спасибо!
-
Поиграюсь
-
но вообще mergetree order by tuple это странно. Явно misusage для КХ.
-
У меня просто все выборки по дневным партициям. Это минимальный квант данных получается. Можно добавить индекс внутри дня, но ведь он не будет использоваться, и будет жрать память и скорость на вставке?
-
и сколько строк в одном дне?
-
37 млн, одна строка из массива на несколько килобайт - мегабайт в перспективе
-
Дни регулярно перезаливаются через реплейс партишин
-
Поэтому нарезка по дням
-
ну ОК. я бы оставил как есть -- по-умолчанию, на таких размерах без разницы
-
Спасибо
-
Это название. Там рядом колонка со значениями.
-
Там для каждого евента своя шкала
-
сейчас есть один зависший. Ни одно значение в profileEvents не меняется
-
Да, не видно . А perf есть возможность запустить ? Это бы позволило узнать место в коде, на котором вист сейчас.
-
У нас когда было на прод. Я снимал - было норм. Все висело на локах, и поэтому по цпу не легло
- 10 December 2019 (129 messages)
-
Joined. -
в Materialized Views и Live Views смотрели?
-
Joined. -
ClickHouse митап в Москве состоится завтра вечером! 11 декабря в 18:30: https://yandex.ru/promo/clickhouse/moscow-december-2019
Также мы сейчас занимаемся приоритезацией задач по дальнейшему улучшению документации ClickHouse и чтобы сделать это правильно, нам нужна обратная связь от вас. Если готовы помочь нам, заполните, пожалуйста, вот эту небольшую форму: https://forms.yandex.ru/surveys/10014882LinkПриглашаем технических специалистов на митап по ClickHouse. Разработчики системы расскажут о новых функциях и планах, а пользователи — о собственном опыте.
-
None
-
кто поможет — я сделал jdbc мост к посгрезу и хочу установить таблицу в кх как буду-то родную но она на postgreSQL
-
https://clickhouse.yandex/docs/en/operations/table_engines/jdbc/
у вас похоже схема dbms_uri неправильная -
нет, вы будете смеятся но у меня 6гиг озу на кх — думаю в этом проблема как тут описано https://github.com/ClickHouse/ClickHouse/issues/5784 —- так как если глянуть сек С++ но он неможеть выделить блок памяти но я не силен в с++Allocator: Cannot mmap 128.00 MiB · Issue #5784 · ClickHouse/ClickHouse
Hello, i'm getting the error on linux host with 4Gb of RAM and 3.5Gb of data: 2019.06.27 18:02:11.314895 [ 51 ] {b06c9d4e-c769-4162-899f-7843b897b743} executeQuery: Code: 173, e.displayText...
-
причем тут память вы приаттачили ошибку syntax error
-
просто кх тупил и тупо написан код по диагностике — я же правильно все сделал
-
ну, красавчег тогда что все правильно сделал ;)
-
да ты прав но писали кх далеко не боги
-
Коллеги, есть вопрос по расчету нагрузки на сеть при запросах с большим временем отклика между сервером и хостом с которого выполняются запросы (50мс). Порекомендуйте пожалуйста, документ или методику, на что необхожимо обратить внимание, как учитывать компрессию, если для запросов использовать HTTP интерфейс или JDBC? Возможно ли обеспечить многопоточность передачи данных для ответа? -
данные в фале выглядят так
-
Нашел в мануалах системы фичу с партицированием, но возник вопрос: можно ли ее использовать для оптимизации запросов к базе? и если да, то никак не могу найти, как ее можно применить? -
Партицирование - разделение таблицы на партиции - некие логические кусочки. Обычно делят по дате лога, например по месяцам или дням. Обычно так делаеют, поскольку в запросе есть фильтр по дате, который позволяет не читать всю таблицу, а начать сразу с нужной партиции
-
Получается, что clickhouse самостоятельно должен определить нужную партицию и получить из нее данные?
-
Он никому ничего не должен😄 Вы указываете в таблице как партиционировать данные, а потом в запросе - как искать. И КХ может увидеть связь - ага, тут такие партиции, а в запросе - указано так. Значит можно не читать всё, а только вот это. Магии нет
-
-
-
вопрос, есть же вот эти красные кружочки на приложениях с цифрами Badge вроде.
-
можно для них Clickhouse использовать?
-
хотя нет наверное, там же Update надо будет делать, если прочитал сообщение. :(
-
почему, каунтер может быть результатом сумм ±1 -
Joined. -
это же все равно UPDATE, а тут с этим не очень вроде :( INSERT и SELECT только.
-
надо писать, какое сообщение, какой пользователь посмотрел.
-
я прост боюсь что MySQL не вытянет, ClickHouse по скорости очень хорош конечно, попробую посмотреть в сторону ElasticSearch.
-
вообще то да кстати :)
-
вот не зря все таки обратился :) Спасибо!!!!!
-
Joined. -
Можно ли по словарю как-понять , что в таблице есть дубликаты ?
-
Можно. Создаёте бд с типом dictionary. В ней будет таблица с именем словаря. Create database mydict Engine=Dictionary
-
кстати сегодня пробовал
echo "SELECT 1" | gzip -c | curl -sS --data-binary @- -H "Content-Encoding: gzip" - работает
echo "SELECT 1" | curl -sS --compressed --data-binary @- -H "Content-Encoding: gzip" - не работает
в итоге решили без компрессии работать -
Всех приветствую товарищи! кто-нибудь пытался сдернуть данные по jdbc из oracle? падает вот такая ошибка HTTP status code: 500 Invalid or unsupported name for clientInfo., body: Invalid or unsupported name for clientInfo. (version 19.14.6.12)
HTTP status code: 500 Invalid or unsupported name for clientInfo., body: Invalid or unsupported name for clientInfo. (version 19.14.6.12) -
вопрос собственно такой: в какую сторону копать? jdbc, oracle, CH ?
-
мост я допливал на посгреса — у них все на java сыро https://github.com/ClickHouse/clickhouse-jdbc-bridgeGitHub - ClickHouse/clickhouse-jdbc-bridge: A JDBC proxy from ClickHouse to external databases
A JDBC proxy from ClickHouse to external databases - GitHub - ClickHouse/clickhouse-jdbc-bridge: A JDBC proxy from ClickHouse to external databases
-
Проблема в том, что со стороны Java все драйверы по-разному предоставляют информацию о том, как замаппить нативный тип в типы ClickHouse. Видимо, придётся реализовывать "диалекты" (a-ka хардкод для каждого драйвера в отдельности)
-
просто пропатчить, у них нет поддержки диалекта как такого
-
могу выслать мои патчи, попросто там. в личку стучись — пока не буду заливать в их гид так сделал не фуншуй
-
Сделайте PR, смержим
-
ОК
-
Пожалуйста, подскажите как быстро удаляются временные таблицы?
-
всем спасибо
-
https://github.com/ClickHouse/clickhouse-jdbc-bridge/issues/2 - тут описаны похожие симптомыAdd support for Oracle JDBC · Issue #2 · ClickHouse/clickhouse-jdbc-bridgeCurrently without any code modification it is hard to work with Oracle database. Following problems are encountered: Can't pass login and password information to connection. Oracle JDBC req...
-
Temporary? По концу сессии. Есть параметр session_timeout=60, т.е. если сессия неактивна 60 сек. то конец.
-
Привет
а как проще всего отреплицировать новую машинку с нуля? -
Спасибо!
-
В словаре дубликаты? Там не может быть дубликатов, перезатирается по ключу.
-
вроде нашел доку
-
Коллеги, добрый день! Подскажите, пожалуйста, можно ли в CH сделать запрос, который вернет набор дат в определенном формате, чтобы с ними можно было сделтаь join?
-
кстати если вдруг кто-то следит за этой эпопеей или в будущем столкнулся с такой же проблемой и нашёл это в поиске , то отказ от сессий решает вопрос с нерабочей компрессией (и кстати со скоростью выполнения инсертов)
протэгаю текстом ошибки:
inflate failed: buffer error -
Joined. -
-
но возможно тебе подойдут и более простые функции
-
мне в первую очередь нужна функция, которая сможет сгенерировать N строк, например, я хочу получить все часы в сутках от 00:00 до 23:00
-
-
спасибо, посмотрю
-
Всем, добрый день! Подскажите, как в click House сделать ранжировку по показателю в группе?
-
select .. from ... order by group и при создании таблицы указать тот же order by
-
select toDateTime('2019-01-01 12:00:00') + interval number hour from numbers(100);
SELECT arrayMap(x -> addHours(toDateTime('2019-01-01 12:00:00'), x), range(100))
select arrayJoin(arrayMap(x -> addHours(toDateTime('2019-01-01 12:00:00') , x ), range(100))); -
Example of emulation of rank function with arrayEnumerateUniq.
Example of emulation of rank function with arrayEnumerateUniq. - rank.txt
-
Спасибо!
-
файл в native нечитаемый, у вас на картинке похоже на TSV
$ clickhouse-client -q "select * from XS format Native" > xx
$ cat xx
AInt64AInt64AInt64AInt64AInt64AInt64AInt64
clickhouse-client -q "select * from XS format Native" | clickhouse-client -q "insert into XS format Native" -
>но как я понимаю можно сделать передачу через | ?
да
>тогда сразу вопрос а получиться ли так передать 500 гб данных если оперативы 32 гб?
да
а через remote() не проще ? -
select * from remote(.....)
insert into function remote(host, db, table) select .... from local -
не прокатит вроде как так человеку нужно скрестить разные субд а под это нужно мострячить мост
-
вы слезайте уже с тяжелых наркотиков.
-
кто поможет? хочу форматирование ошибок а то не читальная помойка текста
-
о боги! это можно дергать insert into function remote? какие подводные камни при этом есть? Гуглить пробовал, не получалось найти и намека на такой функционал -
это в принципе даже документировано, просто очень неявно и без примеров. Подводных камней нет. Есть в тестах (в смысле тестируется автотестами).
-
спасибо, как же здорово, что месяц вашей тишины завершен
-
Joined. -
Joined. -
Сделай для начала 1 рабочий запрос select * from jdbc(first_table) -
Потом на него наворачивай кусками
-
есть уже то, я через мост jdbc — 2 дня пилил его
-
так то знаю
-
хотел сразу "лепота"
-
Alert! Seraph21 Goswami is a known spammer and is CAS banned. Ban is strongly recommended.
-
Подскажите плз. Есть tableA и tableB, tableB является упрощенной версией tableA, туда просится Matview, но пока я живу в режиме ручной вставки в эту таблицу. Все таблицы реплицированы. Если я сейчас включу matview на вставку из tableA в tableB, не возникнет ли каких то неожиданностей с репликацией? Т.е. нормально ли себя ведет реплицированная таблица, в которую пишет matview?
-
>Т.е. нормально ли себя ведет реплицированная таблица, в которую пишет matview?
нормально. -
@Krashuevina вы хоть не пишите с ошибками в доке - у вас JDBC (....) не работает, а верно в нижнем регистре jdbc(...) — я все как в доке делал и дров наломал, 1 день рабочий убил
-
Я буду благодарен если вы укажете, где ошибка, чтобы мы могли сэкономить время остальным пользователям.
-
вот в допиленном jdbc мосту (у меня посгрес не получался с ip в url — но это другая тема)
пока так все нужно в нижем регистре
это работает (после моего патча моста)
select * from jdbc('remote_pg_data_center', 'kakunin_dc_data_tmp', 'monitor_exec') as monitor_exec;
а это матерится
select * from JDBC('remote_pg_data_center', 'kakunin_dc_data_tmp', 'monitor_exec') as monitor_exec;
код ошибке
Code: 46, e.displayText() = DB::Exception: Unknown table function JDBC. Maybe you meant: ['jdbc','odbc'] (version 19.17.4.11 (official build))
стек ошибки — если нужно скину позже -
Код ошибки 46 прилетает от сервера ClickHouse. В этот момент вызова к постгресу через мост даже не происходит. CH не находит у себя функцию с именем "JDBC", и сообщает об этом.
Если вы видели где-то в документации запросы с JDBC (UPPERCASE), то это относилось к движку таблиц. https://clickhouse.yandex/docs/ru/operations/table_engines/jdbc/ -
это у меня вообще не смогло выполниться — придирается что нужно приписать AS или Primary key и т.п
CREATE TABLE jdbc_table ENGINE JDBC('jdbc:mysql://localhost:3306/?user=root&password=root', 'test', 'test') —— это вообше не сработало у меня на посгресе -
да, тут вижу косяк, пропущено "=" между ENGINE и JDBC.
-
вообще усвительнось к регисту мне не понять — всем базам пофигу на регистрам - нужно не делать чусвительность
-
да косяк но и с = и без —- не катит у вас jdbc вагон проблем и тесты заваливаются в ошибки
-
это у вас от незнания. Все базы чувствительны к регистру, просто они приводят SQL литералы либо в нижний регист либо в верхний.
Алексею нравится camelCase поэтому в КХ так сделать не получится. -
привет, при попытке соединения с кликхаусом, поднятым в докере из yandex/clickhouse-server получаю
requests.exceptions.SSLError: HTTPSConnectionPool(host='localhost', port=8123): Max retries exceeded with url: /?database=luna_test&max_threads=3 (Caused by SSLError(SSLError("bad handshake: Error([('SSL routines', 'ssl3_get_record', 'wrong version number')],)",),))
подозреваю, что проблема в разных версиях ssl, подскажите как проверить это и исправить, спасибо -
проверь свои ключи ssl ты наверно не скорировал хранилище ключей для докеров. но я не профи. лог смотри там больше ошибок должно быть
-
а че за хранилище, есть где почитать от этом?
-
я джавист у меня все по другому . там своя песочница но должна быть место защищеное только под рутом зависит от реализации но или в /opt или /var. я не профи в докерах
-
ладно забей я подожду ответа от поддержки завтра)
-
https выключен по умолчанию.
Порт там 8443 !
Естественно нужны сертификаты и ключи /etc/clickhouse-server/server.crt /etc/clickhouse-server/server.key /etc/clickhouse-server/dhparam.pem -
Joined. -
Спасибо, а где про это подробнее почитать? Ни в докер-хабе, ни в документации ничего про это не нашёл
-
даже не знаю, когда мне понадобилось все было очевидно прямо из /etc/clickhouse-server/config.xml
-
Это внутри контейнера?
-
вам вообще зачем https и зачем контейнер?
Ваши вопросы вообще не имеют отношения к КХ.
Сертификат надо либо сгенерить самоподписанный, либо купить. Конфиг кх лучше монтировать с хоста, либо директорию с сертификатами смонтировать с хоста и изменить пути в конфиге. -
Чтоб гонять тесты; https чтоб не переписывать конфигурацию специально под тесты (хотя может проще уж переписать)
-
могу дать в личку чат докеров спецов и девопсеров . а вообще не советую кх в докер. в докеры хорошо все ПО без состояния типа тупые микросервисы к бд. а бд жирные и прожоливые и в докерах будет одни минусы
-
смысла нет, все равно придется отключить полную проверку, чтобы работало с самоподписанным сертификатом
-
если тестить не по детски то нужно зоводит кластер из зукипера и гонять терабайты по сетке
-
Joined. -
Date as a number in INSERT VALUES may fail or slow down · Issue #8129 · ClickHouse/ClickHouse
Seems some php libs inserts Date as a number in Values. create table vtest(A String, B Int64, C Int64, D Date) Engine=Memory; 19.15.5.18 -- fails if number of values is high clickhouse-client -q &a...
-
🙏
-
Я разбил сохранение на пачки по 1000 и проходит безукаризненно
-
т.е. проблема в нестандартном 17587 вместо '2018-02-25'
в TSV например 17587 вообще не прокатывает -
Ну у меня постоянно на разных цифрах выпадает. Именно при записи в колонку Date, а я туда пишу количество дней, как в доке указанно
-
ммм, это где указано что надо писать Date в днях?
-
>Ну у меня постоянно на разных цифрах выпадает
что значит на цифрах???
КХ ожидает '2018-02-25' -
Ну я в доке увидел
> A date. Stored in two bytes as the number of days since 1970-01-01 (unsigned).
И начал. В итоге то оно верно сохраняет дату -
Но иногда выпадает на большом количестве данных
-
эээ. Это раскрыта внутренняя кухня. Но это неправильно. КХ завтра может начать совсем по другому хранить
-
Вас понял, значит мой косяк. Переделаю завтра на строки
-
Joined. - 11 December 2019 (243 messages)
-
И что бы что?
-
просто сделай условие типа select ... where 1=0
-
Всем привет!
Вопрос к знатокам по JSONEachRow формату.
Минимальный пример:
CREATE TABLE test
(
`id` Int64,
`price` Decimal32(6)
)
ENGINE = MergeTree()
ORDER BY id
Ok.
2a4d210308fc :) insert into test values(1, '0.123');
INSERT INTO test VALUES
Ok.
2a4d210308fc :) insert into test format JSONEachRow {"id": 1, "price": "0.123"};
INSERT INTO test FORMAT JSONEachRow
Exception on client:
Code: 27. DB::Exception: Cannot parse input: expected , before: "0.123"};: (at row 1)
Connecting to localhost:9000 as user default.
Connected to ClickHouse server version 19.17.2 revision 54428.
Почему CH не может распарсить decimal из строки, если используется JSONEachRow-формат, но при обычном inserte может? -
респект выражаю яндексу — так навернуть простой select — это круто, можно целую книгу написать о кх селекте — я про это https://clickhouse.yandex/docs/ru/query_language/select/
-
хуже, мне понравился "бантик" ANY JOIN — яндекс не просто тень гугла...
-
Гоняли на разных нагрузках, проблем замечено не было. Главное, чтобы ты понимал и умел в докер, тогда проблемы не будет :)
-
ну если вы бы еще немного времени убили, Вы бы поняли, что JDBC(...) и jdbc(...) несколько разные вещи. как пример запрос:
create table jdbc.category engine = JDBC('datasource://postgresql', 'public', 'category')
as
select * from jdbc('datasource://postgresql', 'public', 'category');
JDBC - указывается в качестве энжина для таблицы, а jdbc - как указатель на то, что from берется не из CH а обращается к коннектору, ну т.е. это табличная функция -
спасибо за просвящение
-
вот это почитай https://www.altinity.com/ClickHouse Software And Services — Altinity
Deploy and operate ClickHouse, a lightning fast, open source SQL data warehouse for real-time analytics, time series, and log analysis.
-
мы сами на этом убили достаточно много времени, пока не зашли в гит репозиторий коннектора, где все более-менее ясно описано
https://github.com/ClickHouse/clickhouse-jdbc-bridgeGitHub - ClickHouse/clickhouse-jdbc-bridge: A JDBC proxy from ClickHouse to external databasesA JDBC proxy from ClickHouse to external databases - GitHub - ClickHouse/clickhouse-jdbc-bridge: A JDBC proxy from ClickHouse to external databases
-
Joined. -
Подскажите, можно ли отключить компрессию только для данной MergeTree таблицы? Хочется потестировать производительность для разных настроек компрессии, но не понимаю как
-
Добрый день, пробовал использовать allow_ddl, однако я немного не понял как работает параметр. Может я неправильно его использовал? Прописывал <allow_ddl>0</allow_ddl> в user.xml -
Только явно в DDL указать для каждого столбца CODEC(None)
-
или желаемый кодек
-
ребят, подскажите, может кто знает:
есть такой замечательный продукт от JetBrains как DataGrip (впрочем любая их ide)
там есть поддержка CH из коробки, и по дефолту скачивается драйвер 0.1.50 вроде как последний. все хорошо, запросы выполняются, но есть ряд ограничений при написании запросов, и мне хотелось бы понять - проблема в драйвере, или в самой IDE? -
каких именно ограничений?
-
я привел скриншот, где видно, что подсвечивается строгий джойн вложенного подзапроса, и значения из этого подзапроса не видно в селекте
при этом, сам запрос выполняется -
может диалект сбился -
у меня вроде нормально работает с джоинами
-
да вроде все ок с диалектами, иначе тот же toStartOfMonth(invoice_creation_date_time), который до джойна - не понимал бы
-
а если явно указать тип JOIN?
-
может я не совсем понимаю, но куда уж явнее?
-
LEFT/RIGHT итд
-
так там left join указан
-
ааа блин
-
я у себя с ALL LEFT играюсь и не вижу :))
-
datagrip требует указания all/any
-
видимо да
-
убираю ALL - как у Николая подсветка становится
-
гм... и правда
-
тогда подскажите, в чем отличительная особенность all left join от any left join и просто left join
или это просто часть синтаксиса требуемая IDE? -
Раньше они точно были обязательными. ANY вернет только одну (первую попавшуюся) связанную строчку, а ALL все
-
Join (SQL)
A join clause in SQL – corresponding to a join operation in relational algebra – combines columns from one or more tables into a new table. ANSI-standard SQL specifies five types of JOIN: INNER, LEFT OUTER, RIGHT OUTER, FULL OUTER and CROSS.
-
спасибо большое, что бы я без этого сообщения делал...
только вопрос несколько в другом, не находите?
1) CH - не реляционная БД, хоть синтаксис и схож
2) в статье ни слова про all/any join
3) если бы я не знал, что такое джойны, я бы не спрашивал про отличительные особенности -
в доке описано, и результаты запроса будут значительно отличаться
-
-
Цитирую:
"Соединяет данные в привычном для SQL JOIN смысле." -
спасибо
-
Доки, конечно, не всегда успевают, но данное место там очень давно есть.
-
фишка в том, что в доке описано, что просто join тоже должен работать, а в IDE - подсвечивает синтаксис, при этом, сам запрос выполняется
-
незачто, Станислав ссылку прислал выше, именно там это все
-
ну т.е. IDE априори подразумевает, что ОБЯЗАТЕЛЬНО указывать строгость джойна, хотя это не обязательно для самого CH и, кстати, вполне себе так влияет на результаты выборки
-
разработчики датагрипа к разработчикам кликхауса не имеют никакого отношения :)
Раньше в кликхаусе ANY|ALL были обязательными, видать в датагрипе не успели подправить синтаксис еще -
ну так по доке просто join - это inner join, а не left join
-
Или я не понял, на что ругается?
-
ну к этому выводу я тоже пришел, осталось понять, описание синтаксиса, хранится в драйвере, или это полностью в руках JB?
-
Да, не вижу...
-
и у меня в запросе не просто join а left join а ругается на отсутствие any/all
-
Ясно, таки не увидел.
-
Если я правильно понял доку, по-умолчанию - ALL
-
по умолчанию - не обязательно, а вот all left join - аналогичен left join в sql
-
гайз, есть вопросик небольшой вопросик
у меня есть большая таблица(10ккк), мне нужно перелить эти данные в аггрегирующую
если я сделаю insert - select, будут ли проблемы с памятью или что-то похожее ? Спасибо -
привет.
Скажите, пожалуйста, есть ли возможность сжимать текстовый столбец (текста от 1 до 100 кб бывает) с повторяющимися значениями? -
max(arrayJoin(arr)) подойдет?
-
arrayReverseSort(arr)[1]
-
n log(n) же
-
Странные задачи не всегда имеют оптимальное решение :)
-
Но вообще наверное от размера массива зависит, вряд ли они большие
-
Согласен!
-
так а за какое время максимальный эллемент в не отсортированном списке можно найти еще?
-
qsort за n log n работает
-
За ровно n?
-
За O(N) ?
-
как?
-
А не за O(n log(n))
-
Просмотрев все элементы подряд?
-
эх, да
-
чет я затупил
-
Joined. -
Ребята, всем привет!
Вчера возник вопрос, хочется понять истину: имеем в таблице поле, означающее тип события. Типов ограниченное число, но постоянно появляются новые. Стоит вопрос - в каком виде хранить в CH. Вариантов 3: int'ом, string'ом, enum'ом.
Enum отбрасываем, т.к. альтеры делать вовремя не имеем возможности. String у int'а выигрывает удобством дальнейших запросов к статистике (про механизм словарей знаем, но кажется, что они тут некоторым оверхедом являются)
Вопросов 2:
1. при дефолтных настройках, будет ли у string'a сильный проигрыш по объему на диске? Схлопываются ли в рамках партиций одинаковые значения в колонках?
2. планируется много запросов, где данное поле будет фигурировать в where. Есть ли выигрыш по скорости у int'a при фильтрации?
Заранее спасибо за ответы -
Это да, просто интересно, как это работает без LowCardinality (надо ли переделывать и переписывать старые таблицы)
-
https://github.com/ClickHouse/ClickHouse/issues/936
а эту ишуёвину зарешали?
хочу добавлять столбец в табличку, реплицируемую двумя способами (через репликатед мерж три и дистрибутед таблички поверх)
предлагается добавить в мерж три столбец, а дистрибутед пересоздатьalter table via distributed table is not working · Issue #936 · ClickHouse/ClickHouseHello, I'm not sure if this a bug or not but based on documentation: "INSERT and ALTER are replicated" Having this in mind I'm expecting the following scenario is ...
-
Отлично, но он на меня кодом Латвии ругается
ServerException: Code: 371.
DB::Exception: There was an error on [<hostip>:9000]: An error occured before execution: Code: 371, e.displayText() = DB::Exception: Table 'my-tablename' is replicated, but shard #1 isn't replicated according to its cluster definition. Possibly <internal_replication>true</internal_replication> is forgotten in the cluster config.
А в документации так "<internal_replication>true</internal_replication><!-- Не обязательно. Записывать ли данные только на одну, любую из реплик. По умолчанию, false - записывать данные на все реплики. -->"
я во все реплики хочу данные писать -
ага, on cluster, только у меня спотычина еще на базовой таблице происходит. Может, if not exists убрать
-
3 реплики, шард единственный
-
[
('clustername', 1, 1, 1, 'x.x.x.65', 'x.x.x.65', 9000, 0, 'default', '', 0, 0),
('clustername', 1, 1, 2, 'x.x.x.66', 'x.x.x.66', 9000, 0, 'default', '', 0, 0),
('clustername', 1, 1, 3, 'x.x.x.67', 'x.x.x.67', 9000, 1, 'default', '', 0, 0)
] -
Ничоси! Сработало
-
Прямой эфир митапа будет?
-
-
Спасибо огромное! То что надо.
-
Может ли новый clickhouse-copier не работать со старыми версиями кх?
Пользуюсь первый раз, ловлю ошибку. clickhouse-copier v 19.17.5.18
2019.12.11 15:25:19.670784 [ 1 ] {} <Trace> Connection (X.X.X.X:9000): Connected to ClickHouse server version 19.15.2.
2019.12.11 15:25:19.724865 [ 1 ] {} <Error> ClusterCopier: Will retry: Code: 393, e.displayText() = DB::Exception: There is no query, Stack trace:
0. 0x562835c6d690 StackTrace::StackTrace() /usr/bin/clickhouse
1. 0x562835c6d465 DB::Exception::Exception(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, int) /usr/bin/clickhouse
2. 0x562835989a17 ? /usr/bin/clickhouse
3. 0x562838fbd0f9 DB::Context::getSampleBlockCache[abi:cxx11]() const /usr/bin/clickhouse
4. 0x5628390579ec DB::InterpreterSelectWithUnionQuery::getSampleBlock(std::shared_ptr<DB::IAST> const&, DB::Context const&) /usr/bin/clickhouse
5. 0x562839002685 DB::InterpreterCreateQuery::createTable(DB::ASTCreateQuery&) /usr/bin/clickhouse
6. 0x562839004975 DB::InterpreterCreateQuery::execute() /usr/bin/clickhouse
7. 0x562835db72b4 DB::ClusterCopier::dropAndCreateLocalTable(std::shared_ptr<DB::IAST> const&) /usr/bin/clickhouse
8. 0x562835dc5962 ? /usr/bin/clickhouse
9. 0x562835dc8a98 ? /usr/bin/clickhouse
10. 0x562835dc9bec ? /usr/bin/clickhouse
11. 0x562835dd0f58 DB::ClusterCopier::process(DB::ConnectionTimeouts const&) /usr/bin/clickhouse
12. 0x562835daa734 DB::ClusterCopierApp::mainImpl() /usr/bin/clickhouse
13. 0x562835bb4df2 DB::ClusterCopierApp::main(std::vector<std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >, std::allocator<std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > > > const&) /usr/bin/clickhouse
14. 0x562839d34e98 Poco::Util::Application::run() /usr/bin/clickhouse
15. 0x562839d4b5de Poco::Util::ServerApplication::run(int, char**) /usr/bin/clickhouse
16. 0x562835da7760 mainEntryClickHouseClusterCopier(int, char**) /usr/bin/clickhouse
17. 0x562835ba9a7d main /usr/bin/clickhouse
18. 0x7f0804880b97 __libc_start_main /lib/x86_64-linux-gnu/libc-2.27.so
19. 0x562835c131ca _start /usr/bin/clickhouse -
arrayReduce('max', arr)
-
Подскажите - параметры ZK автоподгружаемы или надо принудительно перезапускать сервер? -
перегружать
-
спс
-
подскажите, что-то дополнительное необходимо конфигурировать для настройки автоудаления партиций?
сконфигурировал так, но автоудаление не работает:
`month` Date DEFAULT toDate(date)
TTL month + toIntervalDay(25)
ClickHouse server version 19.16.3 revision 54427 -
Joined. -
нужно именно автоудаление партиций? или удаление записей старше 25 дней? TTL умеет и то и это. Удаляется раз в сутки.
-
Проблема решилась. В конфиге с задачей к копиру ссылался на MV. Нужно указывать именно имя таблицы, например '.inner.mv'.
Вообще, если mv создан нормально, то такой проблемы не встретите) -
не принципиально
-
вот это да (удивление)
-
мне нужно, чтобы это работало :)
-
почему это удивительно, в чём разница механизмов?
-
дроп партиции стоит 0, удаление записей стоит очень дорого.
Дроп партиции сносит партицию целиком, т.е. ждет пока все записи в партиции достигнут over TTL, удаление записей точечно мержем удаляет некорые записи из партиции. -
тогда удаление партиции нужно
-
MergeTree now has an additional option ttl_only_drop_parts
-
для aggregatingmergetree тоже отработает добавление параметра?
-
для все движков семейства
-
если я правильно понял - параметр влияет только на способ удаления устаревших данных?
-
да
-
как быть с тем, что у меня не работает это автоудаление в принципе?
-
или я чего-то не понял?
-
ClickHouse/ClickHouse
ClickHouse is a free analytics DBMS for big data. Contribute to ClickHouse/ClickHouse development by creating an account on GitHub.
-
Добрый День. К сожалению поздно узнал про данную встерчу.
Материалы с митапа выкладываться будут?
Можно будет как-нибудь их получить, если ты не сотрудник яндекса? -
А есть трансляция? -
Я записался но будильник не сработал ((((
-
А можно пойти на встречу за тебя, представившись Сергеем Степановым? ))))
-
Хрен! Я опоздаю ))) Но буду позже )
-
Да, видео на YouTube, слайды на GitHub
-
ОКей. Спс. Буду ждать ссылки
-
А так вообще можно? Использовать обычные аггрегации в движке AggregatingMergeTree? 🤔
min(created_date) AS min_created_date, -
Joined. -
Joined. -
https://www.youtube.com/watch?v=mUawpkaObJA
гоу на Московский Митап =) в прямой эфирClickHouse митап МоскваПродолжение: https://www.youtube.com/watch?v=16ukmxo0HOI
-
первая тема походу будет вообще огонь про прогнозирование временных рядов
-
Joined. -
у меня чот не работает (((((((
-
походу ровно до начала работал стрим 🙂
-
Прямая трансляция ClickHouse митапа в Москве: https://www.youtube.com/watch?v=5cAf6s2Q4iE
-
None
-
-
ссылка другая
-
-
а что одинаковые ссылки ? ))))))
-
надо в Канал зайти и там другая ссылка будет
-
Кажется еще и тем что у него нет проблем блочного хранения как у MV. Мержится все независимо от блоков и тп.
-
Вопросы из чата можно задавать?
-
лучше в youtube
-
Joined. -
Коллеги, глупый вопрос, а что будет делать ClickHouse, если в bf индексе указать дробное количество хэш функций?
-
create table test_table
( x Int64,
cnt UInt32,
min_ts SimpleAggregateFunction(min, UInt64) ,
max_ts SimpleAggregateFunction(max, UInt64)
engine = AggregatingMergeTree() order by x;
insert into test_table values (1,1,1,1);
insert into test_table values (1,1,2,2);
optimize table test_table final;
select * from test_table; -
хуже) чат отключен, да и сама трансляция уже тоже) -
всё что связано с яндексом, всегда с особенностями, вот например если не сказать, что нужно это закрепнуть вместо неработающей ссылки
-
то оно и не закрепнется)))
-
кто не ошибается, тот ничего не делает. А Яндекс делает очень много.
-
Joined. -
кино кончилось?(
-
-
я сглазил, простите :(
-
сглазун -
еще ссылочки с примерами программ тестовых и скриптов ждемс на гитхабе
-
каких именно скриптов/программ?
-
демострашек ваших. вы же писали проги на конференцию. вот их. или хотя бы ваши слайды
-
смотря сколько заплатишь. шутка
-
Joined. -
А какую файловую систему лучше всего выбрать для CH?
-
слайды все тут живут: https://github.com/ClickHouse/ClickHouse-presentationsClickHouse/clickhouse-presentations
Presentations, meetups and talks about ClickHouse. Contribute to ClickHouse/clickhouse-presentations development by creating an account on GitHub.
-
Лёшин — последний
-
@alexanderzaitsev
-
спасибо
-
Потому что он изначально под stateless заточен был
И даже сейчас volumes и volume claim надо уметь пользоваться
А resize volume все еще не поддерживается вроде бы -
поддерживается, начиная с определенной версии, но есть нюансы -
:-) как и в любой фиче кубов
-
Joined. -
кх в докере тормозит сильно :(
-
-
ничего не тормозит, с чего бы вдруг. Просто надо волумы с хоста монтировать.
-
вот тут да, к своему стыду я не помню как я делал, через волумы или нет ((((((((
-
а сколько примерно падение производительности если все правильно настроить в докере через волумы использовать в докере и напрямую на хосте?
-
кх миллион файлов может за минуту сгенерить и удалить. Конечно на виртуальных фс докера тормозит.
-
почти нисколько. это практически равноценно запуску на хосте
-
2е
-
mysql через volume ставил, конкретно так тормозил в докере.
-
clickhouse ставил, около миллиона записей, и там count() считался несколько секунд. но да, не помню как подключал (((
-
перепроверю, отпишусь. спасибо большое!!! это радует, что падения производительности не будет.
-
может, еще потестирую обязательно.
-
не зная конфигурацию сервера, дисков, параметров настроек хоста и докера сложно сказать что может быть причиной
-
нет VDS
-
т.е. вы запускали докер внутри VDS и сравнивали работу как в самом VDS, так и из докера?
-
да, есть два VDS, один помощьнее, там процев побольше, памяти побольше, SSD. запускал в докере, все сильно тормозило и сейчас выделили отдельный VDS, миинимум характеристики 1проц. 1гиг. SSD на нем установлен Clickhouse в Ubuntu все летает )
-
а вот в том, который первый - пробовали запустить в самом VDS без использования докера?
-
нет, там куча всего, не стал ставить, но он мощный по сравнению с этим вторым. к нему претензий нет вообще.
-
к конфигурации и работе.
-
но там я не хотел лишние программы ставить и все такое.
-
поэтому в докер завернул
-
а тут под это дело специально выделили там программа забирает данные в mysql, из нее в Clickhouse переливает.
-
так у вас может не докер тормозил, а сам VDS. Может и на самом VDS у вас всё тормозило бы
-
с Clickhouse метрику смотрим, все ооооочень быстро ) по сравнению с Mysql это просто космос )
-
может быть, поэтому выделю VDS и на нем потестирую на хосте и в докере.
-
для чистоты эксперимента.
-
Вкратце, потому что кубер надо уметь готовить. У нас несколько клиентов с кликхаусом в кубере умудрились потерять данные, но никто не терял данные вне кубера. Это не проблема кликхауса, это отсутствие понимания и опыта, как работать с stateless в кубере. Если он у вас есть, то вы справитесь и с кликхаусом. Оператор делает все проще и помогает избегать многих ошибок, но он не может научить. Тут либо надо шишек понабивать, либо кубер постепенно дойдет. Работа в этом направлении ведется и не малая
- 12 December 2019 (219 messages)
-
Спасибо!
-
Joined. -
Up)
-
Коллеги, глупый вопрос, а что будет делать ClickHouse, если в bf индексе указать дробное количество хэш функций?
-
Попробуй - расскажешь
-
Смотрю на тарифы яндекс облака (под кликхаус). Как ни кручу параметры, это решение оказывается дороже в разы, чем сервера в аренду. intel broadwell 16vcpu 64gb и 1тб сетевого ссд = 570 евро, в онлайне можно взять значительно более мощное железо в аренду (тот же проц, но 2 физических (40vcpu), 256ram и 3*500ssd) почти в два раза дешевле или 8 серверов на е3 с теми же 64gb и с 3*500ssd. Я что то упускаю из виду? Что то не правильно считаю? Каков кейс использования этого облака?
-
как и в любом клауде. Сервис всегда дороже. Но тебе не надо руками делать кучу всякого тулинга, чтобы гарантировать себе спокойную работу
-
Это всегда будет дороже, чем взять просто виртуалку. Не забывай, что ещё нужно 3 зукипера -
Дык ничего удивительного - облака и по сей день чудовищно дорогие выходят. Это плата за суппорт и отсуствие наличия своего железа :)
Мы в свое время с ажура свинтили, ибо ценник там оказался чуть ли не в два раза выше, чем на своем железе. -
я тоже не очень понимаю почему облачные решения должны быть дешевле железных -
Для стартапа облака дешевше как ни крути. А вот как только начинается большая нагрузка, то из облака надо бежать на свое железо. Ну или быть компанией уровня Газпрома, где бабло не считают :)
-
Плюс всякие фичи типа бэкапа кликхауса самому не так тривиально сделать
-
ага, понял, спасибо, значит смотрел правильно, просто продукт специфичный сильно
-
Чей-то специфичный? Бесплатный, однако!
-
я про облако яндекса
-
А, ну это да. Ну тут уже чисто российская специфика с чисто российской жадностью :)
-
Как говорится, сделайте альтернативный сервис более дешевле и все переедут к вам:)
-
Joined. -
Не очень правильный рассчет. Сколько денег вы потеряете, когда будете обслуживать этот сервер? Сколько будет в принципе стоить поддержка сервера? Замена вышедших из строя дисков и памяти?
-
Если инхаус цод, сколько будет стоить подвод питания с двух подстанции, два канала связи?
-
Все, не флужу
-
если говорим про вариант с 6 машинками, то оверкост на уровне стоимости двух часов работы сисадмина в месяц, в случае проблем с железом - письмо хостеру и ожидание его замены. инхаус - это конечно вариант для совсем отчаяных
-
С арендой бареметал все упирается в наличие толковых админов. Если есть и вы в них уверены - конечно дешевле. Если надо искать и неизвестно сколько они запросят - проще купить SAAS
-
Всем привет) вопрос к людям которые понимают специфику работы кликхауса, потому что я ее не до конца еще понял) наша команда решила использовать ReplacingMergeTree для того что бы избежать дубликатов. В доке указано что схлопывание записей происходит в какой то момент времени, но в когда это произойдет никто не знает. мы решили потестить эту фичу и создали таблицу с 4млн записей половина из которых это дубликаты. мы подождали день и в таблице осталось 4млн записей, то есть дубликаты не схлопнулись. Сейчас помогает только вызов OPTIMIZE TABLE table_name FINAL, при вызове этой команды дубликаты таки удаляются. Следовательно у меня вопрос, есть ли какие то четкие промежутки времени через которые кликхаус самостоятельно начинает схлопывать данные? возможно это как то можно сконфигуририровать?
-
дык вот именно, что не mysql, за год полета вопросов вообще как то не возникало... вот прям очень хочется саас, чтоб не думать ни о чем, но как начну примеряться, получается, что это прям в разы дороже и остаюсь жить в каменном веке с арендованным железом
-
четких промежутков нет, есть даже кейсы, когда схлапывание не произойдет в принципе (данные в разных партициях), мы используем щедро присыпав агрегациями типа argMax
-
окей, то есть рабочий вариант это использовать таблицу с дубликатами, и доставать из нее данные в агрегированном виде?
-
у нас используется так, да. т.е. таблица типа test (a UInt32, b UInt32, ver DateTime DEFAULT now()) ENGINE = ReplacingMergeTree(ver) ....
пишем в нее insert into test (1,2) дополняем insert into test (1,12)
выбираем типа select argMax(b,ver) from test where a=1 -
понял, спасибо за совет)
-
конечно практикуется, даже "как бы удаление" практикуется -
у нас типа такого
-
таблица типа data (rid UInt32, kid UInt32, deleted UInt8, dataa, datab,datac, еще 20 параметров, ver DateTime DEFAULT now())
это данные для некой сущности с определенным rid
когда надо получить что то про эти данные, выбираем
select kid, argMax(dataa, ver), argMax(datab, ver)
from data
where rid=XXX
group by kid
having argMax(deleted,ver)=0 -
соответственно в вашем случае я бы задал еще какую то сортировку и шагал limit 20, 500
-
но у нас в таких таблицах лежит не супер много данных, прямо сейчас - 2 066 507 206 записей неравномерно разложенные по 2 711rid
-
Joined. -
Коллеги, привет. Хотелось бы избежать join при запросе. Пока проблемы нет. Еще Проектируем структуру.
Есть большой лог с инфой об активности пользователей, часть данных будет заноситься сразу в clickhouse, а другая часть (там длительная обработка до суток) должна потом дополнить тот же лог. Пока в голове две отдельные таблицы с оперативной и неоперативной инфой, а затем join при select, но хотелось бы этого избежать. -
может быть можно использовать словари? или сущностей прям оч много?
-
может скажу глупость, но можете попробовать создать одну таблицу в которую будете записывать записи а потом обновлять (дополнять) их когда остальная часть информации будет приходить. тогда можно будет избежать джоина
-
Не много
-
ну или да, как вариант - одна таблица для уже готовых строк (к которым приехали все данные), вторая - временный буфер на период ожидания, туда пишем не полные данные и дропаем партиции по мере подвоза досчитанной статистики и переноса данных в постоянное хранилище
-
если укладывается в механику словарей, то совсем отлично, они крутые
-
при записи добавить еще поле geohash, и по нему делать фильтрацию предварительную :) -
redis вроде похожий подход использует
-
Читать нужно сразу все, там где пока нет данных - не страшно
-
чтобы читать все - наверно можно сделать union all или таблицу с движком мердж https://clickhouse.yandex/docs/ru/operations/table_engines/merge/
-
а какие у вас объемы, и что для вас «тормозит»?
-
я сейчас выполнил запрос как у вас на 2млрд записей - 1.5 секунды
-
который с условиями на координаты
-
а ну у вас получается еще и таблица не распределнная судая по коду
-
count() по пользователю - 1сек
-
у меня только пользователи интовые
-
Так и получится, если поле учавствет в сортировке
-
у меня данные шардируются по пользователю, так как шарда 3шт, то видимо самый пессимистичный сценарий - это 333 секунды)
а запросы к базе по id пользователя будут стандартные? если да, то может имеет смысл посмотреть в сторону MatView? -
Joined. -
MatView материализует данные при инсертах, это обычный view просто сохраняет запрос, а матвью физических их запишет в таблицу в нужном вам виде
-
тип атрибута LowCardinality(String) для hashed словаря можно указывать? если да - имеет ли смысл? -
Доброго утра. Я наткнулся на проблему, что date_time_input_format = 'best_effort' почему-то не помогает распарсить валидный iso8601 2019-12-12T10:32:32+01:00. Кто-то решал подобную проблему?
SELECT toDateTime('2019-12-12T10:32:32+01:00')
Code: 6. DB::Exception: Received from localhost:9000. DB::Exception: Cannot parse string '2019-12-12T10:32:32+01:00' as DateTime: syntax error at position 19 (parsed just '2019-12-12T10:32:32').
если убрать +01:00, то работает -
Если таблица реплицируемая, то для операций с нею нужны ЗК
-
Попробовал и он не ругнулся) попробовал по ошибке. Теперь интересно, что же там произошло и к чему привело
-
ты делаешь on cluster а это редестрибьютед запрос -
а, так ведь on cluster. Это создаёт таску в ZK
-
ок, нашёл ответ. toDateTime использует не тот же самый парсер, что и при вставке. Если сделать, как в тестах, то работает
CREATE TEMPORARY TABLE test (d DateTime) ENGINE = Memory;
SET date_time_input_format = 'best_effort';
INSERT INTO test VALUES ('2018-06-08T01:02:03+01:00');
SELECT toTimeZone(d, 'UTC') FROM test; -
они не должны быть дешевле, они должны не быть ДОРОЖЕ в РАЗЫ, как сейчас
-
ON CLUSTER - значит сам запрос будет положен в ZK и при репликации запустится на репликах
-
Joined. -
Добрый день! Есть ли в clickhouse возможность написания пользовательских функций либо процедур? Если да, то буду благодарен за ссылки на примеры написания их
-
UDF нет
но такого кол-ва функций и модификаторов какое есть в CH я не видел ни в одной другой БД
можно слать Pull Requests на "свои функции" если C++ знаете -
Спасибо Вам за ответ. К сожалению, С++ не владею.
-
тогда советую читать доку
https://clickhouse.yandex/docs/en/query_language/functions/
https://clickhouse.yandex/docs/en/query_language/agg_functions/
https://clickhouse.yandex/docs/en/query_language/agg_functions/combinators/
тут очень много вкусного -
Ок. Спасибо
-
select parseDateTimeBestEffortOrZero('2014-09-21T09:44:28+0400')
2014-09-21 05:44:28 -
Так теряется инфа о таймзоне
-
то есть, toDateTime намеренно не использует эту опцию. Спасибо за пояснение
-
У меня всё так же ReplicatedMergeTree
Ругается так
DB::Exception: Too many parts (300). Merges are processing significantly slower than inserts.
Сейчас вообще ничего не пишется в базу, но она всё равно ругается. -
большая нагрузка на CPU
-
Joined. -
А что в таблице system.merges?
-
на одной из машин много записей, на других не
-
internal_replication в true поставить может быть?
-
Можете поискать поиском по чату свою ошибку.
Почти наверняка вы сделали кучу частых вставок, у вас куча партов, которые не успевают мержится. Поэтому too many parts и CPU нагруженный. -
Joined.
-
подскажите плиз clickhouse-copier я запускаю вот такой строкой
clickhouse-copier --config-file=zookeeper.xml --task-path=/copier/task1
внутри файла конфига копира я указал 10 воркеров, это означает я пять раз должен вызвать яндекс копир ? или он сам поспаунет внутри себя 10 воркеров ....
работает очень медленно гдето 1 гигабайт в 10 минут, это нормально ? -
а если мне надо перелить 20ТБ ?
-
+ дополнительно
кто как бэкапит кликхаус ? -
для чего это? есть ощущение что это легко решается ext.dictionary
-
freeze rsnapshot
-
Joined. -
internal_replication -- зависит от способа репликации.
Если у вас replicated таблицы (репликация через зукипер), internal_replication обязательно должен быть = true.
Если у вас "дешевая" репликаця, и репликацию делает distributed таблица то internal_replication обязательно должен быть = false
При internal_replication = false , при записи в distributed таблицу, distributed таблица вставляет во все реплики, таким образом достигается подобие репликации, без гарантий целостности.
При internal_replication = true , при записи в distributed таблицу, distributed таблица вставляет в одну из реплик, реплика так как у нее движок репликейтид, реплицирует уже сама (internal_replication). -
Ок, я думал я и синхронную репликацию вкручу и фоновую и будет вообще отлично. Сейчас поменяли на true.
-
TestTable для чего? там для лежат какие-то признаки для диапазонов?
-
что? Вы прочитали что я написал?
Зукипер есть? как вставляете ? в дистрибьютид? -
Всё есть, все норм. Вставляю в дистрибуетд, фолз поменяли на тру.
-
Теоритически можно написать UDF даже на баше и сделать ее executable словарем
-
Интересно
-
я понял, нужны типа дни, ясно. Это проще на клиенте нагенерить. у range есть ограничение на 100млн в блоке, я наступал
-
сделать вторую таблицу отсортированную по uuid (да положить все данные еще раз) (можно с помощью MV)
посмотрите на geoToH3 , уберовские шестиугольники h3 (для первой части) -
можно джойн (наверное asof джойн хорошо подходит), можно групбай, что делать если значений таких много?
-
если строк которые на 30мин меньше больше чем одна?
-
я понял, тут в любом случае декартово произведение получается, не решить эту задачу в КХ, не хватит памяти
-
а что, сильно тормозит? сколько данных
может MergeTree вместо Log?
можете также попробовать что-то типа колонок с UTM зонами или Slippy Maps (tiles) сделать и по ним дополнительно фильтровать
greatCircleDistance кстати недавно в 3 раза ускорили, правда вроде бы еще не в релизе (в changeloge нет) но в мастере https://github.com/ClickHouse/ClickHouse/pull/7307Speed up greatCircleDistance function with test by stavrolia · Pull Request #7307 · ClickHouse/ClickHouseI hereby agree to the terms of the CLA available at: https://yandex.ru/legal/cla/?lang=en For changelog. Remove if this is non-significant change. Speedup greatCircleDistance function with the code...
-
now() - interval 1 hour
-
у вас 200ТБ из трех полей? Вам вторую таблицу можно сделать узкую, просто uuid и поля указатели на первичный ключ первой
ну и конечно КХ это не про точечный поиск по uuid. -
А у вас там вроде нет условия на партиции или есть ?
-
первое можно ускорить подходящим геохешом, если что-то известно про радиусы, второй запрос по той же таблице нормально работать не будет.
-
КХ быстро делает group by. Если аналитических запросов не будет, тогда КХ тут вообще не к месту, и тогда кассандра.
-
Какой именно sql сервер? А то mysql - тоже sql server так-то.
-
про db2 и informix тоже никто не пишет 🙁
-
и adabas, тоже !!!
-
оно же ms -- на линукс не станет а винда это уже тень линукса
-
-
это для галочки сделано и дата 11/04/2019
-
кто не знает 11/04/2019 - это ноябрь а не апрель 2019
-
не от большого ума в докеры крутить
-
Есть mssql на linux. И в докере тоже есть. С мостом разобрались ?
-
да с мостом разобрались но мой мост вроде как ронят мой посгрес -- но не потверждено
-
если знаешь все подводные камни -- то респект а не профи в докерах делать не чего. особенно субд на докерах
-
успокойтесь уже, освойте докер, даже у УМПУТУНА монга в докере на проде.
-
кто он такой. я работал в топ1 банке одном -- знаю как там -- там даже faq написали админы OpenShift что базу держать отдельно от докеров
-
😁
-
IT-шник не знает Умпутуна? Может и бобука не знаешь? и доброго Лешу?
-
не знаю но гугл сказал что блоха - http://lurkmore.to/%D0%A3%D0%BC%D0%BF%D1%83%D1%82%D1%83%D0%BDУмпутун
Умпутун (евр. קהעקמקט, он же Umputun и Евгений Самуилович Борт, он же Человек и микрофон, как сам признался в «Радио-Т № 137») — второй отец российского подкастинга, жыдопоцкастер, колбасный эмигрант, уезжант из России в Израиль, уезжант из Израиля в Пиндостан, пишущий невыдуманные рассказы из своей жизни, различные рассуждения и наблюдения, немного компьютерных разговоров, которые, впрочем, зачастую сводятся к дифирамбам эпплу и гуглу, совсем чуть-чуть политики и порой немного юмора. Живёт в Напервиле, пригороде Чикаго. Является ЕРЖ и не стесняется этого. Родился 16 ноября 1969 года, женат, есть сын и дочь.
-
Короче, я лет 7 слушаю https://radio-t.com/
не представляю что кто-то может не знать Умпутуна. Моя бабушка знает что у Умпутуна монга. -
спасибо что просвятил но в россии это никто он - даже вики о нем не знает
-
Кто все эти люди?)
-
Вы мне лучше скажите, ни у кого не было после недавних апгрейдов частых падений по памяти?
-
На запросах без сэмплинга
-
Субкультуры субкультуры а я маленький такой.
Скоро будут думать, что инет путин придумал -
логи хоть покажи ошибки - а то без предметно
-
Падение
По нехватке
Памяти
Я не спрашивал, люди помогите падает хз что, я спросил, ругается ли у кого-нибудь на память -
ответ - нет но если сомнение - нужно иметь 2 стенда со старым ПО и новым
-
или уметь откатываться
-
сегодня видел такое сообщение https://github.com/ClickHouse/ClickHouse/issues/8039
но вообще никаких известных leak сейчас нету -
Вот есть подозрение, что не leak, а, скорее деградация. После апдейта тяжёлые запросы без сэмплинга валятся просто влёт. Будем разбираться
-
-
нужно настраивать конфиги -- у меня кх на 6 гиг озу летает
-
Ого. А серверов сколько?
-
*
-
виртуалка слабая одна -- там 100к записей в таблицах -- суть не в этом нужно настраивать и я настроил
-
Рад за тебя, если подскажешь, что делать когда distributed валится на горке серваков с типа 64gb (условно) с меня пиво
-
я рецепт дал -- config.xml и user.xml правь - сделай сжатые ResultSet и с memory уреж -- под 48гиг буфер и вуа ля
-
Это не про наш случай
-
валится с OOM?
валится инициатор или шарды тоже?
что в запросе? group by ? JOIN ? order by ? Low Cardinality ? -
Не оом
Group by есть
Order by нет
Подозревали джойны, подзапросы
Исключили подзапросы и джойны.
Завтра дам больше данных -
Но падения начались сразу после апгрейда
-
1) стейдж есть 2) веская причина была 3) наверное надо держать стейдж со всеми возможными edge case, спасибо за интересное мнение
-
19.5.2
-
наврал. прошу прощения, 19.17.4
-
тебе там нигде не жмет? я пришел спросить есть ли у кого что-нибудь про падения кх после недавних апдейтов, ты рассказал всю философию своего стартапа, может не надо больше так делать?
-
Joined. -
можем в другом чате встретиться, я с радостью выслушаю твои советы
-
но не здесь
-
Вы просто не в курсе, не пишите за всех
-
Давайте, может, лучше по делу тут, а то ощущение, что сижу как на Пикабу :( -
(если что, еще раз, случайно наврал, не на тот сервер посмотрел, не 19.5, а 19.17.4)
-
++
-
вот кажется да. в духе "хотел взять 4 гига, но запросил 4.5) - я с телефона поэтому точных сообщений об ошибках не могу дать
-
(я с телефона потомучто кх отобрал сервера, потом домашний комп, потом ноут, потом планшет, скоро придется писать с холодильника)
-
"запросы, которые спокойно пролетали, теперь валятся по памяти."
-
Joined. -
быстрый гуглинг не помог, а есть ли лимит на кол-во таблиц в кх ? как он перенесет создание пары тысяч таблиц каждый день ?
-
спасибо
-
Я - 13 December 2019 (327 messages)
-
Кто нибудь грузил данные из гугл аналитикс в кликхаус Без использования сторонних сервисов типа owox ?
-
Есть таблица, которая содержит столбцы: date, phone
Как сделать запрос, который покажет count(), где phone в таблице встречается лишь один раз? -
Eugene Zakharchenko, [13.12.19 08:48]
select count(*) from (select phone, count(*) from table group by phone having count(*) = 1) -
Подскажите, пожалуйста, как всё-таки выбирать последнюю стабильную версию КХ в докере (для обновления старой). Не пойму - если зайти на докерхаб то последняя это же 19.17.5.18? Или жмакаем в latest, смотрим что там написано 19.17.2.* и берём в итоге 19.17.2.4 из последних апдейтов? ) Прямо вот новье не нужно - нужно чтобы десяток тачек не раскорячило)
-
-
Доброе утро. Эта статья будет полезна всем, кто использует ClickHouse как хранилище для метрик графита
https://habr.com/ru/post/479564/ClickHouse + Graphite: как значительно уменьшить потребляемое место на дискахПриветствую, habr. Если кто-то эксплуатирует систему graphite-web и столкнулся с проблемой производительности хранилища whisper (IO, потребляемое дисковое прост...
-
😃👍
-
Open source — наше всё. Заявление директора по распространению технологий Яндекса Григория Бакунова, которое отражает позицию всей компании – https://yandex.ru/blog/company/open-source-nashe-vse
События последних дней заставляют нас заявить свою позицию по новостям вокруг проекта Nginx. Мы в Яндексе считаем, что современный интернет невозможен без культуры open source и людей, которые инвестируют своё время в разработку программ с открытым кодом. -
ну если YDB выложат в OpenSource то я поверю что позиция обоснована, все исходники не надо, но вот wal-e, odyssey, tank, allure
яндекс много чего выкладывает -
juggler и monrun!!!
-
+1 и гугл тоже не все
-
Пардон, но Вы путаете яишницу и кое что иное. CH был создан в рамках Метрики.
-
То, что "была дискуссия, открывать ли исключительно внутренний проект, созданный в процессе исполнения рабочих обязанностей, в opensourсe или нет" против "в рабочее время начал собственный проект", как минимум
-
И это как раз касается "работает, пока..."
-
передаются куски партиций, то есть, минимально возможный трафик
-
спасибо, я удаляюсь из этой дискуссии
-
нет, лучше в 3 независимых. ZK - точка отказа
-
zookeeper же довольно чувствителен к пингу
-
а как по опыту, какие машинки лучше использовать под ZK? достаточно ли впски с одним ядром и 4 гигами памяти или надо что то посерьезнее, если предположить, что вставок не так много, в основном все же чтение
-
и всё же, является точкой отказа всего кластера
-
сомневаюсь, такой throughput ни к чему. А вот латенси - да, он должен быть, по возможности, снижен.
Но Вы должны понять компромис. Либо кластер имеет бОльшую отказоустойчивость за счёт разнесённости, либо при уходе одной из геолокаций Вы согласны терять возможность записи глобально на всём кластере -
А где написанно , что нужно 10g?
-
Вот тут пишут
https://clickhouse.yandex/docs/ru/operations/tips/#set -
обычно на самом деле. выделенное волокно
-
having же выполняется после группировки. можно как -нибудь сделать что-то вроде группировки по дням, но для полей ,которые в таблице единичны? пытаюсь провернуть с toStartOfDay()
-
а, ну так то да, дороговато
-
пардон, это же не про ZK. это про межнодные сети
-
10g это скорее между репликами такая сеть должна быть , а для ЗК такой не надо
-
В ЗК данных столько много не закачивается . Там самый большой объем - это информация о партах
-
не подскажите, что хранится в папке cores?
-
она разрослась до 90 гигабайт, и не изменяется
-
Там дампы, которые при падении делает . Поищите в чатике.обсуждали пару дней назад
-
Ребят, подскажите, где можно найти слайды с последнего митапа?
-
добрый день. есть мердж таблица, работала, работала, сейчас начала выдавать ошибку
Code: 81. DB::Exception: Received from localhost:9000. DB::Exception: Default database is not selected.
скорей всего
ENGINE = Merge(currentDatabase(),
как лечить? -
SELECT currentDatabase()
┌─currentDatabase()─┐
│ default │
└───────────────────┘ -
спасибо
-
Пытаюсь получить количество, разделенное по дням, где phone встречался в таблице более 50 раз. Норм запрос?
-
DB::Exception: There is no supertype for types String, LowCardinality(Nullable(String)) because some of them are String/FixedString and some of them are not (version 19.17.4.11)
а почему это нет супертипа??? разве LowCardinality(Nullable(String)) не является супертипом над String? -
всем хай
-
обьясните пожалуйста
<internal_replication>true</internal_replication> -
я никак не пойму что это значит
-
да
-
все вроде врубился
-
-
я правильно понимаю, что лучше использовать true и писать рандомно в любую реплику через nginx например, чем в distributed с false
-
или тогда балансировка не будет работать на write
-
и на select
-
Нет не правильно. Есть два способа репликации. Один без replicated таблиц второй с replicated. Сначала нужно определиться какой вам подходит. После этого все очевидно. Если выбрали 1 -- false , 2 -- true.
-
мне нужна и репликация и балансинг
-
🤦♂
-
Есть 2 способа репликации
-
в данный момент я сделал
3 сервака с реплицируемой таблицей,
поверх сделал distrubuted
и пишу и селекчу из дистрибьютед -
это неправильно ?
-
интернал репликэйшн false соответственно
-
Если движек replicatedmergetree то true
иначе пиздец котенку
Извиняюсь за мат -- но я устал. -
Joined. -
так а distributed поверх нужна ?
-
для селектов
-
я вас понимаю извините, но у яндекса с документацией совсем труба ... нихера непонятно
-
да
-
то есть в моем случае мне стоит еще просто включить внутреннюю репликацию
-
и запись и селект через дистрибутед
-
но в доке написано, что при internal_replication true оно будет писать только в одну реплику
-
а я хочу достигнуть баланса селектов и врайтов
-
и реплицироваться уже средствами внутренней репликации движка
-
если например я не буду писать в реплицируемую таблицу вообще, а только в дистрьютед, false ?
-
и он будет распараллеливать запросы
-
и данные будут консистентны
-
?
-
труба у нас. У яндекса все хорошо.
Давайте начнем с простого. Как это работает.
Вы пишете в distributed, она смотрит на параметр internal_replication -- он true -- ага решает distributed, надо писать в любую реплику, дальше сами внутри replicated таблицы все сделают. Ура win.
Вы пишете в distributed, она смотрит на параметр internal_replication -- он false -- ага решает distributed надо писать во все реплики (там внутри не умеют реплицировать). Пишет в три реплики и все умножается на 3 в случае если там была replicated. -
Вроде кликхаус никогда не обеспечит строгой консистентности. Он ее будет постоянно восстанавливать, но блокировать до полного восстановления консистентности они никогда ничего не будет. Это буква А в САР-теореме.
-
какой тогда смысл в false я не понимаю, если мы не достигаем балансировки с помощью дистрьютед
-
аа
-
я догнал, сори ))
-
кто вообще говорил про чтение, мы еще дошли туда. internal_replication это про запись через distributed
-
последнее ваше изменение меня привело в чувства))
-
😊
-
получается в случае репликации всегда пишем в одну реплику, без вариантов
-
если нужно просто во все реплики писать без реплицируемых таблиц тогда false
-
у вас 1 шард. Вам можно не использовать distributed вообще. Балансировать ngnix и писать и читать из любой реплики.
-
да я к этому и вел
-
благодарю вас))!
-
наверно дистрибьютед таблица может помочь в случае серьезных селектов
-
из дистрибутед читать лучше, хз почему. Он как-то сгребает со всех реплик записи
-
👆🏻
-
есть один вариант использования когда distributed нужна для одного шарда.
это распараллеливание select между репликами (max_parallel_replica >1).
НО нужен sampling у таблицы, и max_parallel_replica работает очень редко. Это нужно специально это все проектировать. И точить запросы под max_parallel_replica. -
ага понятно
-
нет. По дефолту нет. У вас точно нет.
-
параметри load_balancing задает правило как выбирать реплику при select. Но это больше про другие шарды. Из-за параметра prefer_localhost_replica = true, в своем шарде distributed будет всегда читать локально на своей ноде.
-
А можно ли разделить инстансы, так чтобы было 3 шарда, по 2 реплики на каждый, а запись и чтение шли всегда на определённые 3 пока они не упадут? -
да я как раз убрал его
-
и max_parallel_replica 3 сделал по кол-ву серверов
-
либо на все либо на одну реплику я так понял
-
я вот одного только не догоню, я сделал репликейтед таблицы, поверх сделал дистрибьютед, при этом интернал репликейшн фолс у меня стоял, я заинсертил данные в дистрибьютед таблицу на 60 гиг ... и они все засинкались нормально никаких конфликтов не было
-
Если у меня distributed над replicated и внутренняя репликации, то данные пишутся в 3 шарда, потом в фоне реплицируются в другие 3.
Мне бы хотелось иметь повторяемые результаты select до момента репликации -
все у вас будет, как я понимаю
-
Так нет
-
Репликация асинхронная, а чтение идёт с реплики, которую кх сам выбирает
-
по умолчанию вроде prefer_local_replica
-
что то такое
-
Я так и не понял, как она работает на шардах не инициаторах. Может тонкости какие?
-
Всем привет. Могу ли я соединить два состояния аггрегированых функций? Что-то подобное к groupUniqArrayState(state1, state2) -
распаллеливание работает только на таблицах с sample by
-
да, конечно, настроить load_balancing = In order и прописать реплики в нужном порядке в описании кластера.
у меня два географически разнесенных dc. Я называю линукс хосты таким образом, чтобы ходить в реплики в своем dc при load_balancing= Nearest hostname -
да. Нету. Из-за дедупликации последних 100 блоков.
distributed посылает в реплику1, реплику2 и реплику3 одно и тоже
реплика1 вставляет и пишет в зукипер контрольную сумму блока.
реплика2 проверяет что блок уже есть в зукипере (в ста последних) и не вставляет и скачивает новый парт с реплика1
реплику3 проверяет что блок уже есть в зукипере (в ста последних) и не вставляет и скачивает новый парт с реплика1
т.о. мы получили оверхед по сети и цпу.
Раз в полгода приходят люди и жалуются на дубликаты из-за этого. Почему?
реплика2 выключена или потеряла сеть.
distributed посылает в реплику1, реплику2 и реплику3 одно и тоже
реплика1 вставляет и пишет в зукипер контрольную сумму блока.
реплика3 проверяет что блок уже есть в зукипере (в ста последних) и не вставляет и скачивает новый парт с реплика1
через минуту сеть восстановилась
реплика2 проверяет что блока нет в зукипере (в ста последних) вставляет и скачивает новый парт с реплика1
рассылает вставленное на реплику1 и реплику3 через репликацию -- insert умножился на два -
insert quorum
-
сложить плюсом
state1+state2 -
пока нет.
полноценные гранты почти готовы, я так понимаю на 99% -
Это уже синхронная репликация получится
-
eventual consitency -- что вы хотите?
доезжает за 1сек в среднем. Какая разница, ну сделаете вы два селекта с одной реплики и тоже получите разный результат. -
и да internal_replication влияет на DDDL (on cluster). Приходится делать еще один кластер который используется чтобы делать alter для distributed, -- это баг, у меня есть тикет -- его исправят.
-
можете поподробнее, я кажется в что то такое щас уперся
-
┌─host──────────────┬─port─┬─status─┬─error─────────────────────────────────────────┬─num_hosts_remaining─┬─num_hosts_active─┐
│ click2.admline.ru │ 9000 │ 48 │ Cannot execute replicated DDL query on leader │ 2 │ 1 │
│ click3.admline.ru │ 9000 │ 48 │ Cannot execute replicated DDL query on leader │ 1 │ 1 │
└───────────────────┴──────┴────────┴───────────────────────────────────────────────┴─────────────────────┴──────────────────┘
┌─host──────────────┬─port─┬─status─┬─error─────────────────────────────────────────┬─num_hosts_remaining─┬─num_hosts_active─┐
│ click1.admline.ru │ 9000 │ 48 │ Cannot execute replicated DDL query on leader │ 0 │ 0 │ -
оно ?
-
fyi
-
на каком запросе
-
alter table ontime_local on cluster magic add column test2 String;
-
ontime_local -- дистрибьютид?
-
нет
-
а на дистрибьютед такая фигня
-
┌─host──────────────┬─port─┬─status─┬─error───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─num_hosts_remaining─┬─num_hosts_active─┐
│ click2.admline.ru │ 9000 │ 371 │ An error occured before execution: Code: 371, e.displayText() = DB::Exception: Table 'ontime' isn't replicated, but shard #1 is replicated according to its cluster definition (version 19.17.2.4 (official build)) │ 2 │ 0 │
│ click1.admline.ru │ 9000 │ 371 │ An error occured before execution: Code: 371, e.displayText() = DB::Exception: Table 'ontime' isn't replicated, but shard #1 is replicated according to its cluster definition (version 19.17.2.4 (official build)) │ 1 │ 0 │
│ click3.admline.ru │ 9000 │ 371 │ An error occured before execution: Code: 371, e.displayText() = DB::Exception: Table 'ontime' isn't replicated, but shard #1 is replicated according to its cluster definition (version 19.17.2.4 (official build)) │ 0 │ 0 │
└───────────────────┴──────┴────────┴─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴─────────────────────┴──────────────────┘ -
alter table ontime on cluster magic add column test2 String;
-
А КАКАЯ? какой движек?
-
репл
-
репмерджтри
-
ну значит какая-то другая ошибка, смотрите логи сервера
-
>DB::Exception: Table 'ontime' isn't replicated, but shard #1 is replicated according to its cluster definition
просто опишите еще один кластер XXX где все ноды это шарды и internal_replication = false и исользуйте XXX только для alter-в дистрибьютид таблиц. -
я использую.
>то с какого из текущих он будет стягивать данные для ReplicatedMergeTree
из обоих
>и можно ли в таком случае указать конкретно с кого именно синхронизировать данные?
нет -
хм у меня альтер и на репл табл не работает
-
Cannot execute replicated DDL query on leader
-
ddl
-
Failed to execute ALTER TABLE ADD INDEX ON CLUSTER · Issue #6704 · ClickHouse/ClickHouse
CREATE TABLE test ON CLUSTER default ( timestamp DateTime, field UUID ) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/db/test', '{replica}') PARTITION BY ...
-
короче с DDL беда
-
ну значит какая-то другая ошибка, смотрите логи сервера.
может поле уже есть или еще что -
багу скинул
-
выше
-
Cannot execute replicated DDL query on leader
это значит что не смог, почему не смог написано дальше и в логах -
в логах только вот про лидер строчка и все
-
хм ) да вы правы
-
directory for table already containing data parts - probably it was unclean DROP table or manual intervention
вы правы -
я не пойму а что дают распределенные запросы в случае когда internal_replication true ?
-
если шард один
-
никакой прибыли
-
ничего
-
угу)
-
спасибо за помощь
-
вы сильно помогли
-
Товарищи, уже спрашивал, но вдруго кто ответит
Если я шарду поставлю weight=0, правильно ли я понимаю, что это будет read-only шарда? -
on cluster -- это такое хелпер, его сделали совсем недавно (по моим меркам), у меня даже исользуются версия в одном из проектов, которая его не умеет), он несовершенен пока.
-
👌🏿
-
weight=0 -- в этот шард не будет записи от distributed, он будет пустой, совсем 0 записей.
-
Мне нужно для задачи "остановить запись в эту шарду".
-
ну тогда да, подойдет.
-
Спасибо!
-
я не понял вопроса?
просто указать таг -- он совпадает с версией -- yandex/clickhouse-server:19.13.6.51
docker run -d --name some-clickhouse-server --ulimit nofile=262144:262144 yandex/clickhouse-server:19.13.6.51 -
Можно в OPTIMIZE TABLE table_name PARTITION partition_name FINAL
в partition указать диапазон? -
Я имел ввиду по какому принципу выбирать версию на которую можно смело обновиться)
-
нет. Можно нагенерить
select concat('optimize table `',table, '`partition ',partition, ';')
from system.parts
where active = 1 and table like '....' and partition like '%201906%'
group by database,table,partition
order by database,table,partition -
ну я беру ту которую тестировал 6 месяцев в стейдже и нашел проблем, сейчас 18.14.18 у меня ОК -- стейбл. 19.13.6.51 -- тестирую
-
Ок, спасибо
-
Почему? я ток порядок навожу, что наделали программисты
-
спасибо
-
-
Joined. -
Joined. -
https://www.shodan.io/search?query=%22for+clickhouse-client+program%22
гм, 1254 ноды смотрят голым 9000 в интернет, т.е. скорее всего как минимум в 100 раз больше нод в мире. Неожиданно. -
analyticsaqp -
я использую множесто дедиков по всей планете под КХ и постоянно ищу где дешевле. Так вот хецнер это самый дешевый способ собрать сервак с кучей объемных дисков, я думаю причина в этом.
там 256 GB DDR4 ECC + 15x 10 TB SATA = 259.00€.
в сев. америке за такой конфиг могут и $2k просить -
как? что? я только 1G использую
-
Посмотрите на WorldStream -
-
Гарантированный гигабит
-
За 120 евро
-
????? https://www.hetzner.com/news/traffic-limit/
какой у вас год? -
Диск в стоке SSD 120, но можно любой попросить
-
Единственный минус что они в BGP не умеют
-
Joined. -
Только могут со своей AS за анонсить одну сеть на один сервер
-
Всем привет! Разбираемся с Clickhouse, находим следующее - ClickHouse merges data part in an unknown moment of time which we can not predict (речь об CollapsingMergeTree). Можно как то это контролировать, вызывать тогда и только тогда, когда нам это нужно, без этого not predict? Спасибо!
-
Спасибо! Можем мы вообще не так понимаем как нашу задачу решить на Клике (так как первый раз его используем). Так что будем рады совету!
Расклад такой - у нас есть данные о продажах. В день к нам приходят миллионы записей, мы по ним потом считаем статистику всякую. Проблема в том, что к нам периодически приходят корректировки по этим записям, по которым мы должны либо удалить часть записей либо поменять атрибуты. Причем эти корректировки приходят много позже оригинальных записей. Раз в сутки мы хотим иметь возможность снять снепшот таблицы с последними версиями всех записей. Подходит ли нам Клик? И если да, то как лучше сделать механизм обновления данных?
Еще раз спасибо! (Не удаляйте, нам больше некуда идти). -
миллионы в день это немного, тупо перезаливайте всю таблицу целиком.
-
Joined. -
Спасибо! У нас данные приходят инкрементально через кафку, кликхаус - единственное хранилище, а суммарное количетсво данных миллиарды, так что перезалив всей таблицы нам не пойдет.
Движки таблиц смотрели, но тут интересен вопрос как долго будет проходить optimize final на миллиардах, учитвая что корректировки приходят к старым данным. -
Не очень понял. Мы продьюсим данные в кафку небольшими порциями записей, которые потом какой то консьюмер должен записать в Клик.
-
Новые + изменившиеся с прошлого раза
-
если реализовать exaclty once delivery на консьюмере и продьюсере то дубликатов не будет, транзакции гарантируют это. Просто надо понять что такое exaclty once delivery оно не тривиально в реализации.
-
можно потерять данные, но нельзя задублировать
-
потерять в смысле -- угробить брокеры / топики - до того как консьюмер прочитал
-
Еще раз спасибо! А есть где глянуть на перформанс optimize final, хотелось бы уметь оценивать время, которое будет затрачено на вот это вот все?
Причем мы хотим к началу нового дня получать уже все оптимизированное.
Из того что я понял, нам стоит действовать так:
1. Используем движок с версией для таблицы
2. Ночью вызываем OPTIMIZE FINAl
3. Делаем снепшот как SELECT FROM
4. BI работает со снепшотом, новые данные идут записываются в первоночальную таблицу с новыми версиями
5 ...
6. PROFIT ! -
Joined. -
я сразу написал, что использую только 1G
-
Как то так получилось
-
а я правильно понимаю что OPTIMAZE FINAL работает как в постгресе Vaacum FULL. пересоздавая таблицы?
-
Ну он как то мерджит таблицы по странному. Я следил за местом на диске, пока он не отожрал столько же диска сколько весит и сама таблица, размер не уменьшился
-
А можно как-то через использование версий и движка replaceMergeTree удалить запись?
Ну т.е с Sign это можно сделать, создав просто запись с флагом -1 и вызвав final -
если партиций мало то да. Все парты партиции записываются в новый парт, в какой-то момент существуют и новый парт и старые.
Все файлы / парты -- имьютабл, не изменяются. -
нет, нельзя удалить из replacingMergeTree, т.е. обычно поле типа deleted добавляют, и пишут версию с deleted=1
-
>я ожидаю что distributed таблица должна работать быстрее чем таблица
>с полными данными, но по факту даже немного медленнее
>запросы к табличкам с половинными данными работают ожидаемо ~ 2 раза быстрее
это ожидаемо для некоторых запросов. Финальная агрегация+передача по сети могут занимать больше времени -- чем агрегация на локальной таблице. -
шардинг помогает когда надо много читать с диска, т.е. ускоряется диск
-
финальную агрегацию можно выключить -- если данные шардированы как группируются
-
>подозрение что кх не понимает что можно на каждом шарде посчитать
кх не знает как шардированы данные, поэтому есть финальная агрегация -- иногда лишняя. -
>count(distinct FPatKey)
передаются естественно все distinct FPatKey -- как иначе? -
т.е. каждый шард составляет свой длинный(distinct FPatKey)
инициатор снова делает (distinct FPatKey) из двух списков с шардов
потом считает count -
--distributed_group_by_no_merge
-
КХ не смотрит при селектах на ключ шардирования, потому что ему нельзя верить. Во первых его можно менять в любое время, во вторых можно писать локально -- мимо дистрибьютид таблицы.
-
>жаль не помогло
есть разница в статистике между
select FHospital, count(),count(distinct FPatKey)
from default.Distr
group by FHospital
select FHospital, count(),count(distinct FPatKey)
from default.Distr
group by FHospital settings distributed_group_by_no_merge=1 -
чтобы в dbeaver работало set distributed_group_by_no_merge = 1 надо настроить session_id
-
а может и не работает это в dbeaver, я sqlworkbench/j использую
-
ClickHouse/clickhouse-presentations
Presentations, meetups and talks about ClickHouse. Contribute to ClickHouse/clickhouse-presentations development by creating an account on GitHub.
-
выложил
-
-
Извините, плохая шутка
-
Там 1gb памяти, проверял как без свопа работает
- 14 December 2019 (40 messages)
-
Всем привет!
Хотел уточнить, при исполнении SELECT с FORMAT JSONCompact есть ли гарантии, в каком порядке будут столбцы (то есть в каком порядке они будут перечислены в meta и в каком порядке они будут, соответственно, в data)?
Использую MergeTree, если что.
До сих пор было всё ок - возвращались столбцы всегда в том же порядке, в котором они были указаны в самом запросе после SELECT, просто хочется понимать, можно ли быть уверенным, что всегда так будет. В документации и в этом чате ничего по этому поводу не нашёл -
Спасибо!
-
После изменения файлов конфигурации обязательно грузить сервер? Есть ли возможность применить новый конфиг без этого ?
-
Смотри в олологи клика. Он там пишет, применил ли настройку в онлайне или нет
-
Подскажите плз. Есть порядка 70млн сущностей, для них надо построить сводную статистику по таблице в 10млрд строк.
Мне нужны несколько полей, типа idсущности, число записей по одному критерию, по другому и тд. И одно поле - с большой порятнкой sum(multiif(...))
1. выполняю insert into tmptable select ..., получаю результат, где для некоторых строк (видимо, особо больших) в калькулируемом поле значение = 0, все остальные данные в порядке.
Странно.
2. Выполняю select * from (select ... where id=проблемная сущность) - все ок, в калькулируемом поле значение, похожее на правду
3. Выполняю insert into tmptable select ... where id=проблемная сущность - все ок, в калькулируемом поле значение, похожее на правду
Повторяю полную ставку (1) - опять ноль в проблемном поле.
В какую сторону копать? Ошибок ни в консоли, ни в логах не видно. -
разобрался, поменял тип с uint32 до uint64 и вроде бы все стало нормально.
-
А бота от спама тут все ещё нет?
-
!report
-
@blinkovivan реклама! забань плиз
-
Done
-
Joined. -
Добрый день! Работаю на системе с 1 ГБ памяти, возникают существенные проблемы с памятью при заливе данных в таблицу, как в шеле через
| clickhouse-client --query "INSERT INTO ... FORMAT CSV"
так и при копировании/создании таблицы в клиенте через
CREATE TABLE ... AS SELECT ...
Либо память просто кончается и падает исключение, либо упираюсь в любой (доступный в рамках RAM) лимит на пользовательский запрос и падает исключение, либо приходится делать здоровый swap и все тормозит.
Это проблема имеет решение? Поменять какую-то настройку, класть данные кусками? Почему вообще при поточном не рекурсивном заливе так происходит? -
Кеш марков по умолчанию 5гб
-
Спасибо, подкручу. Но на 8ГБ системе те же проблемы были
-
Но 1гб это нереально мало. Можно уменьшать max/min_compression_block_size, max_insert_block_size.
-
Документация советует вместе с mark_cache_size уменьшать mark_cache_min_lifetime, буду пробовать
-
Спасибо большое!
-
У вас нет проблем с использованием FORMAT TEMPLATE по http?
-
сам и отвечу, относительный путь для настроек FORMAT TEMPLATE (format_template_*)считается от format_schema_path
и если там пусто, то прилетает этот seg fault
https://github.com/ClickHouse/ClickHouse/issues/8172ClickHouse process crashes because of seg fault in case of invalid query from JDBC driver · Issue #8172 · ClickHouse/ClickHouseClickHouse Server: 19.17.5.18 rev. 54428 JDBC Driver: 0.2.2 Query: exists some.some Executing the query above using JDBC driver causes ClickHouse to crash. Stack: 2019.12.12 05:22:38.970810 [ 50 ] ...
-
Joined. -
Ребята
Плачу сумму денег тому, кто поможет составить запрос:
user_id date action_type_id
1 14-12-2019 00:00:01 1
1 14-12-2019 00:01:02 0
2 14-12-2019 00:05:00 1
2 14-12-2019 00:015:00 0
3 14-12-2019 00:05:00 0
4 14-12-2019 00:05:01 1
Result:
subscribers: 3 (1,2,4) где action_type == 1
unsubscribers: 3 (1,2,3) где action_type == 0
spammers: 1 (1) где diff(date) > 60сек
unsub_fr_sub: 2 (1,2) где есть action_type 1 и 0
Особенно интересуют spammers и unsubscr_from_subscr -
-
что такое diff(date) > 60сек ?
-
больше похоже на опечатку и действия не должны быть чаще раза в минуту
-
create table Z Engine=Memory as
select 1 user_id, toDateTime('2019-12-14 00:00:01') date, 1 action_type_id union all
select 1, toDateTime('2019-12-14 00:01:02'), 0 union all
select 2, toDateTime('2019-12-14 00:05:00'), 1 union all
select 2, toDateTime('2019-12-14 00:15:00'), 0 union all
select 3, toDateTime('2019-12-14 00:05:00'), 0 union all
select 4, toDateTime('2019-12-14 00:05:01'), 1 ;
SELECT
sum(subscriber) AS subscribers,
sum(unsubscriber) AS unsubscribers,
sum(spammer) AS spammers,
sum(unsub_fr_sub) AS unsub_fr_subs
FROM
(
SELECT
user_id,
max(action_type_id = 1) AS subscriber,
max(action_type_id = 0) AS unsubscriber,
length(arrayFilter((i, j) -> (abs(i - j) > 60), arrayPopBack(arraySort(groupArray(date)) AS d), arrayPopFront(d))) >= 1 AS spammer,
subscriber AND unsubscriber AS unsub_fr_sub
FROM Z
GROUP BY user_id
)
┌─subscribers─┬─unsubscribers─┬─spammers─┬─unsub_fr_subs─┐
│ 3 │ 3 │ 2 │ 2 │
└─────────────┴───────────────┴──────────┴───────────────┘ -
может просто чутка не рассчитали)
-
где есть action_type 1 и action_type 0 и разница между ними не больше 60 сек, там ошибка, сори
-
ну там легко исправить это в моем варианте, хаха. И теста для этого кейса нету.
-
select sum(subscriber) subscribers, sum(unsubscriber) unsubscribers, sum(spammer) spammers, sum(unsub_fr_sub) unsub_fr_subs
from (
select user_id,
max(action_type_id=1) subscriber,
max(action_type_id=0) unsubscriber,
length(arrayFilter(i,j -> abs(i.1-j.1)<60 and i.2<>j.2, arrayPopBack(arraySort(groupArray((date,action_type_id))) as d) ,arrayPopFront(d)))>=1 spammer,
(subscriber and unsubscriber) unsub_fr_sub
from Z group by user_id
) -
SELECT
sum(spammer) AS spam_cnt,
sum(unsub_from_sub) AS unsub_from_sub_cnt,
sum(sub) AS sub_cnt,
sum(unsub) AS unsub_cnt
FROM
(
SELECT
user_id,
sequenceMatch('(?1)(?t<60)(?2)')(ts, action_type = 1, action_type = 0) AS spammer,
sequenceMatch('(?1)(?2)')(ts, action_type = 1, action_type = 0) AS unsub_from_sub,
max(action_type) AS sub,
1 - min(action_type) AS unsub
FROM test.test
GROUP BY user_id
) -
через массивы будет быстрее?
-
нет, и скорее всего по памяти sequencematch лучше
-
subscriber and unsubscriber
а если он сначала отпишется а потом подпишется? -
ну это легко учесть если надо, можно все сделать через массивы
- 15 December 2019 (24 messages)
-
Alert! Ripple XRP Alerts/News Feed is a known spammer and is CAS banned. Ban is strongly recommended.
-
можно, смысла мало. Вы в курсе что MV это триггер на инсерт? И исходные таблицы вообще не используются, а инсерт просто пушит в MV то что вставили.
Происходит инсерт в таблицу A, на ней MV1 которое делает типа group by day и пишет в aggregating. Если сделать MV2 select from MV1 оно будет видеть результат того group by day и можно сделать group by week например.
>И можно ли делать ее backup?
можно, какая разница, format native умеет стейты, freeze-у вообще все равно, это просто файлы.
@clickhouse_ru / Public archive of Telegram messages.
- 01 Dec 2019 (3)
- 02 Dec 2019 (103)
- 03 Dec 2019 (163)
- 04 Dec 2019 (152)
- 05 Dec 2019 (183)
- 06 Dec 2019 (207)
- 07 Dec 2019 (71)
- 08 Dec 2019 (6)
- 09 Dec 2019 (149)
- 10 Dec 2019 (129)
- 11 Dec 2019 (243)
- 12 Dec 2019 (219)
- 13 Dec 2019 (327)
- 14 Dec 2019 (40)
- 15 Dec 2019 (24)
- 16 Dec 2019 (114)
- 17 Dec 2019 (215)
- 18 Dec 2019 (122)
- 19 Dec 2019 (133)
- 20 Dec 2019 (157)
- 21 Dec 2019 (121)
- 22 Dec 2019 (23)
- 23 Dec 2019 (213)
- 24 Dec 2019 (275)
- 25 Dec 2019 (149)
- 26 Dec 2019 (245)
- 27 Dec 2019 (61)
- 28 Dec 2019 (34)
- 29 Dec 2019 (15)
- 30 Dec 2019 (68)
- 31 Dec 2019 (23)