- 01 January 2021 (11 messages)
-
С новым годом! -
А есть инфа, что лежит в mrk2? И как его через od посмотреть? В предыдущей версии mrk там были просто 8-байт числа смещения -
Это старый видос , там нет про mrk2 😞
-
как раз там про mrk2 и рассказывали, весь видос про адаптивную гранулярность -
в mrk2 лежит 3 штуки uint64 для каждой гранулы, а не 2 как в mrk
-
mrk2 смещение в пожатом | смещение в разжатом | кол-во строк в грануле
mrk смещение в пожатом | смещение в разжатом -
из mrk2 надо читать 24 байта od -l -j 72 -N 24 S.mrk2
https://stackoverflow.com/questions/65198241/whats-the-process-of-clickhouse-primary-indexWhat's the process of ClickHouse primary indexAs mentioned in the title, i am very confused about the ClickHouse primary index. ClickHouse primary index used these files: primary.idx, [primaryField].mrk, [primaryField].bin. Where is MarkRange ...
-
-
Всех с новым годом! Есть метрика ClickHouseProfileEvents_InsertedRows для прометея который открывается в КХ под портом 9363(by default), был бы рад если бы вы разделили метрику на две, которая каждая из метрик отражает записи в "local" таблицы и в "distributed", возможно ли это?
При мониторинге наблюдаю такую картину, самые активные показатели у той, в которую льются записи в дист таблицу -
- 02 January 2021 (81 messages)
-
Joined. -
Предложения все таки стоит в гитхаб писать, тут оно просто потеряется -
Привет! Clickhouse не ставиться deb http://repo.yandex.ru/clickhouse/deb/stable/ main/ -
Failed to fetch http://repo.yandex.ru/clickhouse/deb/stable/main/InRelease Cannot initiate the connection to repo.yandex.ru:80 (2a02:6b8::183). - connect (101: Network is unreachable) [IP: 2a02:6b8::183 80]
-
Есть тут кто из @yandex ?
-
нормально пингуеца -
Да.. похоже что хост поменяли на https://repo.clickhouse.tech
-
более политически нейтральный
-
скоро на ru домене только вконтакте и mail останется
-
одноклассники!
-
нет, они уедут
-
будут classmates.xxx
-
Я что то пропустил или в clickhouse перестал работать Materialised view рекурсивный? После апдейта с 19 на 20 версию рекурсивные MV перестали вставлять как надо
-
Что подразумевается под рекурсивный?
-
CREATE MATERIALIZED VIEW harmony_etl.transfers_to_transfers_tx_mv ON CLUSTER replicated4 TO harmony.transfers_tx
AS SELECT * FROM harmony_etl.transfers_to_archive_mv; -
где harmony_etl.transfers_to_archive_mv - тоже MV
-
Там были изменения в 19 версии, если у transfers_to_archive_mv как хранилище используется .inner. таблица то дело в этом
-
нет не используется
-
он создан тоже как SELECT * FROM …
-
без всяких там populate
-
Покажите ее ддл
-
Это не относится к этому, нужно смотреть есть ли в ддл TO
-
CREATE MATERIALIZED VIEW harmony_etl.blocks_to_archive_mv ON CLUSTER replicated4 TO harmony_archive.blocks
AS SELECT
.......
FROM harmony_etl.blocks; -
Это другая таблицп
-
CREATE MATERIALIZED VIEW harmony_etl.transfers_to_archive_mv ON CLUSTER replicated4 TO harmony_archive.transfers
AS SELECT
бббббб
FROM harmony_etl.transfers; -
В общем подозреваю, что вам нужно подписаться будет на harmony_archive.transfers
-
так оно не работало в 19
-
С какой версии обновлялись?
-
Ну, суть то в том что поменяли этт
-
c 19.9
-
ну их у меня не очень много этих MV штук 100
-
но переписывать их руками сейчас неприятно
-
Я бы уточнил в ченджлогах, для 19 версии, breaking changes на эту тему
-
Сочувствую
-
ok спасибо потом посмотрю, пока что руки заняты
-
Это не важно inner или нет. Просто во from теперь не работает mv, там надо испошьзовать то что у той mv сторадж, или inner или имя явной таблицы
-
Спасибо! Это версия подтвердилась.
-
ну это общеизвестная штука, я даже рассказывал https://youtu.be/1LVJ_WcLgF8?t=8878
-
Есть еще проблема; При переходе на 20 версию запросы коорые выполнялись на 19 версии миллисекунды выполняются несколько секунд. Если вызвать повторно, то быстро. Чеерз некоторое время снова жуткие тормоза. Подозреваю что то с настройками?
-
1 rows in set. Elapsed: 2.903 sec. Processed 2.18 thousand rows, 234.97 KB (749.64 rows/s., 80.95 KB/s.)
-
1 rows in set. Elapsed: 0.004 sec. Processed 2.18 thousand rows, 234.97 KB (599.57 thousand rows/s., 64.74 MB/s.)
-
вот такая вот разница
-
такой проблемы не было на 19 версии
-
у запроса есть длинное перечисление в например in (xxxx,xxx,xxx,xxx..... десятки тысяч значений). ?
-
нет
-
запрос простейший
-
типа
-
SELECT 0 AS depth,
block, tx_time, currency_id,
tx_id_bin, tx_index,
'' AS transfer_from, address AS transfer_to,
amount,
toDecimal64(0,8) AS tx_value_in, toDecimal64(0,8) AS tx_value_out
FROM bitcoin_flow.tx_balances_by_address
WHERE
address='19zu3f6NL9sSd1QL41u71cFiJ3tM5trHJF' AND direction='output'
AND blockchain_id=2; -
CREATE TABLE bitcoin_flow.tx_balances_by_address
(
…
)
ENGINE = ReplicatedMergeTree('/clickhouse/all_replicated/tables/bitcoin_flow/tx_balances_by_address_2', '{replica}')
ORDER BY (direction, address, block)
SETTINGS index_granularity = 128 -
все попадает по индексу
-
кэш какой то?
-
либо вам кажется либо это неизвестный баг
-
как кажется если я 2 раза подряд выполня/ и получаю разницу в 1000 раз
-
например у тестового сервера меньше озу и диски загружены, поэтому кажется что проблема в КХ
-
а на самом деле это вытеснение из линукс кеша
-
как там логи включить в консоли?
-
set send_logs_level='debug'
-
лог одинаковый. Пока непонятно с чем связано. Такое впечатление что у кликхауса есть кэш и он его очищает в каком то случае
-
я добился 100% повторяемости этого при запросе к 2 таблицам,Если обращаюсь к одной из них, запросы ко второй начинают тормозить и наоборот.
-
У КХ есть кеш засечек. По дефолту он 5ГБ. Сколько там закешировано видно в системных таблицах. Но скорее всего у вас все засечки < 5ГБ суммарно. Ну и это место не менялось.
-
я бы смотрел sar -d 1 100 в момент запроса, похоже на медленный диск и вытеснение из линукс кеша
-
SELECT *
FROM asynchronous_metrics
WHERE metric LIKE '%Cache%'
┌─metric───────────────────────┬──────value─┐
│ UncompressedCacheBytes │ 0 │
│ MarkCacheBytes │ 5082679824 │
│ UncompressedCacheCells │ 0 │
│ CompiledExpressionCacheCount │ 0 │
│ MarkCacheFiles │ 148 │
└──────────────────────────────┴────────────┘ -
маловероятно. У нас много серверов, у всех nvme и везде одинаковое поведение сразу после 19 -> 20
-
ну это в github, тикет. Структуру таблиц, запросы.
-
можно поотключать все оптимизации по одной
-
Поменял mark_cache_size = 15G - проблема ушла
-
интересно
-
SELECT *
FROM system.settings
WHERE (name LIKE '%optim%') AND (value = '1') -
SELECT *
FROM system.settings
WHERE (name LIKE '%optim%') AND (value = '1')
┌─name───────────────────────────────────────────────────┬─value─┬─changed─┬─description───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─min──┬─max──┬─readonly─┬─type─┐
│ optimize_move_to_prewhere │ 1 │ 0 │ Allows disabling WHERE to PREWHERE optimization in SELECT queries from MergeTree. │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ Bool │
│ partial_merge_join_optimizations │ 1 │ 0 │ Enable optimizations in partial merge join │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ Bool │
│ enable_optimize_predicate_expression │ 1 │ 0 │ If it is set to true, optimize predicates to subqueries. │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ Bool │
│ enable_optimize_predicate_expression_to_final_subquery │ 1 │ 0 │ Allow push predicate to final subquery. │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ Bool │
│ optimize_read_in_order │ 1 │ 0 │ Enable ORDER BY optimization for reading data in corresponding order in MergeTree tables. │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ Bool │
│ enable_scalar_subquery_optimization │ 1 │ 0 │ If it is set to true, prevent scalar subqueries from (de)serializing large scalar values and possibly avoid running the same subquery more than once. │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ Bool │
│ optimize_trivial_count_query │ 1 │ 0 │ Process trivial 'SELECT count() FROM table' query from metadata. │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ Bool │
│ optimize_move_functions_out_of_any │ 1 │ 0 │ Move functions out of aggregate functions 'any', 'anyLast'. │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ Bool │
│ optimize_injective_functions_inside_uniq │ 1 │ 0 │ Delete injective functions of one argument inside uniq*() functions. │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ Bool │
│ optimize_arithmetic_operations_in_aggregate_functions │ 1 │ 0 │ Move arithmetic operations out of aggregation functions │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ Bool │
│ optimize_duplicate_order_by_and_distinct │ 1 │ 0 │ Remove duplicate ORDER BY and DISTINCT if it's possible │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ Bool │
│ optimize_redundant_functions_in_order_by │ 1 │ 0 │ Remove functions from ORDER BY if its argument is also in ORDER BY │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ Bool │
│ optimize_monotonous_functions_in_order_by │ 1 │ 0 │ Replace monotonous function with its argument in ORDER BY │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ Bool │
│ optimize_trivial_insert_select │ 1 │ 0 │ Optimize trivial 'INSERT INTO table SELECT ... FROM TABLES' query │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ Bool │ -
│ optimize_aggregators_of_group_by_keys │ 1 │ 0 │ Eliminates min/max/any/anyLast aggregators of GROUP BY keys in SELECT section │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ Bool │
│ optimize_group_by_function_keys │ 1 │ 0 │ Eliminates functions of other keys in GROUP BY section │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │ Bool │
└────────────────────────────────────────────────────────┴───────┴─────────┴───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴──────┴──────┴──────────┴──────┘ -
я предлагю все выключить и чтобы проверить что это не из-за них
-
почему тогда mark cache так влияет?
-
в 19 версии не трогали эту настройку
-
в гитхаб, я не представляю как nvme 2 сек. может читать 2 тыщи строк
-
непонятно что писать туда. Запрос ничем не примечательный. Возможно в табюлице очень много index_granularity
-
там хренова туча ключей
-
create table напишите от обеих таблиц, сколько строк в них, оба запроса, ТОЧНУЮ версию КХ, наблюдаемое поведение в 19й, в 20й
-
Ок спасибо.
-
и про кеш марков про 15 напиште
сколько кстати в 19й
SELECT *
FROM asynchronous_metrics
WHERE metric LIKE '%Cache%'
кажется это был не жесткий лимит, и поменяли поведение очистки этого кеша, раньше была зависимость от времени еще.
Но с другой стороны даже если марки не в кеше, для nmve это не должно быть проблемой -
это может быть проблемой если их 5G и они чиитаются на каждый запрос
-
не должно в теории.
PK индекс в памяти, дальше читаем только нужные парты и mrk файлы в них, по идее у вас Processed 2.18 thousand rows , это mrk файлов на 50 кб скорее всего - 03 January 2021 (56 messages)
-
hits и misses лежат в system.events -
Добрый день! Как бороться с DB::Exception: PeekableReadBuffer: Memory limit exceed при вставке данных с HTTP ? Проявляется после перехода с 19.9 на 20.8
-
Denny Crane [Vertica DBA at Revjet(NB,Canada)] in ClickHouse не тормозит
это тогда плохой инсерт. Он не стримабл. надо убрать now из инсерта и написать now где-нибудь в дефолтах таблицы. Плохие инсерты должны влезать в max_query_size он 256кб. Хорошие инсерты обрабатываются стрим парсером и могут быть любого бесконечного размера, если стрим парсер видит функцию -- например now он переключается на ast парсер , ast парсер ждет конца запроса и складывает запрос в буфер. Буфер по умолчанию -- 256kb
-
Там нет expressions. КРоме того <input_format_values_interpret_expressions>0</input_format_values_interpret_expressions>
-
В том вопросе в trace есть DB::ValuesBlockInputFormat::parseExpression а у меня просто DB::DataTypeString::deserializeTextQuoted. Что то другое тут по моему
-
ну
а в каком формате вы вставляете?
TSV?
может у вас там где то кавычка открылась и не закрылась.... и какой нибудь multiline ждет когда закроется кавычка переполняя буфер? -
СSV
-
покажите полный стектрейс?
какого размера в строках и байтах CSV падает? -
PeekableReadBuffer: Memory limit exceed when inserting data by HTTP (20.8) · Issue #18690 · ClickHouse/ClickHouse
Error started to appear after migrated 19.9 -> 20.8 Settings <input_format_parallel_parsing>0</input_format_parallel_parsing> and <input_format_values_inte...
-
Про кавычки хорошая мысль. Одинарные кавычки заменяются как ‘ -> \’ . Может двойные кавычки ему не нравятся?
-
так, а данные вы как передаете?
для INSERT
запрос лучше в http get parameters через ?query=XXX передать
а данные в POST
заголовки и тело HTTP запроса в тикет закиньте -
Да так передаю POST. Попробую данные приделать
-
https://clickhouse.tech/docs/en/interfaces/http/
cat your_data.csv | curl "http://localhost:8123/?query=INSERT+INTO+your_table+FORMAT CSV" --data-binary @-
вот так тоже ошибка по памяти?HTTP Interface | ClickHouse DocumentationHTTP Interface The HTTP interface lets you use ClickHouse on any platform from any programming language. We use it for w
-
DB::InputStreamFromASTInsertQuery::readImpl()
у вас явно парсер в AST режим вместо streaming переключился
скорее всего у вас ошибка в самой SQL query
а не в данных -
разделите query и данные посмотрите изменится ли ошибка
-
они отдельно
-
Joined. -
привет. помогите плиз сделать правильную структуру, перегоняю данные из mysql в ch для анализа
CREATE TABLE IF NOT EXISTS order_pack (
EventDate Date DEFAULT toDate(1609632000),
id Int32,
order_id Int32,
pack_id Int32,
shipper_id Nullable(Int32),
)
ENGINE = MergeTree() PARTITION BY toYYYYMM(EventDate) ORDER BY (EventDate, id)
при вставке больше 1000 записей ругается типа DB::Exception: Too many partitions for single INSERT block (more than 100)
1609632000 это текущее время на момент создания таблицы -
1609632000 тут ни при чем.
У вас в mysql это поле есть? Там даты за какой период?
Тупо отключите этот лимит
set max_partitions_per_insert_block=0;
это просто ручка безопасности, вам она не нужна раз вы даннные переливаете разово -
в этой таблице нет дат
-
ну и как вы тогда insert делаете?
-
суть в том, что партиция вообще должна быть одна, так как дата разово генерится
EventDate Date DEFAULT toDate(1609632000), -
Это я понял. Извращение конечно. Не проще просто опустить partition by?
-
ща проверю еще раз, но так была тоже ошибка
-
ну и как вы тогда insert делаете?
-
CREATE TABLE IF NOT EXISTS order_pack (
id Int32,
order_id Int32,
pack_id Int32,
)
ENGINE = MergeTree() ORDER BY ( id) -
DB::Exception: Too many partitions for single INSERT block (more than 100).
-
ну и как вы тогда insert делаете?
-
И какая версия кх?
-
упс - оказывается не было дропа до
-
все последнее в докере
-
я написал "конвертер" на laravel - что все таблицы на лету создает и в таблицы что меньше ляма записей вставляет одним инсертом. была проблема на таблицах где нет полей создания записи) теперь вроде все ок. как обычно - задашь вопрос, и сразу его решишь сам - хотя бился до этого пару часов(
-
еще проблема с дабле так и не решена в кх( даже последней версии(
-
https://github.com/ClickHouse/ClickHouse/issues/7690 тут пришлось данные на лету менятьmysql decimal nullable -> DB::Exception: Attempt to read after eof · Issue #7690 · ClickHouse/ClickHouse
Hi, Describe the bug or unexpected behaviour When I try to INSERT SELECT from a remote mysql table it leads to DB::Exception: Attempt to read after eof when a source column is of type decimal(xx,yy...
-
Почему с дабле? Если issue про decimal.
Вы тоже чтоли через engine mysql делаете? -
При чем тут миллион строк тогда.
-
Пипец. Ни черта не понять.
-
Это 2 разные проблемы)) в mysql double может быть null в clickhouse - Nullable тоже, так вот при вставке null падает
HttpCode:500 ; ;Code: 32, e.displayText() = DB::Exception: Attempt to read after eof: while executing 'FUNCTION CAST(_dummy_0 : 0, 'Nullable(Decimal(9, 2))' :: 1) -> CAST(_dummy_0, 'Nullable(Decimal(9, 2))') Nullable(Decimal(9, 2)) : 2' (version 20.12.4.5 (official build))
это вторая проблема - которая решена в лоб заменой Null на 0 -
первая проблема была, я не заметил что drop table не было и изменение таблицы в партициях не применялось)
-
перепробовал кучу вариантов в dev/null
-
почему decimal в кх, а не float64, если в mysql у вас double?
-
потмоу что читал доку кх - где рекомендация юзать decimal для бабла) а не флоат
-
как и везде
-
Чушь. Тем более в mysql у вас уже float
-
с чего вдруг чушь? ) ща покажу пруфы. в мускуле именно double(9,2)
-
https://clickhouse.tech/docs/ru/sql-reference/data-types/float/
Рекомендуется хранить данные в целочисленном виде всегда, когда это возможно. Например, переводите в целочисленные значения числа с фиксированной точностью, такие как денежные суммы или времена загрузки страниц в миллисекундах. -
я даже наврал - не дабле в mysql а тоже decimal
-
price decimal(19,2) DEFAULT NULL,
-
в любом случае - спасибо!)
-
mysql decimal nullable -> DB::Exception: Attempt to read after eof · Issue #7690 · ClickHouse/ClickHouse
Hi, Describe the bug or unexpected behaviour When I try to INSERT SELECT from a remote mysql table it leads to DB::Exception: Attempt to read after eof when a source column is of type decimal(xx,yy...
-
можете тут отписаться что у вас в latest воспроизводится
-
я и отписал - предпоследнее мое
-
mysql decimal nullable -> DB::Exception: Attempt to read after eof · Issue #7690 · ClickHouse/ClickHouse
Hi, Describe the bug or unexpected behaviour When I try to INSERT SELECT from a remote mysql table it leads to DB::Exception: Attempt to read after eof when a source column is of type decimal(xx,yy...
-
ну можно придумать что нибудь типа
toStartOfYear(now()) + INTERVAL concat(rand() % 365), ' days') - 04 January 2021 (56 messages)
-
Привет всем. Кто-нибудь знает как работает движок MaterializeMysql с транзакциями. Например, я открыл транзакцию в mysql, затем удалил строку с id = 1. Вставил 10 миллионов строк, а затем строку с тем же id = 1. Далее фиксирую транзакцию в mysql. Возможна ли при этом несогласованность данных, когда строка уже удалена в clickhouse, но ещё не вставлена ее новая версия, поскольку между удалением и вставкой есть большое количество других операций в бин логе mysql. Заранее спасибо. -
если я правильно помню, MaterializedMySQL работает как slave с statement based replication binlog
если я не ошибаюсь то туда попадают только commited транзакции -
по моему операции которые пишуются в redo transaction log и в binlog это разные операции...
но надо проверять -
вообще после слов
"Replication can be easily broken."
я бы вообще такой функционал в ClickHouse не тащил... и не использовал -
а еще непонятно как оно работает с вот такими штуками
https://dev.mysql.com/doc/refman/8.0/en/binary-log-transaction-compression.html -
Жесть))) -
Ничем не хуже конвертера на питоне)
-
сколько данных за день в сжатых байтах на диске получаться будет?
-
как часто в течении дня данные вставляете?
-
ну тогда у вас будет толпа мелких партов размером от 0.5 до 3 мегабайт
которые clickhouse будет сливать
данные вставляются монотонно или прошлый период тоже возможен?
если EventTime будет в ORDER BY или в PRIMARY KEY
и вставка монотонная (вставляются только данные новых периодов)
то парты будет проще пропускать даже когда у вас партицирование по дням
и сканировать их будет проще потому что в *.mrk файлах засечек EventTime будет -
если савсем грубо
то я так понимаю процесс
PARTITION BY
это логическое разбиение которое позволяет на раннем этапе очень быстро определить какие paratition сканируем
ORDER BY / PRIMARY KEY
если они по возрастанию времени и низко кардинальным колонкам
позволяют быстрее через .mrk* файлы сравнивая значения из mrk с условиями запроса и принимая решешние находить нужные куски в .bin файлах просто делая fopen -> fseek -> fread -> uncompress -> compare -
ну МЕНЬШЕ партиций
меньше партов внутри партиции
размер парта такой что буфера хорошо пролазят в CPU Cache
логическое объяснение простое, главный паттерн чтобы clickhouse работал быстро ему надо парты среднего размера по 50-100 мегабайт в которых есть PK который есть в запросе... и условия фильтрации которые меньше cpu cache miss порождают =) -
> INTERVAL 1 hour
Меняется на любой период который хочешь -
А сколько записей в таблице ожидается?
-
Судя по моим тестам в КХ попадают только закомиченные данные. Тут основной вопрос в том, как реализовано чтение и фиксация данных из бинлога. Например, записывается ли весь набор строк, измененный транзакцией в буфер, а затем, например, присоединяется как патриция - тогда несогласованности удаленных и вставленных строк не должно быть. Или же операции из лога читаются и выполняются по очереди - тогда несогласованность возможна
-
В целом можно посмотреть в сторону WITH FILL
SELECT
ts,
now()
FROM
(
SELECT
ts,
count() AS cnt
FROM
(
SELECT now() + number AS ts
FROM numbers(1000)
WHERE number != 20
)
GROUP BY ts
ORDER BY ts ASC WITH FILL STEP 5
)
WHERE cnt = 0
@ogavrilov
Что бы получить границы, тут придется скорее всего через массивы делать,
WITH arrayJoin(arraySplit((x, y) -> (y = 0), groupArray(ts), groupArray(cnt))) AS x
SELECT
x[1],
x[length(x)]
FROM
(
SELECT
ts,
count() AS cnt
FROM
(
SELECT now() + number AS ts
FROM numbers(1000)
WHERE number != 20
)
GROUP BY ts
ORDER BY ts ASC WITH FILL STEP 5
) -
WITH FILL так работает,
В целом для задачи поиска границ это не должно мешать -
ну так в документации написано все
https://clickhouse.tech/docs/en/engines/database-engines/materialize-mysql/
запросы конвертируются
MaterializedMySQL это по факту ReplacingMergeTree в который INSERT средствами clickhouse делать нельзя
и INSERT -> INSERT
UPDATE -> INSERT _sign=-1 , INSERT _sign=+1
DELETE -> INSERT _sign=-1
смотрите system.parts и system.part_log как оно там создается и мержится в итоге
думаю что не важно насколько "большая транзакция"
она либо в ROW based будет сконвертирована в кучу INSERT либо в Один INSERT Для Statement basedMaterializeMySQL | ClickHouse DocumentationMaterializeMySQL Creates ClickHouse database with all the tables existing in MySQL, and all the data in those tables. Cl
-
С документацией уже ознакомился, спасибо. В system.parts у меня нет таблицы из бд MaterializeMysql. По поводу большой транзакции и кучи инсертов как раз и есть вопрос. Если инсерты делаются последовательно, то в моем примере будет несогласованность данных. Например я в рамках транзакции удалил строку в mysql и затем ее добавил с тем же первичным ключем в той же транзакции. Итого, если я делаю select в CH, который попал на время между воспроизведением операции delete, но до выполнения insert новой версии строки, то этой строки у меня не будет в выборке поскольку она будет вставлена в CH с sign = -1, а новая версия еще не вставлена. В то же время в mysql у меня, очевидно, будет новая версия доступна сразу после подтверждения транзакции. В целом вопрос можно переформулировать.
-
Движок MaterializeMysql воспроизводит операции из binlog mysql по одной или сразу все, измененные в рамках одной транзакции MySql.
-
я думаю там есть какой нибудь батчинг
но стоит задать вопрос автору изменений
@zhang2014
только вопрос на английском надо сделать -
Супер, спасибо большое, обращусь к автору. Функционал очень интересен для таблиц с большим количеством записей. Сильно упростит синхронизацию транзакционного и аналитического хранилища.
-
https://github.com/ClickHouse/ClickHouse/pull/10851/files#diff-104b38efa8a505671a5b2fb9cc577714646907e01863ff593de30dac6746df0eR11
там похоже буффер естьISSUES-4006 support MaterializeMySQL database engine by zhang2014 · Pull Request #10851 · ClickHouse/ClickHouseI hereby agree to the terms of the CLA available at: https://yandex.ru/legal/cla/?lang=en Changelog category: New Feature Changelog entry: Support MaterializeMySQL database engine. Implements #40...
-
данные флашатся каждую секунду
-
Joined. -
Joined. -
Добрый день! Подскажите, кто-то сталкивался с такой проблемой: при округлении необходимо 1-4 - округлять вниз, а 5-9 -вверх. round использует банковское округление, ceil же вверх округляет любой вариант и тоже не подходит. Грубо говоря из 1,565 при округлении до сотых нужно получить 1,57 -
Joined. -
на счет оптимизации через graphite_rollup, каким образом при оптимизации могли пропасть данные за определенный промежуток, если я потом добавляла куски из середины периода(не хватало места на диске для оптимизации) и в итоге есть разрв в метриках, если даты добавляются из промежутка то они не дозаписываются?
-
варианты действий в следующий раз?
-
>то они не дозаписываются
не играет никакой роли что дописали данные задним числом в середину или в начало.
разрывы по другой причине. -
это не важно как отсортированы данные в источнике. При записи инсерта на диск КХ отсортирует все колонки согласно orderby таблицы
-
просто запрос where неправильно написпн
-
А почему, если до этого разрывов не было?
-
ну вот у вас не хватало места, и что вы сделали? как вы место освободили?
-
Joined. - 05 January 2021 (60 messages)
-
Добрый день! Нужна идея. Есть несколько csv которые надо грузить в одну таблицу, сохраняя при этом в дополнительное поле признак, разделяющий данные из файлов. Нечто вида csv_id, data1, data2, data3, где data1-3 данные из csv -
В версиях до 20.10 (примерно) кликхаус хранил не toYYYYMMDD(time) значение а min-max значение что попадается в колонке, те toYYYYMMDD(time)>='20200901' такая штука в условиях потенциально могла сканировать все партиции
-
Те условие на самом деле должно быть
WHERE time>='2020-09-01 00:00:00' and time<'2020-09-03 00:00:00' -
иными словами, как в одном исерте совместить кокнретное число для одного поля и файл для остальных?
-
input function
Insert into t select 55 csvid, ..... from input(...) -
и все еще не хранит. Просто амос научил кх применять функции к minmax значениям партиций и угадывать для более сложных случаев.
-
то есть вот это будет корректно? clickhouse-client --format_csv_delimiter=";" --query="INSERT INTO t (Chanel,Setting,Scale,MesName,Name) FORMAT CSV select 55," < t.txt
-
Подскажите, а insert into … select - данные вставляются потоком или конкретными кусками выгружаются в память и вставляются ? Что будет если в середине инсерта что-то упадет ? -
если не включен режим игнорирования ошибок, то ничего не вставится
-
можно указать сколько ошибок игнорировать
-
а как это работает ? у меня есть таблица на 20 миллардов, мне нужно заполнить табличку SummingMergeTree, я хочу сделать такой инсерт, данные вставленные через эту конструкцию как-то будут помечаться, мол если что-то отваилтся
-
нет, не будет.
прочитайте доку https://clickhouse.tech/docs/ru/query_language/table_functions/input/input | Документация ClickHouseinput input(structure) - табличная функция, позволяющая эффективно преобразовывать и вставлять отправленные на сервер да
-
кусками. Если упадет будет вставлена часть.
-
можно вставлять во временную таблицу, а потом из нее переатачить/мувнуть партиции в целевую
-
а сколько юзеров?
select groupArray(ad), uid, countIf(action='ACTION') c
group by uid
having c>0 -
не очень понятно с 'test_structure', но разберусь, спасибо!
-
>инсерт по многим uid породит очень много фоновых мержей
нет -
Добрый вечер. Подскажите , а есть принципиальная разница между табличной функцией jdbc и движком JDBC? Конечно же , кроме того, что оно создаст таблицу. -
нету. Табличная функция под капотом создает временную таблицу с движком JDBC
-
Благодарю.
-
все же test_structure - это имя целевой таблице_structure?
-
да, написано же в доке Если в data.csv лежат данные той же структуры test_structure, что и у таблицы test, то следующие два запроса эквивалентны:
-
в смысле надо перечислить 'col1 String, col2 Date, col3 Int32'
-
написано, что эквивалентно команде без использования input
-
пример input
INSERT INTO example SELECT id, ifNull(num, -1) FROM input('id UInt32, num Nullable(Int32)') format JSONEachRow {"id": 1, "num": null}; -
и написано так, что можно прочесть не как надо перечислить, а как INSERT INTO t SELECT * FROM input('t_structure')
-
понятно. спасибо!
-
create table csvtest(csv_id Int64, c1 String, c2 String) Engine=Memory;
INSERT INTO csvtest SELECT 55,c1,c2 FROM input('c1 String, c2 String') format CSV a,b
select * from csvtest
SELECT *
FROM csvtest
Query id: 7f6453eb-59f6-4750-8391-435ff242b426
┌─csv_id─┬─c1─┬─c2─┐
│ 55 │ a │ b │
└────────┴────┴────┘ -
да, я уже сделал инпут под свои нужды. Немного громоздно из-за необходимости перечисления полей с типами, но главное, что работает. Спасибо еще раз!
-
я просто еще и VALUES перечисляю, так как одно поле не вставляю, оно заполняется дефолтом
-
почему такие древние 20.3 и 20.8 ?
почему не 20.8.11.17 ?
сколько ping между CH и mysql ? -
CH падает?
-
сколько ping между серверами CH и mysql ?
какая версия mysql ? -
95 чего ? % ? мс? литров?
-
или это версия mysql ?
-
что если
set connect_timeout_with_failover_ms=1000, connect_timeout_with_failover_secure_ms=1000;
select * from mysql(); - 06 January 2021 (54 messages)
-
Joined. -
Joined. -
последнее число в имени парта это номер мутации.
1. как называются восстановленный парт и новый парт (имя каталога)?
2. какая версия КХ который бекапили и куда восстановили?
3. какие права у файлов new? ls -l парт который не хочет мутировать / new* -
mysql какой версии?
-
типа в kafka таблицу пролезло, а в MV исключение в select? типа деление на 0? Нет нету такого.
надо в MV в select соломку подкладывать, типа toInt32OrNull и т.п. -
от гниения бит никто не защищен
-
солнце светит, шлет нейтрино
-
Решения в КХ нету.
Можно не использовать kafka engine . Взять какой-нибудь синкер который умеет не останавливать и писать сломанное в спец. топик -
Joined. -
если данные попали в таблицу с кафка движком - оффсет разве не коммитается ?
-
таблица с движком кафка не имеет стора, туда нельзя ничего сохранить
-
а в какой момент оффсет коммитается ?
-
после удачной записи в MV
-
или после удачного селест из kafka engine в клиента
-
а если у меня к кафке 10 вьюх приатачено. В эти вьюхи по очереди блоки данных попадают. Что будет, если 5 вьюх отработали, а 6ая сломалась ?
-
кстати была настройка чтобы сначала комитить потом записывать в MV, может уже нету
-
>Что будет, если 5 вьюх отработали, а 6ая сломалась
не закомитится оффсет -
но данные, которые обработали 5 первых вьюх попадут куда надо ?
-
да, и будут дубликаты потом
-
понял, спасибо!
-
blocks -- это хеши инсертов, для дедупликации. То что там пусто это как раз так и должно быть
-
-
да я так и думал , я воспроизвел
-
странно это обсуждали уже, почему это не исправлено
-
all_0_0_0_1249
-
у таблицы в зукипере хранится 0
-
0 < 1249
-
поэтому этот парт не мутирует
-
при том что при атаче номера блоков сбрасываются, а версия мутации почему-то нет
-
где-то описана ищите
all_0_0_2 --- 0 , 0 -- это автоинкремент, начальный блок, конечный , 2 -- level (мержи)
all_0_0_2_4 -- 4 - это версия мутации
>И не подскажите как это можно пофиксить?
фиг знает. Наверное, или поправить руками в имени каталога 1249 в 0
или поправить в ZK 0 в 1300 например
или сделать dummy alter update where 0 ; 1249 раз -
attach part does not reset mutation version on a part. · Issue #18804 · ClickHouse/ClickHouse
Attach part does not reset mutation version on attached parts. So mutations (update/delete) do not work against parts restored from a backup, because their version is bigger than the version stored...
- 07 January 2021 (25 messages)
-
Привет! поделитесь, Buffer таблицу кто-нибудь использует в проде? Если буффер стоит перед ReplacingMergeTree, и проходит ALTER на добавление колонки - буффер сам перестроится или его надо пересоздавать? -
Надо пересоздавать -
Кто то может подсказать почему такая щтука не работает ?
WITH (SELECT 1) as result select * from result; -
WITH result AS
(
SELECT 1
)
SELECT *
FROM result
Query id: b7af6c59-cc6a-41d3-a16a-861434c55bf1
┌─1─┐
│ 1 │
└───┘
таки работает с 20.10 где то -
Блин спасибо у меня 20.8.7.15
-
спасибо
-
Subqueries in WITH section (CTE) can reference previous subqueries in WITH section by their name. #16575 (Amos Bird).
-
подскажите, KILL QUERY ввел в Is_cancelled запрос, что с ним в это время происходит?
-
на определенных этапах выполнения запроса, запрос проверит был ли он отменен и тогда закончится
те потенциально он может зависнуть так, что поможет только рестарт кх -
спасибо, понятно
-
CH сервера анонсируют свои hostname -f в ZK , другие реплики идут по этому имени.
Вы поднимаете КХ. hostname -f = xxx.local . Другая реплика ломится в сеть по адресу xxx.local и получает No route to host . При этом вы думаете что используются какие-то внешние IP.
Есть параметр в config.xml inter server http host туда можно вписать свое собственное имя. Прочитайте описание там. -
Yet another ClickHouse support by a-konyaev · Pull Request #2640 · flyway/flyway
Based on #2166 and #1773 This one has some improvements in comparison to previous implementations: more accurate declaration of the schema table's columns (types and default values) &q...
-
гыгы, они ? Автор тут, он все закончил.
Ментейнеры флайвей не идиоты чтобы что-то незнакомое мержить. Я бы тоже не стал на их месте.
Представьте вы помержили что-то. А дальше приходит юзер с ишью и говорит я вот тут нажал и мне ваша утилита все данные снесла. И вы как дурак смотрите на это и непонятно куда бежать. Вы в КХ ноль, и КХ у вас нет. -
я неправильно выразился может. Проблема не с https://github.com/flyway/flyway/pull/2640 . Там все ОК. Проблема в том что его никогда не вмержат.
-
Joined. -
Joined. - 08 January 2021 (106 messages)
-
Добрый день. Вопрос по обновлению.
Сейчас прод на 19.16
Хотим переехать на 20.8.*
Есть смысл сразу переходить или через 20.3.* безопаснее? -
ой
-
"(КХ стал нетолерантен к невалидным encodingам и типам" а где про это почитать подробнее?
-
Я понял, спсб. Будем тест мучать
-
А при чем тут Зайцев?
-
-
У него там очепятка. Берётся поле типа LowCardinality(String) и пишется во Float64. -
Хотя нет, вру. Не знаю тогда.
-
Joined. -
Благодарю
-
Всем привет и счастливого Нового года!)
Возможно кто-то сможет подсказать по поводу функции pandas.read_sql.
Я создал таблицу и заполнил ее:
create table regions
(
date DateTime Default now(),
region String
)
engine = MergeTree()
PARTITION BY toYYYYMM(date)
ORDER BY tuple()
SETTINGS index_granularity = 8192;
insert into regions (region) values ('Asia'), ('Europe')
Я бы хотел получить ее содержимое функцией pandas.read_sql. Для этого я пишу следующий код:
import pandas as pd
from sqlalchemy import create_engine
uri = 'clickhouse://default:@localhost/default'
engine = create_engine(uri)
query = 'select * from regions'
pd.read_sql(query, engine)
В ответ получаю такое:
Empty DataFrame
Columns: [2021-01-08 09:24:33, Asia]
Index: []
Шляпа.
При этом, если будет указано
clickhouse
+native
://default:@localhost/default
, то ответ будет ожидаемым:
date region
0 2021-01-08 09:24:33 Asia
1 2021-01-08 09:24:33 Europe
Прошу подсказать, как побороть шляпу -
arraySum, а не sumArray -
sumArray это sum c комбинатором -Array, считает сумму всех массивов
-
arraySum считает сумму каждого массива
-
не, это по нескольким строкам, не по вложенным массивам (агрегатная функция)
-
select negate(44)
-
А вот почему так? Есть таблица с ReplicatedMergeTree с ORDER BY по полю pk String. Если делать запрос по всей таблице выполняется за 0.3 сек. Если сделать запрос с WHERE pk IN (… все значения pk ( 5 штук) ) то 7 сек. Результат естественно одинаковый
-
а первом случае <Information> executeQuery: Read 483903165 rows, 922.97 MiB in 0.458724202 sec., 1054889109 rows/sec., 1.96 GiB/sec.
-
во втором <Information> executeQuery: Read 483903165 rows, 31.43 GiB in 11.142873359 sec., 43427143 rows/sec., 2.82 GiB/sec.
-
>Если делать запрос по всей таблице
wut? -
ну типа SELECT tx_date,count() FROM ethereum.transactions_rt
GROUP BY tx_date ORDER BY count() DESC LIMIT 10; -
то же самое наблюдается еслди делать запрос WHERE pk < ( some large )
-
а где супертяжелая колонка pk которую надо прочитать и распаковать в запросе "по всей таблице" ?
-
хз
-
в ней только 5 строк уникальных
-
ну и вообще ничего не понятно, не складывается. Как запросы могут вернуть одинаковый результат
-
потому что WHERE всегода true
-
т.е. PK низкокардинальное поле?
-
да
-
там всего 5
-
и оно жутко тормозит. Я уже продбовал делать INDEX … но с ним не лучше
-
с INDEX даже медленее потому что оно пытается долго что то дропать, а дропать там нечего, а потом снова похоже на fullscan
-
если там всего 5 значений , почему тогда оно весит столько 922.97 MiB vs 31.43 GiB ?
-
оно не жмется что-ли?
-
компрессия выключена?
-
как вывести весь стат по таблице?
-
стат? что?
-
select formatReadableSize(sum(column_data_compressed_bytes) as x) size, formatReadableSize(sum(column_bytes_on_disk)), formatReadableSize(sum(column_data_uncompressed_bytes))
, database,table, column
from system.parts_columns
where active = 1 and table like 't11'
group by database,table, column
order by x desc -
┌─size───────┬─formatReadableSize(sum(column_bytes_on_disk))─┬─formatReadableSize(sum(column_data_uncompressed_bytes))─┬─database─┬─table───────────────────┬─column─────────────────┐
│ 14.87 GiB │ 14.87 GiB │ 14.81 GiB │ ethereum │ transactions_rt_storage │ tx_hash_bin │
│ 14.67 GiB │ 14.67 GiB │ 14.81 GiB │ ethereum │ transactions_rt_storage │ block_hash_bin │
│ 7.52 GiB │ 7.52 GiB │ 9.42 GiB │ ethereum │ transactions_rt_storage │ tx_sender_bin │
│ 6.24 GiB │ 6.24 GiB │ 9.39 GiB │ ethereum │ transactions_rt_storage │ tx_to_bin │
│ 3.01 GiB │ 3.01 GiB │ 17.73 GiB │ ethereum │ transactions_rt_storage │ block_path_string │
│ 2.29 GiB │ 2.29 GiB │ 16.10 GiB │ ethereum │ transactions_rt_storage │ block_path │
│ 2.22 GiB │ 2.23 GiB │ 3.59 GiB │ ethereum │ transactions_rt_storage │ cumulative_gas_used │
│ 1.77 GiB │ 1.77 GiB │ 1.80 GiB │ ethereum │ transactions_rt_storage │ tx_time │
│ 1.76 GiB │ 1.77 GiB │ 3.59 GiB │ ethereum │ transactions_rt_storage │ value │
│ 1.74 GiB │ 1.74 GiB │ 1.80 GiB │ ethereum │ transactions_rt_storage │ block │
│ 1.73 GiB │ 1.73 GiB │ 3.59 GiB │ ethereum │ transactions_rt_storage │ tx_nonce │
│ 1.50 GiB │ 1.50 GiB │ 1.80 GiB │ ethereum │ transactions_rt_storage │ gas_value │
│ 1.30 GiB │ 1.30 GiB │ 1.80 GiB │ ethereum │ transactions_rt_storage │ tx_index │
│ 1.24 GiB │ 1.24 GiB │ 1.80 GiB │ ethereum │ transactions_rt_storage │ gas_price │
│ 1.09 GiB │ 1.09 GiB │ 1.80 GiB │ ethereum │ transactions_rt_storage │ gas_used │
│ 620.69 MiB │ 622.06 MiB │ 919.06 MiB │ ethereum │ transactions_rt_storage │ tx_date │
│ 106.75 MiB │ 108.12 MiB │ 1.80 GiB │ ethereum │ transactions_rt_storage │ success │
│ 62.58 MiB │ 65.32 MiB │ 14.30 GiB │ ethereum │ transactions_rt_storage │ block_path_root │
│ 60.62 MiB │ 61.99 MiB │ 14.28 GiB │ ethereum │ transactions_rt_storage │ block_path_root_string │
│ 53.36 MiB │ 54.74 MiB │ 497.55 MiB │ ethereum │ transactions_rt_storage │ tx_creates_bin │
│ 25.41 MiB │ 26.78 MiB │ 499.96 MiB │ ethereum │ transactions_rt_storage │ error │ -
│ 8.27 MiB │ 9.64 MiB │ 1.80 GiB │ ethereum │ transactions_rt_storage │ currency_id │
│ 8.27 MiB │ 9.64 MiB │ 1.80 GiB │ ethereum │ transactions_rt_storage │ blockchain_id │
│ 8.27 MiB │ 9.64 MiB │ 1.80 GiB │ ethereum │ transactions_rt_storage │ gas_currency_id │
└────────────┴───────────────────────────────────────────────┴─────────────────────────────────────────────────────────┴──────────┴─────────────────────────┴────────────────────────┘ -
block_path_root_string - это PK
-
чего то правда откуда там столько байтов для 5 строк…
-
т.е. у вас таблица order by (block_path_root_string) ?
-
да
-
) ENGINE = ReplicatedMergeTree('/clickhouse/all_sharded/tables/ethereum/transactions_rt_storage/{shard}', '{sharded-replica}')
PARTITION BY toStartOfMonth(tx_date)
ORDER BY block_path_root_string; -
попробуйте LowCardinality(String)
-
сейчас
-
сколько символов в строке? length(block_path_root_string) ?
-
самая длинная - это 999999,-1,1000000,-1,4000000,-1,4000000,-2
-
то есть строки короткие
-
я еше пробовал использовать сначала array(Int64) вместо строки, с ним одинаковые результаты
-
пробую
-
а может все дело в том что надо было OPTIMIZE TABLE запустить?
-
у меня в тесте LC помог и ускорил запрос в 10 раз
-
да с LC стало лучше, но разница все равно есть в 2 раза
-
LC(String) Processed 500.00 million rows, 1.50 GB
String Processed 500.00 million rows, 26.50 GB -
ну 300 млн. сравнений строк нельзя сделать бесплатно, тут индексы не могут помочь. КХ все равно делает unboxing LC и 300*5 млн раз сравнивает строки
-
в смысле в колонку не ходить и не делать проверку для каждой строки? потому что уже проверено прунингом?
-
ну конечно есть , сейчас даже where 1 не оптимизируется
-
так clickhouse+native это драйвер https://github.com/mymarilyn/clickhouse-driver
а просто clickhouse это другой, http драйвер, ну кривой он видимо, зачем он вам? -
Issue с такой же проблемой на github: https://github.com/xzkostyan/clickhouse-sqlalchemy/issues/10. Но вообще вам правильно сказали. Используйте clickhouse+nativeSQL queries with pd.read_sql drop first two records · Issue #10 · xzkostyan/clickhouse-sqlalchemyFor some reason (unknown to me), using pd.read_sql drops the second record and uses the first one as a header. Any idea why is it happening? Here's a sample code used on the Rate example im...
-
в квери логе всё
-
мб можно в text_log посмотреть (это лог самого КХ), но эта таблица по-умолчанию выключена
-
видимо нативный протокол на сервере не открыт. спасибо
-
древний issue. спасибо
-
а подскажите почему
select sum(users) summa, case when (retention > 180) then '>180d' ELSE '<180d' END AS ret from default.mau group by summa,ret;
говорит мне unknown function sum ? -
хочу получить две суммы - у кого retention больше 180 и у кого меньше
-
Ну а как делать GROUP BY по агрегатной функции.
А почему кстати не воспользоваться sumIf(users,retention > 180) и тд -
а саммультииф есть?)
-
ааа мне просто из group by надо было сумму убрать)
-
Почему не два вложенных запроса ? -
да все я уже смог, я хотел от груп бай чего-то не того:)
- 09 January 2021 (104 messages)
-
привет всем почему пишет компрессия NaN?
inputFloat Float64 CODEC(LZ4HC)
я создаю таким образом, почему может не отображать табикс? -
Потому что деление на 0
-
NaN = Not a Number
-
табикс показывает (вычисляет) насколько ужато, если в таблице 0 строк, то посчитать невозможно.
используейте describe
desc xx
┌─name───────┬─type────┬─default_type─┬─default_expression─┬─comment─┬─codec_expression─┬─ttl_expression─┐
│ A │ Int64 │ │ │ │ │ │
│ inputFloat │ Float64 │ │ │ │ LZ4HC(0) │ │
└────────────┴─────────┴──────────────┴────────────────────┴─────────┴──────────────────┴────────────────┘ -
tabix вроде не саппортится и сделан еще до того как CODEC появились
-
После некоторого исследования этой проблемы есть такие экспериментальные выводы:
-
1) если есть поле с низкой кардинальностью то построение индекса по нему тормозит запрос
-
2) array работает медленнее String существенно, и для сравнения и для IN
-
3) соритровка данны очень важна и если вставлялись случайно, то нужен OPTIMIZE
-
4) LowCardinality(String) быстрее чем String в индексе, иногда на порядок
-
в сумме могу сказать что окончательный вариант. таблицы очень слабо отличается от начального , при существенной разнице в скорости запросов
-
Подозреваю @den_crane тут есть что сказать
-
если данные не отсортированы, то КХ сам сортирует при вставке по ORDER BY
-
видимо не до конца
-
не может быть такого
-
OPTIMIZE может пофорсить мерж многих мелких партов в один большой, но кх сам в фоне это делает
-
я уже встречался раньше с поведением когда делаешь таблицу CREATE AS SELECT потом сразу ее начинаешь испольщовать и тормоз
-
перед тестовыми запросами сбрасывал page cache?
-
нет
-
ну значит просто медленные запросы могли получится из-за того что нужных данных в памяти не было и пошли долгие чтения с диска
-
и так 10 раз? подозрительно чтото
-
тут видно что с диска больше читает. нужно больше инфы - схема таблицы, сами запросы
-
причём разница по объёму прочитанного 30 раз
-
что на серверах? хдд? ссд/нвме?
-
nvme
-
ну тогда странно, надо смотреть
-
повторить очень легко, сделать таблицу с текстовым полем. и туда записать. одинаковое значение, и сравнить с WHERE string=‘’value’ и без этого.
-
а, ну тут просто на сравнении строк тормозит похоже
-
потому что надо все эти миллионы строк проверить, это не бесплатно
-
что там проверять они все одинаковые
-
а как ты узнаешь что они одинаковые, если не проверишь?
-
и самое печальное я не могу это объяснить clickhouse. причем INDEX делает тольуо хуже
-
у меня возникла фундаментальная проблема - как использовать низкокардинальную фильтрацию запросов. Я общего решения так и. не нашел
-
все они тормозят, даже самый лучший вариант тормозит от 2 до 10 раз
-
какие-нибудь ENUM использовать? uint8 всяко проще сравнивать чем string
-
ну вот @den_crane предложил LowCardinality(String) - это в принйипе подошло
-
спасибо ему
-
ну это скорее уменьшает количество чтений
-
главное это уменьшает размер колонки
-
/stat@combot -
Total messages: 198861 -
Joined. -
cool! не знал...
-
я думаю все таки там основная проблема была в объеме чтения с диска
-
надо было несколько гигабайт прочитать и на это уходили иногда секунды
-
Есть ли существенная разница в SSD/HDD для активной записи в Clickhouse? -
активная запись это сколько мегабайт в секунду?
-
SSD лучше всегда, если есть деньги
-
Думаю около 15-20MBPS в пик
-
при больших объемах данных на рейдах из хдд (>1TB полезных данных), при выходе диска из строя - умрете на ребилде =) -
Смерть данных - не страшно особо
-
Это сжатых или сырых?
-
Сырых
-
Ну это копейки вообще
-
Можно и хдд
-
На ssd, правда, приятнее читать будет
-
можно использовать raid0 и не страдать -
ну да, только въезжать диски будут все равно - и это в любом случае будет либо долго, либо влиять на производительность. 🙂
-
если нестрашно и 20МБ сырых - то смело ставьте хдд и не парьтесь.
-
так говорите как будто ссд при ребилде не деградируют по скорости)
-
Нечасто увидишь "raid0" и "не страдать" в одном предложении -
потому что не так распространен raid0, соответственно утверждения встречаются редко :)
-
все деградирует, даже нвме 🙂 тут вопрос, скорее, что когда выбирают хдд - обычно думают только о нормальном режиме работы, про условный дегрейд режим и восстановление после него - не думают, а обычно запаса производительности у хдд уже не хватает. и в итоге у всех шок, что "база будет тормозить еще N дней, потому что меняется диск" 🙂
-
Joined. -
Разумный ли подход : хочу обсчитывать данные , которые лежат в кластере CH возвращать в CH. Новую порцию лить в свежую таблицу и подменивать партицию в исходной. Планирую использовать Apache Spark для расчетов . * нет никаких идей как это лучше приготовить?)
-
Joined. -
Joined. -
да ладно. Годами все работает на hdd
df -h /
Filesystem Size Used Avail Use% Mounted on
/dev/md0 46T 38T 7.8T 83% / -
Умрете - я не про потерю данных, а про сам синк и перформанс. У меня у самого примерно такие же цифры, достаточно интенсивный регулярный поток без пиков и поэтому замена дисков затягивается :)
-
да постоянно меняем. И скрабинг раз в месяц.
-
Очень хорошо :) мы тоже меняем регулярно. И тоже живём в основном на хдд
-
и нормально ребилдятся 10TB-ые диски
-
mdraid конечно рулит
-
железные рейды в топку
-
Да железные рейды, кажется, только виндовым юзерам уже и нужны :)
-
про raid0, а еще смешно, но у меня вертика работает на raid1 из 2-х nvme. И что самое смешное уже несколько раз спасало.
-
Но под свой кейс я бы при возможности выкинул хдд шки и взял бы нвме сервера с репликой на уровне БД и забил бы на репликацию данных на уровне сервера :)
-
Сдох нвме - перенакатил данные на всем сервере
-
я тоже сразу перейду на NVME когда выйдут 100ТБ NVME ценой по 100баксов
-
нет, это про память. Там колонка 62 MB размером на диске.
-
А какие кстати могут быть подводные камни при раскатке под докер свормом? -
Когда это случится, в сервера потребуется уже что-то новое, стоящее как подходящие nmve нынче
-
эм, какая разница чем?
ну имена хостов в докере рандомные, но это к сварму не относится. -
а кто вообще свармом пользуется? его уже все похоронили
-
нету. Если сделать 10й рейд из 10ти HDD , будет примерно как NVME, у меня КХ читает и пишет 1.5GB/s на HDD
-
По феншую только кубером раскатывать?
Или кликхаус лучше вообще без прослоек руками настраивать? -
да как хотите, у меня chef и LXC
а так конечно, кубер это новый линукс -
Joined. - 10 January 2021 (60 messages)
-
Кубер это supervisord на стероидах
-
Joined. -
ну смотря что считать небольшим проектом
и смотря где это все развертывать
скажем AWS EKS vs bare metal docker swarm, я бы выбрал первый вариант =) -
хорошо так говорить, когда деньги инвестора
-
нет, я для себя считал именно с точки зрения того что EKS это наиболее универсальный способ чтобы и autoscaling был
и EBS через PVC подключать... и эксплуатация была дешевле с точки зрения специалиста...
но потом servers.ru выкатил свои managed kubernetes и я решил не лезть в облака -
Простой как три рубля по сравнению с кубером но за номад спасибо, выглядит интересно
-
почему пользователь default может перестать видеть записи в своей же таблице? Другой пользователь, которому дан грант с ограничениями записи видит.
-
в КХ нету своих таблиц.
Кажется когда назначаются row-based policy одному пользователю, все остальные пользователи перестают видеть все, у них становится все запрещено -
в смысле default.table
-
да, похоже на это
-
как это починить?
-
выдать права на все строки
-
дефолту?
-
default база никак не связана с default юзером. Это однофамильцы, не родственники
-
default не владелец таблиц
-
да
-
FOR SELECT
USING 1 ? -
странная система
-
Joined. -
Права складываются. Если сложить все можно читать всем с Васе можно читать чётное, получается Васе можно читать все.
-
Парни, привет, подскажите плиз, ситуация мне непонятная - сервер убунту с апдейченным КХ. Неделю назад запускал мутации на апдейт и какая-то подвисла. Полное ощущение - что работает до сих пор и апдейтит все что падает в таблицу. или просто хз что. Причем в show processlist ничего нет. Но сервер трудится. В каталоге data постоянно мелькает создание-удаление папок tmp_mut_...
select * from system.mutations Limit 10 - тупо виснет
Как бы остановить невидимое? -
Попробовал KILL MUTATION WHERE database =XXX тоже подвисает наглухо
-
рестарт КХ, ребут сервера - не помогают
-
Если не в ту группу пишу, подправьте плиз
-
кстати не все, вставлять строки могут
-
1. replicated таблица?
2. версия КХ -
я же написал: читать
-
:))
-
нет, один сервер, одна таблица все просто. Версия... счас поищу - но сегодня запускал apt-get update & apt-get upgrade
-
таблица summarymergetree
-
я не понимаю в чем удивление такой реализации lable security. оно везде такое
-
в каталоге таблицы есть файлик /daat/db/таблицы/mutations.txt его можно отредактировать или удалить
после этого detach/atach или ребут -
да, много их там
-
Если руками удалить эти txt - сервак не сдохнет?
-
select version()
-
20.12.5.14
-
каких только команд нет ))
-
вы издеваетесь?
-
я написал: его можно отредактировать или удалить
-
можно как-то по другому это прочитать?
-
не сердитесь, сори
-
да, походу остановилось. Теперь tmp_mut не мелькают
-
спасибо
-
но
select * from system.mutations limit 1;
все равно подвисает -
так а второй шаг был? detach/atach или ребут
-
service restart
-
значит еще есть файлы mutations.txt , в других таблицах
-
прошел поудалял. ПРосто стремно так ходить руками по базе... БАкап бакапом, но...
ДА, теперь все гуд -
Спасибо огромное
-
А так, на будущее - есть ли какой аналог show processlist? а то в этой ситуации была не очевидна проблема
-
system.processes табличка -
мутации видно в system.merges, а не в system.processes
-
Спасибо )
-
Joined. -
Joined. - 11 January 2021 (131 messages)
-
Тоже замечал - когда копировал за месяц в друг табл. В итоге пришлось копировать по дням. Тогда 1-в-1. Большой объем почему-то глючил
-
-
а нет способа копировать данные через партиции ? 🧐
-
Joined. -
как перенести одну таблицу из базы в базу? Простое копирование ее дирректории в /var/lib/clickhouse/data/default не работает
-
я так понимаю речь про большую таблицу. Вот так? - https://ruhighload.com/%D0%91%D0%B5%D0%BA%D0%B0%D0%BF+%D0%B8+%D0%B2%D0%BE%D1%81%D1%81%D1%82%D0%B0%D0%BD%D0%BE%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5+%D0%B2+clickhouseБекап и восстановление в Clickhouse
Как сделать бекап и восстановить данные в Clickhouse
-
только фриз и аттач не партиций а сразу таблицы
-
не, особо большую
-
может попробовать просто папку и метаданные?
-
мы тащим кусками, не всё сразу
добавляем ещё шард, переключаем в него запись
потом по одной партиции freeze, tar+nc, detach на src, attach на dst -
👍
-
Всем спасибо! Для небольшой таблицы простой перенос ее директории и файла из метаданных работает. Нужно только владельца менять, который теряется при переносе рсинком
-
Добрый день. Есть БД с атомик engine. Дропаю партицию из таблицы. Место не увеличивается . Кликхаус в докере.
https://github.com/ClickHouse/ClickHouse/issues/18123 почитав, понял, что вроде так и должно быть.What's the difference between Atomic and Ordinary database engine · Issue #18123 · ClickHouse/ClickHouseI've searched the official doc and hasn't found anything about this.
-
Насчёт дня не знаю , но пару часов уже точно. Возможно нужно перезагрузить контейнер. меня смущает, что с ординари можно было смело зайти на расширенные папки на хост. При атомике в папке с базой при ls -l уже нельзя пощупать файлы, а присутствуют ссылки на папки внутри контейнера.
-
Здравствуйте, а вы не можете подсказать когда будет обновлена документация CH насчет движков? А то начиная с версии 20.10 по дефолту введен для баз Atomic движок и как бе в доках че-т упоминания не найду кроме как комментариев в altinity blog и issues гита, а хотелось бы более подробнее информацию (или я слепой) -
Joined. -
а до переустановки в /var/log/clickhouse-server/clickhouse-server.err.log что показывало?
-
ошибка клиента показывает только что разрыв соединения и ничего больше
процесс ps auxf | grep clickhouse-server при этом что покаывал?
и в логи надо было посмотреть
после переустановки с теми же конфигами той же версией clickhouse-server?
или поновее?
и после этого INSERT INTO + TRUNCATE в другом клиенте не валятся уже? -
Всем добрый день) вопрос по DISTINCT
в документации сказано следующее
DISTINCT не поддерживается, если SELECT имеет по крайней мере один столбец-массив.
http://clickhouse.tech/docs/ru/sql-reference/statements/select/distinct/#limitations
Это значит что distinct вообще не применяется? или применяется каким-то неизвестным способом?
просто заметили что он то работает, то вообще добавляет какие то дубли.
Версия клика ClickHouse server version 19.16.10 revision 54427DISTINCT | Документация ClickHouseСекция DISTINCT Если указан SELECT DISTINCT, то в результате запроса останутся только уникальные строки. Таким образом,
-
ну, тогда надо смотреть в логи и попробовать повторить ... если воспроизведется, то делать issue на github
просто потому что как минимум TRUNCATE либо должен был окончания INSERT Ждать либо INSERT должен был отвалиться
какой движок у таблицы? -
похоже что документация в этом месте устарела, но скорее всего DISTINCT просто не применяется для 19.16
для 20.8-lts
CREATE TABLE default.test (a Array(UInt64)) ENGINE MergeTree() ORDER BY a;
INSERT INTO default.test VALUES ([1,2,3]),([1,2,3]), ([3,2,1]);
SELECT DISTINCt a FROM default.test;
SELECT a FROM default.test;
DROP TABLE default.test;
выдает
a
[1,2,3]
[3,2,1]
и
a
[1,2,3]
[1,2,3]
[3,2,1]
соответсвенно -
на 19.16 тоже работает такой скрипт
да и на большой таблице работало, а сейчас вылезли дубли, нашли вот эту фразу в документации -
Всем привет! Пытаюсь проверить на дубли таблицу с количеством строк > 1 млрд.
select
uniqExact(id)
, count(*)
from
vc_games_history_archive
получаю ошибку "Memory limit (for query) exceeded"
Пробовал с параметром set max_threads=1 - результат тот же. Есть какие-либо варианты выполнить этот запрос? -
лучше использовать через GROUP BY id
в таком случае можно и на диске делать его -
в английской версии документации это тоже присутсвует
задайте вопрос на github -
с group by таже самая ошибка
-
GROUP BY | ClickHouse Documentation
GROUP BY Clause GROUP BY clause switches the SELECT query into an aggregation mode, which works as follows: GROUP BY cla
-
-
read_backoff_min_latency_ms=0
-
Это исправлено 4 года назад. Забыли из доки убрать.
-
то есть если у меня появились дубли после дистинкта - проблема в чем то другом?
-
Да
-
@den_crane можно вопрос не за кх?
-
Да, главное не спамить в чате рекламой
-
лучшее OLTP key-value под реалтайм апдейты? не in-memory
-
даже не совсем апдейты
скорее что то вроде "вставить, если уже есть такой ключ то обновить" -
вопрос - откуда CH берёт хост который записывает в зукипер для репликации? -
вот по этому пути /clickhouse/tables/{shard}/{db_name}/{table_name}/replicas/{replica}/host
-
у меня туда попало значение, которое не резолвится с других тачек
-
хочется понять откуда оно взялось, это hostname -f?
-
и если я его починил, то можно ли попросить CH обновить это значение в zookeeper’e или ручками только?
-
устанавливается при загрузке КХ
берется из hostname -f , если не задана настройка interserver_http_host
/etc/clickhouse-server/config.xml
<!-- Hostname that is used by other replicas to request this server.
If not specified, than it is determined analogous to 'hostname -f' command.
This setting could be used to switch replication to another network interface.
-->
<!--
<interserver_http_host>example.yandex.ru</interserver_http_host>
--> -
супер, спасибо!
-
hostname -f починили
-
теперь ручками в зукипере менять или можно как-то попросить это сделать CH?
-
-
badger судя по описанию то что я хотел, спасибо
-
кстати кто не в курсе rocksDB встроен в КХ и можно создавать таблицы с движком Engine=EmbeddedRocksDB
-
а параметры движку всякие как передать?
-
CREATE TABLE test (key String, value UInt32) Engine=EmbeddedRocksDB PRIMARY KEY(key);
-
update там через insert-ы можно делать, про delete не знаю
-
сделал ALTER на колонке, сменил тип с UInt32 -> Int64, теперь при запросе получаю ошибку: “Type mismatch for column color. Column has type Int64, got type UInt32.” почему так? и как исправить? -
не, я про многочисленные опции при старте движка. конфиг его то бишь
-
пока никак
-
alter вернул управление? закончился?
что в system.mutations ? -
отвалился по таймауту с сообщением что продолжит работу асинхронно
-
в system.mutations этого запроса нет
-
describe на таблице показывает что колонка имеет тип Int64
-
версия КХ ?
-
19.13
-
почему бы было не написать об этом в первом сообщении?
-
значит идет ваш alter, не закончился еще
вот так можно мониторить
select type, count() from system.parts_columns where acitve and table = column = group by type -
часть партом уже будет UInt64, часть UInt32
-
в итоге все части должны стать Int64 я так понимаю?
-
да
-
ясно, спасибо за информацию
-
Приветсвую, тоже вопрос - сервер с озу 60 гиг, база около 10-ти. КХ не использует больше 3-х. В конфиге не стоит ограничения - все как было из коробки. Вся большая память не тронутая ничем простаивает. КХ последний 20.12, Убунта
-
память не простаивает, в ней хранится файловый кеш ОС
-
ну htop показывает - занято 3 гига и все
-
ну правильно, остальное в cached
-
free в консоли запусти
-
Не понимаю, какой юзкейс у ReplacingMergeTree, который схлопывает по ключу сортировки. Почему не по первичному ключу? Вот, например, мне кажется самый распространенный пример. Таймсайрес данные, которые надо всегда выбирать отсортированными по времени. Поэтому делаем ключ сортировки таймстамп. Но иногда я хочу заменять старые данные, новыми по первичному ключу, например по хосту, в рамках одной партиции типа за месяц. Но движок этого не позволяет. Как быть? -
union
-
запустил - 3 зянято, 56 свободно
-
2 гига буф-кеш
-
free или available ?
-
total used free shared buff/cache available
Mem: 61852364 3026548 56582084 102584 2243732 58086184 -
free -h
-h -human -
total used free shared buff/cache available
Mem: 58G 1.1G 55G 100M 2.6G 57G
Swap: 0B 0B 0B -
сдвиг на 1 позицию
-
......................total used free shared buff/cache available
Mem: 58G 1.1G 55G 100M 2.6G 57G
Swap: 0B 0B 0B -
три бектика `
total used free shared buff/cache available
Mem: 125Gi 14Gi 8.3Gi 58Mi 102Gi 109Gi
Swap: 0B 0B 0B -
total used free shared buff/cache available
Mem: 125Gi 14Gi 8.3Gi 58Mi 102Gi 109Gi
Swap: 0B 0B 0B -
дерьмо телеграм
-
))
-
пора переходить куда-то
-
ну что есть
-
пойду гитхаб почитаю
-
а я хочу Анжелину Джоли из 1998 года.
-
я к чему - нет ли какого лимита, а то я может душу КХ сам того не зная
-
дефолты адекватные, не напрягайтесь
-
Добрый вечер. Делается вставка в Distributed таблицу, которая смотрит на MergeTree в другом ДЦ. Сеть в какой то момент между ДЦ потерялась, сейчас всё вернулось. Но данные не отправляются. Ошибка Code: 209, e.displayText() = DB::NetException: Timeout exceeded while reading from socket (10.19.0.197:9000): while receiving packet from 10.19.0.197:9000, Stack trace:. есть ещё одна такая же таблица, которая нормально отправляет в другой ДЦ. Рестарт делал не помог. STOP/START DISTRIBUTED SENDS тоже не помог. Что ещё можно посмотреть? -
сам КХ жрёт память только во время выполнения запроса/мержей
-
Тоже бы не отказался. Но я серьезно, есть ли какие-то варианты или я чего-то не понимаю в бест практис?
-
но селекты то бегают... Ну ок, раз нормально, знач нормально
-
Про первичный ключ долго рассказывать. Лень.
Главный вопрос: А почему КХ ? Почему не victoria metrics? -
А ведь в КХ можно ведь шардинг на самого себя, напомните пжл? I mean, internal sharding, когда на одном и том же серваке (в одном инстансе кх) создаешь таблицу, одну Distributed, а одну на базе *Tree?
-
Да
-
вот, спс
-
Joined. -
Не смотрели на нее даже, честно говоря. Базово нужен реалтайм поиск по 400+ колонкам редкие обновления/замена и компрессия на хранение больших объемов. Там есть такое?
-
Плюс использование как долгосрочное хранилище
-
таймсириес и 400колонок? Что-то в консерватории у вас не так.
-
Ну условный таймсайрес очень. Там не большой рпс на запись
-
Таймсайрес скорее в плане того, что смотреть на них потом пользователям надо по времени их записи туда
-
Joined. -
/report -
ну clickhouse-copier делает это кусками, по партициям, в паралель, проверяет результат и автоматически ретраит
-
но вообще можно и rsync-м, если не нужен шардинг
- 12 January 2021 (124 messages)
-
У меня одна из задач примерно такая же. Данные льются батчами каждый день. Это новое состояние системы на определенный день. - агрегаты с плавающим окном (-30 дней.) 150 показателей на 50 млн записей. Т.е. дата это партиция , которая адресует расчет на определенное утро.+ ещё хочется индекс что бы быстро искать по такой партиции. Насколько это нормальный кейс для КХ ?
-
ну я ничего не понял. Предыдущий тоже хотел непонятного. Зачем нужна там сортировка по дате, если по сути она ничего вообще не дает.
-
Ну да , для меня это атрибут - признак расчета . Если отстраниться от первичного вопроса , для моего случая как движок таблиц подойдёт ?
-
Joined. -
Добрый день, коллеги. С ch работаю недавно, пока не всё знаю.
Ситуация такая: у меня есть json вида [{"name":"aaa","date":"2020-02-01 15:44:33","val":222},{"name":"bbb","date":"2020-03-01 15:44:33","val":333}], хочется его использовать в запросе как то так
select <some> from table1 t join @json j on j.name = t.name where ....
Единственный вариант, который я пока нашел - это создавать таблицу с engine=Memory(), вливать туда данные, использовать и потом грохать. При этом в документации говорится, что именно так ведет себя КХ при обработке IN с большими данными. Вопрос - есть ли какие то другие способы? -
Да, есть вот такой подход с внешними даннымиВнешние данные для обработки запроса | Документация ClickHouse
Внешние данные для обработки запроса ClickHouse позволяет отправить на сервер данные, необходимые для обработки одного з
-
Спасибо, но это мне скорее всего не годится. Я подключаюсь к КХ из c# и мне нужно использовать json как таблицу внутри запроса. Буду использовать CREATE TEMPORARY TABLE, это мне подойдет. Спасибо за ответ.
-
Joined. -
Привет всем
а есть какой то аналог use_client_time_zone для HTTP интерфейса?
пытался сделать так
curl -vvv "http://127.0.0.1:8123/?query=SELECT+now()&use_client_time_zone=1" -H "X-ClickHouse-Timezone: UTC" -
Нет
-
после миграции MergeTree таблицы на Replicated и аттача партиций через
`clickhouse-client --format=TSVRaw -q"select 'ALTER TABLE ' || database || '.' || table || ' ATTACH PARTITION ID \'' || partition_id || '\';\n' from system.detached_parts group by database, table, partition_id order by database, table, partition_id;" | clickhouse-client -mn
остались detach partisions в состоянии inactive -
я думал они исчезнут через 8 минут (по дефолту), но прошли уже почти сутки, а они всё ещё там
-
это нормально 🙂 ?
-
Добрый день)
нашел по поиску вот такое сообщение
"я менял на большие значения, чтобы через jdbc посылать SQL с огромным спиcком in
(jdbc не умеет external-data)" -
"миллионы можно, пока в sql размер влезает (256кб по дефолту), но лучше external data. Какой API ? можно через что угодно, даже jdbc"
и вот такое
пытаюсь понять, можно ли через jdbc драйвер послать external data с запросом, или остается вариант только через http интерфейс? -
"шадированных" таблиц не существует
существуют "Distributed"
которые обычно делаются поверх ReplicatedMergeTree (но можно любой движок)
у вас сейчас "не шардированная" таблица какой Engine имеет? -
ну самое простое, но не самое лучшее
ставим новый сервер с нуля
создаем там пустую таблицу с Engine = MergreTree
добавляем оба сервера в
<remote_servers><your_cluster_name>
в разные <shard> теги
создаем новую таблицу ENGINE Distributed(...) на обоих серверах
все новые INSERT делаем в новый сервер в таблицу которая ENGINE MergeTree
ну либо рандомно с весовым коэффициентом скажем (75% в новый сервер, 25% в старый сервер)
все SELECT делаем из ENGINE=Distributed()
тоже можно рандомно какой нибудь chproxy с весами настроить чтобы данные каждый раз не лить с одного сервера на другой... -
второй вариант более правильный и более сложный
ставим Zookeeper
ставим второй clickhouse-server
прописываем на обоих clickhouse серверах <zookeeper> секцию и <remote_servers> в конфиги
конвертируем MergeTree в ReplicatedMergeTree на первом сервере
https://clickhouse.tech/docs/en/engines/table-engines/mergetree-family/replication/#converting-from-mergetree-to-replicatedmergetree
получите два сервера с копией данных
дальше делаете Distributed таблицу и читаете из нееData Replication | ClickHouse DocumentationData Replication Replication is only supported for tables in the MergeTree family: ReplicatedMergeTree ReplicatedSumming
-
облом =) автоматического решардинга нет
и у вас уже нет места для того чтобы сделать
INSERT INTO distributed_table FROM your_merge_tree_table с распределением 50 на 50 -
ну можно попробовать переливать данные частями
сначала INSERT INTO ... SELECT .. WHERE ... а потом ALTER TABLE ... DELETE .. WHERE ...
но это сильно будет диск жрать на ALTER TABLE ... DELETE -
добрый день можно ли как то писать в такие таблицы https://clickhouse.tech/docs/en/engines/table-engines/integrations/rabbitmq/ через вьюшки?RabbitMQ | ClickHouse DocumentationRabbitMQ Engine This engine allows integrating ClickHouse with RabbitMQ. RabbitMQ lets you: Publish or subscribe to data
-
можно ли создать primary key после создания таблицы? че-то не могу нагуглить -
Primary key задаётся при создании merge tree таблицы и для таблицы не меняется. -
Можно добавить вторичный индекс
-
сейчас прочитал, что он не обеспечивает уникальности. как добиться unique index? использовать ReplacingMergeTree ?
-
Replacing не гарантирует уникальность. Схлопка только при слияниях и внутри патриции.
Можно замутить схему с matView которая будет считать argmax всех столбцов кроме primary key и на неё повесить view -
А можно вызывать select с final
-
т.е. штатных средств для unique index нет?
-
Только в виде аггрегата, но может кто ещё что-то посоветует.
-
нет нельзя
вьюшка ничем вам не поможет
можете попробовать сделать Pull Request чтобы RabbitMQ Engine мог сообщения в RabbitMQ отсылать -
он может. если сделать инсерт данные упадут в рабит
-
Коллеги, а есть у кого нить может статейка на русском про то, как деплоить кликхаус с использованием clickhouse-operator от altinity?
У них дока конечно исчерпывающая, но на англ в первый раз делать это тяжеловато -
ну у вас реплики отстают друг от друга
и данные выбираются то с одной реплики то с другой -
ну лучше сделать по доке которая в github
шаги примерно такие
устанавливаем оператор через web installer
curl -sL https://github.com/Altinity/clickhouse-operator/blob/master/deploy/operator-web-installer/clickhouse-operator-install.sh | bash -x
устанавливаем Zookeeper
https://github.com/Altinity/clickhouse-operator/blob/master/deploy/zookeeper/quick-start-persistent-volume/zookeeper-1-node-create.sh
для первого раза можно 1 нодовую конфигурацию взять
пишем свой yaml манифест определяющий кластер
за основу можно взять
https://github.com/Altinity/clickhouse-operator/blob/master/docs/chi-examples/01-simple-layout-02-1shard-2repl.yaml
просто определите сколько у вас реплик и шардов
и делаете его kubectl apply
дальше смотрите через kubectl describe -n your-ns your-chi на статус как оно там накатывается
ну или через k9s смотрите как оператор ваш chi реконсайлитAltinity/clickhouse-operatorThe ClickHouse Operator creates, configures and manages ClickHouse clusters running on Kubernetes - Altinity/clickhouse-operator
-
а что with?
with T as (select ... )
select join T
или там длинный json ? или вообще не json? -
либо у вас парты пересекались по номерам, поэтому attach приатачил не все
либо вы на обеих репликах положили в detached, то в этом случае надо было делать не так, attach атачит только на одной реплике, где он запущен, остальные реплики фетчат с него. -
конечно jdbc умеет, я неправильно написал (в 2017м или 2018 jdbc не умел)
https://github.com/ClickHouse/ClickHouse/issues/17219#issuecomment-731224167How to upload external Data using jdbc · Issue #17219 · ClickHouse/ClickHouseI have a query which has a large in clause . The query likes "SELECT distinct(id) FROM table WHERE id in ('92f66358058d6bb4','00005053e61ae5b1','92f...
-
точно НЕ второй вариант - аттачил на одной реплике только.
inactive партции когда-нибудь исчезнут? -
в detached ничего само не исчезает. Вы взяли парты с одного шарда? Или с нескольких?
у вас номера блоков пересекались? -
👌пасип, попробую
-
у меня один инстанс вообще был. на него всё писалось. после этого появилось две новые машинки, на них создал replicated таблицы. на той где были данные сделал по инструкции на сайте - переименовал обычную, создал репликейтед и данные из обычной в реплицируемую скопировал на файлухе в detached директорию. дальше тем скриптом из github issue прошёлся чтобы приаттачить
-
видимо это были inactive парты в старой MT
если все данные на месте, то просто удалите все из detached -
будут вопросы, пишите =)
кстати пошарьте свой опыт потом, получилось или нет, это тоже очень интересно -
ок, спасибо!
-
Да у меня больше дум, как это в CI обернуть, и как автоскейл красиво сделать
-
-
нет, вторичных индексов нету, не верьте
-
нету, никак не проверить БЫСТРО что запись уже существует.
-
в CI/CD это так примерно заворачивается
берете токен от вашего кубернетес кластера + endpoint от apiserver
и кладете в ~/.kubeconfig
делаете переменную KUBECONFIG=~/.kubeconfig
и в CI/CD где то вызываете kubectl apply
автоскейл чего? автоскейл kubernetes или автоскейл clickhouse в кубернетес?
автоскейла в кликхаусе нет, но можно мониторинг прикрутить + podAntiAffinity чтобы по одному поду внутри StatefulSet на ноду и прикрутить к этому autoscaling node groups для того провайдера Kubernetes который это поддерживает
у вас какой k8s? облачный? bare-metal? -
ну и вы вперед паровоза бежите
вы сначала научитесь с этим жить хотя бы локально на minikube чтобы понять как оно там устроено... а потом уже про масштабирование думайте -
Понятно, спасибо
-
ну вы попробуйте вставить в какой нибудь Postgres миллиард UUID записей с UNIQE index ;)
вместе поплачем над тем что надо до 9 чтений рандомных на каждую запись сделать -
да, сразу не разобрался и полез в чат)
спасибо большое -
то есть задача проверки "уникальности" для большого набора "произвольных данных", она сама по себе не тривиальна
и в OLTP базах более или менее решена только для случаев монотонно возрастающих числовых значений размерностью до UInt64 ;) -
в OLTP базах в btree индексе random io небольшой из-за того что там логарифм получается с большим основанием, поэтому для млрд. будет 6 рандом чтений, а для 100млрд. будет 7. Даже если не монотонно возрастает. В КХ индекс не btree и еще и разреженный.
И еще внезапно КХ читает все марки в парте, поэтому надо проверить 1 строку, а КХ может 10ГБ одних марков вычитать с диска и еще в памяти это 10ГБ надо разложить. -
Запрос выполняется по PK , выполняется около секунды, при этом с диска ничего не читает.
https://gist.github.com/den-crane/1f3143176c4333530ab6f73c3518adcb -
секунда уходит на чтение из кеша линукса 6ГБ марков и раскладывание их в кеш.
-
В след. stable 20.11 и 20.12 уже будет пофикшено, к сожалению такой критичный баг бекпортили 3 недели, могло быть пофикшено 2 версии назад.
-
Добрый вечер!
При запросе
SELECT
col0,
groupArray(col2) AS col2Arr,
groupArray(col3) AS col3Arr,
groupArray(col4) AS col4Arr
FROM
(
SELECT
col1, col2, col3, col4
FROM tmp_tab
GROUP BY col0, col1
)
GROUP BY col0
гарантируется, что в массивах col2Arr, col3Arr, col4Arr под одинаковыми индексами будут элементы из одной строки подзапроса? Т.е. для одной строки из подзапроса col2 будет под таким же индексом в col2Arr, что и col3 в col3Arr?
Потому что описание из документации можно трактовать двояко: "Values can be added to the array in any (indeterminate) order." -
просто в хешфункцию передать два, или 22 аргумента через запятую
-
гарантируется для не Nullable полей.
или можете делать groupArray( (col2,col3,col4) ) AS colsArr, -
Null -ы не попадают в агрегатные функции, поэтому в итоге может оказаться что там тупо разное кол-во элементов в массивах, тупл (col2,col3,col4) решает эту проблему
-
Понял, спасибо
-
Joined. -
а какой сертификат https://staging-stable-dev-backend.str.inc ? самоподписанный?
-
Даже без ORDER BY в запросе/подзапросе?
Из доки "In some cases, you can still rely on the order of execution. This applies to cases when SELECT comes from a subquery that uses ORDER BY." Или это вообще про порядок строк в результирующей выборке? -
это порядок элементов в массиве.
в случае подзапросов с order by порядок сохраняется и в массиве элементы будут в порядке order by col1, col2
SELECT
col0,
groupArray(col2) AS col2Arr,
groupArray(col3) AS col3Arr,
groupArray(col4) AS col4Arr
FROM
(
SELECT
col1, col2, col3, col4
FROM GROUP BY col0, col1
order by col1, col2
)
GROUP BY col0 -
спасибо!
-
в CSV в поле с DateTime есть NULL-ы. Как сделать чтобы они не приводили к ошибке?
-
все новые КХ любой версии умеют читать файлы от старых. Апгрейд КХ всегда это замена тупая бинарников и перезапуск сервиса.
Проблема в том что новые версии всегда ломают поведение, некоторые запросы перестают выполняться, некоторые требуют установки параметров, некоторые возвращают другой результат. Я тестирую на стейдже 6 месяцев каждую версию на которую планирую перейти. И тестирую апгрейд и даунгрейд. -
что такое Null в вашем понимании?
у меня есть три варианта
a) ,Null,
b) ,\N,
c) ,,
DateTime или Nullable(DateTime) ? -
Joined. -
|NULL| и DateTiem, можно сделать и Nullable(DateTime)
-
ну КХ ожидает \N или ,,
можно через input function перекодировать, я бы sed-м заменил -
хм, в других местах его NULL устраивает
-
попробую от них избавиться
-
да, с ,, и Nullable(DateTime) все ОК, Спасибо!
-
нет NULL не вставлял
-
в CSV нету такого: Null. Как для строки отличить, там Null или строка "Null" ? Поэтому в CSV используется \N
-
в последних КХ можно задать что пустая ячейка ,, воспринимается как default
-
--input_format_defaults_for_omitted_fields arg For input data calculate default expressions for omitted fields (it works for JSONEachRow, CSV and TSV formats).
-
Joined. -
Господа, есть вопрос (возможно даже два):
Основная задача: посчитать количество событий в определенном промежутке с группировкой по дням/часам/etc. и с заполнением нулями промежутков, в которые событий нет.
Я делаю вот так для периодов в день (и это первый вопрос, возможно это неправильно?):
SELECT
count(*) AS cnt,
toStartOfInterval(time, toIntervalDay(1)) AS period
FROM metrics
WHERE (toDate(time) >= '2021-01-11') AND (toDate(time) <= '2021-01-12')
GROUP BY period
ORDER BY period ASC
UNION ALL
SELECT
0 AS cnt,
arrayJoin(timeSlots(toDateTime(toDate('2021-01-11'), 'UTC'), toUInt32(dateDiff('second', toDateTime(toDate('2021-01-11')), toDateTime(toDate('2021-01-12')))), toUInt32(86400))) AS period
GROUP BY period
ORDER BY period ASC
проблема в том, что в ответ я получаю
┌────cnt─┬──────────────period─┐
│ 391722 │ 2021-01-11 00:00:00 │
│ 468620 │ 2021-01-12 00:00:00 │
└────────┴─────────────────────┘
┌─cnt─┬──────────────period─┐
│ 0 │ 2021-01-11 03:00:00 │
│ 0 │ 2021-01-12 03:00:00 │
└─────┴─────────────────────┘
т.е. нулевые почему-то в московской таймзоне
в то же время, если сделать этот подзапрос отдельно то все хорошо:
SELECT timeSlots(toDateTime(toDate('2021-01-11'), 'UTC'), toUInt32(dateDiff('second', toDateTime(toDate('2021-01-11')), toDateTime(toDate('2021-01-12')))), toUInt32(86400)) AS slots
┌─slots─────────────────────────────────────────┐
│ ['2021-01-11 00:00:00','2021-01-12 00:00:00'] │
└───────────────────────────────────────────────┘
wtf? -
TZ свойство типа (свой-во колонки), а не значения. В metrics TZ Moscow
-
order by with fill наверное в этом случае сам заполнит
-
SELECT t
FROM
(
SELECT toDateTime('2016-06-15 23:00:00', 'Asia/Yekaterinburg') AS t
UNION ALL
SELECT toDateTime('2016-06-15 23:00:00', 'UTC') AS t
)
┌───────────────────t─┐
│ 2016-06-15 23:00:00 │
└─────────────────────┘
┌───────────────────t─┐
│ 2016-06-16 04:00:00 │
└─────────────────────┘
SELECT t
FROM
(
SELECT toDateTime('2016-06-15 23:00:00', 'UTC') AS t
UNION ALL
SELECT toDateTime('2016-06-15 23:00:00', 'Asia/Yekaterinburg') AS t
)
┌───────────────────t─┐
│ 2016-06-15 23:00:00 │
└─────────────────────┘
┌───────────────────t─┐
│ 2016-06-15 18:00:00 │
└─────────────────────┘ -
вспомнить бы, почему я не стал использовать fill
-
SELECT
t,
toTypeName(t)
FROM
(
SELECT toDateTime('2016-06-15 23:00:00', 'UTC') AS t
UNION ALL
SELECT toDateTime('2016-06-15 23:00:00', 'Asia/Yekaterinburg') AS t
)
┌───────────────────t─┬─toTypeName(t)───┐
│ 2016-06-15 18:00:00 │ DateTime('UTC') │
└─────────────────────┴─────────────────┘
┌───────────────────t─┬─toTypeName(t)───┐
│ 2016-06-15 23:00:00 │ DateTime('UTC') │
└─────────────────────┴─────────────────┘ -
SELECT
t,
toTypeName(t)
FROM
(
SELECT toDateTime('2016-06-15 23:00:00', 'Asia/Yekaterinburg') AS t
UNION ALL
SELECT toDateTime('2016-06-15 23:00:00', 'UTC') AS t
)
┌───────────────────t─┬─toTypeName(t)──────────────────┐
│ 2016-06-15 23:00:00 │ DateTime('Asia/Yekaterinburg') │
└─────────────────────┴────────────────────────────────┘
┌───────────────────t─┬─toTypeName(t)──────────────────┐
│ 2016-06-16 04:00:00 │ DateTime('Asia/Yekaterinburg') │
└─────────────────────┴────────────────────────────────┘ -
ага. кто первый встал, того и тапки
-
ладно, вроде как FILL меня должен спасти. наверное я его как-то не так готовил, когда пробовал
-
м. я вспомнил, в чем была моя проблема с FILL. если за весь период вообще ничего нет - FILL ничего и не заполнит
-
Ребята, подскажите пожалуйста куда смотреть:
обновили КХ 20.4.3 > 20.12.4, стартанули
ЦПУ выжран (ниже 34% не опускается)
причем на этой машине не вижу ни процессов ни мержей ни мутаций
что я пропускаю?
может там какие-нибудь дефолтные компресии сменились и рул ттл и он в БГ мне сча пытается историю отлопатить? -
и в будущее он тоже не заглянет, хех
-
спайки - от запросов, а чем стабильно треть проца занято не могу разгадать
и в таком стиле 2 кластера по 12 тачек( -
хех, все равно непонятно, как мне тогда сгенерить timeSlots правильно
алсо
SELECT toTypeName(timeSlots(toDateTime(toDate('2021-01-11')), toUInt32(dateDiff('second', toDateTime(toDate('2021-01-11')), toDateTime(toDate('2021-01-12')))), toUInt32(86400))) AS typename
┌─typename─────────────────────────┐
│ Array(DateTime('Europe/Moscow')) │
└──────────────────────────────────┘ -
А можете посоветовать, какой нибудь красивый\удобный вьювер (а может даже и моделер) для clickhouse?
-
Да, похоже это то, что искал, спасибо
-
:D
-
А можно ли сделать COMMENT COLUMN при CREATE TABLE?
-
create table XX(A Int64 comment 'xxxxx') Engine=Log
-
Спасибо
-
( A Int64 default 100 comment 'xxxxx' CODEC(Delta,ZSTD) )
-
еще одно странное поведение
(обновили КХ 20.4.3 > 20.12.4)
временные таблицы с engine=Log
созданные и еще не дропнутые с версии 20.4 читаются в несколько тредов (insert-select ~1m rows ~19sec)
а созданная в 20.12 почему-то ломится в 1 тред (и в 2-3 раза дольше обрабатывается)
насильно пытаюсь увеличить (
set max_threads = 6;
set min_insert_block_size_rows=200000;) - не помогает - видимо чего-то не учел? - 13 January 2021 (246 messages)
-
Когда таблицу log заполняю с min_insert_block_size_rows=200000
То на селекте в формат нулл можно добиться того, чтобы было несколько тредов
Но чтобы и на инсерты позитивно повлияло - не заборол пока -
max_insert_threads
можно попробовать увеличить, если еще не делали
https://github.com/ClickHouse/ClickHouse/search?q=max_insert_threadsSearch · max_insert_threads · ClickHouse/ClickHouseClickHouse® is a free analytics DBMS for big data. Contribute to ClickHouse/ClickHouse development by creating an account on GitHub.
-
никто не знает, поддерживает ли CH чз http FORMAT CustomSeparated?
https://github.com/ClickHouse/ClickHouse/issues/12744#issuecomment-663738562
Потому что без него у меня CH выдает ошибку, что не нашёл ,
Row 1:
Column 0, name: datetime, type: String, parsed text: "2021-Jan^d1^d2" ERROR: Line feed found where delimiter (,) is expected. It's like your file has less columns than expected.
And if your file have right number of columns, maybe it have unescaped quotes in value
А
когда делаю запрос с указаниме типа разделителя format_custom_field_delimiter='^', то выдаёт ошибку
Code: 49, e.displayText() = DB::Exception: There is no checkpoint (version 20.1.2.4 (official build))
cам запрос
find . -type f -name 'j.log' | while read f; do
curl "http://localhost:8123
/?query=INSERT%20INTO%20mydb%20FORMAT%20CustomSeparated%20SETTINGS%20format_custom_escaping_rule%3D%27CSV%27%2C%20format_custom_field_delimiter%20%3D%20%27%5E%27" --data-binary "@${f}"
doneHow to import csv file with multiple delimiter character · Issue #12744 · ClickHouse/ClickHouseHow to import csv file with multiple delimiter character, example: name$$city$$age ss$$hangzhou$$28 dd$$shanghai$$30 (base) [admin@datainsight-d-006052 ~]$ clickhouse-client --password ck2020 --for...
-
В лоб пробовал - не спасло
-
А есть где-то в сконцентрированом виде список? А то разрозненно натыкался на разные, а полной картины не сложил в голове
-
Joined. -
Не подскажете, clickhouse_fdw можно водрузить на Postgres 10.5 или 11я версия A MUST ? -
Всем привет. Пытаемся внедрить КХ для хранения cdr (лог звонков с АТС). Партиционирование по timestamp (yyyymm). При вводе в эксплуатацию начала валиться ошибка Too many parts (600). Merges are processing significantly slower than inserts. (version 20.12.5.14 (official build)). Пустил трафик через clickhouse-bulk ( "flush_count": 1000, "flush_interval": 5000 ) — ошибка не ушла. Добавил
<merge_tree>
<parts_to_delay_insert>300</parts_to_delay_insert>
<parts_to_throw_insert>600</parts_to_throw_insert>
<max_delay_to_insert>2</max_delay_to_insert>
<max_suspicious_broken_parts>5</max_suspicious_broken_parts>
</merge_tree>
— всё равно ошибка не ушла. Что я делаю не так? -
и 7 ядер проца забито процессом КХ. это merge ?
-
ммм... flush_count 10000?
-
там больше 80 строк всё равно не накапливается. флашит по таймауту
-
раз в 5 сек?
-
да
-
а точно кто-то еще не толкает инсерты?
-
Запись раз в 5 сек...
-
а диск в порядке?
-
там ещё апдейты через alter table валятся. они могут быть причиной хаоса? ещё и сервер падает периодически.
диск да, в норме -
show processlist
-
кажет кучу стоящих инсертов?
-
в processlist ничего поймать не могу
-
апдейты - могут )) У меня еще и подвисшие были. Пару дней назд тут же и подсказали
-
счас найду...
-
идешь в папку с данными базы
-
/var/lib/clickhouse/data/<db>/<table>
-
если Вам нужны частые апдейты, то КХ лучше не брать.
+ вставки каких данных? У нас была такая ошибка когда вставляли пачки данных сильно разрозненные по ключу сортировки -
еще что там в system.mutations и system.merges ?
-
и там смотрите на mutation_ххххх.txt
-
мне пришлось их все поудалять и сервис рестарт
-
# ls muta*.txt |wc -w
24579
и растёт -
root@db-stat-ch:/etc/clickhouse-server# clickhouse-client -d stat
ClickHouse client version 20.12.5.14 (official build).
Connecting to database stat at localhost:9000 as user default.
Code: 210. DB::NetException: Connection refused (localhost:9000)
ещё и сервер пропадает на несколько секунд -
такое количество апдейтов не годится, судя по всему? вызывает непрерывный merge? сорян, я плохо понимаю физиологию КХ..
-
кх он да, для другого
-
апдейты можно, но редко
-
может движок сменить на replace-summary-aggreg ?
-
чтоб избежать
-
я не знал, что они будут так часто апдейтить данные, когда рекомендовал решение. думал, инсёрт и всё. то есть проблема практически точно в апдейтах?
-
ну как... если можете их как-то веременно приостановить и поможет - то да
-
но по "пракчиески точно" - подождите может еще мнений - я "средненько"
-
update/delete - это операции, которые не должны выполняться постоянно. Только в каких-то экстренных случаях, если надо поправть какой-то косяк в данных или еще что-то.
Можно попробовать ReplacingMergeTree, но он не дает 100% уверенности, что осталась только последняя версия -
с Final-ом то вроде дает? Правда работает медленней обычного селекта
-
Да, но это тоже тяжело. Мы сейчас страдаем от этих Final-ов (много их стало)
-
ugh. время в timeSlots перестает смещаться если принудительно кастовать везде в UTC. но тогда смещаются сами данные
-
что в партициях?
нам однажды с реплицированными таблицами сильно помог запрос select * from system.replication_queue where database='...' and table='...' -
они там какие-то кастомные json-поля апдейтят
-
нет, репликации нет
-
т.е. делаю ReplacingMergeTree с order by uniqueId, и вставляю обновлённую строку с этим же uniqueId, и КХ её заменит?
-
да
-
Когда нибудь, eventually
-
вставлять надо БАТЧЕМ либо по 10 тыс записей (а лучше 100 тыс), либо не чаще 1 раз в секунду
можете еще ENGINE=Buffer таблицу поставить и в нее вливать, но там сохранность данных при рестарте не гарантируетс...
flush_interval оставьте в bulk 5000 а flush_count поднимите до 10000 хотя бы -
там слишком мало строк на вставку, чтобы это было проблемой. в апдейтах беда 99%
-
а примерно когда?
-
Если не терпится - то добавлешь FINAL в селект. НО работает сразу медленее.
-
понял. а если терпится, то порядок задержки? 5 секунд, 5 минут, полчаса?
-
это у кого как. Закинь да проверь что именно у вас
-
а че clickhouse-bulk норм софт?
-
Несколько лет использую. Работает и не жужжит
-
Mergetree в replacing можно преобразовать? Или заново заливать?
-
Joined. -
нет не лишний
-
ну там наверняка PARTITION BY toYYYYMM(datetime_field) ?
-
ORDER BY | Документация ClickHouse
Секция ORDER BY Секция ORDER BY содержит список выражений, к каждому из которых также может быть приписано DESC или ASC
-
слишком частые партитции... это плохо
сократите до toYYYYMM(time) -
Добрый день!
Подскажите, плз, в чем может быть проблема. Использую nullIf для делителя, но все равно выдает Division by zero. Проверяю отдельно делитель, вижу null (ну то есть пустое поле, nullIf срабатывает). Версия 20.11.5.18.
Спасибо! -
0 != null
Это разные понятия -
Да, поэтому чтобы избежать деления на 0 я подменяю его на null
-
А как конкретно выражение выглядит?
-
Select a / nullIf(b,0) from T
-
WITH
3 AS a,
0 AS b
SELECT a / nullIf(b, 0)
Query id: 9bc4bb40-236f-413d-8313-4d5fcbfe9bb3
┌─divide(a, nullIf(b, 0))─┐
│ ᴺᵁᴸᴸ │
└─────────────────────────┘
clickhouse 20.13
Видимо проблема связана с типом данных
https://github.com/ClickHouse/ClickHouse/issues/7509#issuecomment-731599933Division by zero · Issue #7509 · ClickHouse/ClickHouseDivision by zero Describe the bug or unexpected behaviour error despite the fact that the denominator is converted to null in case of zero value How to reproduce ` drop table if EXISTS test_table; ...
-
У вас Decimal?
-
Да, вижу! Сорри, только сообразила посмотреть
-
Спасибо!
-
Но Decimal в 20.13 точно так же не работает
-
Угу, видимо придется конвертить.. или нашла еще intDivOrZero, попробую
-
с with не разобрался до конца, пока что обошелся create temporary table / insert / select. Там json, но как написать with чтобы потом можно было использовать в запросе - неясно (мне пока что не ясно, если дадите пример, буду благодарен безмерно)
-
а можно написать несколько условий в if? -
в документации что-то не нашел этого
-
multiif не катит
-
хочу конъюнкцию в условие
-
Вообще можно, через and или or
-
привет. подскажите, пожалуйста, на однонодовом брокере кафки получаем лог
Can't get assignment. It can be caused by some issue with consumer group (not enough partitions?). Will keep trying.
параметр group.initial.rebalance.delay.ms дефолтный, kafka_topic_list, kafka_group_name с разынми именами, версия КХ - 20.11.4.13. в чем может быть причина его появления и как выйти с такой ситуации? -
Joined. -
Какая ОС у кх?
https://github.com/ClickHouse/ClickHouse/issues/17803Openssl: probe different standard paths for ca. · Issue #17803 · ClickHouse/ClickHouseUsers from os other than ubuntu often complain that secure connections can not be established because of wrong path to ca is used in the openssl bundled in ClickHouse. The solution is to probe comm...
-
https://github.com/ClickHouse/ClickHouse/issues/18869#issuecomment-757111029
Пробуйте направить это на хранилище сертов для вашей осOpenSSL certificate issue when using S3 https endpoint in AWS China Region · Issue #18869 · ClickHouse/ClickHouseDescribe the bug When using S3 https endpoint in AWS China Region (Beijing and Ningxia), there is a openssl certificate issue reported. How to reproduce Which ClickHouse server version to use: 20.1...
-
Повторю и свой вопрос. FILL хоть и может заполнять "в будущее" но, по очевидным причинам, ничего не заполняет, если результатов нет вообще. А timeSlots двигает время, какую бы таймзону я в DateTime старта timeSlots не указал.
-
Скорее всего придется на коленке построить воронку на массивах и ручками сделать
https://altinity.com/blog/harnessing-the-power-of-clickhouse-arrays-part-2
Тк вам нужна именно последовательная комбинация из двух (?1)(?2) событий без каких либо событий между ними.Harnessing the Power of ClickHouse Arrays - Part 2ClickHouse arrays combine neatly with GROUP BY aggregation. We show how arrays track sequences and offer one way to do funnel analysis.
-
https://habr.com/ru/post/515606/
и чуть чуть
https://altinity.com/blog/harnessing-the-power-of-clickhouse-arrays-part-3
Ну и банально сама дока кхClickhouse — оконные функции, которых нет…Работу с колоночными базами данных я начал с BigQuery. Когда пришлось “переехать” на Clickhouse я был неприятно удивлен фактом отсутствия полноценных оконных фун...
-
WITH
groupArray(eventType) AS event_arr,
groupArray(EventTime) AS time_arr
SELECT
userID,
arrayFirst((x, y, z) -> ((y = 'A') AND (z = 'B')), time_arr, event_arr, arrayPushBack(arrayPopFront(event_arr), cast('A', 'Enum8(\'A\' = 1, \'B\' = 2)'))) AS x
FROM
(
SELECT
userID,
eventType,
EventTime
FROM test.funnel
WHERE (Age > 30) AND (eventType IN ('A', 'B'))
ORDER BY
userID ASC,
EventTime ASC
)
GROUP BY userID
Я бы что то такое написал, там правда нужно отфильтровать нули -
Беру три массива
массив таймстампов
массив евентов
массив эвентов с сдвигом на 1 элемент вперед
И достаю первый таймстап который отвечает буквально последовательности из эвентов A и B -
SELECT id, sumForEach([event_type="event_1", event_type="event_2", event_type="event_3"]) в целом можно так
Либо можно через sumMap([event_type],[1]);
Но вообще с -If были небольшие проблемы с перфомансом по сравнению с sum(If)
https://github.com/ClickHouse/ClickHouse/pull/17041Rewrite `sum(if())` and `sumIf` to `countIf` in special cases by ucasFL · Pull Request #17041 · ClickHouse/ClickHouseI hereby agree to the terms of the CLA available at: https://yandex.ru/legal/cla/?lang=en Changelog category (leave one): Performance Improvement Changelog entry (a user-readable short descriptio...
-
Они самые, ага
-
по дизайну предполается 1-2 апдейта в год. Не шучу
-
если будут идти частые заменяющие инсёрты в ReplacingMergeTree -- оно так же ляжет от мержей?
-
кейс такой, что первый час данные могут обновляться, а дальше их уже никто не трогает
-
нет, ну не все так просто. Вообще КХ просто для иммютебл данных. Вы что пытаетесь проапдейтить? Какой-то атрибут?
-
инсёртится лог звонков. потом в течение часа у строки могут обновиться некоторые поля, выборка по стринг-полю uniqueId
-
ну копите данные в кассандре, обновляйте, а через час заливайте в КХ
-
сейчас мускуль, но строк 400млн, и ему тяжко. План-Б такой, да. заливать прошлый час в КХ, если с Replacing не выйдет
-
почему 20.1.2.4 ? есть например 20.1.16.120 ?
кавычки там скорее всего не нужны %27
это для баша они нужны -
т.е. разница в том как создается engine=Log , одним блоком или несколькими.
Откуда берутся эти engine=Log ? каким запросом? -
create ttt as prototype_table
engine=Log
потом шелл
zcat file | clickhouse-client -q"insert into ttt format CSV" -
ну например так --max_insert_block_size=10000 --input_format_parallel_parsing=0
zcat file | clickhouse-client --max_insert_block_size=10000 --input_format_parallel_parsing=0 -q"insert into ttt format CSV" -
спасибо, пробую
на последующий ЕТЛ-ьный запрос к этой таблице насильно какие-то сеттинги надо добавлять? или само должно понять? -
Добрый вечер! Читал документацию, но не нашёл ответ на свой вопрос: можно ли как-то в КХ добавить свой метод сжатия столбцов? -
Надеюсь что не понадобятся, это ещё будем изучать :) просто заранее пытаюсь выяснить, сложно ли это сделать, потому что есть хороший алгоритм сжатия массивов для нашего случая
-
тредов стадо больше (~6)
но к скорости последующей выборки плюсануло не так сильно, как я надеялся
[hostname] 2021.01.13 15:01:57.683883 [ 2607564 ] {f1e730ce-c8f9-429c-a8b5-d957fdc1f27f} <Information> executeQuery: Read 1624753 rows, 1.35 GiB in 28.547938887 sec., 56913 rows/sec., 48.38 MiB/sec.
[hostname] 2021.01.13 15:01:57.684423 [ 2607564 ] {f1e730ce-c8f9-429c-a8b5-d957fdc1f27f} <Debug> MemoryTracker: Peak memory usage (for query): 3.32 GiB.
получается что-то из дефолтных сеттингов решило вести себя иначе
Спасибо @den_crane -
например какой? я сомневаюсь что можно сжать лучше чем ZSDT3
-
ну сделайте тикет на гитхабе что регресия перфоманса, приложите статистику, было так, стало так
-
Когда-то я внедрял ClickHouse в стартапе, где даже алерты мониторили индийцы — это был Дикий Запад
Однажды я работал дата-инженером в стартапе. Он быстро рос и в какой-то момент решился на покупку одной крупной компании. Там было больше сотни сотрудников — оказалось, почти все из Индии. Пока...
-
Подниму
-
добрый день. подскажите пожалуйста как это реализуется, на каких технологиях.
Есть клиентские приложения которые в случайные промежутки времени отправляют данные( сложный JSON) на сервер.
запросы от клиентов приходят в виде 1 объект в случайный промежуток времени.
момент вставки в БД предполагается определять так: "когда накопилось 10 тыс. объектов - вставь в КХ".
как и с помощью чего реализуют подобную логику ? in-memory БД а-ля Redis? -
можно в очередь складывать и потом оттуда большими кусками выгребать
-
а этот сложный json вам нужно парсить предварительно? -
(редис тоже как очередь можно использовать)
-
так-то в кх есть буфферные таблицы, и там как раз можно настроить флаш в целевую таблицу по условию "накопилось 10к элементов"
-
Очередь, может - ивент стрим (от Кафки до Флинка - смотря какой кейс) - все зависит от объема данных, ресурсов, сценариев предобработки и того, можете ли вы эти данные потерять или нет ( Редис вот не персистентый) -
нет . можно сформировать на клиенте готовый json для вставки в КХ(там есть какой то упрощенный формат).
буферные таблицы - посмотрю , спасибо.
а на REDIS можно такие условия писать типа "если объектов больше N тогда" - сложи все в БД? -
День добрый, есть таблица
create table copy ( ... ) ENGINE = MergeTree ...
есть материализованная вью
CREATE MATERIALIZED VIEW original TO copy ...
У неё движок не указывается
Я не нахожу описания работы TO (https://clickhouse.tech/docs/en/engines/table-engines/special/materializedview/), в чём отличие от просто материализованной вью без TO, которая не будет никуда копировать (кроме того, что не будет наполняться ещё одна таблица)?MaterializedView | ClickHouse DocumentationMaterializedView Table Engine Used for implementing materialized views (for more information, see CREATE VIEW). For stor
-
с этими технологиями знаком только в общих чертах.
объем в 10000 вставок может накопится в среднем за часов пусть 5-7.
предобработку можно не делать , т.е. настроить на клиенте.
данные терять - нет.
может есть под рукой статья или материал какой то с примером как это реализовано на одной из указанных технологий?
я так понимаю для КХ это типовая довольно задача или у всех данные сперва в OLTP БД падают?) -
ну если так мало вставок, можно сразу в кх вставлять и не мучаться
-
единичными по пару кб и пофиг?)
-
ну они же не 100 рпс в секунду
-
или так тоже бывает?
-
у нас вообще одно время собирались метрики с софта вебсервисом и писались в json-файлы (немного, по тыще в час от силы), а раз в 10 минут приходил обработчик, парсил, пачкой вставлял в CH и удалял обработанные файлы
-
неа. ну 100 в минуту максимум. время прихода рандомное, варьируется в некоторых пределах.
-
Заранее извиняюсь за тупой вопрос, но может кто подкажет почему не работает задание партиции через выражение? Пытаюсь сделать как в документации - "ALTER TABLE default.t1 DROP PARTITION toYYYYMM(now() - INTERVAL 3 month)" - получаю "Syntax error: failed at position 79 (end of query): Expected one of: LIKE, GLOBAL NOT IN, IS, OR, QuestionMark, BETWEEN, NOT LIKE, AND, IN, ILIKE, NOT ILIKE, NOT, token, NOT IN, GLOBAL IN" -
талица PARTITION BY toYYYYMM(Date)
-
CH 20.6.8.5
-
так то понятно). а потом что сделали?
-
спасибо, посмотрю
-
перешли на prometheus и графану :)
-
там изменился подход и количество метрик
-
Это 30 инсертов в секунду, мелочь, можете не парится -
но вышеуказаный подход работал как часы года два
-
Можете взять буффер кх в добавок, если диск такой слабый итд
-
Но я бы даже не парился на счет такой мелочи, как 30 вставок в секунду
-
а как же рекомендации в доке КХ?) я вот начитался теперь тут вроде как дурацкие вопросы задаю..
-
Какие ?
-
вставлять данные большими пачками.
-
1. Это не про вас, у вас таких данных тупо нет
2. Я же написал, если хотите вариант по лучше берете буффер кх -
Но я бы просто забил
-
забить это то могем. спасибо всем за советы.
-
буффер не очень надёжен, он до вставки в таблицу просто в памяти хранит данные
-
Велком, когда данных станет больше, просто буффер цепляете и все, а когда будет не хватать, можете уже аля брокер подцепить типо кафки и читать с нее через кафка энджин
-
Ну тут зависит от требований системы, конечно есть шанс потерять данные, если это баковские данные или баланс то да, буффер не советую
-
Но обычно, раз в год потерять 10 записей, не критично
-
А если критично, берете кафку и вперед
-
все спасибо вопрос закрыт) пойду изучать,
логика пока такая "забить" - "если плохо" - "буфер" - "если плохо" - серъезные технологии. -
Отвечаю сам себе. 🙂 Это потому что https://github.com/ClickHouse/ClickHouse/issues/10212 - обернуть все в tuple() помогает.Drop partition with partition expression is broken · Issue #10212 · ClickHouse/ClickHouse
Describe the bug When I use partition expression instead of string I get a syntax error. Since upgrade from version 19.13 to 20.3.5.21. How to reproduce DROP TABLE IF EXISTS test1; CREATE TABLE IF ...
-
Добрый вечер. Есть 2 кластера в разных сетях. В первом случае 6 машин, в другом 5. Так вот, нужно перетащить данные из 1 кластера во второй. Хотел через freeze переносить партиции, но смущает, что количество серверов не сходится во втором случае, и одна окажется лишней ( равномерно не получится перетащить ) . Но выходит, что придется выгружать в файлы и опять потом заносить. Что можете посоветовать ?
-
это ща так спайс рекламируют?) -
1) такую админы поставили. Попробовал локально на сборке из master - таже ошибка.
Логи сервера:
<Fatal> : Logical error: 'There is no checkpoint'.
2) кавычки нужны, без них ошибка
Code: 62. DB::Exception: Syntax error: failed at position 87: CSV, format_custom_field_delimiter = '^'. Expected one of: NULL, number, string literal, literal -
Совсем, через флешку переносить
-
И его в том числе, звоните.
-
Joined. -
Ну да, только вот это на постоянной основе нужно делать 😁. И постоянно заносить последнюю партицию через дистрибьютед не очень получается
-
Благодарю
-
Joined. -
Здравствуйте, подскажите, пожалуйста, по структуре БД в кликхаусе - есть достаточно простая структура данных:
{дата}, {строка1}, {строка2}, {…} , {строка 11}
Выборка будет производится в основном с учетом полей «дата», «строка1» и подстроки из «строка2».
Возможны также перекрестные запросы с участием практически всех полей.
Есть ещё один момент – поле «строка1» имеет ограниченное количество вариантов, 15 млн., если точнее. Потом оно повторяется, даты и остальные строки при этом разные.
Насколько правильным будет залить всё это счастье просто в одну таблицу? Или, возможно, есть какие-то другие варианты, более оптимальные? -
vagrant.vm 🙂 select * from devices2;
SELECT *
FROM devices2
Query id: c8f873e5-605b-4d29-b880-3c9bbc590f0d
┌─id─┬─name────┐
│ 1 │ Desktop │
│ 2 │ Phone │
│ 3 │ Tablet │
│ 4 │ TV │
└────┴─────────┘
4 rows in set. Elapsed: 0.002 sec.
vagrant.vm 🙂 select dictHas('devices2' , toUInt64(1));
SELECT dictHas('devices2', toUInt64(1))
Query id: eceaf74c-af32-4c68-a16a-cc03fc89cbaf
Received exception from server (version 20.12.5):
Code: 36. DB::Exception: Received from localhost:9000. DB::Exception: external dictionary 'devices2' not found: While processing dictHas('devices2', toUInt64(1)).
0 rows in set. Elapsed: 0.002 sec.
Подскажите пожалуйста, что я делаю не так. Внешний словарь, с подключеничем через odbc в postgresql, загрузился, выборка по нему работает. А когда я пытаюсь использовать его в запросе, говорит, что его нет.. -
И еще вопрос:
даже если я успокоюсь и буду использовать WITH FILL для заполнения пустот - как заполнять пустоты помесячно? Там во-первых STEP в секундах/днях, а во-вторых вообще какая-то непонятная хрень происходит
SELECT
count(*) AS cnt,
toStartOfInterval(time, toIntervalMonth(1)) AS period
FROM metrics
WHERE (toDateTime(time) >= '2020-09-01 00:00:00') AND (toDateTime(time) <= '2021-02-31 23:59:59') AND (event = 'radio_play')
GROUP BY period
ORDER BY period ASC WITH FILL FROM toDateTime('2020-09-01 00:00:00') TO toDateTime('2021-02-31 23:59:59') STEP 2592000
┌──cnt─┬─────period─┐
│ 1543 │ 2020-12-01 │
│ 3094 │ 2021-01-01 │
└──────┴────────────┘
┌─cnt─┬─────period─┐
│ 0 │ 2040-08-29 │
│ 0 │ 2106-02-07 │
│ 0 │ 2058-11-19 │
│ 0 │ 1978-04-13 │
│ 0 │ 2077-02-08 │
│ 0 │ 1996-07-03 │
│ 0 │ 2095-05-01 │
└─────┴────────────┘ -
ну это тренировочный пример) я просто пытаюсь разобраться с кх для начала
-
🙏
-
Joined. -
плиз, хелп) только первые шаги делаем в клике, не хотелось бы ступить в самом начале
-
или вот это мне ответили?)
-
В целом нормально, если есть некая локальность значений можно поле строка1 даже в lowCardinality обернуть
-
о, благодарствую за ответы! А то заливать почти 6ТБ данных, не хотелось бы потом перезаливать заново...
-
Добрый вечер, не подскажите возможно ли выделить больше ресурсов на операции Преобразования типов? Ситуация следущая есть объемный топик, на него смотрит mv и соотвественно скидывает в табличку, если в mv не преобразовывать string в datetime например, то лаг не накапливаться, как только прикручиваю преобразования, то начинает копиться лаг :( -
да ну, не верю. Дело скорее не в этом
и сколько миллиардов записей в секунду? -
500 mbs 310к eps
-
и сколько параметр consumers.. у kafka?
-
24 ноды по 3 консьюмера
-
что? какие ноды? вы о чем вообще?
у kafka engine что в
kafka_num_consumers
kafka_thread_per_consumer -
По пропускной способности, рекомендации с гитхаба, выставлены
-
ну и сколько? что там у вас?
-
вам надо распалеллить обработку
-
72 партиции на топике, считываю 24 нодами(серверами в кластере , по 3 консьюмера на каждой, пихаю в mergetree таблицу без репликации
-
ставьте
kafka_num_consumers=10
kafka_thread_per_consumer=1 -
Thread не пробовал менять, завтра затестирую
-
без него все 10 консьюмеров будут в 1 CPU
-
короче
в профиль пользователя default background_processing_pool_thread=30
в кафка таблицу kafka_num_consumers=10 kafka_thread_per_consumer=1 -
Попробую, background_processing_pool стоит и так уже 32, попробую thread_per_consumer добавить должно помочь
-
>кусок весь должен помещаться в память
да должен, сортируется в памяти, потом пишется на диск -
Доброй ночи, а как можно сделать, чтобы если материализованная вью не сумела отработать на вставленном куске данных, то она не вернул ошибку, а просто забил на вставленный кусок?
-
нельзя, не реализована такая фича
-
так max( ) не оптимизирован в отличии от order by и не использует индекс/сортировку таблицы
-
теперь надо в tuple обернуть
ALTER TABLE default.t1 DROP PARTITION tuple(toYYYYMM(now() - INTERVAL 3 month)) -
ага, спасибо, разобрался
-
допишу-ка я это в доку
- 14 January 2021 (63 messages)
-
Joined. -
Case when 'January' then ... ,
Case when 'February' then ...
итд -
-
-
Средствами ch никак:
1. Kafka engine это не знает
2. Mv берет эвенты кусками каждые 7.5 секунд, то есть даже если написать neighbor, в первом эвенте куска поле param2 всегда будет пустое
можно попробовать сделать в схеме target таблицы param2 MATERIALIZED neighbor(param1, -1), но я не уверен, что это будет работать и проблема скорее всего перетечет на границу партов
лучше вообще так не делать в ch, какую проблему решаете? -
Я кстати неправильно понял, там не neighbor(param1, - 1)
-
Так у вас не эвенты, а состояния
Мб сделать словарь или вообще делать не на ch, а на oltp?
UPD я имею в виду, что вы хотите состояние, но не передаете его в следующих сообщениях в Kafka -
Joined. -
подскажите правильный путь решения
есть исходный постгрес , из которого нужно брать данные для агрегатов и справочники
как правильнее/производительнее/надежней ?
работать с ПГ к которому присоединены таблицы КХ
или
работать с КХ к которому присоединены таблицы ПГ
и каким образом?
из того что нашел это
clickhousedb_fdw и clickhouse-jdbc-bridge
но что-то оба варианта не впечатлили -
Joined. -
uniqStateIf
Этот, сначала отфильтровываем и только потом считаем стейт -
Правильно ли я понимаю, что как раз эта таблица показывает как работает OrDER BY?
-
А никто не сталкивался со случаем работы с jdbc, что значения Tuple-а возвращается как строка? -
есть в OLAP понятия размерности(дименшины) и метрики, грубо говоря:
select sum() - метрика
count() - метрика
country - размерность
city - размерность
group by country, city
так вот, все что перечислено в summingMT в order by -- это размерности
все что не перечислено -- это метрики
если у метрики числовой тип, то summingMT их скалдывает
если у метрики нечисловой тип, то summingMT берет любое значение ANY() -
в профиле default
-
-
если вы не знаете какой как партиционировать таблицу, партиционируйте по месяцам. toYYYYMM
-
Joined. -
какой индекс? skip ?
-
WHERE search_date='2020-01-01' ORDER BY search_date
так а секунд нету? -
а зачем LIMIT 1000, 1000
лейте в файл без лимита format CSV и потом в mysql загрузите как csv -
подскажите пожалуйста, кто работал с питоновским клиентом для кликхауса, когда в одном приложении делаю запросы в несколько потоков на запись в одну таблицу получаю что то вроде этого
Error on database:9000 ping: Unexpected EOF while reading bytes
Error on database:9000 ping: [Errno 9] Bad file descriptor
Error on database:9000 ping: [Errno 9] Bad file descriptor
EXCEPTION! Code: 100. Unknown packet 4 from server database:9000
clickhouse_driver.errors.UnknownPacketFromServerError: Code: 100. Unknown packet 4 from server database:9000 -
Создайте по клиенту на ядро. -
Ага. так и подумал. спасибо
-
Добрый день. Может кто сталкивался. Беру файл с 10млн записей в формате ORC. Выполняю запрос insert into <table> select * from file('<filename>', ORC, '<fields>'). Запрос работает очень долго (уже больше часа) и пишет, что вставил 700 млн строк. В самой таблице почти сразу появилось 10 млн и не меняется. В чем может быть проблема?
(точно такой же по составу файл, но parquet, заливает сразу) -
выглядит как повод для issue на github
а если строк меньше чем 10 миллионов? -
Аналогично.
- 15 January 2021 (71 messages)
-
If you are sure that file exists and configuration is correct, try ldd comand. You can see this message when system can't find one of dependencies of .so file or it has wrong version.
-
Ребят, привет! Подскажите, пожалуйста, как скорректировать лимит выделенной памяти (10Гб по-умолчанию) на запрос? -
Как я понял это max_memory_usage
-
Но не понимаю в каком блоке настроек его прописывать. Пробовал в <yandex></yandex> - не взлетело
-
You get error in tableau and install odbc driver on tableau server
-
<max_server_memory_usage>21474836480</max_server_memory_usage> ставил - тоже не помогает
-
это ведь значение в байтах надо указывать?
-
В users.xml
yandex - profiles - <ваш профиль> -
Спасибо, Антон, сейчас попробую
-
Добрый день.
Делаю create table t (Id Int64,Name String...) engine Join(ANY,INNER,Id)
Затем select ... from a join t using id where t.Name in ('a','d','c')
И получаю Table t (67628bd1-2522-4ada-a420-4c6269ed7526) has incompatible type of JOIN
ЧЯДНТ? -
Привет, Денис!
можно еще ставить только при выполнении тяжелых запросов:
SET max_memory_usage = 100000000000; -
Добрый день. Как из этой строки в CH -[2,2,3,4,4,3,2] получить такую - 2,2,3,4,4,3,2 -
вопрос снимаю, спасибо
-
в КХ предусмотрен файл с кредентсами, типа как /root/.my.cnf ? не могу нагуглить
-
да
-
чтобы в cli пароль не передавать
-
ll /etc/clickhouse-client/
тогда) -
нашёл, спс
-
~/.clickhouse-client/config.xml
-
да, сорь, этот
-
Всем привет
У меня возникла проблема - есть табличка которая читает из кафки, есть ее копия с MergeTree созданная для матвью, и есть матвью который с простым условием должен складывать данные в табличку.
Все бы хорошо, но некоторые записи начинают дуплицироваться просто так, в чем может быть причина?
Из необычного когда создавался MergeTree то использовался старый синтаксис, а именно так :
...
date Date MATERIALIZED toDate(Timestamp)
) ENGINE = MergeTree(date, date, 8192); -
Joined. -
Есть интересная проблема, присуствует в таблице битый парт и кликлаус ругается что не может его смержить, а когда мытаюсь его детачнуть, то говорит что парт участвует в мерже
2021.01.15 12:05:54.200281 [ 1142972 ] {} <Warning> default.events (ReplicatedMergeTreePartCheckThread): Checking data of part 20201130_20201130_499695_499707_2.
2021.01.15 12:05:54.892738 [ 1142967 ] {} <Warning> default.events (ReplicatedMergeTreePartCheckThread): Checking part 20201130_20201130_499695_499707_2
2021.01.15 12:05:54.897808 [ 1143453 ] {} <Error> default.events (8005f254-5c8e-45ed-9a03-8ba6d4b05bce): auto DB::StorageReplicatedMergeTree::processQueueEntry(ReplicatedMergeTreeQueue::SelectedEntryPtr)::(anonymous class)::operator()(DB::StorageReplicatedMergeTree::LogEntryPtr &) const: Code: 33, e.displayText() = DB::Exception: Cannot read all data. Bytes read: 15729662. Bytes expected: 268435455.: (while reading column BillingURL): (while reading from part /var/lib/clickhouse/store/800/8005f254-5c8e-45ed-9a03-8ba6d4b05bce/20201130_20201130_499695_499707_2/ from mark 14 with max_rows_to_read = 8192): While executing MergeTreeSequentialSource: Cannot fetch required block. Stream PipelineExecuting, part 2, Stack trace (when copying this message, always include the lines below):
ALTER TABLE events
DETACH PART '20201130_20201130_499695_499707_2'
Query id: 55348067-6a11-40ea-83ae-235d5ffb4aaf
Received exception from server (version 20.12.5):
Code: 384. DB::Exception: Received from localhost:9000. DB::Exception: Part 20201130_20201130_499695_499707_2 is currently participating in a background operation (mutation/merge), try again later. -
Joined. -
https://altinity.com/blog/clickhouse-kafka-engine-faq
это уже читали?ClickHouse Kafka Engine FAQKafka is a popular way to stream data into ClickHouse. ClickHouse has a built-in connector for this purpose -- the Kafka engine. This article collects typical questions that we get in our support cases regarding the Kafka engine usage. We hope that our recommendations will help to avoid common problems.
-
Спасибо, Эд)
-
Прочитал, спасибо
И получается на некоторых версиях клика, предположительно на "старых" данные могут дублироваться? -
на новых тоже в редких случаях,
at least once пока только поддерживаетс -
Не знаю как ответить на вопрос.
Сравниваем клик с куду, там из того же топика льется и дуплицирования нет -
Joined.
-
может поможет
system stop merges default.events -
Проверю завтра
-
select
where has( color, 'red')
order by time desc
limit 1 -
про кафку и дубликаты
делаем poll1, poll2, poll3
записываем в КХ,
комитим оффсеты
кафка отвечает, что был ребаланс и партиции эти уже не наши, и комит неудачный.
и даже у нас есть ребаланс листенер, про ребаланс мы можем узнать только в момент poll, и надо успеть и узнать и среагировать за таймаут в 5 сек. , иначе ребаланс пройдет без нас. -
Join(ANY,INNER,
a join t
Либо Join(ALL,INNER,
либо a any join t -
прямо вот "посоветовать"
из тех кто clickhouse поддерживает
apache superset
и metabase
из более или менее "BI" -
Redash ещё есть. Но из этих трёх решений субъективно superset самое нормальное -
а мы метабейзом очень довольны. пойду погляжу ютуб про суперсет)
-
редаш какая-то поделка с некрасивыми графиками и кривым конструктором)
-
У metabase 2 главные проблемы: написан на Clojure и отвратительная модель прав. Интерфейс у него и правда самый приятный
-
суперсет кажется покруче картинки умеет
-
Добрый день, хочу спросить, как будет оптимальнее делать из Column LowerCase при внесении или при запросе SELECT?
-
Строк 10миллиардов, запросы на SELECT выполняются не во время записи
-
Joined. -
Вот бывает же.
Беру таблицу , считаю sum(поле) получается 428922784
Переливаю в другую таблицу, менее широкую, c помощью insert ... select .... sum / sum / sum group by по 20 полям.
считаю sum(поле) в новой таблице получается 428922779
через полчаса отладки я догадался сделать set insert_deduplicate = 0 -
- 16 January 2021 (46 messages)
-
О как. Спасибо.
-
не помогло к сожалению, так же ругается что используется парт в мерже
-
Хороших всем выходных. подскажите плз, как проверить актуальное значение max_concurrent_queries? в конфиге поменял, хочу убедиться, что подхватилось. в system.settings нет его
-
Народ, а какие требования к машинам zookeeper для репликации 2 КХ серверов?
-
Вопросик. Экспартируем данные из КХ в native формате в файл. Далее пытаемся сделать инсерт в базу, но в таблице нет одной или несколько колонок. Естественно получаем ошибку. Инсерт делаю так: clickhouse-client -q "INSERT INTO default.event_test FORMAT Native" < file. Пытался указать, какие именно колонки использовать. Не помогло. Есть ли варианты импортировать данные если нет части колонок в конечной базе при существовании этих колонов в исходных данных? -
Input function
-
https://clickhouse.tech/docs/ru/sql-reference/table-functions/input/ я так понял вы про этоinput | Документация ClickHouse
input input(structure) - табличная функция, позволяющая эффективно преобразовывать и вставлять отправленные на сервер да
-
запросом из базы не? верно?
-
спасибо. уже посмотрел
-
конфиг, как Вы и сказали
-
а можно ли отключить слияние в фоне для учебных целей ?
-
SYSTEM STOP MERGES
-
А сколько байт или строк максимум в дата парте? Как КХ понимает, что партиция разжирела, и ее нужно по нескольким партам разбить?
-
-
Разбивать конечно ничего КХ не будет. Нету такой возможности. Мерж умеет только соединять/слиять.
-
По моему парт и партишн в КХ совсем разные вещи, ну просто таки совершенно.
-
партишн -- виртуальная сущьность. Логически объединяет физические парты.
-
Добрый день, подскажите, как сделать лучше, есть 10000 различных строк, вносится 1миллиард строк, где один колумн, это содержимое одной из этих 10000 строк, лучше вынести их в отдельную таблицу и дать им ID и вносить его или просто вносить их в таблицу и не париться?
-
Длина строк от 40 до 80 символов
-
есть такая штука -- LowCardinality, примерно для вашего случая
-
Да, я знаю про неё, просто боюсь, что потом 10 000 строк могут превратиться в 100 000
-
Или даже больше
-
словарь в каждом парте свой
-
о, это отличная новость, спасибо!
-
А LowCardinality может быть Nullable?
-
на самом деле решение можно принять только зная запросы которые будут выполняться над этой колонкой.
И например джойн с таблицей на 100к это совсем не сахар. И словарь (ext.dictionary) тоже не сахар. -
да
-
Join'ы делаться не будут, только если на несколько сотен строк
-
вы просто не понимаете что такое джойны.
Вот например вы сохранили в большой таблице id = 777
В маленькой таблице у вас 100к строк, как вы расшифруете 777 в большой таблице?
Вы сделаете джойн. Nested loop в КХ нету, HashJoin перекинет все 100к в память и будет делать это очень долго (100мс) -
Вынесу данные, которые мне нужны в ENGINE = Memory() и там сделаю Join
-
ахаха.
-
)
-
Проблема 100мс. возникает из перекладывания данных в хеш-таблицу, поэтому ENGINE = Memory() ничего не изменит
-
Есть правда Engine=Join который поможет, но с ним другие проблемы
-
Ну когда кол-во строк станет не 100к, возникнут новые трудности типа out of memory
-
Значит хранить строки?))
-
да, одна широкая таблица.
-
У меня в одном проекте после перехода с вертики было штук 20 таких таблиц с которыми джойнили, сейчас через 4 года осталось 2, остальные переместились в широкую, чтобы не делать джойны.
-
и то потому что те 2 надо обновлять после заливки
-
Понял, спасибо
- 17 January 2021 (48 messages)
-
Всем добра. Вопросик такой: есть файл созданный так SELECT … WHERE … OUTPUT <file> FORMAT Native, можно из него как то получить имена и типы колонок? Мне это нужно для последующего восстановления данных и чтоб не держать два файла (данные и схему).
-
Joined. -
Здравствуйте, начали разрабатывать аналитику.
У нас 2 потребности:
1) Отчёты за определенный период (тут всё понятно)
2) Получать последние данные о пользователе (вплоть до последних 10 секунд) для формирования рекомендаций.
Подходит ли ClickHouse для этой цели?
Также проблема в том, что последние действия пользователя могут быть пару часов/дней назад, а могут быть 10-30 секунд назад, а рекомендации всегда должны быть актуальными. Можете предложить схему для такой задачи? -
рпс какой в п.2.? -
Варьируется в пределах 100-1000
-
Нормально ли будет раз в, скажем, 5 секунд сохранять 2-5к записей?
-
да
-
и даже 5 раз в сек
-
для 2 не подходит. Возьмите кассандру / redis / mysql
-
как бы да. Там еще каталог с access_management там xml-и c юзерами, его можно тоже перенести, если хочется.
-
А можно узнать почему? Как я понял постоянно что-то идет в базу. Надо некий селект по данным по юзеру. Что тут не так? Какая разница когда он был - where userId=хх order by desc
-
КХ очень медленный и делает огромный оверхед на таких запросах.
В некоторых ситуациях mysql будет читать 2кб и отвечать за 0.001 сек., а КХ будет читать 6ГБ и отвечать за 3 сек. -
КХ не для точечных запросов когда надо обработать 200 записей и вернуть одну
-
это да. А тут речь про одну-две записи? ТОгда согласен. А так поле с datetime первым в перечне полей сортировки на таблице и должен отфильтровать. Нет?
-
Выбирать нужно не одну, а категории видео с наибольшим удержанием, в диапазоне 70-90%
-
>А так поле с datetime первым в перечне полей сортировки на таблице и должен отфильтровать
это большая ошибка для любой базы.
индекс должен быть order by (userId, time), для запроса where userId=хх order by desc -
дада, user, time, вы правы, забыл его
-
Проблема с КХ в том что индекс разреженный и будет прочитано записей больше чем нужно, потому что индекс указывает на гранулу в которой 8192 записей
-
скорее всего будет обработано минимум 2 гранулы
-
другая проблема что файлы .mrk (засечки) будут загружены все из партов, которые запрунены
-
и получается что mysql дает 10krps , и читает 1кб на запрос, а КХ дает 500rps и читает 60кб на запрос
-
-
SETTINGS index_granularity = 64;
Elapsed: 1.655 sec. Processed 1.15 thousand rows, 123.55 KB -
Я понял, спасибо большое. Просто статистика просмотров в любом случае нужна и хотелось объединить в одном месте и хранение больших аналитических данных и использовать эту же таблицу для формирования рекомендаций
-
пробовать вы конечно можете, но если у вас реальная биг дата, и надо реально много rps, то для таких точечных запросов КХ не подходит.
-
Благодарю, буду разделять
-
ну да, таким гранулятором (64) - это да
-
запустил последний селект на своей базе ради интереса - база 30 гиг, а марков 100Мб
-
хм база 30ГБ ? У меня пользователи лежат в кластере кассандры с 50 нодами и 2 TB диска в каждой ноде.
-
Подскажите пожалуйста. Верно понимаю, что delete данных если ну очень нужно по какому-то признаку (не по PK) возможен в CH? -
Спасибо за подтверждение, просто засомневался, что не будет потом поломок в данных
-
да, но КХ полностью перезаписывает парт(ы) без удаленных записей, если не повезло и записи с такими значениями парт. ключей будут в партах объемом 1ТБ, то КХ прочитает , распакует, запакует и запишет 1 TБ чтобы удалить 1 запись
-
Мы только начинаем. И у меня сразу запись в суммаримерж
-
ок. Спасибо за пояснение. Поидее у меня удаление будет идти в пределах одного парта (так как бью по месяцам) и нужно удалить 1К-100К записей в пределах одного парта, но по определенному признаку. Такое случается раз в 2-3 месяца, а то и режже.
-
это нормально, только нужно контроливать что мутации завершаются и НЕ застревают навсегда и не запускать одновременно 50тыс. мутаций как делают некоторые.
-
Ок. Спасибо, будем последить
-
Еще вопрос: посмотрел на кафка коннкетор, вроде как в нем починили известную проблему при ребалансировки кафки + у меня и так данные не айс и нужно их группировать, так как дубли уже в искходных данных, потому вроде норм. Тут вопрос: какой размер блока укзаывать оптимальнее? Я предпологал, что около 1М, но где-то видел рекомендацию 65К.
-
>вроде как в нем починили известную проблему при ребалансировки кафки
? это нельзя починить без 2pc транзакций -
>Я предпологал, что около 1М, но где-то видел рекомендацию 65К.
в современном kafka engine это все уже неактуально и там все по другому -
Значит я не так понял. но даже в этом кейсе вроде мы получим дубли данных, что в нашей ситуации соовсем не страшно
-
Можете пожалуйста подсказать, куда смотреть по данному вопросу?
-
если речь про https://github.com/ClickHouse/ClickHouse/issues/18668
то там ничего не вмержено, нашлись баги в librdkafkaUpgrade librdkafka to 1.5.3 or greater to fix duplicate writes with exactly once semantics and compressed messages · Issue #18668 · ClickHouse/ClickHouseWe are experiencing duplicates writes when consuming from Kafka using the Kafka connector while using exactly once semantics with compressed messages. We were able to locate the bug in librdkakfa, ...
-
ок. Спасибо.
-
Better settings for Kafka by filimonov · Pull Request #11388 · ClickHouse/ClickHouse
I hereby agree to the terms of the CLA available at: https://yandex.ru/legal/cla/?lang=en Changelog category (leave one): Improvement Changelog entry (a user-readable short description of the cha...
-
Спасибо!
-
Joined. - 18 January 2021 (219 messages)
-
Нет. Можно взять Replacing движок и он будет в фоне чистить дубли по ключу, но он не дает 100% гарантии, что дублей совсем не будет
-
Joined. -
Joined. -
Здравствуйте!
подскажите, в каких случаях может пригодиться LowCardinality ? Как он работает ? Где храняться данные и в каком виде ? Можно ли сальтерить с обычной строки в LowCardinality ?
В доке как-то супер мало информации.
Спасибо -
Joined. -
Всем привет! Ищем нам в команду DBA (ClickHouse). Наша команда занимается разработкой и сопровождением решений для аналитики на базе различного типа хранилищ. На данный момент мы поддерживаем СlickHouse и Cassandra. На очереди Apache Ignite. По ссылке описание вакансии, но я готов ответить на уточняющие вопросы, потому что сам работаю в этой команде :slightly_smiling_face: Ссылка на вакансию: https://spb.hh.ru/vacancy/39575203Вакансия Database Engineer (Data Division) в Санкт-Петербурге, работа в компании Infobip (вакансия в архиве)Зарплата: не указана. Санкт-Петербург. Требуемый опыт: 3–6 лет. Полная занятость. Дата публикации: 26.05.2021.
-
Joined. -
Всем привет! Есть люди с опытом обработки большого массива данных на кх ? Хотелось бы проконсультироваться в личке, что бы чат не засорять. -
ачо, нам тоже интересно
-
тут как раз все такие так что пиши ))
-
не все, так что я просто послушаю
-
А есть ли возможность посмотреть статус OPTIMIZE TABLE к ReplicationMergeTree?
-
Joined. -
Есть самописная DMP для внутренних нужд компании и сейчас стоит задача по формированию аттрибутов профилй. Решили взять кх для сборки и обработки сырых данных ( опыта в этом большого нет). В сырые данные сохраняются title и url запросов и куча других полей. Пока работа идет с title и url полями, по ним формируются правила примера если title содержит "нужный текст" то такой запрос относится к аттрибуту под id 400 ( к примеру). Получается по факту пример запроса такой
select uid, positionCaseInsensitiveUTF8(ref, 'https://example.ru') != 0 OR positionCaseInsensitiveUTF8(title, 'Кулинария') != 0 OR positionCaseInsensitiveUTF8(title, 'Рецепт этого блюда') != 0 OR positionCaseInsensitiveUTF8(title, 'Кулинарный рецепт') != 0 as "440" from raw_data where "440" = 1; -
Там запрос иногда из 20-30 аттрибутов по 50-60 блоков OR каждый), данные в кх обрабатываются за пол года. их там порядка 200-300 миллиардов записей.
-
Здравствуйте!
Создали таблицу с полем типа DateTime без указания timezone; timezone, похоже, выставился автоматически Europe/Moscow. Заполнять это поле начали (по ошибке) датой UTC, то есть получили событие в 13:00 по московскому времени, превратили это время в UTC, то есть 10:00, и записали в поле DateTime. В итоге, как я понял из доки, которая говорит о том, что не важно, какая timezone указана для поля, все равно в недрах всё хранится в UTC (ну и как я вижу исходя из запросов), на самом деле в таблице сохранилось время 07:00 (это наблюдается при запросах, где пытаюсь выгрузить данные за определенные промежутки времени).
Engine таблицы – ReplicatedMergeTree
Каким образом корректно исправить эту проблему? Изменить тип стобца с DateTime('Europe/Moscow') на DateTime('Europe/London'), а затем обновить все значения этого поля, чтобы привести их к корректным? -
Добрый день, а если я хочу потоково читать из двух кафок с разными топиками, можно это как-то сделать?
я пробывал вот так, вбить адреса кафок и задать названия топиков:
create table test_kafka (
id UInt64
) ENGINE = Kafka('kafka-1:9092’, ’kafka-2:9092’ , ‘topic_1, topic_2', 'group1', 'JSONEachRow’);
но так не работает 🙁
Кажется, потому что в kafka-1 нет topic_2 и в kafka-2 нет topic_1
Делаю такой вывод, так как по отдельности все работает:
create table test_kafka (
id UInt64
) ENGINE = Kafka('kafka-1:9092’, ‘topic_1', 'group1', 'JSONEachRow’);
create table test_kafka (
id UInt64
) ENGINE = Kafka(‘kafka-2:9092’, ‘topic_2', 'group1', 'JSONEachRow’); -
я думаю, что нужно создавать две таблицы с разными коннекшенами
так будет более верно на мой взгляд, тк если чето упадет на первой, то весь консюм не стопнется -
Проблема в том что набор url не ограничен) И сам вопрос в том что у меня иногда запросы просто не отрабатывают так как не справляются за время. Пока единственный вариант который пришел в голову расширить кластер кх. Но подумал вдруг есть еще какой либо способ или какой либо еще инструмент который можно поковырять)
-
из select
-
возможно будет лучше создать material column’ы чтобы они считались при вставке на каждый из поисков. чтобы полнотекстовый поиск происходил только раз на одну запись, а не на каждый запрос
-
правила и по title и по url формируются. Их количество не ограничено. Аттрибутов тоже много соответственно правила все разные и комбинации тоже разные внутри.
-
ну вот это можно было попробовать material column’ы
-
Други, помогите плз) Есть таблица с логами заходов пользователей(1 запись = 1 действие). Нужно сгруппировать по дате и посчитать кол-во активных пользователей по датам. Активный - это тот кто заходил хотябы раз за 2 недели, тоесть есть хотя бы одна запись) Как на клике это лучше всего посчитать? -
ну да, клику не так сильно важно сколько этих колумнов будет. разбить на атомарные признаки и хранить только 0/1 типа совпадает/не совпадает, а потом уже любые запросы можно будет строить
-
наверное можно еще както массив склепать в этот material column - но я не пробовал
-
Хаюшке всем, докинули пару дисков в рейд на пару терабайт, участились мерджи и начали отставать периодически реплики. Я подозреваю что надо просто какие то настройки подтюнить, но не уверен какие конекретно. Сталкивался кто? -
не уверен, но
select count(active) as alias
…
group by date
having alias > 1
возможно даже в селект не нужно пихать, а сразу в хевинг, но это не точно)
или в подзапрос обернуть, так точно работать будет) -
+ сгрупировать по ид пользователя или какойто признак уникальности
-
точно
-
uniq(userid)
-
если нужен тотал по всем прям - можно попробовать в группировку докинуть with totals
-
Эммм. Это будет просто кол-во в эти дни, а должно быть например в сегодня попадут только те кто заходил сегодян или в оконо 2 недели назад. И так на каждый день)
-
написано было что заходил хотябы раз
-
Сорри поправил на или)
-
значит запись текущего дня как раз гарантирует активность
-
Joined. -
Верно, но если ее сегодня нет, а 11 дней назад есть, то и сегодня он дожен поасть в активные)
-
правильно я понимаю. вот например пустой лог. приходит один чел - и мы должны в агрегации получить что есть один активный чел ровно 2 недели от его захода и потом нули?
-
сагрегируй до двухнедельных отрезков)
-
Не очень тебя понял) В итогде должна быть табличка с 2мя колонками, дата и кол-во активных пользователей.
-
а исходя из какой логики в дне должен учитываться пользователь который последний раз заходил две недели назад?)
-
просто чтобы было больше количественно?)
-
Ну типо если есть хотя бы 1 тык приложении 2 недели назад(это 1 строчка в этой таблице), то он сегодня опадет в активные, а завтра нет(если он сегодня или завтра не зайдет соответственно))
-
такое ощущение что ничего лучше не будет чем циклом в коде пробежаться по всем дням искомого периода и выбрать уникальных визиторов за последние две недели… ну или через какую нить временную таблицу…
-
но никакой логики в этом нет же?)
-
бизнес логики
-
посчитайте уники по дням, посчитайте уники по неделям
-
это правдивее и проще
-
Ну у клинтов есть обращения, у них не всегда пишется id, тк в обращение может быть через Ватсап, Телегу итд. В Табло есть дашборд в разных разрезах с кол-вом обращений. Пока ничего лучше что бы увидеть по дням кол-во обращений/активных продавцов не придумали)
-
не увидел ответа как двухнедельный онлайн для каждого ид решает этот вопрос. даже наоборот ощущение что значения будут сильно завышены
-
в общем я думаю надо задачу более полно сформулировать, причем еще на этапе бизнес аналитики.
а если то как понял - проще всего кодом пробежаться и для каждого дня запрос выполнить. -
Ну типо если он 2 недели не заходил, то наврятли это он писал в поддержку. Короч просто метод узнать тех кто пользуется и щас когда их кол-во как и обращений будет расти, увидеть не полетит ли их отношение. Но это не моя идея, я полностью согласен что варик так себе)
-
Ну выберете всех юзеров начиная now() - interval 2 weeks
-
Может ли при проставленном insert_distributed_sync = 1 вообще существовать отставания реплик? Если во время вставки через clickhouse-client идёт сохранение на все реплики, то данные гарантировано записаны и отставания друг от друга нет. Я прав или я прав?
-
Joined. -
Привет. Подскажите, как корректно удалить storage policies? Если убрать упоминания из конфига, то они остаются в system.storage_policies
-
Понял, спасибо.
-
Для меня это не очень опция, так как я перевожу сервис с питона на C# и хочу, чтобы два сервиса некоторое время писали в одну таблицу, чтобы не потерять данные
Можно ли как-то так сделать? -
Так они будут продолжать писать в одну таблицу
Вы создадите две Кафка таблицы, потом два MV, которые пишут в нужную таблицу -
Я бы так делал
-
Вопрос по движкам компрессии
Delta и DoubleDelta - насколько эффективны для автоинкремент UInt32 колонок с негарантированной последовательностью вставки? Насколько замедляет выборку(расчет) по этим полям.? -
выходит так что это самые жирные поля тк значения в них уникальны
-
Привет
Запрос create table on cluster при поломанности каких-то машин выполнится или зафейлится? -
На починенных выполнится, на сломанных нет)
-
Подскажите, что означает TRACKING ONLY и NO LIMITS в выражении для квот? https://clickhouse.tech/docs/ru/sql-reference/statements/create/quota/Квота | Документация ClickHouseCREATE QUOTA Создает квоту, которая может быть присвоена пользователю или роли. Синтаксис: CREATE QUOTA [IF NOT EXISTS |
-
Joined. -
А как вы его добавляете, как второй диск (cold) или как основной?
Можете, пожалуйста, конфиг до-после показать? -
Хм.
А полный стектрейс ошибки можете показать, пожалуйста? -
Привет! Подскажите, пожалуйста, как залить на КХ внешние таблицы csv? (таблиц много 100 штук с одной и той же структурой) -
А рестарт сервера помогает?
Просто эти папки должны создаваться при старте таблицы, если их нет. -
curl -T ~/Downloads/tablename.csv.gz -X POST -v --progress-bar \
-H "Content-Encoding: gzip" \
-H "Content-type: text/csv" \
-H 'X-ClickHouse-User: default' \
-H 'X-ClickHouse-Key: mySecurePass' \
'https://www.host.com/?query=INSERT%20INTO%20tablename%20FORMAT%20CSVWithNames' -
Кажется, что рестарт должен помочь.
Добавление "наживую" толком не тестировалось. -
Какое значение по default в кликхаусе max_execution_time ?
-
Спасибо!
-
гайз, а как можно изменить партиционирование без боли ? Было партиционирование по недели, сейчас необходить сделать по месяцу. Ну и что бы помержилось все. Кроме как переливать в другую таблицу есть варики ?
-
Создаешь вторую таблицу, с нужным партиционированием. Объединяешь их с помощью движка Merge. Начинаешь писать в новую таблицу, читать из Merge. -
из-за слишком большого количества партиций у меня огромное количество партов. Проблема решается альтером партиционирования на месяц.
-
разрешить клику свопить ответ на диск?
-
Возможности ClickHouse для продвинутых разработчиков / Алексей Миловидов (Яндекс)
Приглашаем на Saint HighLoad ++ 2021 20 и 21 сентября 2021, Санкт-Петербург, DESIGN DISTRICT DAA in SPB Программа, билеты и подробности - https://clck.ru/VmKaW -------- Backend Conf, РИТ++ 2018 Тезисы: http://backendconf.ru/2018/abstracts/3481 В докладе планируется рассмотреть малоизвестные или недостаточно хорошо освещённые в документации возможности ClickHouse: инкрементальная агрегация и манипуляции с состояниями агрегатных функций, межкластерное копирование, выполнение запросов без использования сервера и т.п. Будут приведены примеры из практики разработки сервисов Яндекса: как выжать из системы максимум возможного. -------- Нашли ошибку в видео? Пишите нам на support@ontico.ru
-
-
но тут речь о group by.
-
Есть таблица
user_id | event | time_event
1| start | 2021-01-18 09:20:00
1| ev1 | 2021-01-18 09:37:00
1| ev2 | 2021-01-18 09:58:00
1| exit | 2021-01-18 10:11:00
2| start | 2021-01-18 10:02:00
2| ev1 | 2021-01-18 10:37:00
Как подсчитать, что за определенное время (например, 1 час), пользователь успевает сделать больше 3х событий.
Пытаюсь делать таким запросом
SELECT toStartOfInterval(time_event, INTERVAL 1 HOUR) AS time, user_id, COUNT(*) AS cnt
FROM table
GROUP BY time, user_id
HAVING COUNT(*) > 3
Но в этом случае промежуток времени это час с 00:00 до 00:59, а не от первого события отсчитывается. Может кто сориентирует как правильно сделать? -
а как представляете себе результат? в голове не укладывается
-
minmax granularity 8192 --- это ошибка , это кол-во гранул из первичного ключа, у вас получается 8192*8192
minmax granularity 1 or(2) -- ожидается -
https://youtu.be/rqf-ILRgBdY?list=PLO3lfQbpDVI-hyw4MyqxEk3rDHw95SzxJ
>Можно ли сальтерить с обычной строки в LowCardinality ?
да можно -
PARTITION состоит из множества PART
а откуда взялось
ALTER TABLE table_name DROP PART partition_expr
я не думаю что это работает -
А как рассчитать количество допустимых партиций на хост?
-
лучше не используйте никогда DROP PART
пока вы не понимаете что он делает -
никак. Если вы не знаете ответа, используйте партиционирование toYYYYMM
-
Ну я сделал партицирование, там максимальное кол-во партиций возможно - 100
-
100 партиций, это много\мало?)
-
>А можно ли удалять партиции по какому-то общему признаку, используя Like в предикате, или только явно указывая?
нельзя.
>Мне необходимо удалить много партиций, все они подходят под условие like '%2021-01-18%' например
можно написать что-то типа
select concat('alter table ',table, ' drop partition id \'', partition_id, '\';')
from system.parts
where active = 1 and table like 'яяя' and partition like '%2020-09%' group by database,table,partition_id
order by database,table,partition_id -
для сервера с X CPU и Y дисков это ок
-
хаха
-
скажем для некоторых таблиц, чтобы работало быстро, я делаю одну партицию в таблице.
-
))
X - 16 ядер AMD Ryzen 9 5950X
Y - 1 HDD Seagate Exos X16 14 TB ST14000NM002G, скорость RW 160MB/S -
да чтобы получить SQL скрипт, который потом выполнить нужно на всех серверах
-
Я просто экспериментирую с различными видами данных и их внесением, пытаюсь понять, как лучше)
-
используйте toYYYYMM
-
партиции в первую очередь для управления длительностью хранения, в 10ю очередь для перфоманса
-
Вся проблема в том, что данные вносятся за один день, потом простой, потом опять один день
У данных нету идентификатора, по которому можно было бы их разбить по типу toYYYYMM
Из за этого сделал ID и как партицию сейчас использовал Id % 100
Но это я играюсь и сам ещё не знаю, что из этого выйдет) -
дата внесения? materialize today()
-
Будет ли существенная разница у 1 миллиарда строк при различных партициях?
-
>Из за этого сделал ID и как партицию сейчас использовал Id % 100
и как select-ы выглядят? -
будет
-
SELECT * FROM test_table WHERE str1="test"
-
эээ, а КХ тут зачем? Тут кассандра нужна или монга
-
А, если вы про итоговый селект, то я ещё не начал работать с итоговыми данными, так что не могу точно сказать, сейчас я больше эксперементирую )
-
значит точно
(
X Date materialize today()
...)
partition by toYYYYMM(X) -
А NOW() не подходит?
-
а зачем вам хранить в таблице секунды? колонка место жрет
-
Согласен
-
а зачем materialize ?
-
чтобы не менять insert-ы и не менять поведение select *
-
materialize поля не раскрываются *
-
что значит не раскрываются ?)
-
это значит что select * не выбирает такие поля
-
это что-то типа виртуального поля получится ?
-
нет. Виртуальное это alias
-
в доке все есть
-
поле вполне реально, но надо явно его писать в select -
Если есть свободное место на сервере, и увеличить max_bytes_to_merge_at_max_space_in_pool больше чем 150ГБ, к примеру 400ГБ, это как-то может улучшить или ухудшить производительность КХ? чтобы мёрджы(слияния) выполнялись реже
-
эффективны.
>Насколько замедляет выборку(расчет) по этим полям
очень мало влияет
надо проверять CODEC(ZSTD) vs CODEC(DoubleD, ZSTD) -
это серьезно увеличит нагрузку на CPU и диск
>чтобы мёрджы(слияния) выполнялись реже
эээ, так ровно наоборот будет -
Есть вопрос, я использую ReplacingMergeTree
У меня есть Column UInt64 ID - это хэш от колонок (String): str1, str2, str3
Будет лучше поставить ORDER BY (ID) или ORDER BY(str1, str2, str3) -
получается 150ГБ для мёрджей, это оптимальный размер, ок, спасибо
-
Как минимум есть два фактора:
1. Поля, по которым ваши выборки фильтруются и сортируются. Например, при переходе к хешу вы сильно потеряете в скорости выборки, где в фильтре указано поле str1 или str1 или str2.
2. Желательно, чтобы записи с одинаковыми полями лежали рядом - тогда хорошо сработает компрессия данных. Тут уже вам виднее, в каком случае это получится. -
Понял, а на сколько нормально делать в ORDER BY (str1, str2, ifNull(str3, str4))?
-
подскажите - по SummingMergeTree:
Допустим таблица:
create table tr3
(
dt Date,
demand_id UInt32,
imps UInt64
)
engine = SummingMergeTree((imps))
PRIMARY KEY (dt, demand_id)
ORDER BY (dt, demand_id)
Если в нее пихать - то схлопывается и суммируется - все ок
Делаю по ней матвью:
CREATE MATERIALIZED VIEW tv
(
dt Date,
demand_id UInt32,
imps UInt64
)
engine = SummingMergeTree((imps))
PRIMARY KEY (dt, demand_id)
ORDER BY (dt, demand_id)
as Select dt,demand_id, sum(imps) from tr3 group by dt,demand_id; -
и в итоге в матвью идет 0
-
Если без груп бай, то идет, но по том ждать когда оно там решит схлопнуться
-
а тут непонятно - какие-то ограничения чтоли на суммари вью из суммари ендж?
-
Есть ли какие-то рекомендации под ЗК(настройки производительности итд), и использует ли кто-то ЗК как мастер мастер?(если возможно такое) для ускорения обработки транзакций внутри ЗК.
-
Спасибо, буду пробовать!
-
sum(imps) as imps
имена полей в select и MV должны совпадать -
Охтыж.... поди догадайся... Спасибо
-
ZK по дефолту мастер-мастер, там есть watch ноды , но это отдельная история и с КХ они не нужны.
>ускорения обработки транзакций внутри ЗК
ускорить ZK нельзя. Все ноды ZK делают одно и тоже и весь ZK работает со скоростью самого медленного узла
У вас не должно быть проблем с ZK , 3 нод ZK (один ансамбль) должно хватать на сотню шардов / на 500 нод КХ -
посмотрите мой доклад
https://youtu.be/1LVJ_WcLgF8?t=7596
https://den-crane.github.io/Everything_you_should_know_about_materialized_views_commented.pdf -
не вопрос, с удовольствием
-
благодарю за развёрнутый ответ, есть ли надобность бэкапить как-то ноды ЗК?
-
бекапить их особого смысла нет. Бекап вряд ли пригодится, нельзя получить последнюю секунду состояния ZK из бекапа.
У вас 3 ноды ZK , они все 3 содержат одинаковые данные / хранят снепшоты + логи.
Любой ноды из 3 достаточно для восстановления ансамбля -
я вот читал, что для оптимальной вставки, нужно использовать большой батч(500к-1млн записей в блоке данных), это правило распространяется на один инстанс КХ? если так, то для нод 30 в кластере, можно будет 15млн на каждый батч?
-
есть условно простое правило - вставки в одну ноду не должны быть чаще чем раз в 1 сек
-
хочу для себя понять, если в пуле скопится большое кол-во строк(в связи с непредвиденными обстоятельствами), на сколько большой блок данных сможет принять кластер
-
сколько угодно
-
сколько на диск влезет
-
все сильно зависит от ширины строк, от строк кол-ва за день, от требований к надежности / атомарности.
-
вопрос не имеет смысла. Какую проблему решаете?
-
можно записывать результат в одну таблицу , читать конечно через 2 ENGINE = Kafka(
-
Посмотрел доклад, хорошо. Много знал, но есть и новые фишки. Счас потыкаю базу. Спасибо!
-
Вот кстати вопрос. Что лучше (быстрее-проще-дешевле) Сразу инсертить в суммари таблицу или инсертить в движок нулл, а с него в суммари мат.Вью?
Вроде как через null представляется лучше - сразу пойдет групировка и не надо "схлопывать" потом. Или это увеличивает стоимость инсертов и они у меня в очередь выстроятся из-за группировки? -
🔥 теперь можно реализовать более эффективные клиенты/адаптеры, используя gRPC -
Подскажите пожалуйста, про какой докдад речь?
-
Denny Crane [Vertica DBA at Revjet(NB,Canada)] in ClickHouse не тормозит
посмотрите мой доклад https://youtu.be/1LVJ_WcLgF8?t=7596 https://den-crane.github.io/Everything_you_should_know_about_materialized_views_commented.pdf
-
Спасибо большое
-
ребилд рейда закончился?
-
Закончился. Я ещё пару особенностей заметил в логах, сейчас скину
-
2021.01.18 00:00:00.943698 [ 3531 ] {} <Error> default.visits_local: DB::BackgroundProcessingPoolTaskResult DB::StorageReplicatedMergeTree::queueTask(): std::exception. Code: 1001, type: fmt::v7::format_error, e.what() = argument not found, Stack trace (when copying this message, always include the lines below):
Таких сообщений тьма в логах. При чем появляются как по крону, хотя, конечно, никакого крона или прочих сервисов отродясь не было и нет
sudo cat /opt/clickhouse/log/clickhouse-server.log | grep "BackgroundProcessingPoolTaskResult" | cut -d ' ' -f1-2 | sed 's/:[0-9]*:[0-9]*.[0-9]*$//g' | uniq -c
11054 2021.01.10 00
7809 2021.01.11 00
1817 2021.01.12 00
5097 2021.01.13 00
16041 2021.01.14 00
18263 2021.01.15 00
20 2021.01.15 04
2 2021.01.15 12
781 2021.01.16 00
1376 2021.01.16 04
98 2021.01.16 08
2714 2021.01.17 00
2103 2021.01.17 04
1331 2021.01.17 08
13686 2021.01.18 00
531 2021.01.18 04
262 2021.01.18 08
Ровно в 00 часов, 4'ый час и 8'ой -
это ничего не значит, мелкий баг
https://github.com/ClickHouse/ClickHouse/issues/17613format error, argument not found · Issue #17613 · ClickHouse/ClickHouse(you don't have to strictly follow this form) Describe the bug a lot of background logs of thar error, constantly, on different tables How to reproduce from 20.3 -20.11.4.13 Expected behavi...
-
Отставание стали происходить тоже только ночью в 12 по utc. Но потом спустя пол часика разгребание replicas_queue разгребается и всё становится нормально
-
Одним легче. Но мы всё равно запланировали обновление до 21 завтра
-
какая версия сейчас?
-
жесть, стальные даже алмазные яйцы
-
┌─version()─┐
│ 20.11.3.3 │
└───────────┘ -
Скорее сильное желание чинить кластер ночью
-
ну и обнавляйтсь до 20.11.6.6
-
Оке, в любом случае отпишу помогло или нет, буду копать дальше
-
Denny, так что насчет:
Что лучше (быстрее-проще-дешевле) Сразу инсертить в суммари таблицу или инсертить в движок нулл, а с него в суммари мат.Вью?
Вроде как через null представляется лучше - сразу пойдет групировка и не надо "схлопывать" потом. Или это увеличивает стоимость инсертов и они у меня в очередь выстроятся из-за группировки? -
Обычно <insert> -> null -> mv -> <target> используют для "приведения" данных к должному виду таблицы.
Но нет гарантии, что дубликаты будут в одном инсерте (а ведь он ещё на парты может делиться).
Имхо если вы не протестируете на своих данных, вы так только размажете логику, не получив никаких плюшек. -
ну в этом случае MV+Null
можно и тоже самое сделать через input function, просто в insert -
логика - мне не нужны исходные данные, достаточно хранить суммированные
-
вопрос - где делать суммирование - в MV или Summ Eng таблице
-
в MV
-
меньше строк, меньше i/o , все быстрее
-
т.е. insert null -> MV -> dest табл
-
спасибо
-
очень удобен кстати синтаксис МV, который через TO. МНе сейчас просто надо создать нулл табл и перекинуть вставку в существующий Суммари.
-
Как я понимаю, что бы можно было указать диск отличный от default
-
ОMG... неужто без ЗК можно будет жить?
-
❤️
-
(это не спам, это реакция на кх без зк)
- 19 January 2021 (185 messages)
-
простите, но мы 3 года назад использовали КХ без ЗК :) правда не в кластере -
бывают случаи когда надежности безкластерного решения достаточно. ну или отказоустойчивость обеспечена другими методами
-
Joined. -
Joined. -
А подскажите для ручного удаления реплики по прежнему достаточно почистить один путь к ней в зк ?
-
Всем добрый день
А есть в клике функция, посчитать в отсортированных данных, по дате, например, количество переходов между значениями.
Например есть такие значения по порядку
1
0
0
1
2
Значения тут поменялись 3 раза. Такое возможно вообще через sql? -
uniq оно как я понимаю просто количество уникальных элементов выдаст, а нужно количество переходов между значениями. Значния могут быть разные, в том числе и дубли могут быть, а нужно посчитать сколько раз они менялись за указанный период
-
c runningDifference можно поиграться
-
через neighbor *но он подглючивает
или в array и колдовать... -
1-0 это один переход, 0-1 - второй, 1-2 - третий, допустим еще добавился 2-0 - это четвертый переход. И строки заранее отсортированы
-
Спасибо! буду разбираться
-
кстати да, тоже вопрос с аналогичной задачей. Есть факты изменения статусов. например 1 - онлайн 2 - оффлайн.
как посчитать при помощи кликавремея нахождения в каждом статусе за указанный период -
1;2020-01-01 00:00:00
2;2020-01-01 01:00:00
1;2020-01-01 02:00:00
2;2020-01-01 03:00:00
1;2020-01-01 04:00:00
1;2020-01-01 04:15:00
2;2020-01-01 06:00:00
ожидаемый результат
1) 4
2) 2 -
Посоветуйте плз web gui для клика. Tabix уже сильно отстал.
-
прям вот именно для кликхауса не посоветую
-
а вообще редаш
-
clickhouseip:8123/play
-
There is no handle /play
Use / or /ping for health checks.
Or /replicas_status for more sophisticated health checks. -
хм, значит в какой-то новой версии появилось. у меня 20.11.3.3
-
https://redash.io/help/data-sources/querying здесь нету клика, да.
-
DataGrip мне нрав. Не web правда
-
спрятался навеное
https://redash.io/data-sources/clickhouse -
@glader_ru , кстати, в документации ещё есть подборка
https://clickhouse.tech/docs/ru/interfaces/third-party/gui/Визуальные интерфейсы от сторонних разработчиков | Документация ClickHouseВизуальные интерфейсы от сторонних разработчиков С открытым исходным кодом Tabix Веб-интерфейс для ClickHouse в проекте
-
О, спасибо, слона-то я и не заметил :)
-
Ещё слышал от друга про tableau что используют с кликхаусом, правда я не знаком, даже не в теме оно платное или фри
-
вроде как да... поправьте кто-то если ошибаюсь
-
Еще раз спрошу, может кто подскажет. Есть таблица
user_id | event | time_event
1| start | 2021-01-18 09:20:00
1| ev1 | 2021-01-18 09:37:00
1| ev2 | 2021-01-18 09:58:00
1| exit | 2021-01-18 10:11:00
2| start | 2021-01-18 10:02:00
2| ev1 | 2021-01-18 10:37:00
Как подсчитать, что за определенное время (например, 1 час), пользователь успевает сделать больше 3х событий.
Пытаюсь делать таким запросом
SELECT toStartOfInterval(time_event, INTERVAL 1 HOUR) AS time, user_id, COUNT(*) AS cnt
FROM table
GROUP BY time, user_id
HAVING COUNT(*) > 3
Но в этом случае промежуток времени это час с 00:00 до 00:59, а не от первого события отсчитывается. Может кто сориентирует как правильно сделать? -
на редаше остановился тоже
-
а примерчик какой нить можно?
-
Ну решение такое себе, если честно. С точки зрения статических таблиц ещё ок, ну и внутренних отчетов с натяжкой тоже, но как общее для большой компании, лучше посмотреть что то ещё -
А просили же другое
-
ничего другого адекватного не нашел, аналитики пользуются и не пикают. хотя очень не хватает возможности ограничений доступа не только по датасорцам
-
еще бы по колонкам нагрузку както оценить, есть гдето такие статы?
-
Тут однозначно бобр! Лучшее из того, что находил, любовь почти с первого взгляда
-
нагрузку это... частота обращения? размер?
-
-
частота обращения в первую очередь
-
размеры то есть в системной табличке columns
-
В system.query_logs указан запрос - INSERT INTO default.my_table FORMAT TabSeparated
А можно как то прилагающиеся к запросу значения посмотреть? -
Наверно нельзя, другой короткий вопрос, в КХ можно указать строкой таймзону типа Europe/Moscow. D формате 2021-01-19T13:47:00+03:00 кх не читает, а можно как то указать смещением? Или нужно считать вручную прибавляя нужное значение к DateTime?
-
а зачем тут двойная выборка и сортировка одинаковая?
-
понял, спасибо! будут пробовать
-
да, конечно еще юзерид будет
-
я в vscode пишу, внизу консоль открыта с залогиненым клиентом и по cmd-shift-r выполняю)
-
Joined. -
Всем привет!
Не пропустите первый ClickHouse митап в этом году: https://www.eventbrite.com/e/clickhouse-january-virtual-meetup-office-hours-tickets-128555676489
Как обычно, поговорим о всяких новых фичах и планах на год. Если есть желание выступить с коротким докладом — пишите на info@altinity.com или мне в личку.ClickHouse January [Virtual] Meetup - Office HoursJanuary Meetup for the ClickHouse Community
-
None -
-
прямо ночью?
-
10 вечера по Москве
-
Пасаны, а есть такой чат по Вертике?)
-
-
Шутки за 100?
-
-
Спасибо)
-
да и даже есть system drop replica
-
да, через ArrayDifference/ArraySplit
-
О гляну завтра, раньше не было. Как всегда больше вам спасибо.
-
через массивы.
давайте create table / insert мне лень вашу табличку оборачивать в insert самому -
что такое "последний timestamp чтения" ?
-
Да, спасибо. С ArrayDifference всё получилось.
-
Является ли результат запроса
SELECT max(elapsed) FROM system.processes
максимальным временем выполнения запроса? -
нету, только query log
-
в данный момент.
system.processes -- отражает текущее состояние, иначе см. query_log -
в данный момент и нужно)
спасибо! -
Всем привет! Делаю attach файлов на части партиций вылетает такая ошибка "Attempt to read after eof " версия КХ 20.12.5.14
А вкратце делали detach на одном сервере, переносили файлы на другой и сделали attach. По одной таблице вылетает такая ошибка. 10 таблиц перенеслись без проблем.
Что посоветуете сделать? -
>делали detach на одном сервере
версия КХ у одного сервера? -
нет, версии разные
-
какая версия у исходного?
-
20.11.3.3 с этой переезжали
-
плюс переезжали с виртуального на физический, если это важно
-
в таблице есть поля LowCardinality(Nullable ?
-
да, Nullable поля имеются
-
блин, ну я не это спросил, что за идиотизм кругом, люди, что вы делаете
-
EOF from detectDefaultCompressionCodec start happening between v20.8.2.3 and v20.13.1.1? · Issue #18340 · ClickHouse/ClickHouse
I tried to upgrade ClickHouse from v20.8.2.3 to v20.13.1.1 but there are some errors while reading a merge_tree table.. Error Messages: 2020.12.22 11:19:36.084760 [ 20114 ] {} <Error>...
-
не, таких полей нет
-
а trace из КХ лога покажите
-
Вы правы, это был мой "крик боли". нам нельзя было ЗК а кластер хотелось
-
Всем привет! Кто работал с движком Buffer - как много строк ставили как max_rows ? По опыту в MergeTree 20к строк хорошо пачкой вставляется, из буфера вставлять можно ли тысяч по 100?
-
А данные критичные ?
-
Да
-
терять не хочется
-
Тогда лучше не надо
-
По докам даже на дроп таблицы буфер сбрасывается нормально же
-
Или были случаи с буфером плохие?
-
Буффер хранит данные в оперативке, этого хватит
-
Я для критичных данных вообще буффер не использывал бы
-
ну, при краше сервера потерять секунды 2-3 таких данных не критично
-
главное чтобы они не терялись в процессе нормальной работы)
-
Если конфиги норм, не вижу проблемы
-
Тогда попробуем
-
сейчас просто пишу в редис маленькими пачками и потом пачками побольше в кликхаус, с буфером надеюсь убрать один шаг и писать прямо в него мелкими пачками
-
А какой рпс ?
-
2к
-
то есть по плану буфер на 6 секунд и 24к строк
-
А, ну это совсем не много
-
Ребята
если я вижу в
select * from system.metrics;
ZooKeeperSession = 2
* Number of sessions (connections) to ZooKeeper. Should be no more than one, because using more than one connection to ZooKeeper may lead to bugs due to lack of linearizability (stale reads) that ZooKeeper consistency model allows.
это вообще проблема?
в конфиге вроде ничего сверхъестественного:
<zookeeper>
<node>
<host>10.X.X.2</host>
<port>2181</port>
</node>
<node>
<host>10.X.X.3</host>
<port>2181</port>
</node>
<node>
<host>10.X.X.4</host>
<port>2181</port>
</node>
<node>
<host>10.X.X.5</host>
<port>2181</port>
</node>
<node>
<host>10.X.X.6</host>
<port>2181</port>
</node>
<session_timeout_ms>30000</session_timeout_ms>
</zookeeper> -
Вопрос в вакууме, раз такое сделали, логично что для буффера свои кейсы
-
У меня через буффер. 200 серваков льют в него пачечками, он в одну. Про размер правде не скажу. Но тысячи точно. Вроде живет
-
а если альтерить таблицу - убиваете буфер, альтерите, создаете буффер?
-
да
-
это ж быстро
-
и при смерти она сбрасывает буфер ок?
-
Ну тогда прям выглядит как хорошая штука этот буфер
-
Joined. -
Joined. -
До 10-15 к рпс +- норм, дальше думаю уже риск
-
Речь про одну машину
-
Ну судя по доке - да
-
остается надеться ))
-
Если мы говорим про 1 машину, потянет столько, сколько хватит скорости оперативки. Явный минус это потеря данных, при краше
-
Вообще лить 50-100 к рпс на одну машинку синхронно проблемно
-
в памяти - да, буыер не на диске - потому и потеря при краше сервера. Но при его краше - обойтись только потерей буфера - это удача )) Не надо чтоб крашился и все
-
Вообще краш в наши дни с норм админами редкость, но не исключено
-
100k tcp запросов ? 100k http ? это проблема для tcp, оверхед на tcp/http
-
Как понимаю, в вопросе уже решена проблема с сетью
-
есть еще кто-то писоал софтинка на go - буферит, а потом на КХ. Забыл название
-
bulk insert
-
у меня вчера в хецнере сервер 7 раз перезагрузился
-
Хмм, я думал они надежные
-
просто желзка заглючила
-
Я кх в проде под хайлоад где то больше полу года использую, не разу проблем с железом не было, чтоб сервер упал
-
Посмотрел свои данные - гдето 200-300К строк в минуту. Со всех серверов. Держат буфер, не жужжит
-
Ну это +- 5 к рпс, я тестил с танком 10 к, вроде было норм
-
но да, 3-5 в сек выходит
-
Интересно, а это на одну машину ?
-
это в один КХ со всех отправителей
-
100-200 трудяг льют свои данные
-
А не сложно обрабатывать так много данных ? Почему не шарды ? Там же таблицы очень быстро распухнут до огромных размеров
-
нет, там суммари сразу стоит
-
каждый клик не храню
-
партиции по дням, да есть
-
ну ширина строк у всех разная, тут в чатике есть пользователи с триллионами строк в таблицах и миллионами в секунду
-
ну и история не нужна. Деньги на период получены - дроп партишен...
-
Joined. -
sequenceCount
windowfunnel
https://clickhouse.tech/docs/en/sql-reference/aggregate-functions/parametric-functions/#windowfunnel
массивы (groupArray)
>1. насколько это вообще тема для КХ?
и да и нет, для очень сложных воронок затруднительно
>2. если вполне себе, то как быть с индексом? удастся ли обойтись одной таблицей?
никакие индексы тут не помогут, прямо по таблице ивентов считают.
если воронки (условия переходов) статичные то это надо считать до заливки в КХ или вообще тогда КХ не нужен -
Кстати вот по поводу миллионов - допускаю что сохранить КХ сохранит. А как бегать по этим триллионам собирая отчеты? Или все решается раскладками по суммари таблицам с группировками по Час-День-Месяц..?
-
Можно добавить, что если данных много, то прикольно, если их можно пошардировать и использовать distributed_group_by_no_merge=1.
Индексы тоже могут быть полезны. Но тут зависист от типа воронки.
Например если есть что-то вроде
windowFunnel(10000)(time, eventType=A, eventType=B)
то можно в WHERE добавить eventType IN (A,B) и тогда будет прочитано меньше данных. Но такую оптимизацию можно делать не всегда.
И в погоне за воронками надо не забыть не сломать общую логику индексов в ClickHouse. Например не сделать слишком гранулярный индекс. -
странные вопросы. Не устраивает скорость селектов, шардируйте - оптимизируйте. У меня некоторые запросы выполняются 40 минут. Это устраивает кастомеров, проблемы нет.
Пользователи с триллионами строк не делают селектов. Представьте вы льете 5 тыс метрик с сервера, с 10ти тысяч серверов, ну не надо вам смотреть температуру жесткого диска на всех серверах, только в случае какого-то ресерча, вы смотрите конкретную метрику -
SET allow_introspection_functions = 1
WITH arrayMap(x -> demangle(addressToSymbol(x)), trace) AS all SELECT thread_id, query_id, arrayStringConcat(all, '\n') AS res FROM system.trace_log LIMIT 1
Вы про это имели ввиду? -
clickhouse-server.log или clickhouse-server.err.log
-
2021.01.19 17:20:03.309854 [ 12994 ] {63e4ef56-6e6c-47c9-a775-731b4bd6c097} <Error> executeQuery: Code: 32, e.displayText() = DB::Exception: Attempt to read after eof (version 20.12.5.14 (official build)) (
from [::ffff:78.25.99.99]:59151) (in query: ALTER TABLE DataGVSBase ATTACH PARTITION 202002), Stack trace (when copying this message, always include the lines below):
0. DB::throwReadAfterEOF() @ 0x7d9f87d in /usr/bin/clickhouse
1. ? @ 0x7dc0aed in /usr/bin/clickhouse
2. DB::DataTypeString::deserializeBinary(DB::IColumn&, DB::ReadBuffer&) const @ 0xd953e95 in /usr/bin/clickhouse
3. DB::IMergeTreeDataPart::loadIndex() @ 0xe4835bf in /usr/bin/clickhouse
4. DB::IMergeTreeDataPart::loadColumnsChecksumsIndexes(bool, bool) @ 0xe481002 in /usr/bin/clickhouse
5. DB::MergeTreeData::tryLoadPartsToAttach(std::__1::shared_ptr<DB::IAST> const&, bool, DB::Context const&, DB::MergeTreeData::PartsTemporaryRename&) @ 0xe4df16d in /usr/bin/clickhouse
6. DB::StorageMergeTree::attachPartition(std::__1::shared_ptr<DB::IAST> const&, std::__1::shared_ptr<DB::StorageInMemoryMetadata const> const&, bool, DB::Context const&) @ 0xe2b98f8 in /usr/bin/clickhouse
7. DB::MergeTreeData::alterPartition(std::__1::shared_ptr<DB::StorageInMemoryMetadata const> const&, std::__1::vector<DB::PartitionCommand, std::__1::allocator<DB::PartitionCommand> > const&, DB::Context co
nst&) @ 0xe4d827c in /usr/bin/clickhouse
8. DB::InterpreterAlterQuery::execute() @ 0xdd0901a in /usr/bin/clickhouse
9. ? @ 0xe060347 in /usr/bin/clickhouse
10. DB::executeQuery(DB::ReadBuffer&, DB::WriteBuffer&, bool, DB::Context&, std::__1::function<void (std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, std::__1::b
asic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > const&, std::__1::basic_string<char,
std::__1::char_traits<char>, std::__1::allocator<char> > const&)>) @ 0xe063377 in /usr/bin/clickhouse
11. DB::HTTPHandler::processQuery(DB::Context&, Poco::Net::HTTPServerRequest&, HTMLForm&, Poco::Net::HTTPServerResponse&, DB::HTTPHandler::Output&, std::__1::optional<DB::CurrentThread::QueryScope>&) @ 0xe6
e1148 in /usr/bin/clickhouse
12. DB::HTTPHandler::handleRequest(Poco::Net::HTTPServerRequest&, Poco::Net::HTTPServerResponse&) @ 0xe6e4385 in /usr/bin/clickhouse
13. Poco::Net::HTTPServerConnection::run() @ 0x10eb55f5 in /usr/bin/clickhouse
14. Poco::Net::TCPServerConnection::start() @ 0x10eebb1f in /usr/bin/clickhouse
15. Poco::Net::TCPServerDispatcher::run() @ 0x10eed531 in /usr/bin/clickhouse
16. Poco::PooledThread::run() @ 0x1101ab09 in /usr/bin/clickhouse
17. Poco::ThreadImpl::runnableEntry(void*) @ 0x11016a9a in /usr/bin/clickhouse
18. start_thread @ 0x7fa3 in /usr/lib/x86_64-linux-gnu/libpthread-2.28.so
19. clone @ 0xf94cf in /usr/lib/x86_64-linux-gnu/libc-2.28.so -
так похоже парт битый. Вы с выключенного КХ парт забрали? Или через FREEZE ?
-
делали detach но в КХ не писали новых данных
-
Joined. -
может в этот момент merge был конечно
-
в смысле detach table ? тогда мержа не было
-
приветы. Подскажите, как добавить пользователю права на создание таблицы в КликХаусе, который крутится в Облаке Яндекса. Всю документацию перерыл уже, ничего не выходит
-
detach партиций по всей таблице
-
и потом из папки detached скопировали?
-
да, копировали на новый сервер и там уже attach
-
может во время копирования побились, rsync-м копировали?
-
да, им
-
но вроде кол-во и размер файлов совпадал
-
а на старом сервере атачится назад?
-
уже нет, тоже эти файлы выдают ошибку
-
Приветствую.
Спасибо за решение @tkostyan.
Пытаюсь использовать это для alembic миграций, но в миграцию не подтягивает значение engine (елси же нужные строки туда дописать руками - сама миграция получается рабочая).
def upgrade():
# ### commands auto generated by Alembic - please adjust! ###
op.create_table('another_rate_2',
sa.Column('day', clickhouse_sqlalchemy.types.common.Date(), nullable=False),
sa.Column('value', clickhouse_sqlalchemy.types.common.Int32(), server_default=sa.text('1'), nullable=True),
sa.Column('model', clickhouse_sqlalchemy.types.common.String(), nullable=True),
sa.Column('dt', clickhouse_sqlalchemy.types.common.DateTime(), server_default=sa.text('now()'), nullable=True),
sa.PrimaryKeyConstraint('day')
# engine должен быть где-то здесь : (
)
…
хотя в самой модели engine указан
another_table_2 = Table('another_rate_2', metadata,
Column('day', types.Date, primary_key=True),
Column('value', types.Int32, server_default=literal(1)),
Column('model', types.String),
Column('dt', types.DateTime, server_default=func.now()),
Column('dt3', types.DateTime64(3), server_default=func.now()),
# Column('dt2', types.DateTime64(2), server_default=func.now()),
engines.ReplicatedMergeTree(
'/clickhouse/tables/{layer}-{shard}/another_rate_2', '{replica}',
partition_by=func.toYYYYMM(Column('dt')),
order_by=('value', 'model')
)
)
Если в созданную миграцию его дописать руками, миграция работает.
В alembic env.py использовал такой код для задания диалекта
class CustomDialectImpl(impl.DefaultImpl):
dialect = "clickhouse"
transactional_ddl = False -
Да, engine пока туда не будет подтягиваться. Сейчас это одно из ограничений, которое возможно получится обойти
- 20 January 2021 (202 messages)
-
Joined. -
-
Добрый день,
подскажите пожалуйтса, как лучше сделать партиционирование. У меня есть данные (список событий), которые хранятся до года, в день записывается порядка миллиона событий, и это количество по чуть-чуть растет. Сначала думал использовал партиционирование по месяцу, но сейчас задумался, не будет ли правильнее делать партиционирование по дню? -
клик ругается когда создаешь более 100 партиций на одну таблицу. у меня около 1500000 в день событий, партиционирование по месяцу - полет нормальный
-
спасибо! читал в документации что до 1000 патриций можно, видимо неправильно посчитал нули 😄
-
ругается - но создаёт)
-
в документации - вот что:
Не рекомендуется делать слишком гранулированное партиционирование – то есть задавать партиции по столбцу, в котором будет слишком большой разброс значений (речь идет о порядке более тысячи партиций). Это приведет к скоплению большого числа файлов и файловых дескрипторов в системе, что может значительно снизить производительность запросов SELECT. -
у меня просто есть выборки по дням, вот я и задумался
-
такой объем данных для клика - мелочь. в принципе даже без партиционирования нужные мне запросы происходят очень быстро
-
я храню 3 года+
-
у меня выборки дневные, сгруппированные по часам
-
пробовал дневные партиции - по скорости получилось тоже самое - очень быстро)
-
ок, супер, спасибо
-
Это можено изменять через настройку max_parts_in_total, стандартное значение 100000 (https://github.com/ClickHouse/ClickHouse/blob/2c71b997de3f49de80802ced4dd19787f344486a/src/Storages/MergeTree/MergeTreeSettings.h#L58)ClickHouse/ClickHouse
ClickHouse® is a free analytics DBMS for big data. Contribute to ClickHouse/ClickHouse development by creating an account on GitHub.
-
спасибо, буду знать. Поэксперементирую на досуге
-
ребят, каким клиентом для ClickHouse пользуетесь для Винды?
-
Пользуюсь dbeaver, он кроссплатформенный -
это что за зверь?
-
Добрый день! Может кто-нибудь подсказать сколько раз будет вычиляться функция arrayFirst(m -> m != '', reverse(groupArray(mailing_result))) в этом запросе?
SELECT arrayFirst(m -> m != '', reverse(groupArray(mailing_result))) as last_mailing_result
FROM log_record
having arrayFirst(m -> m != '', reverse(groupArray(mailing_result))) LIKE 'хорошо'; -
Коллеги привет, пробуем обновиться на последний стэйбл - 2021.01.20 12:36:40.356251 [ 74546 ] {} <Error> Application: DB::Exception: No macro 'shard2017' in config while processing substitutions in '/clickhouse/tables/{shard2017}/dnl_int_dnl_log_local' at '20' or macro is not supported here: Cannot attach table dnl_int -
что-то поменялось в конфигах*
-
?
-
А можно ненмного поподробней? Каким образом это работает или мб в документации это где-то описано?
-
Всем привет! подскажите пожалуйста, как лучше всего организовать хранение вложенных списков , категории товаров, услуг , домов?
например:
-География
- Московская область
- Москва
-Пр. Мира
Товары
-Для дома
-для дачи
Для Работы
-Спец одежда
..... -
Да, это справочники
-
Есть иеархические словари
-
Joined. -
Joined. -
Привет
По использованию цпу ишью все-еще со мной
(КХ апдейт 20.4.3 > 20.12.4)
* у меня есть овер-партицированные по меркам КХ таблицы - как понимаю именно в этом главный импакт на "фон" - с этим буду решать конечно но надеялся отложить на "чуть позже"
** стораж-полисей и пережатия не декларировал и в system.merges / процесслисте / мутациях чисто +- и обычного для ситуации дискового оверхэда не вижу
*** хотелось бы без рестарта понять в том ли направлении копаю
**** кластера без реплик - только шарды
проверяю теорию про бэкграунд-процессы (именно background_schedule_pool смущает): то что алгритм который выбирает/проверяет "нужно ли что-нибудь сделать" отъедает много цпу в моменте именно инициализации - т.е. чекнуть "что делать и есть ли что в принципе"
***** подчистка мусора в таблицах/партишках чуть снизила "фоновую загрузку" цпу, но она на текущий момент все-равно ~33% → ~25%
вопросы:
1 - background_schedule_pool tasks это какие? *у меня все таблицы - простые MergeTree, т.е. в моём случае только рефрэш DNS и rm старых партов?
2 - есть ли какой-то SYSTEM STOP XXX для проверки теории↑ ? Не нашел подходящего на https://clickhouse.tech/docs/en/sql-reference/statements/system/#query-language-system-mergetree но эт ведь не всегда показатель)
2.1 - если я для теста накидывю разных "SYSTEM STOP ... db.table" - где потом я смогу увидеть все текущие (действующие) запреты?
3 - может ли мне тюнинг чего-то из system.merge_tree_settings помочь в сабже (например number_of_free_entries_in_pool_to_lower_max_size_of_merge приопустить)? -
Joined. -
Joined. -
Joined. -
с которой у нее селект? Или в которую пишет
-
ПО идее - да. ИНсерта ж нет
-
но для 100% надежности - можно отключить (или детачнуть)
-
Joined. -
Joined. -
Issues · ClickHouse/ClickHouse
ClickHouse® is a free analytics DBMS for big data. Contribute to ClickHouse/ClickHouse development by creating an account on GitHub.
-
Joined. -
сам кх стартует то?
> Вот такая ошибка при перехапуске: -
Нет не стартует вообще, ошибка и всё
-
Мутации запускали?
-
Мутации не запускали, умышленно, не Альтерили, может в коде где-то вылез случайно такой запрос
-
а скиньте весь трейс
-
Можете сделать поиск по метадате (по дефолту /var/lib/clickhouse/metadata/) на наличие "click_transaction_id_tmp_alter4665484246427899840"
-
https://github.com/ClickHouse/ClickHouse/blob/00d240853dff16b9ba5499db612054e6fe04225a/src/Functions/FunctionsConversion.h#L197
я вообще не эксперт, но видимо cast(uuid, ‘uuid’) кидает такоеClickHouse/ClickHouseClickHouse® is a free analytics DBMS for big data. Contribute to ClickHouse/ClickHouse development by creating an account on GitHub.
-
не можем найти
-
вы точно никакой альтер не запускали ? типа с айдишки в юид
-
UUID в ключе, альтер для UUID точно не запускали
-
А что находится в логах до
<Error> Application: DB::Exception: Conversion between numeric types and UUID is not supported: While processing cast(toUUID(0) AS click_transaction_id_tmp_alter4665484246427899840, 'UUID’)..
Может быть в обычных логах, кх должен писать название таблицы которую присоединяет -
Базу указывает, при чем мы пробовали из метадаты папки этой базы пернести на время, не помогало. Такая же ошибка, но для следующей базы по порядку
-
Вот именно, что нигде такого не используем. В коде нет такого
-
Ну хорошо, сколько таблиц в первой базе с ошибкой?
ls -d /var/lib/clickhouse/data/*/*/* | grep mutation -
Может есть какой-то игнорировать какие-то базы (мету переместить чтоли), чтобы вообще он запустился
-
можно добавить к .sql файлам .bak
те .sql.bak -
нет ничего
-
очень много, до пары тысяч
-
> validateColumnsDefaultsAndGetSampleBlock
Судя по этому проблема у какого то DEFAULT значение. -
click_transaction_id_tmp_alter скорее всего кх на лету генерирует при проверке и на самом деле в default такого не написано
-
А что сделать то? Как это игнорировать?
-
Найти таблицу, точно определить в чем проблема.
Сделать так что бы кх игнорировал эту таблицу при старте (допустим дописать .bak)
Запустить кх, потом подправить DDL если это нереплицированая таблица и сделать ATTACH TABLE -
Joined. -
Привет! У нас такая же ситуация после обновления на '21.1.2.15'. Удалось выяснить в чем дело?
-
UUID DEFAULT между ними потенциально что то быть(заменить пробел на любой символ?)
-
Не помогает, деактивируем одну базу, то же самое ругается на следующей базе по порядку, потом на следующей. 3 базы деактивировали, не в базе дело
-
Да, штук 20 записей:
click_transaction_id UUID DEFAULT toUUID(0) COMMENT 'Click Transaction ID for Conversion', -
Ну вот в них и проблема
-
таблицы реплицированные?
-
нет
-
Можете руками исправить скрипты и убрать DEFAULT вообще
тк по дефолту там и так будет 0000-00-00... -
Вроде бы помогло для одной базы, меняем для всех 190 (оказалось). Очень странно, раньше работало это
-
а напишие select cast(toUUID(0), ‘UUID’) - будет работать ? просто инттересно
-
Кх перезагружали с момента создания таблицы?
Какая версия кх?
Если относительно современная то пишите баг репорт, что при создании таблицы дает задать такой дефолт а при запуске кх ничего не поднимается -
на современных версиях не работает
-
у меня прост 20.1, не могу проверить
получаеттся кх сам неявно делает каст дефолта в тип колонки ? -
У нас '21.1.2.15’, делаем апдейты регулярно. Базы созданы были за последние 6 мес
-
Да, скорее всего так проще
Допустим такая ситуация:
col_name UInt32 DEFAULT some_uint8 -
Проще всего любые дефолты оборачивать в CAST
-
я так понял это в 21 + версии
-
SELECT
cast(toUUID(0), 'UUID'),
version()
Received exception from server (version 21.1.1):
Code: 48. DB::Exception: Received from localhost:9000. DB::Exception: Conversion between numeric types and UUID is not supported: While processing cast(toUUID(0), 'UUID'), version(). -
потому что релиз версия была 20.1.2 а у меня напрямую с мастера гитхаба думаю
-
не, ошибка в другом, в том что каст юида в юид не робит, а эта функция преобразования работает
но вообще странная ошибка) мб чем-то мотивировано, конечно -
Почему же?
как раз сама функция и не работает, а каст это уже вторичное -
а не, вы правы
-
да, сори)
-
какой же классный чатик! ❤️
-
Блин, ребята, запустилось всё, 4 часа правда данные потеряли( но хотя бы запустилось
-
Дима, Саша, спасибо вам от души
-
Ну, могло быть и неприятнее.
Репликация, тесты на стейдже перед выкатом и вставка через Kafka вас ждет :) -
Уже все, по-любому. Знаете же как оно, вот вот сделаем, еще пару фич и будем инфраструктуру строить. И не успели
-
Привет.
Вопрос - есть поток событий:
(user_id, time, event)
нужно пользователю в UI быстро показывать события user_id=x и нам для аналитики уметь по time фильтровать.
Лучше, чем две отдельных таблицы с разными PK ведь не получится сделать для этого?
(user_id, time)
(time, user_id) -
Ну а сколько юников user_id, какие у вас обычно используются интервалы для фильтра по time
-
сотни тысяч, могут быть и миллионы
-
если бы uniq(user_id) исчислялся десятками можно было бы оставить как есть time, user_id ?
-
Смотря сколько вообще записей в день
А так если десятки то
(user_id, time) -
понял о чем ты, спасибо
-
МНе вот кажется наоброт надо - time, user_id. дата же всегда нужна. Быстро показать события юзеру - ему ж наверняка надо или последние, или за период. За прошлый год ведь явно не надо?
-
Обычно есть партиционирование по месяцу, те уже больше месяца не будет выбрано.
Плюс селективность по user_id будет лучше чем по datetime. -
+
-
для аналитики все равно пользуемся разрешением месяц и больше
-
нам главное чтобы за 5 лет не читал
-
т.е. при наличии партиц по вреени КХ и без индекса справится?
-
Ну партишн прунниг должен отбросить партиции которые за пределом временного интервала, да
-
интересный вариант. Допилили бы уже explain - сколько бы вопросов отпало сразу )))))
-
Так есть же, даже в 20.8
-
Плюс всегда был
set send_logs_level='trace';
там все видно -
Joined. -
Еще вопрос наверное очевидный - если искать по «вычисляемому» PK полю, то верно ли, что про индекс можно забыть?
Был индекс по user_id, пытаются искать по hash(user_id) = x -
часто видел в запросах условное time поле, которое участвует в PARTITION BY и PK ищут через toStartOfWeek(time) или что-то похожее
-
Охты, давно ж я не читал notes-ы... Спасибо
-
Если ORDER BY user_id то искать по hash(user_id) действительно не выйдет.
Но это странный кейс на самом деле, обычно делают наоборот:
ORDER BY hash(user_id) и ищут по user_id
тогда можно WHERE hash(user_id) = hash('user_id') AND user_id = user_ud
> часто видел в запросах условное time поле, которое участвует в PARTITION BY и PK ищут через toStartOfWeek(time) или что-то похожее
PARTITION BY хранит не само значение функции поля а min-max значения этого поля встреченные в таблице,
именно по этому можно писать в WHERE просто условие на time без преобразований -
Хорошо, спасибо!
-
Из за того, что PARTITION KEY хранит min-max раньше от него не было смысла если в нем использовался модуль (user_id % 100),
Относительно недавно это исправили
https://github.com/ClickHouse/ClickHouse/pull/16253#issue-508046958
По поводу использования toStartOfWeek(time) в WHERE не все так просто (если toStart* используется в ORDER BY в условии нужно писать ровно так же toStart*(column_from_pk) = '....' )
https://github.com/ClickHouse/ClickHouse/issues/15257#issue-708510144Prune partition in verbatim way. by amosbird · Pull Request #16253 · ClickHouse/ClickHouseI hereby agree to the terms of the CLA available at: https://yandex.ru/legal/cla/?lang=en Changelog category (leave one): Performance Improvement Changelog entry (a user-readable short descriptio...
-
Коллеги, всем привет. У нас есть задача - подливать в кликхаус инкрементально измерения SCD Type 1 из Postgresql. Мы уже активно используем словари, но появились таблицы побольше и хотим их в коллапсингмерж, решаем как доставлять попроще. Объем - миллионы строк в день. Выбираем между напилить свое решение на триггерах или дозаморочиться с настройкой дебезиум-кафка-КХ. Мб есть какие то другие/готовые велосипеды чтоб поменьше телодвижений?
-
О, привет из чата гринплама))
1. Сотни ГБ синкать долго
2. Словари не сжимаются, память кончается -
Ага, есть требование в задержке обновлений измерений порядка минут
Ну и вообще как то стремно постоянно пересинкивать всю таблицу. постгрес сам по себе не шибко быстро такие объемы отдает, -
один раз, кстати КХ позволяет алиасы из секции select использовать в where/groupby/order by /having
SELECT arrayFirst(m -> m != '', reverse(groupArray(mailing_result))) as last_mailing_result
FROM log_record
having last_mailing_result LIKE 'хорошо';
это удобно, но создает огромную попаболь из-за несовместимости с ansi sql -
summingMt/AggregatingMT только такое могут через groupUniqArrayArray
-
в кх нет индексов группировки
-
Он позволяет и два раза использовать, но говорят, что даже использовать один раз может быть неэффективно. Из-за этого я и хотел продублировать функцию
SELECT arrayFirst(m -> m != '', reverse(groupArray(mailing_result))) as last_mailing_result
FROM log_record
having last_mailing_result LIKE 'хорошо' AND last_mailing_result LIKE 'хорошо2'; -
insert_dedupicate=0
кх дедуплицирует инсерты, читайте Replication -
вы что-то неправильно поняли.
это выражение конечно вычислять надо один раз. -
Спасибо!
-
пример есть?
-
нельзя добавлять к индексу поля
можно добавлять поля в ключ сортировки
ключ сортировки может , но должен совпадать с индексом -
просто контейнер обновить.
-
на любую вверх, которую вы протестировали на стейдже
-
в mysql
-
Приветствую. Есть какой-то способ восстановить данные в зукипере, кроме пересоздания таблиц и аттача партишнов к ним?
-
да
-
нет, только attach partition
-
Так и думал( Спасибо!
-
https://github.com/Altinity/clickhouse-zookeeper-recovery
Но применять на свой страх и риск(автоматизация данного процесса собственно)GitHub - Altinity/clickhouse-zookeeper-recoveryContribute to Altinity/clickhouse-zookeeper-recovery development by creating an account on GitHub.
-
А какие подводные?
-
есть ксатти но не готов https://github.com/ClickHouse/ClickHouse/pull/13652
New option to restore ZooKeeper metadata if it's lost.SYSTEM RESTORE REPLICA replica [ON CLUSTER cluster] by myrrc · Pull Request #13652 · ClickHouse/ClickHouseI hereby agree to the terms of the CLA available at: https://yandex.ru/legal/cla/?lang=en Changelog category (leave one): New Feature Changelog entry (a user-readable short description of the cha...
-
Скрипт написан очень хорошим человеком, успешно восстановил кое где кластер, но это же софт и всегда могут быть какие то накладки.
-
Да, видел этот PR. Было бы хорошо, если бы сбой произошел после его завершения)
-
Понял, спасибо!
-
вы случайно пропгрейдились? это в последней версии убрали
https://github.com/ClickHouse/ClickHouse/blob/master/CHANGELOG.md
Expression toUUID(N) no longer works. Replace with toUUID('00000000-0000-0000-0000-000000000000'). This change is motivated by non-obvious results of toUUID(N) where N is non zero. -
Денис, на "митапе" вы показывали:
alter table update ... и если просто запустить - он что будет лопатить все партишены?
а с новой версии можно добавить partition и тогда только в ней
все так? -
нет, я пытался объяснить, мутируют все парты, но перезаписываются (данные) только партах нужных по where , но метаданные меняются во всех, и хардлинками пересоздаютсся все файлы всех партов
это проблема в больших инсталляциях у кого 10тыс партов и 100ни реплик -
там в ЗК просто взрыв происходит
-
а, ок
- 21 January 2021 (259 messages)
-
ALTER ключа сортировки — лёгкая операция, так как при одновременном добавлении нового столбца в таблицу и ключ сортировки не нужно изменять данные кусков (они остаются упорядоченными и по новому выражению ключа).MergeTree | Документация ClickHouse
MergeTree Движок MergeTree, а также другие движки этого семейства (*MergeTree) — это наиболее функциональные движки табл
-
выше писали только что изменение порядка ключа сортировки - сомнительная затея
-
https://clickhouse.tech/docs/ru/sql-reference/dictionaries/external-dictionaries/external-dicts-dict-lifetime/
полностью, но в некоторых случаях только в случае наличия измененийОбновление словарей | Документация ClickHouseОбновление словарей ClickHouse периодически обновляет словари. Интервал обновления для полностью загружаемых словарей и
-
движки https и executable позволяют ходить в словарь только по запрашиваемым ключам.
-
-
-
У кликхауса большой оверхед на запросы, он разрабатывался под сотни рпс тяжёлых запросов
-
Писать много всего можно и нужно - но только большими пачками и не очень часто.
Читать можно много, но опять же не часто -
А вы опишите для начала что выбирают и как пишут
-
кликхаус создан для относительно редких больших запросов
-
если вам надо 1000 запросов в секунду на чтение которые каждый должен по миллиарду строк фильтровать, это не лучший кейс =) и все это на одной машине
то машина должна быть очень жирная (много RAM - 256\512 и много CPU 32\64) -
писать надо большими батчами по 10-100 тыс, а лучше миллион записей в чанке, меньше плохая идея =)
узнаете про Buffer \ clickhouse-bulk \ chproxy и т.п. костыли
искать "одну запись" и юзать JOIN с множественными таблицами которые по миллиону записей и не пролазят в память, тоже на CPU и память попадете -
50 миллионов записей это маленький объем для clickhouse
=) одной машины хватит... -
У нас похожий кейс.
Используем кластер СН (2 шарда по 2 реплики), читаем около 1к рпс на бекенды (на СН около 3к рпс).
Сервера жирные (48 ядер, 200+Гб оперативки, диски ссд по 1Тб), максимально нагружали сервера на 25% загрузки ЦПУ, дальше бекенды просто не выдерживали.
Таблицы по 500+ млн -
Пытаюсь найти статью ребят из Altinity team, где они проводили тесты на нагрузку, там давали и настройки некоторые.
Под "чем ходите" Вы подразумеваете язык программирования? 🙂 -
По нативному TCP протоколу
-
-
-
ClickHouse In the Storm. Part 1: Maximum QPS estimation
May 2, 2019ClickHouse is an OLAP database for analytics, so the typical use scenario is processing a relatively small number of requests -- from several per hour to many dozens or even low hundreds per second --affecting huge ranges of data (gigabytes/millions of rows).But how it will behave in other scenarios? Let's try to use a steam-hammer to crack nuts, and check how ClickHouse will deal with thousands of small requests per second. This will help us to understand the range of possible use cases and limitations better.This post has two parts. The first part covers connectivity benchmarks and test setup. The next part covers maximum QPS in scenarios involving actual data.
-
индекс _packetDate смысла не имеет, т.к. у вас и так партиции по дате
-
И можно сам селект сюда - скрин мелкий очень
-
Думаю вопрос в железе, ну и плюс если это один сервер, то Вы всё равно упретесь в какой-то предел.
Где-то на хабре ещё читал, что если хотите чтобы СН обрабатывал больше запросов, сделайте кластер и балансируйте нагрузку на реплики. -
Ну и в примере ребята "ходят" по хттп, по факту у меня по хттп перформанс реальных запросов был хуже из-за оверхеда хттп, по этому перешли на ТСР
-
Надо добавить к where packetDate
-
у вас packetDateTime
-
а его в ни в индексе, ни в партиции
@clickhouse_ru / Public archive of Telegram messages.
- 01 Jan 2021 (11)
- 02 Jan 2021 (81)
- 03 Jan 2021 (56)
- 04 Jan 2021 (56)
- 05 Jan 2021 (60)
- 06 Jan 2021 (54)
- 07 Jan 2021 (25)
- 08 Jan 2021 (106)
- 09 Jan 2021 (104)
- 10 Jan 2021 (60)
- 11 Jan 2021 (131)
- 12 Jan 2021 (124)
- 13 Jan 2021 (246)
- 14 Jan 2021 (63)
- 15 Jan 2021 (71)
- 16 Jan 2021 (46)
- 17 Jan 2021 (48)
- 18 Jan 2021 (219)
- 19 Jan 2021 (185)
- 20 Jan 2021 (202)
- 21 Jan 2021 (259)
- 22 Jan 2021 (138)
- 23 Jan 2021 (59)
- 24 Jan 2021 (26)
- 25 Jan 2021 (211)
- 26 Jan 2021 (330)
- 27 Jan 2021 (239)
- 28 Jan 2021 (114)
- 29 Jan 2021 (234)
- 30 Jan 2021 (57)
- 31 Jan 2021 (73)