А как правильнее (ID) или (Date,ID) ?

Или по Dete по любому есть индекс?

привет. не могу сделать quick start на xenial, как можно вылечить? =/

Konstantin Надо сдлеать:
sudo apt-key adv --keyserver keyserver.ubuntu.com --recv E0C56BD4
а потом ставить кликхаус

вроде бы так и делаю

Вопрос по джоинам, я так понял что это не самая сильная сторона кликхауса и лучше дублировать данные чем делать джоины в больших таблицах?

а ключ кто будет прописывать?

не -- recv, а --recv

какой именно ключ? разве E056BD4 не ключ? =/

ключ не прописался, вывод немного намекает на это

убрал пробел - лучше не стало =(

это я вроде понял, я не знаю как это вылечить

ключ не верный, внимательнее

Семь символов. В ключе восемь.

действительно, глаз замылился уже. Спасибо большое!!!

А как CREATE MATERIALIZED VIEW работает с ключом?
Т.е у родительской таблицы есть колонки которые описаны в ключе для быстрой выборки, а в материализованном вью как будет?

И вообще вопрос про этот тип, как лучше - делать его или считать налету?

подскажите, пожалуйста, с чем может быть связана ошибка:
Received exception from server:
Code: 194. DB::Exception: Received from host1, IP. DB::Exception: Received from host2, IP. DB::Exception: Password required for user default.
Появилась после апдейта CH, таблицы реплицируемые, выполняется альтер. На одной реплике отрабатывает, на другой всегда ругается, что нет пароля.

Материлизованное представление наполняется тригеррами. Например есть у вас запрос типа select count() as result, date from table group by date. При вставке данных в таблицу table сработает триггер и на сколько я помню запрос будет применен на поступивший блок данных и результат запроса будет записан в материализованное представление.

Приветствую. Хочу понять, будет ли работать придуманная конфигурация.
Условия задачи:
1.) Есть два датацентра, в каждом - инсталляция CH
2.) Хотим _в пределах дц_ репликацию между хостами (ReplicatedReplacingMergeTree)
3.) Хотим писать данные в каждом дц в Distributed таблицу над реплицированными
4.) Хотим читать данные с обоих дц через Distributed таблицу

Конфигурация:
https://gist.github.com/alex-krash/e33aafa298c6918565618c71cc53e8d7

еще 1 нубский вопрос =) есть таблица - в ней 1 столбец список ip в виде int, пытаюсь сделать select с другой таблицей где есть столбцы начало диапазона (int), конец диапазона(int), город. в mysql получается в CH нет. чтяднт?

SELECT list.ip, geo.city
FROM list, geo
WHERE list.ip BETWEEN geo.start AND geo.end
выдает - Unknown indentifier: geo.start

Приветствую. А подскажите, вот на примере, скажем, Метрики. Есть таблица Визитов и Просмотров. Визиты как-то из Просмотров аггрегируются или пишутся отдельно, собираясь в каком-то менеджере сессий?

Пробую делать подобную аггрегацию через MATERIALIZED VIEW и AggregatingMergeTree, но из-за того, что нужно делать доаггрегацию, работает все очень медленно.
Идея в том, чтобы записывать только Просмотры, а представление их сразу в Визиты группировало и сохраняло.

О, я это уже спрашивал 🙂

В итоге мы храним в редисе кеш визитов

Заметил интересную фичу - если для генерации строчки password_sha256_hex использовать "echo pwd | sha256sum | tr -d '-'" (без -n, т.е. с символом новой строки на конце), то пароль в одном случае принимается - если делать GET запрос с basic http авторизацией

ну еще вариант есть использовать SummingMergeTree в представлении, сейчас ковыряем этот вариант, но разработчикам то наверняка виднее как правильно делать.

POST запрос уже не проходит авторизацию. ну и при указании логина/пароль в GET параметрах тоже не проходит. Вроде не баг, но с толку сбивает.

у нас были извращенцы другого толка 🙂

SELECT list.ip, geo.city, geo.start, geo.end
FROM list, geo
WHERE list.ip BETWEEN geo.start AND geo.end

такой срабатывает?

Может кто сталкивался с подобной ситуацией. clickhouse-server в лог файле полностью не протоколирует большие SELECT-ы. Возможно данное ограничение отключить? Пробовал с различными настройками <logger><level>trace</level></logger> и <logger><level></level>debug</logger>. Например при размере SELECT-а более 100518 символов, запрос протоколируется и обрезается после 100518 символа.

Наткнулся на странное поведение.

SELECT *
FROM videoStatements

┌─learnerId─┬─videoId─┬─Range─┐
│ 1 │ test │ [0,3] │
└───────────┴─────────┴───────┘
┌─learnerId─┬─videoId─┬─Range──┐
│ 1 │ test │ [6,10] │
└───────────┴─────────┴────────┘

2 rows in set. Elapsed: 0.002 sec.

:) select range(Range[1]) as fullRange from videoStatements

SELECT range(Range[1]) AS fullRange
FROM videoStatements

┌─fullRange─┐
│ [] │
└───────────┘
┌─fullRange─────┐
│ [0,1,2,3,4,5] │
└───────────────┘

По идее должно быть две строки с [0,1,2] и [0,1,2,3,4,5]

SELECT Range[1]
FROM videoStatements

┌─arrayElement(Range, 1)─┐
│ 0 │
└────────────────────────┘
┌─arrayElement(Range, 1)─┐
│ 6 │
└────────────────────────┘

Движок Memory

Почему должно получаться [0,1,2] ?

Блин...мой косяк. Array indices is 1-based

Не знал про это )

Народ, кто-нибудь уже пробовал использовать Clickhouse, как источник данных для Tableau?

Да-да, а то у нас заказчик хочет Вертику, так как Tableau не работает с CH, а редаш его по интерфейсу не устроил.

Подскажите пожалуйста как суммировать точно флоаты
А то каждый раз разный результат

суммировать флоаты "точно" - никак, храните интом

>> А то каждый раз разный результат
а вот это подозрительно

это нормально. при разном порядке суммирования может получаться разный результат

кто-то проверял, работает ли кластер кх, когда узлы за натом?

Всем привет. Я новичок в sql. Не создается таблица в бд, подскажите, что не так я указываю в запросе?

Date DEFAULT "ЗНАЧЕНИЕ"
https://clickhouse.yandex/docs/ru/query_language/queries.html?highlight=default

как его правильно указать, ошибка выходит, если так: Date DEFAULT toDate(Date)

Date DEFAULT today()

Хотя возможно и без скобок сработает

а сейчас, что не так, подскажите пожалуйста

Добавить скобочки

Вот пример
https://github.com/yandex/ClickHouse/blob/1d836b2bf8fef378d47258957ff74ed3a4aff136/dbms/tests/queries/0_stateless/00158_buffer_and_nonexistent_table.sql

спасибо

Всем привет, не подскажите, как через tabix csv-файл вставить в таблицу? Пробовала INSERT INTO ads.gender_urls FORMAT CSV gender_urls_result.csv предварительно загрузив файл, пишет
DB::Exception: Cannot parse input: expected , at end of stream.: (at row 1)

ClickHouse не поддерживает такой синтаксис
https://clickhouse.yandex/docs/ru/query_language/queries.html#select

С недавних пор мы поддерживаем DATE как алиас для Date для совместимости.

Должен нормально работать. Но я бы не рекомендовал использовать такое сложное решение ради простой задачи.

Если писать напрямую в шарды, то проблем нет - данные сразу попадают куда надо.

Та самая штука, которую мы сейчас делаем - это и есть point in polygon :)

По Date нет полноценного индекса - только min/max значения для отсечения целых кусков данных. Если в запросах будут условия на Date, то надо иметь её в первичном ключе, если нет - то бесполезно. Порядок тоже важен. (ID, Date) лучше, когда выбираете один ID и диапазон Date. Наоборот (Date, ID) лучше, когда выбираете одну Date и множество/диапазон ID.

Если нет проблем с производительностью при подсчёте налету,
или если иначе вам пришлось бы создавать очень много разных MAT. VIEW,
то лучше считать налету.

Работает с ключом ровно так, как вы пропишите в движке таблицы для MAT. VIEW.
(Для MAT. VIEW можно прописать произвольный движок таблицы.)

Хм, у меня исходная таблица - узкая, а конечная - широкая, вот я и думаю как лучше ...

Спасибо за ответ. Все муки из за попытки заставить работать отказоустойчивый кластер clickhouse в kubernetes

Если эта ошибка появилась после апдейта ClickHouse, то это значит, что при апдейте были изменены конфиги пользователей (users.xml) и в них как-то изменились права доступа. Хотя конфиг по-умолчанию из пакета разрешает доступ пользователю default без пароля. Можно посмотреть на конкретном сервере, откуда приходит ошибка, почему он не разрешает пользователю default соединиться.

Кстати, для удобства обновлений, можно держать оригинальные конфиги из пакета без изменений, а все изменения прописывать в отдельных файлах в conf.d, users.d директориях. Так ещё и проще следить за множеством изменений.

У нас в следующем релизе будет команда для сброса DNS кэшей
(Запрос SYSTEM DROP DNS CACHE).
(По SIGHUP пока не предусмотрено.)

Да, такая конфигурация возможна. Я только не понял, вы хотите чтобы разные ДЦ содержали разные данные (были "шардами") или одинаковые (были "репликами"). В зависимости от этого, нужно прописать конфигурацию в remote_servers для "unioned" кластера (в примере прописано как два шарда - это значит, что Distrbuted таблица при SELECT пойдёт в оба ДЦ, выберет в каждом по одной реплике, и объединит разные данные).

Алексей, подскажите, а как дела с фичей, которая позволит запрашивать внешние таблицы (из других бд), как таблицы кх, аля fdw ? Вы говорили, что вроде кто-то у вас такое пытается сделать. Возможно, что в ближ перспективе появится ?

Да, такой JOIN сделать не получится. Но можно по-другому.
Специально для работы с диапазонами IP адресов есть словарь ip_trie:
https://clickhouse.yandex/docs/en/dicts/external_dicts.html#ip-trie

Визиты в Метрике вычисляются не из данных в ClickHouse, а с использованием отдельной структуры данных (базы), которая для этого сделана. В ClickHouse пишется результат - лог изменений визитов.

Это всё потому что считать визиты сложно.

Это весьма необычно. Даже трудно предположить - неужели клиент пробует отправить пароль с добавленным символом перевода строки на конце. Разбираться пока не буду.

Так и есть. Настройка
log_queries_cut_to_length

по-умолчанию, 100000.
Влияет как на логгирование в текстовый лог сервера, так и на query_log.

Сделано, чтобы query_log не был слишком уж большим.

Вы можете увеличить эту настройку по своему усмотрению. users.xml

Да, эту фичу ради эксперимента пробует делать сотрудник из другого отдела.
Пока ничего нет.

Коллеги! Есть много csv файлов какой оптимальный способ загрузки? Неужели clickhouse-client --query=???

clickhouse-client --query="INSERT INTO table FORMAT CSV"
весьма оптимально загружает данные, если рассматривать загрузку в один поток.
Можно быстрее, если запустить несколько таких загрузок параллельно.

Если файлы маленькие, то можно склеить с помощью cat.

Спасибо, Алексей!

А уже выбрали инструмент, где можно выкладывать, такие вот советы и рекомендации. В чате их набралось уже достаточно

Нет, так и не выбрали.

А что нужно? Мне бы очень хотелось хоть чем то помочь )

Я могу развернуть на pythonanywhere )

Пока ещё не знаю. Главное - максимальное простое добавление новых Q&A, буквально парой кликов. Поэтому GitHub отпадает.

Сейчас создал задачу

Выбрать способ держать на официальном сайте базу вопросов и ответов.

Требования:
- максимальное простой способ добавления записи, буквально парой кликов (copy-paste из чата).

Во вторую очередь:
- возможность добавления записи пользователями;
- теги, рейтинг и упорядочивание.

#faq

Для истории :)

Спасибо за ответ!
Каждый дц - сам себе шард. Ожидаемое поведение - как вы описали (мёрж результатов выборки из 2 дц)

Алексей, спасибо! После добавления опции select-ы начали помещаются в log.

Алексей, спасибо за объяснение!

подскажите, пожалуйста, (со словарями еще не работал) такая структура правильная?

и должен ли тогда словарь сразу появится в КХ по запросу SELECT * FROM system.dictionaries?

да, почти сразу появится

если будет ошибка в конфиге, кликхаус напишет тебе в лог

так что пиши, не стесняйся, ничего не сломаешь

Ошибок нет. Но словарь не появляется =(

Привет. А можно ли как-то управлять лидер-репликами? Если лидер уходит в "медленный" датацентр, все встаёт колом.

Привет. Да, недавно сделали.

https://github.com/yandex/ClickHouse/blob/master/CHANGELOG.md
...
Added new settings for MergeTree engines (the merge_tree section in config.xml):
...
replicated_can_become_leader can prevent a replica from becoming the leader (and assigning merges).

Можно проверить соответствие пути к файлу и параметру dictionaries_config в config.xml

То есть надо поставить replicated_can_become_leader в 0 на конкретной реплике, правильно я понял?

Да. config.xml, в <merge_tree>.

Господа, 9ый дебиан мимо да ?

clickhouse-server-base : Depends: libc6 (< 2.24) but 2.24-11+deb9u1 is to be installed

такая ошибка, это неправильно составлен конфиг словаря или сама структура словаря нарушена?

^^ Все победил, проблема была в структуре конфига словаря =)

все таки до конца не выходит разобраться, может кто подсказать как правильно составить запрос к словарю? в идеале на примере ip_trie

как должен выглядить 3 параметр для dictGetString если я хочу в него передать ip адрес?

select ip, dictGetString('geo_dict', 'geoname_id', ip(или что тут дожно быть чтобы заработало)) from list

Можно скачать вручную deb-пакеты, распаковать их, и отредактировать зависимость (поставить 2.25 например), запаковать назад, и установить

ура, разобрался со словарями до конца =)

Мне в плейбук... Там так низя.

Добрый день!
У меня есть огромная таблица, на 3.5 млрд строк. Но мне нужны данные например только за последний месяц, а там данных на 3-4 месяца. Как мне удалить часть таблицы? Проблема в том что запросы по этой таблице очень медленные и иногда не хватает памяти

а почему бы не ограничивать запрос в where created_at_date >

SELECT
ad_tag_publisher_id,
ad_tag_id,
publisher_id,
advertiser_id,
toUInt32(count()),
toDate('2017-09-02'),
toDateTime('2017-09-02 12:59:59'),
geo_country,
device_type,
request_type
FROM statistics.daily_statistics
WHERE (date_time >= toDateTime('2017-09-02 12:55:00')) AND (date_time <= toDateTime('2017-09-02 12:59:59'))
GROUP BY
ad_tag_publisher_id,
ad_tag_id,
publisher_id,
advertiser_id,
geo_country,
device_type,
request_type

я делаю вот такой вот запрос

наверное его тормозит group by?

973 rows in set. Elapsed: 438.956 sec. Processed 3.44 billion rows, 222.69 GB (7.83 million rows/s., 507.31 MB/s.)

вот результат

вечность)

hdd?

да

покажи create table

А какой индекс?

CREATE TABLE statistics.daily_statistics ( request_id String, ad_tag_publisher_id String, ad_tag_id UInt32, publisher_id UInt32, advertiser_id UInt32, date Date, date_time DateTime, request_type String, geo_country String, device_type String) ENGINE = Distributed(datalayer, \'statistics\', \'daily_statistics_replicated\', rand())

а, это вьюха

CREATE TABLE statistics.daily_statistics_replicated ( request_id String, ad_tag_publisher_id String, ad_tag_id UInt32, publisher_id UInt32, advertiser_id UInt32, date Date, date_time DateTime, request_type String, geo_country String, device_type String) ENGINE = ReplicatedMergeTree(\'/clickhouse/tables/{shard}/daily_statistics_replicated\', \'{replica}\', date, request_id, (request_id, ad_tag_publisher_id, ad_tag_id, publisher_id, advertiser_id, date, date_time), 8192)

вот таблица сама

А, если выборка по времени, то date_time дожен быть впереди в индексе

я понял в чем дело

если я сделаю
WHERE (date_time >= toDateTime('2017-09-02 12:55:00')) AND (date_time <= toDateTime('2017-09-02 12:59:59')) >>>AND date = toDate('2017-09-02')<<<

то выполняется быстро

за 40 секунд

получается что если я четко задаю date оно ищет только в рамках того дня

спасибо!

да

я поэтому выше написал про created_at_date

это кластеризующий индекс

да, я понял. Спасибо

У нас тоже сейчас 3,5 млрд но стирать не собираемся

И ssd

У нас каждый день сейчас добавляется до 500 млн строк

Но как бы скорость вообще не важна, главное возможность делать запросы

А если запрос будет работать две недели? )) Скорость не важна? )

Ну всеравно пока запрос по 500 млн записей работает меньше минуты и это ок

вы неделю работаете что ли? =)

блин, вам конечно SSD нужен, но дорого будет

а есть какое нибудь элегантное решение для

bitOr([1,2,3,...]) = 1 | 2 | 3 | ...

что нибудь типа мапредюса?

Привет, у меня миллионы чисел с разным кол-вом знаков после запятой от 0 до 8 знаков, как лучше хранить их в clickhouse? UInt64 с умножением на 100000000? или есть какие то специальные типы которые уже умеют делать умножение/деление при вводе/выводе
75652477291.04
11.00046342
1.01

чем Float64 не подойдет?

в документации написано: Не рекомендуется хранить числа с плавающей запятой в таблицах.

если вам нужна арифметика без внезапного округления - то лучше велосипед фиксированной точности в целом типе. если это не принципиально - можно хранить float как есть.

всем привет! подскажите, при создании словаря появляется ошибка: element dictionary.layout should have exactly one child element

я так понимаю он ругается на разедл <key>

но в key у меня всего 1 атрибут

смотри, вот так у меня выглядит словарь, который генерируется внешней системой:

<dictionaries>
<dictionary>
<name>hostnames</name>
<source>
<file>
<path>/opt/retroview/priv/hostnames.csv</path>
<format>CSV</format>
</file>
</source>
<lifetime>
<min>300</min>
<max>360</max>
</lifetime>
<layout><complex_key_hashed/></layout>
<structure>
<key>
<attribute>
<name>server_id</name>
<type>String</type>
</attribute>
</key>
<attribute>
<name>hostname</name>
<type>String</type>
<null_value></null_value>
</attribute>
</structure>
</dictionary>
</dictionaries>

это мапит UUID сервера на хостнейм

а у тебя какой словарь?

<dictionaries>
<dictionary>
<name>geoip</name>
<source>
<file>
<path>/etc/clickhouse-server/GeoIP2-City-Blocks-IPv4.csv</path>
<format>CSVWithNames</format>
</file>
</source>
<layout>
<ip_trie />
</layout>
<structure>
<key>
<attribute>
<name>network</name>
<type>String</type>
</attribute>
</key>
<attribute>
<name>geoname_id</name>
<type>UInt64</type>
<null_value></null_value>
</attribute>
<attribute>
<name>registered_country_geoname_id</name>
<type>UInt64</type>
<null_value></null_value>
</attribute>
<attribute>
<name>represented_country_geoname_id</name>
<type>UInt64</type>
<null_value></null_value>
</attribute>
<attribute>
<name>is_anonymous_proxy</name>
<type>UInt8</type>
<null_value></null_value>
</attribute>
<attribute>
<name>is_satellite_provider</name>
<type>UInt8</type>
<null_value></null_value>
</attribute>
<attribute>
<name>postal_code</name>
<type>String</type>
<null_value></null_value>
</attribute>
<attribute>
<name>latitude</name>
<type>String</type>
<null_value></null_value>
</attribute>
<attribute>
<name>longitude</name>
<type>String</type>
<null_value></null_value>
</attribute>
<attribute>
<name>accuracy_radius</name>
<type>UInt8</type>
<null_value></null_value>
</attribute>
</structure>
<lifetime>
<!— Lifetime of dictionary in memory —>
300
</lifetime>
</dictionary>

</dictionaries>

у меня закралось подозрение, что возможно в моем билд еще нет layout = ip_trie

А в таком случае запрос должен идти от дефолтного юзера или от того, который указан в <remote_servers>?

вполне возможно

а где можно найти полный changelog не подскажите?)

если кто может, подскажите, в версии 1.1.54140 уже был ip_trie?

Иногда во время вставки 100к строчек в кликхаус происходит таймаут
clickhouse error: [999] zkutil::KeeperException: operation timeout, path: /clickhouse/tables/02/daily_statistics_replicated/temp/abandonable_lock-

INSERT INTO statistics.daily_statistics (request_id,ad_tag_publisher_id,ad_tag_id,publisher_id,advertiser_id,date,date_time,request_type,geo_country,device_type) VALUES (?,?,?,?,?,?,?,?,?,?), ...

У вас бывают такие проблемы? Как вы их решаете?

или просто делать ретрай пока не запишется?

Добрый день. Имею кликхаус с таблицей ReplicatedMergeTree. С некоторого момента кликхаус на запросы в http-интерфейс стал отвечать
zkutil::KeeperException: connection loss, path: /clickhouse/tables/sent_notifications/temp/abandonable_lock
в логах зукипера куча ошибок
NoNode for /clickhouse/tables/check_state/temp/abandonable_lock-0001360070
NoNode for /clickhouse/tables/check_state/block_numbers/201708/block-0001211086
ClickHouse client version 1.1.54226.
zookeeper version 3.4.6
Подскажите пожалуйста, куда смотреть и что нажимать, чтобы заработало

нет, примерно в 1.1.54241 появился

официальные пакеты собраны для убунты, и ставить их в дебиан - не самая лучшая идея. Лучше собрать руками.
Кстати совсем недавно появилась возможность собирать через pbuilder для почти любых дебиантов-убунт.
https://github.com/yandex/ClickHouse/blob/master/debian/.pbuilderrc

да, просто для 8-ки таки работает.

собрать руками в плейбук не положишь :(

а зачем там sudo ?:)

потому что pbuilder работает от рута

Продолжаем скрещивать Табло с КХ. C CAST разобрались, теперь возникла проблема с подстановкой параметров-дат.
Есть запрос

SELECT
site, date, toString(date) as date1, uniqExact(uid) as uv, uniq(uid) as uv0, count() as vv
from
groot3.content_watch
where
date>= <Parameters.date_from> and date< <Parameters.date_to>
group by site, date, toString(date)

Табло подставляет вместо <Parameters.date_from> дату в виде {d '2017-07-01'} и скармливает получившийся запрос драйверу. Драйвер это не переваривает и кадает в КХ запрос в неизменном виде:

SELECT
site, date, toString(date) as date1, uniqExact(uid) as uv, uniq(uid) as uv0, count() as vv
from
groot3.content_watch
where
date>= {d '2017-07-01'} and date< {d '2017-07-02'}
group by site, date, toString(date)

Вот что сами Табло пишут

For example, the ODBC specification details that dates should be specified in SQL statements by using the syntax: {d 'yyyy-mm-dd'}. This format is then translated by the driver to the proper date syntax of the actual database.

@alexanderzaitsev можно вас попрсить собирать пакеты и для debian 8/9 в туже репу альтинити ?

Всем привет! Подскажите с баянистым вопросом, про дубли при репликации. Хочу попробовать на тесте завестись с двумя нодами. Но после инсерта одной записи в Distibuted таблицу получаю две при селекте.
Конфиг вот такой https://pastebin.com/E1YAypgm
При этом на нодах меняется только секция macros, а сама таблица создается так:
CREATE TABLE tesd (...) ENGINE ReplicatedMergeTree('/clickhouse/tables/{slicer_shard}/default/tesd', '{replica}', date, (siteId, date, docUuid), 8192);

А в кейсах нельзя агрегировать? т.е если у меня в then есть что-то и это что-то я хочу сделать sum() ?

интересно. обычно такая ошибка происходит, если есть несколько тегов <layout> или несколько тегов внутри <layout> ... </layout>. Скопировал конфиг себе, распарсился без ошибок.

Возможно, в файле конфигурации есть еще что-то? Не дублируется ли конфигурация для словаря?

словарь 1 был, судя по всем проблема в старой версии сервера, буду пробовать на более свежем

Можно сделать sumIf вместо case

Либо сделать запрос с кейсом, а поверх него уже сделать запрос на агрегацию нужных данных

у меня запрос с кейсом делает из узкой таблицы широкую, по сути генерируя столбцы тут по идее sumif не подойдет же?

Если вы собираетесь агрегировать по значениям которые определяются в кейсе, то вполне подойдет

если бы не умел ip_trie, была бы ошибка "unknown dictionary layout type"

странно, сейчас у меня вообще КХ падает при попытке обработать словарь

можно делать case sum() можно делать sum(case ). главное чтобы на пути из select в листья агрегатные функции были один раз. в первом случае case будет работать меньшее число раз.

так это мне делать уже в новом запросе? где кейс подзапрос или вместо кейсам?

Делается типа так select sumIf(...), column from (select с кейсом) group by column

на том же конфиге?

да

Кейсов у меня не один, а много вариант оборачивать его sum'ами я пробовал в разных местах, почему то не получается =(

Ну самый простой вариант сделать агрегацию сверху. Скажем так без эспейна :) Хотя с данными поверх запроса с кейсом sumIf не нужен :) Там просто sum и группировка по колонке

Что-то я запарил

не подойдет, тк у меня узкая таблица в которой есть \название счетчика\ его значение \ устройство\ а мне надо это перевести в вид :
\устройство\ счетчик 1\счетчик 2\счетчик3\

а, это уже внутри btrie. Значит, конфигурация прочиталась :)

Вот такой кейс у меня работает, далее мне нужно сделать sum(r) group by mts

Ну тогда sumIf и три разных агрегата через sumIf, типа sumIf(counter = 'counter1...), sumIf(counter = 'counter2...)

буду очень благодарен если кто-то поможет =)

а куда дальше копать чтобы это взлетело теперь?)

И с группировкой по устройству

Я бы все-таки попробовал поставить новую версию CH.
Если можете прислать сам csv словаря, и он не очень большой, я попробую воспроизвести у себя.

пытался скормить ему следующую конструкцию - не взял =(

sumIf(r, "mt like 'pmNoOutgoingPsStreamHsHhoSuccess'")

Мне кажется в like нужно добавить по сторонам %

словарь ~500mb (база maxmind)

неа, ничего из этого не помогает,
Code: 10, e.displayText() = DB::Exception: Not found column mt like 'pmAborteds' in block. There are only columns: mts, mt, r, e.what() = DB::Exception

хотя в столбце mt у меня есть это значение...

а зачем у вас кавычки вокруг второго аргумента?

Без них

ode: 43, e.displayText() = DB::Exception: Illegal type String of argument for aggregate function sum, e.what() = DB::Exception

а какой у вас тип у r?

sumIf(r, mt like '%pmNoOutgoingPsStreamHsHhoSuccess%')

Вот так попробуйте. Я так не делал, но может сработает )

тааак, кажется я облажался, там стринг, я на лету могу же его попросить конвертнуть тип да?

насчет sum внутри case я немного обманул, вот такой запрос не работает
SELECT
caseWithExpression(y, 1, sum(x), count()),
sum(caseWithExpression(x, 1, 2, 3))
FROM
(
SELECT
2 AS x,
1 AS y
)
GROUP BY yно вот такая штука работает
if(y = 1, sum(x), count()),

toInt64(r)

у вас там всегда числа?

а можете ссылко поделиться, откуда оно скачивается?
500 mb - это в сжатом виде?

да! Ура, работает, спасибо огромное!

если у вас там всегда числа, лучше хранить их сразу в виде чисел.

500 несжатое, сейчас сожму и выложу куда нибудь вместе с конфигом словаря

здорово

Это я догадываюсь, но для теста пока и так подойдет я думаю

кинул в личку

А вот в целом, будет ли кликхаус без обязательной колонки даты, или ради этой колонки вся база писалась ?

можно взять engine = Log

А хочется то merge

Можно добавить поле DummyDate и писать туда константу "0000-00-00" и использовать движок MergeTree.

Да, будет. Возможно, даже скоро 🙂

добре вам

Хэй! :)

есть вопрос
<clickhouse_remote_servers>
<kolesa-cluster1>
<shard>
<internal_replication>false</internal_replication>
<replica>
<host>s1r1</host>
<port>9000</port>
</replica>
<replica>
<host>s1r2</host>
<port>9000</port>
</replica>
</shard>
<shard>
<internal_replication>false</internal_replication>
<replica>
<host>s2r1</host>
<port>9000</port>
</replica>
<replica>
<host>s2r2</host>
<port>9000</port>
</replica>
</shard>
</kolesa-cluster1>
</clickhouse_remote_servers>

дистребьютед таблица, смотри на мержтри

хочу добавить еще один шард с репликой, чтобы снизить нагрузку на существующие серваки

шардится по rand()

могу просто довешать серваки в конфигах? перешардить не принципиально, главное - нагрузку распределить на запись

Добрый день.
Что-то у меня не работает arrayJoin, после применения к массиву, полученному из splitByChar

Тип поля по toTypeName Nullable(Array(String))

в чем может быть проблема?

"ARRAY JOIN requires array argument"

При попытке скастить в not-nullable массив Cannot convert data from a nullable type to a non-nullable type

Есть какой-нибудь по-любому workaround?

В случае использования реплицированных таблиц, есть возможность перешардировать данные - смотрите раздел “Перешардирование”. Но во многих случаях лучше обойтись без этого. Запросы SELECT отправляются на все шарды, и работают независимо от того, каким образом данные распределены по шардам (они могут быть распределены полностью случайно).

Правильно ли понимаю, что достаточно дописать новые серваки в конфиг и на этом все?

Да. И изменение веса старых

Нагрузка при чтении в данный момент не важна, значит можно и весы не менять? Или же лучше уравнять временными весами объем данных по шардам?

Это скорее чтоб запись на старые шарды не шла

Дык нагрузка на отдельный существующий шард на запись снизится с 1/2 общей нагрузки до 1/3. Это то, что я и пытаюсь получить в данный момент.

Нагрузка на чтение будет на старые шарды существенно выше, это я понимаю.

В общем, ясно. Спасибо за коммент.

Короче предлагаемый способ расширения это перестать писать на старые шарды и поставить новые

Читать по прежнему со всех

Новый шард не справится со всей нагрузкой.
Думаю на старые два поставить вес по 1, на новый шард вес 2. Через какое-то время, когда примерно объем данных уравняется, выставить одинаковый вес на все шарды.

Следующий ClickHouse Meetup состоится в Берлине, 5 октября.

https://www.meetup.com/ClickHouse-Meetup-Berlin/

Это первый крупный англоязычный митап.
Мы рады пригласить всех, кто сможет приехать!

Участие бесплатно. Необходимо зарегистрироваться:
https://events.yandex.com/events/meetings/05-10-2017/register/

None

Коллеги! У меня в таблице куча полей с типом string . учавствуют в условии where. Это сильно бьет по перфомансу?

А where по like? или просто сравнение?

просто where Field ='Word'

event_date - используется т/е ключь ?

Мы чтобы уйти от строк используем и храним CityHash() - там где можно, типа OS и т/д

Таблица ок 4 яров . date есть, но люди хотят за весь период. я просто думаю надо ли переделывать на словари. или и так норм?

Можете словари лучше словари - имхо int лучше чем string

Весь периуд - full scan получается )

Roman, [04.09.17 18:42]
"ARRAY JOIN requires array argument"

Roman, [04.09.17 18:50]
При попытке скастить в not-nullable массив Cannot convert data from a nullable type to a non-nullable type

Есть какой-нибудь по-любому workaround?

Алексей, посоветуете какой-нибудь work around?

А чем лучше то ) быстрее? или место экономится?

быстрее. ну и если данные можно уложить в тот же int, то лечше это сделать. как минимум для экономии места

Сравнение строк в ClickHouse реализовано достаточно эффективно. Но в любом случае, работа со строками будет менее эффективна, чем с соответствующими Enum-ами или числами. По причине того, что строки надо разжать, десерализовать, пройтись по ним в оперативке при вычислениях. Насколько именно будет разница - трудно заранее сказать. Обычно до нескольких раз в худшем случае.

Можно arrayMap(x -> ifNull(x, 0), arr)

Через map пробовал , то же ARRAY JOIN requires array argument

SELECT arrayJoin(arrayMap(x -> ifNull(x, 0), spl)) FROM (
select splitByChar(',', splitByChar('|', answers)[5]) spl from Events WHERE ...
)

Попробуйте вместо ifNull(x, 0) написать assumeNotNull(x)

Не помогает. Вероятно потому что массив, получающийся в результате все равно типа Nullable(Array(String))

возможно,
SELECT arrayMap(x -> ifNull(x, 0), arrayJoin(spl)) FROM (
select splitByChar(',', splitByChar('|', answers)[5]) spl from Events WHERE ...
)
?

а он тогда разве применит не до arrayMap? Не помогает, в arrayJoin вероятно нельзя отправить Nullable(Array(String))

И надо его как-то превратить в не nullable, при том что у меня там всегда значения есть (

да, неправильно сказал

SELECT arrayJoin(spl) FROM (
select arrayMap(x -> assumeNotNullable(x), splitByChar(',', splitByChar('|', answers)[5])) spl from Events WHERE ...
)
?

arrayMap вернет nullable array, так тоже пробовал

а вот такой запрос работает?
select arrayJoin(vals) from (select ['a', 'b', Null] as vals)

ага

а такой ?
SELECT splitByChar(',', toNullable('1,2,3'))

кстати, какая версия CH?

ага, а arrayJoin на него уже не работает

в последней версии не должен :)

не, у нас не последняя (

наверное, answers - это nullable строка, и можно попробовать снять с нее каст

SELECT arrayJoin(spl) FROM (
select splitByChar(',', splitByChar('|', assumeNotNullable(answers))[5]) spl from Events WHERE ...
)
?

ооо, точно, не догадался

Спасибо :)

отлично :)

@kochetovnicolai Спасибо вам еще раз за помощь со словарем, пришлось самому научится собирать пакет под centos, и закончил только сейччас, но оно того стоило, IP-гео парсятся просто чудесно =)

вам спасибо, помогли найти баг

а можно както из лога узнать где проблема если КХ ругается при загрузке словаря: Error parsing null_value ?

Посмотрели – конфиги не менялись, с последними темплейтами они совпадают. В логах на конкретном сервере нет ничего кроме этого:
2017.09.05 08:24:50.142653 [ 139 ] <Debug> TCPHandler: Connected ClickHouse ClickHouse replica version 1.1.54245, database: local, user: default.
2017.09.05 08:24:50.164299 [ 139 ] <Error> ServerErrorHandler: Code: 194, e.displayText() = DB::Exception: Password required for user default, e.what() = DB::Exception, Stack trace:
Не могу понять, правильно ли, что запрос идет от default-юзера, а не от того, что указан в параметрах репликации?

Конфиг users-preprocessed.xml одинаковый на серверах? Есть подозрение, что они у вас разошлись

у нас только users.xml, и файлы одинаковые, потому что накатываются ансиблом. проверил диффом для уверенности – совпадают.

Ну *-preprocessed же вроде генерится кликхаусом при применении конфига users.xml или config.xml, их надёжнее сравнивать

а лежать они должны там же, где и обычные конфиги или отдельно?

я не знаю по каким правилам кладутся эти файлы, но у нас их кликхаус кладет всегда в папку с конфигами users.xml и config.xml, рядом

про них вот тут можно почитать https://clickhouse.yandex/docs/ru/single/#configuration-files

спасибо, сейчас буду смотреть, почему файл не создался

на данный момент нельзя. разве что закомментировать все null_value в структуре словаря и пробовать добавлять по одному.

пробдемы с числами менее вероянты, чем со строками. возможно, надо добавить или убавить escape символов

Ясно. Спасибо

разницы нет

Подскажите, какой тип данных стоит выбрать, если планируется хранить как числовые данные, так и NULL или массив, т.е возможные варианты данных:
1) 1636
2) NULL
3) 1,3,6,3,7

Добрый день, подскажите, пожалуйста, в чем может быть ошибка при создании реплицируемой таблицы?

по идее данные должны сами перекинуться через zk кластер или нужно запускать какую-либо комманду?

Судя по описанию таблиц тут два шарда. Без репликации. Стало быть сами данные никуда не перекинутся.

Если хочется репликации, то должны быть одинаковые первые аргументы и разные вторые.

а, т.е. указываем {shard1} и clickMaster (на мастере) и {shard2} clickSlave (на слейве)

типа такого?

Нет. Шард должен быть одинаковый.

Ну и кажется что у вас неправильное использование макросов для подстановки. Так наверное тоже будет работать, но идея вообще другая.

Там суть в том чтобы везде написать {shard} и {replica} а уже в конфигах на конкретных машинах прописать нужные значения.

а у вас есть разница между числом из первого варианта и массивом длиной в один элемент из третьего?

спасибо, сейчас попробую

Не понял вопроса =(

нужно ли уметь отличать Null от [] и 1636 от [1636] ? если нет, то обычный массив. Иначе, вероятно, придется разбить на 2 колонки.

NULL от 0 нужно отличать, если же данных нет и там пустота, то хотелось бы интерпритировать этот как NULL а не 0

в качестве Null можно использовать пустой массив

а в качестве числа - массив из 1 элемента. разумеется, если не неужно различать эти случаи

хм, спасибо буду пробовать

После DETACH/ATTACH partition ClickHouse упал с сегфолтом

2017.09.05 11:00:53.485950 [ 6 ] <Error> void DB::BackgroundProcessingPool::threadFunction(): Code: 246, e.displayText() = DB::Exception: bad size of marks file `/var/lib/clickhouse/data/reports/tmp_reports_advertiser_full/20170903_20170903_30_30_0/raw_clicks.mrk':1803, must be: 2240: (while reading column raw_clicks): (while reading from part /var/lib/clickhouse/data/reports/tmp_reports_advertiser_full/20170903_20170903_30_30_0/ from mark 0 with max_rows_to_read = 8192), e.what() = DB::Exception, Stack trace:

2017.09.05 11:03:44.809514 [ 28 ] <Error> BaseDaemon: ########################################
2017.09.05 11:03:44.809557 [ 28 ] <Error> BaseDaemon: (from thread 27) Received signal Segmentation fault (11).
2017.09.05 11:03:44.809568 [ 28 ] <Error> BaseDaemon: Address: NULL pointer.
2017.09.05 11:03:44.864195 [ 28 ] <Error> BaseDaemon: 0. clickhouse-server(tc_new+0x80) [0x39b6650]
2017.09.05 11:03:44.864269 [ 28 ] <Error> BaseDaemon: 1. clickhouse-server(std::_MakeUniq<DB::IMergedBlockOutputStream::ColumnStream>::__single_object std::make_unique<DB::IMergedBlockOutputStream::ColumnStream, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >, char const* const&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >, char const* const&, unsigned long&, DB::CompressionMethod&, unsigned long&, unsigned long&>(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >&&, char const* const&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> >&&, char const* const&, unsigned long&, DB::CompressionMethod&, unsigned long&, unsigned long&)+0xed) [0x2dff16d]
2017.09.05 11:03:44.864294 [ 28 ] <Error> BaseDaemon: 2. clickhouse-server(DB::IMergedBlockOutputStream::addStream(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, DB::IDataType const&, unsigned long, unsigned long, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, bool)+0x5ea) [0x2dfc5ba]

лог https://gist.github.com/kshvakov/5954f73e88b51e314e11938a7d31d783

привет, может кто в курсе - еще не поправили баг, когда после drop partiton, в реплицированную таблицу заливаешь данные, а они отбрасываются как дубли?

Ребят в таблицу типа Buffer писать в 100 потоков по 1 строке за запрос норм? )

Ребята у меня такая беда, есть шард с 2мя репликами, если реплика перезапускается то у нее меняется айпишник, реплика которая не перезапускалась продолжает стучать в старый айпи, приходится опускать обе реплики для восстановления кто то сталкивался? как победить?

Алексей писал, что КХ на пожизненно кеширует DNS. Надо сервер КХ рестартить

обращаться не по ip?

На всем кластере

Даже если hostname прописан и у hostname сменился айпишник, надо рестартить сервера на кластере, которые работают с этим hostname

ну писец, прихали

https://img.facedsid.ru/qtymn.jpg

Вот собственно ответ на похожий вопрос

Спасибо, Мде, плохая идея у предыдущего Девапса была CH в контейнерах держать)

Хыыы ) Поэтому его уволили :D

Добрый день. Подскажите, как к массиву pushнуть значение из колонки такого же типа, что и элементы в массиве? Что-то ничего похожего на push не могу найти

arrayPushBack/arrayPushFront уже лежат в мастере, но в билдах хорошего способа пока нет

вот такой раньше предлагали:
SELECT
[1, 2] AS x,
[3, 4] AS y,
arrayReduce('groupArrayArray', [x, y]) AS xy

или
SELECT
[1, 2] AS x,
3 AS y,
arrayReduce('groupArrayArray', [x, [y]]) AS xy
в данном случае

Нормально, так как таблица лежит в памяти. Но может тормозить.

Просто у меня много обработчиков выполняют задачи и мне нужно в реальном времени без задержек видеть что творится в обработчиках и хранить собственно историю.

без тестирования сложно сказать. возможно, придется предобрабатывать данные вне CH

Только что словил вот этот issue: https://github.com/yandex/ClickHouse/issues/827 Не предполагается update-ов на эту тему?

мне написать issue на гитхабе ODBC-драйвера?

Подскажите плиз, если я заливаю данные в ReplicatedMergeTree таблицу с названием Х, то zk будет распихивать данные по репликам в таблицы с точно таким же названием? и можно ли как-то сделать чтобы на репликах таблицы были названы иначе?

Наверное, уже видели? @milovidov_an https://habrahabr.ru/company/pvs-studio/blog/337182

нет, еще не поправили. но задача в процессе

прошу прощения, пропустил Ваш прошлый вопрос. ответил в группе

спасибо большое!

Подскажите, а для создания простой реплики на 2-х разных серверах также необходимо создавать Distributed таблицу?

ReplecatedMergeTree должно быть достаточно

Просто я совсем запутался, куда копать:
Создаю таблицу на мастере
CREATE TABLE partner.click () ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard1}/_click', 'clickMaster', click_date, id, 8192)

Создаю таблицу с точно таким же названием на слейве (той же строкой) ожидается, что будет ошибка, что в zk уже существует данный путь, но нет, таблица создается

при этом, при включении и отключении сервисов zk и мастер и слейв реагируют друг на друга

Если же я пытаюсь создать CREATE TABLE partner.click () ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard1}/_click', 'clickSlave', click_date, id, 8192), то никакого реплицирования не происходит

Уже существующие данные должны подтянуться или их нужно залить еще раз?

Вместо 'clickSlave' поставьте макрос

И на мастере и на слейве соответственно?

должно работать и без макроса. и данные должны сами подтянуться. кластер с зукипиром нормально работает?

в кластер входит только два сервера один из них должен быть простой репликой

Сам кластер, как я понимаю, должен ругаться, если мы на разных серверах создаем 2 таблицы с одинаковыми путями, но не ругается,

в самом zkCli (на слейве) при ls /clickhouse/tables/01 не выводятся таблицы, которые должны быть там с мастера

а если создать какую-нибудь ноду в зукипере в мастере (/test), это видно на слейве?

нет, не появилась

при sync /
ответом приходит Sync returned 0

ну, наверное, у Вас нету кластера, и зукиперы работают сами по себе

подскажите, пожалуйста, как создать или где почитать об этом

Или кластер это вот эти настройки в clickhouse config?

нет, зукипер должен работать независимо от CH

т.е. настройки кластера должны быть в конфиге zookeepera?

да. наверное, эта статья может помочь: http://zookeeper.apache.org/doc/r3.4.6/zookeeperStarted.html#sc_RunningReplicatedZooKeeper

Ребят. В таблице 53к строк, делаю limit 1 и получаю rows_before_limit_at_least = 8192

ааа, при указании серверов в zoo.cfg он требует 3-й сервер, у меня только 2, можно ли указать один и тот же сервер дважды в конфигурации?

Я так понял КХ считает кол-во оставшихся строк в блоке данных?

А не целиком которые под условие попадают

В доке сказало "rows_before_limit_at_least - точное число строк, которое получилось бы, если бы не было LIMIT-а", но на деле это не так )

можно указать только 2, но смысла будет ровно столько же, сколько и при 1-м

Хм...а если добавить with totals, тогда все ок показывает

а group by в запросе есть ? :)

Неа, нету

Да я просто тестирую эту штуку и делаю запрос из серии select column from table limit 10, 10 format JSON

И получаю максимум 8192

в доке написано, что точное будет, если есть group by

А если делаю with totals, то получаю корректное значение в виде общего кол-ва строк

Аааа, сори, пропустил этот кусок (( Хотел увидеть то, что хотел - увидел ))

А остальное пропустил )

with totals, видимо, включает group by по всему

Уазал в конфигах адреса серверов, в кластер подтянулась данные, но при создании таблицы на слейве данных нет

Все разобрался, большое спасибо! :)

появились? отлично!

если я правильно помню, задача в процессе работы, но еще не готова

да, кластер в zookeeper должен быть обязательно, а warning'и которые zk выкидывает при 2-х серверах, можно игнорировать (хотя странно как-то)

просто, в 2-х серверах зукипера нету смысла. отказоустойчивость для 3-х или 5-и

А при программном переключении, если вдруг один сервер просто упал, также нет смысла?

лучше приобрести еще один сервер и работать с кластером из 3?

3, разумеется, лучше :)

Понял, спасибо))

подскажите пожалуйста, каким лучше способом пройтись по длинному списку сессий (есть started_at и closed_at) и получить скажем с получасовой точностью количество онлайн сессий?

сделать сначала список из интервалов времени и потом к ним приджойнить список сессий?

или есть что-то поумнее?

array join timeslots()

хорошо пользоваться тем, что делали люди, которым нужно то же самое

Коллеги, добрый день. Я собираю данные из метрики в хайве и думаю о переходе на кликхаус. Сейчас простая операция select count(*) from занимает 17 минут (1 миллиард строк). Стоит ли ожидать сильного увеличения производительности?

в 4 порядка)

SELECT count()
FROM hits_all
WHERE EventDate = today()

1 rows in set. Elapsed: 0.359 sec. Processed 11.17 billion rows, 22.34 GB (31.13 billion rows/s., 62.26 GB/s.)

SELECT count()
FROM daily_statistics

┌────count()─┐
│ 4237627779 │
└────────────┘

1 rows in set. Elapsed: 6.660 sec. Processed 4.24 billion rows, 8.48 GB (636.28 million rows/s., 1.27 GB/s.)

это на hdd

я боюсь, что никак не могу сообразить

вот у меня есть sessions: (id, created_at, closed_at)

select uniq(id) as count, timeSlots(somedate,7200) as period from sessions array join period where created_at < period and deleted_at > period

мне показалось, что нужен такой запрос, но он невалидный

@orantius @OlehBahinskyi Спасибо!

@OlehBahinskyi а сколько оперативки у вас?

@vladimirmyuge 32, но занято меньше 2х

Я в какой-то параллельной реальности... можете посоветовать облако, где наиболее просто развернуть это добро, залить гигов 200 и покрутить? навыков линукса у меня почти 0

можешь у себя в докере покрутить на локальной машине

я имел в виду что-то такое
SELECT
ts,
count()
FROM
(
SELECT
number AS id,
toDateTime('2017-09-05 01:02:03') + (id * 1000) AS begin,
toDateTime('2017-09-05 01:02:03') + (id * 2000) AS end
FROM system.numbers
LIMIT 10
)
ARRAY JOIN timeSlots(begin, toUInt32(end - begin)) AS ts
GROUP BY ts
ORDER BY ts ASC хотя возможно это не совсем то что нужно.

через range + arrayMap можно написать то же самое, эта функция была до появления range()

Насколько я понимаю, надо нагенерить точек раз в полчаса и к ним приджойнить весь список сессий. Верно?

привет! подскажите, как к словарю complex_key_hashed обратится по 2 ключам одновременно?

в качестве ключа надо использовать tuple. в словаре 1 ключ, но составной

понял, сейчас поискал еще в русском мануале - там понятнее написано

When using such dictionary, use a Tuple of field values as a key in dictGet* functions. Example: dictGetString('dict_name', 'attr_name', tuple('field1_value', 123)).

При запросе в функции dictGet* в качестве ключа передаётся кортеж. Пример: dictGetString('dict_name', 'attr_name', tuple('string for field1', num_for_field2)).

например:
select dictGetString('dict', 'attr', (1, 'abcd'))

и соотвтетсвенно можно также ссылаться внутри словаря на словарь, так?

первые 2 аргумента у dictGetT должны быть константными строками. так что не получится, если я правильно понял

я про кортеж, можно вот так сделать:
select dictGetString('dict', 'attr', tuple(dictGetString('dict2','attr, value), 'abcd')) ?

да, так должно работать

DB::Exception: Key type at position 1 does not match, expected UInt64, found UInt8.
такая вот ошибка появляется, хотя у меня ни в одном словаре нет UInt8 =|

сделай toUInt64

1 имеет тип uint8

toUint64 помог, я его и раньше пробовал но не на тот ключ, оказалось что обычное число тоже надо обернуть. например: toUInt64(14)

В доке написано что числа вида 1-9 парсятся сначала в UInt8, а потом уже в UInt16 и так далее

к сожалению про это не читал еще

Советую прочесть всю документацию, это не долго, интересно и много узнаешь про ClickHouse

пытаюсь по мере сил

подскажите еще плз, как такую конструкцию перенести в КХ:
Select clip.meganame, mark.name
from clip join clip_mark on clip.id=clip_mark.clip_id
join mark on clip_mark.mark_id=mark.id
where mark.mark_type_id = 14
order by clip.meganame

как не бьюсь со словарям пока не вышло ничего путного =(

наверное почитай доку сначала

Уточните структуру талбиц, словарей и пример неработающего запроса

есть таблица stream, в ней поле resource связана со словарем clip по resource, в словаре clip есть аттрибут clip_id связан со словарем clip_mark, в clip_mark есть аттрибут mark_id связан со словарем mark в котором есть аттрибут name

в словаре вы можете mark_id в name/type_id расшифровать, но у вас многие ко многим, если считать что mark-clip не меняется, то можно сложить в массив в clip и тогда уже делать запрос.

на выходе надо получить таблицу вида:
resource | name | count одному resource может соответствовать множество name

пока получилось такое:
SELECT
dictGetString('clip', 'meganame', tuple(resource)) AS film,
tuple(dictGetUInt64('clip_mark', 'mark_id', tuple(dictGetUInt64('clip', 'id', tuple(resource))))) AS Genre
FROM stream_log
WHERE date >= '2017-09-01'
GROUP BY
film,
Genre
LIMIT 50

но он берет для film первое значение Genre а нужно все

словарь это такой маппинг по ключу в [одно] значение. а вам нужен джойн

Создайте БД типа Dirctionary и попробуйте заджойнить словать как таблицу

т.е. все 3 словаря перенести в таблицы?

просто я от этого и ушел т.к. КХ ругался на неизвестный тип join

сделайте известный тип

в словари уходят когда нужны апдейты/иерархия итд.

на обычный sql похож all inner join

ну все 3 словаря посотянно обновляются

+1

тогда вам видимо нужен словарь, который работает как multimap.

/stat@combot

Всем привет!
Столкнулся со странной проблемой, сценарий:
1) есть несколько ReplicatedMergeTree таблиц на кластере из 6 машин,
2) Подключаюсь к одной из тачек
3) Выполняю подряд несколько раз select count(*) из распределенной таблицы
4) Получаю мигающее значение, т.е. если всего, например, 10 записей, то получаю то 10, то 8 записей.

Выяснил, что выпадает одна из тачек, условно с номером 3: один раз я делаю запрос к распределенной таблице и данные с этой 3-ей тачки передаются, другой раз нет.

Причем, если я подключаюсь к этой третьей тачке - значение уже не мигает и все ок.

Я понимаю, что это история про сеть, одна она в принципе стабильна, может какой таймаут увеличить непосредственно в настройках КХ?

Привет!
Столкнулся с неточностью в хелпе. Пришлось по исходникам разбрираться.
"4. Восстановление в случае потери всех данных:
...Создайте в ZooKeeper узел /path_to_table/replica_name/flags/force_restore_data с любым содержимым или выполните команду для восстановления всех реплицируемых таблиц: sudo -u clickhouse touch /var/lib/clickhouse/flags/force_restore_data"

Было бы хорошо уточнить что это надо делать для каждой из replicated таблиц, указанных в metadata, во вторых путь к узлу не совсем такой - а именно между path_to_table и replica_name есть обязательный узел "/replicas/"
в итоге путь: /<path_to_table>/replicas/<replica_name>/flags/

И до копирования metadata пришлось руками вызывать 'create database <db_name>' на все базы, иначе почему-то ничего не виделось.

выпал кх с такой ошибкой:
2017.09.06 12:32:34.870000 [ 1 ] <Error> Application: Resource temporarily unavailable
2017.09.06 12:32:34.874625 [ 2152 ] <Error> void DB::ReplicatedMergeTreeRestartingThread::run(): std::exception. Code: 1001, type: std::system_error, e.what() = Resource temporarily unavailable

как понять каких именно ресурсов не хватает?

я нашел чудесный пример, который подходит для учета онлайн сессий

https://gist.github.com/alexey-milovidov/2f2739347818013216139548ec989b20

наверное надо только поменять range на timeSlots

почему-то этот запрос считает явно не то, чего хотелось

вроде и так нормально.

да, я уже понял

просто тут разрешение посекундное, а вы хотели полчаса.

нельзя ставить timeSlots, потому что получается нерабочий вывод с сессиями у которых deleted_at - created_at меньше получаса

и в итоге получаются бессмысленные цифры типа 140 тыс онлайн

поэтому надо брать запрос, который выложил Алексей, брать посекундную точность

а потом уже округлять до получаса вторым, внешним запросом

черт

Code: 69, e.displayText() = DB::Exception: A call to function range would produce 235817246 array elements, which is greater than the allowed maximum of 100000000, e.what() = DB::Exception

надо менять подход

Можно ли как-то узнать приходили ли новые данные сегодня в таблицу именно со стороны clickhouse ?

можно посмотреть в табличку system.query_log

Это в последней версии clickhouse ?

У меня такая таблица не существует

ее, оказывается, надо заранее отдельно включить

тогда посмотреть на наличие кусков в system.parts

Падает кликхаус в ответ на команду "show tables" :
1) запускаю сервер docker run —rm -d —name my-clickhouse-server —ulimit nofile=262144:262144 yandex/clickhouse-server
2) запускаю клиент sudo docker run -it —rm —link my-clickhouse-server:clickhouse-server yandex/clickhouse-client —host clickhouse-server
3) Получаю:
ClickHouse client version 1.1.54284.
Connecting to clickhouse-server:9000.
Connected to ClickHouse server version 1.1.54284.

:) show tables

SHOW TABLES

Exception on client:
Code: 32. DB::Exception: Attempt to read after eof: while receiving packet from clickhouse-server:9000, 172.17.0.2

Connecting to clickhouse-server:9000.
Code: 210. DB::NetException: Connection refused: (clickhouse-server:9000, 172.17.0.2)

кажется нашел ответ
It means that your CPU doesn't support required instruction set.
For Yandex pre-built packages, minimal instruction set is SSE 4.2.
To show supported instruction sets, run cat /proc/cpuinfo.

You may build ClickHouse by yourself (either on target machine or with explicitly limited instruction set during build) and it will work even on older CPUs.

@ckcnik ошибка в логах сервера должна быть, но в таком случаи сервер должен умереть с SIGILL

примерно так:
select * from system.parts where toDate(modification_time) = today() and level = 0 and table = ...

если это какой-нибудь vps/vds - возможно иногда, что провайдер не экспортирует SSE4.2, хотя процессор его поддерживает

обычно решается вопросом в саппорт

хотя всеравно же из контейнера запускаю

докер не лимитирует набор инструкций

он передает ровно то что сказал host

а вот qemu/kvm/xen могут

и даже больше - по умолчанию kvm экспортирует только базовый набор инструкций

А как лучше хранить вложенные массивы в CH? документация говорит что основном типе таблиц работать не будет

хранить в виде массива.

а что именно не будет работать по мнению документации?

дословно вот так
Массив из элементов типа T. Типом T может быть любой тип, в том числе, массив. Многомерные массивы не рекомендуется использовать, так как их поддержка довольно слабая (например, многомерные массивы нельзя сохранить в таблицы с движком семейства MergeTree).

а, то есть вы хотите массивы массивов. да, есть такая проблема.

Господа, подскажите что можно сделать, если хочется результат типа runningDifferrence с группировкой?

мы добавляем в таблицу столбец sys_created DateTime DEFAULT now()

в нем хранится время попадания записи в кликхаус.

Массив внутри массива мне нужно...

Доброго времени суток
Кто-нибудь работал с регулярками?
select match('11 11 11', '[0-9]') возвращает 1, несмотря на пробелы
Нужна регулярка вида [0-9+-\(\)\s]+

Якоря начала конца строки?

Раз нужно не вхождение, а соответствие

Вроде в кх re2

Или я не прав?

re2 это go же

Да, re2. Не приходилось раньше с ними работать.
Якоря помогли, спасибо)

Это библиотека в первую очередь

Просто в го реализация как в ре2

Генерировать range-и посекундно - это тяжело. Лучше поделить время до получаса, затем применить range, а затем домножить обратно.

Что с timeSlots посмотрю через некоторое время...

RE2 was designed and implemented with an explicit goal of being able to handle regular expressions from untrusted users without risk. One of its primary guarantees is that the match time is linear in the length of the input string.

https://github.com/google/re2/wiki/WhyRE2

Если сессия открылась и через минуту закрылась а вместо нее новая, то при посекундном рассчете это одна онлайн, а вот при округлении до получаса это две онлайн

Нужна одна

'^[0-9+-\\(\\)\\s]+$'

Да, действительно. Жаль, с посекундными получается тяжёло. Но можно попробовать уменьшить размер блока: SET max_block_size = 8192. А также ограничить максимальную длину сессии: range(least(86400, x))

Или округли хотя бы до минуты.

Я думаю что мне нужна предагрегация и отдельно складывать кол-во онлайн в каждую секунду

а читать вы это значение тоже будете каждую секунду?

Добрый день!
Скажите пожалуйста, можно ли создать такую цепочку таблиц и представлений?
T(MergeTree) -> MV(AggregateMergeTree) -> V(MergeTreee) -> MV(MergeTree).

Так попробуйте :)

Попробовал, в последнем MV не обновляются записи (

Обновление MV через View не поддерживается.

А MV через MV?

Непонятно как обойтись без посекундной агрегации

Должно.

MV это по сути таблица, которая наполняется тригерами

У меня работало

Я травил MV на MV и работало

У меня сессии видеопросмотра и когда человек листает каналы, у него идут сессии одна за одной

Но при этом онлайн только одна

Мы подобную задачу реализуем, только данные в разрезе видео по просмотру. Например пики внимания по таймлауну видео.

Можно попробовать записывать в базу по одному событию каждую секунду просмотра видео. Потом считать с помощью GROUP BY. Это если не слишком много одновременных просмотров. Хотя кажется, что это не лучше, чем размножать налету с помощью range.

Мы сделали по другому. У нас есть эвенты во время просмотра видео: запуск, пауза, сик, завершение просмотра. На каждый эвент у нас кумулятивно собираются промежутки просмотра видео.

Пример. Видео длительностью в 60 секунд.

Состояние на момент загрузки страницы
var currentRange = [];
var ranges = [];

Запуск видео.
var currentRange = [0];
var ranges = [];

Пауза на 10 секунде.
var currentRange = [];
var ranges = [[0, 10]];

Сик на остановленном видео с 10 секунды на 30.
var currentRange = [];
var ranges = [[0, 10]];

Запуск видео с паузы на 30 секунде после сика.
var currentRange = [30];
var ranges = [[0, 10]];

Сик на играющем видео с 36 секунды до 50.
var currentRange = [50];
var ranges = [[0, 10], [30, 36]];

Просмотр видео завершен на 60 секунде.
var currentRange = [];
var ranges = [[0, 10], [30, 36], [50, 60]];

Таким образом получаем информацию о том, что обучающимся были просмотрены промежутки видео
0-10, 30-36, 50-60 секунды.

Потом достаточно просто разбираем данные и считаем например количество уникальных пользователей посмотревших кажду секунду видео, сколько раз вообще была просмотрена каждая секунда видео и пр., где точки отказов и пр.

а может тогда считать не count() а uniq(user_id)?

если в таблице сессий есть юзер.

тогда подряд идущие сессии сплющит в единицу.

У нас не всегда есть userid и бывает ситуация когда один юзер легитимно смотрит много каналов

Спасибо. Сейчас попробую.

Например мозаика

да, получается что округление искажает статистику, хоть и непонятно насколько.

а что произойдет, если удалить одну из папок в data/dbname/tablename у реплицируемой таблицы? недостающие данные подтянутся от другой реплики?

Да.

Это произойдёт при первой попытке что-то прочитать из испорченных/удалённых данных, или, если данные никто не читает - при следующем запуске сервера.

Спасибо.

Недавно спрашивал про OPTIMIZE TABLE – как-то странно он работает:
- иногда сразу отвечает OK (меньше секунды задержка), но по графане видно, что процесс оптимизации идет
- иногда выполняется только на одной из двух реплик (видимо, из-за недостатка места на одной)
- долгий ответ, пока не закончится процесс оптимизации. Это, я так понимаю, самый нормальный случай

> - иногда сразу отвечает OK (меньше секунды задержка), но по графане видно, что процесс оптимизации идет

Обычно это говорит о том, что куски для мержа не выбраны (нечего выбирать - данные уже помержены, мержатся сейчас, есть отсутствующие куски, которые надо скачать с реплики, нет места на диске...), либо выбраны мелкие куски, и они быстро помержены.

> - иногда выполняется только на одной из двух реплик (видимо, из-за недостатка места на одной)

Возможно.

> - долгий ответ, пока не закончится процесс оптимизации. Это, я так понимаю, самый нормальный случай

Да, это самое ожидаемое для крупного мержа.

Спасибо.

Всем привет, у нас есть кейс когда мы делаем detach в одной таблице и перекладываем партиции в другую после чего делаем attach, т.к. в detached складываются не только "отцепленные" партиции, но и битые куски, мы иногда напарываемя на то что мы их синкаем и attach непроходит. Как можно прочекать партиции в detached чтоб синхронизировать только валидные или как можно обезопасить себя от подобного поведения ?

Битые должны быть под именем broken_*, ignored_*, unexpected_*...

Спасибо, с этим понятно, еще мы вот такую ошибку словили
2017.09.05 11:01:39.052615 [ 26 ] <Error> executeQuery: Code: 228, e.displayText() = DB::Exception: /var/lib/clickhouse/data/reports/advertiser_full/detached/20170903_20170903_30_30_0/raw_clicks.mrk has unexpected size: 1803 instead of 2240, e.what() = DB::Exception (from 192.168.199.21:56144) (in query: ALTER TABLE "reports"."advertiser_full" ATTACH PARTITION 201709), Stack trace:
полный лог
https://gist.githubusercontent.com/kshvakov/5954f73e88b51e314e11938a7d31d783/raw/3e8402d30a035123813cb09ee741559e95663f4c/ch_segfault.log

В логе всё плохо. А версия сервера какая?

v1.1.54284

Мы пока что думаем, что это хорошая версия. Но что-то не так. В логе две проблемы: 1. Откуда-то появился кусок с неправильными данными. 2. sefgault.
По трейсу источник проблемы не удаётся понять. Насколько это воспроизводимо?

Такая ошибка 1 раз была, операция detach/attach достаточно частая

Сделаю логирование чексум того что мы отцепили и пытаемся прицепить, чтоб если еще раз выпадет было понятно - либо при перемещении что-то сломалось, либо действительно сам кусок с неправильными данными был

Ребят, всем привет, есть вопрос. Не знаю, как решить средствами КХ.

Есть таблица для ивентов вида:

(
ID UInt32
Event String
GUID String
Path String
IP UInt32
UserID UInt32
TrackedDate Date
)

GUID — идентификатор юзера в браузере (кука), Event — что произошло (page или image), Path — урл события, UserID — некий параметр для группы.

У меня есть задача — получить все ивенты с Path = %success% с Event = page` для которых есть другой Event = image. собственно это решается достаточно легко:

SELECT *
FROM analytics.EventTrack
WHERE (UserID = 92) AND (Event = 'page') and (Path like '%onepage/success%') AND (TrackedDate >= toDate('2017-09-01')) AND GUID IN (
SELECT GUID
FROM analytics.EventTrack
WHERE (UserID = 92) AND (Event = 'image') AND (TrackedDate >= toDate('2017-09-01'))
)

Есть ситуация, когда пользователь сменил браузер, то есть у него может быть два GUID, но одинаковый IP. В реляционной БД я бы сделал алиас для таблицы и в сабквери бы сверял IP и дату (допустим, не больше суток, потому что динамический айпи, все дела).

Как сделать в КХ, понятия не имею. Были мысли пробовать собирать IP адреса с датами в Memory таблицу (не работал ранее). Но правильно ли это?

так, сорри про подсветку кода, получилось так себе, но лучше, чем просто плейном

У нас сейчас похожая история со списком пользователей имеется. Есть определенная бизнес-логика по которой собирается конечный список пользователей по которым агрегировать данные. Мы собираем список, в TSV файлик и вместе с select запросом на сервер в виде временной таблицы. Работает замечательно.

Но в вашем случае я полагаю таблица может быть огромная

Я бы попробовал подключить словарь и сделать его таблицей

не, не сильно )

Не уверен на счет производительности, т.к. у меня на таких экспериментах при наличии > 2кк строк был лаг примерно в секунду

1 секунда для меня допустимо )

там в среднем будет порядка 1000-2000 ip, потому что фильтр идет по типу ивента (он достаточно редкий) и юзеру + дата )

Ну тогда можете попробовать подключить внешнюю таблицу в виде словаря и сделать create table dates_ips engine = Dictionary(dict_name)

Ну либо как вариант слать файлик в виде временной таблицы на каждый запрос

ага, спасиб. сейчас почитаю

временную таблицу в памяти из КХ разве нельзя создать?

У меня даже 50к строк с идентификаторами достаточно быстро доставляются и запросы отрабатывают очень быстро

Она создается автоматически при получении файла при select запросе

Сейчас дам ссылку на доку

ааа

спасибо, буду благодарен!

Можно временную таблицу создать и писать туда данные, но есть вероятность их потерять при падении сервера

И придется откуда то наполнять при включении сервера

эти данные нужны только на момент выборки (отправки запроса по API)

то есть я генерирую отчетики на основе таблицы

ничего криминального )

https://clickhouse.yandex/docs/ru/table_engines/external_data.html

Ну у нас похожая ситуация. Когда например из 10к пользователей данные нужно выдать только по 200 пользователям в силу того, что к другим данным пользователь делающий запрос доступа не имеет. Приходится делать кучи проверок, вываливать список в файл и слать на сервер.

ага-ага

пошел копать )

благодарю

я бы делал внешний словарь, который содержит текущую проклейку пользователей в виде guid-> id связной компоненты склейки, и отдельным процессом лопатил эти же логи на предмет одинаковых ip или еще какая логика вам в голову придет. словарь потом можно использовать двумя способами, 1. при вставке данных забирать в события текущее состояние склейки 2. при чтении забирать последнее наиболее актуальное состояние.

дальше, в вашем запросе "все события1 для которых есть событие2" происходит что-то вроде джойна на себя же по (userid, guid) при этом достаточно произвольное условие на дату, т.е. события могут быть в любом порядке. и любом количестве. может так и должно быть. в любом случае, количество guid со временем неограниченно растет, возможны спецэффекты.

дальше, если вы будете шардировать хранение, вам желательно организовать данные так, чтобы объединение результатов на шардах происходило как можно позже, например чтобы джойн был локальным на шарде. это значит что данные должны шардироваться так, чтобы история одного человека попадала в одну машину. это вряд ли получится, если например у вас для guid динамическое объединение в одного человека. это не значит что так не надо делать, просто надо понимать последствия. хотя если у вас id события int32, то возможно вам это не нужно. и ip только v4.

в целом задача про последовательности событий в реляцинном случае обычно включает в себя джойн большой таблицы на саму себя по ключу с большой кардинальностью, и нормально не работает. но возможно у вас все не так плохо.

> в целом задача про последовательности событий в реляцинном случае обычно включает в себя джойн большой таблицы на саму себя по ключу с большой кардинальностью, и нормально не работает. но возможно у вас все не так плохо.

именно так сейчас и почти доделал 😄

а за словарь спасибо, я его тоже хочу пощупать

пока шардирования нет. отчет генерируется, все ок )

спасибо за столь развернутый ответ! очень интересное решение, попробую

Коллеги, доброго времени суток.
Мне кажется, где-то тут проскакивала информация, что при определенных обстоятельствах в ClickHouse, начинает разрастаться размер ZK snapshort. Можете скинуть ссылку на обсуждение/детали?

похоже у меня это случилось

сегодня ZK навернулся и потянул за собой другие сервисы (кроме CH)

поломали в 1.1.54276 поправили в 1.1.54284 https://github.com/yandex/ClickHouse/blob/master/CHANGELOG.md

хм... у меня 1.1.54245
значит не то

снапшет ZK ~2G, кто-то знает, как найти основного "потребителя" места?

du -hcs ./* | sort -h

я не про файловую систему

я про znode

какие ветки в ZK делают в клад в этот снапшет

или эта командя для zkcli?

Ааа, типо внутри ZK, ок понял.

Всем добрый день! Я правильно понимаю, что чтобы сменить тип одной колонки с Int32 на UInt32, например, необходимо создать новую таблицу с измененным типом этой колонки и INSERT'ить в нее данные ?

есть MODIFY COLUMN: https://clickhouse.yandex/docs/ru/single/#alter

ok, спасибо

Добрый день всем . Есть новости по возможности обновления данных и удалении ? Или может в тестовых сборках что есть ?

Конец года - начало 18, вроде в roadmap

DB::Exception: ALTER of key column column_name must be metadata-only.

нет возможности модифицировать первичный ключ...

Подскажите по AggregateState

Задача: выгрузить из CH пользователей который - сделали то-то и показывать им что-то.
Идея: если взять AggregateState : uniqHLL12State или uniqCombinedState или что-то другое на фильтре Блума, передать это значение в рекламную сеть на Java - тогда если повторить алгоритм hhl12/... на java - можно быстро отвечать входит пользователь в множеcтво или нет ( с погрешностью)

Как думаете эта идея будет работать или в каком направлении копать?
Может кто то партировал CH алгоритмы вхождение уников на Java ?

А зачем в java это обрабатывать? оО Стейт все равно может жирный получить, либо можно поверх запроса который стейт собирает просто сделать каунт с фильтром по конкретному пользователю

И портируй не портируй стейт куда либ, данных меньше читаться не будет

А просто по хэш таблице проверить в Java вхождение я не вижу смысла ) можно запросов поверх проверить...быстрее будет (в плане не надо будет ничего портировать и пилить костыли)

У нас рекламные сервера на Java - которые знать не знают про CH и что в нем хранится ( т/е они не читают из него данные) работаю с ооочень маленьким набором данных.

Есть внешний тулл выполняет запрос в CH - получает +-300М UUID, далее получаем uniqHLL12State - и сохраняет только этот State - т/е пару килобайт и передает их рекл. серверам
Идея-
Далее когда поступает запрос от uuid1 или uuid2 мы проверяем входит пользователь в этот State или нет

Проверить можно через добавление в элемента в hhlState - если cout изменился то да... или нет...

Сейчас используем фильтры Блума - но хочется совместить с CH

Сегодня опять упали с сегфолтом, но тут дело до перемещения партиций вообще не дошло, все что есть в логах

2017.09.07 10:08:17.258574 [ 28 ] <Error> BaseDaemon: ########################################
2017.09.07 10:08:17.272317 [ 28 ] <Error> BaseDaemon: (from thread 27) Received signal Segmentation fault (11).
2017.09.07 10:08:17.272364 [ 28 ] <Error> BaseDaemon: Address: 0x3f7237783
2017.09.07 10:08:18.965770 [ 28 ] <Error> BaseDaemon: 0. clickhouse-server(DB::ColumnVector<unsigned int>::insertData(char const*, unsigned long)+0x16) [0x15b4a26]
2017.09.07 10:08:18.965913 [ 28 ] <Error> BaseDaemon: 1. clickhouse-server(void DB::Aggregator::convertToBlockImplNotFinal<DB::AggregationMethodConcat<TwoLevelHashMapTable<StringRef, HashMapCellWithSavedHash<StringRef, char*, DefaultHash<StringRef>, HashTableNoState>, DefaultHash<StringRef>, TwoLevelHashTableGrower<8ul>, Allocator<true> > >, HashMapTable<StringRef, HashMapCellWithSavedHash<StringRef, char*, DefaultHash<StringRef>, HashTableNoState>, DefaultHash<StringRef>, TwoLevelHashTableGrower<8ul>, Allocator<true> > >(DB::AggregationMethodConcat<TwoLevelHashMapTable<StringRef, HashMapCellWithSavedHash<StringRef, char*, DefaultHash<StringRef>, HashTableNoState>, DefaultHash<StringRef>, TwoLevelHashTableGrower<8ul>, Allocator<true> > >&, HashMapTable<StringRef, HashMapCellWithSavedHash<StringRef, char*, DefaultHash<StringRef>, HashTableNoState>, DefaultHash<StringRef>, TwoLevelHashTableGrower<8ul>, Allocator<true> >&, std::vector<DB::IColumn*, std::allocator<DB::IColumn*> >&, std::vector<DB::PODArray<char*, 4096ul, Allocator<false>, 15ul>*, std::allocator<DB::PODArray<char*, 4096ul, Allocator<false>, 15ul>*> >&, std::vector<unsigned long, std::allocator<unsigned long> > const&) const+0x99) [0x3132d29]
2017.09.07 10:08:18.965963 [ 28 ] <Error> BaseDaemon: 2. clickhouse-server(void DB::Aggregator::writeToTemporaryFileImpl<DB::AggregationMethodConcat<TwoLevelHashMapTable<StringRef, HashMapCellWithSavedHash<StringRef, char*, DefaultHash<StringRef>, HashTableNoState>, DefaultHash<StringRef>, TwoLevelHashTableGrower<8ul>, Allocator<true> > > >(DB::AggregatedDataVariants&, DB::AggregationMethodConcat<TwoLevelHashMapTable<StringRef, HashMapCellWithSavedHash<StringRef, char*, DefaultHash<StringRef>, HashTableNoState>, DefaultHash<StringRef>, TwoLevelHashTableGrower<8ul>, Allocator<true> > >&, DB::IBlockOutputStream&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&)+0x965) [0x313f075]
2017.09.07 10:08:18.965994 [ 28 ] <Error> BaseDaemon: 3. clickhouse-server(DB::Aggregator::writeToTemporaryFile(DB::AggregatedDataVariants&)+0x179a) [0x30f4d1a]
2017.09.07 10:08:18.995048 [ 28 ] <Error> BaseDaemon: 4. clickhouse-server(DB::Aggregator::executeOnBlock(DB::Block&, DB::AggregatedDataVariants&, std::vector<DB::IColumn const*, std::allocator<DB::IColumn const*> >&, std::vector<std::vector<DB::IColumn const*, std::allocator<DB::IColumn const*> >, std::allocator<std::vector<DB::IColumn const*, std::allocator<DB::IColumn const*> > > >&, std::vector<unsigned long, std::allocator<unsigned long> >&, std::vector<StringRef, std::allocator<StringRef> >&, bool&)+0x978) [0x30f5898]
2017.09.07 10:08:18.995075 [ 28 ] <Error> BaseDaemon: 5. clickhouse-server(DB::ParallelInputsProcessor<DB::ParallelAggregatingBlockInputStream::Handler, (DB::StreamUnionMode)0>::thread(MemoryTracker*, unsigned long)+0x2c8) [0x305abf8]
2017.09.07 10:08:18.995084 [ 28 ] <Error> BaseDaemon: 6. clickhouse-server() [0x399d05f]
2017.09.07 10:08:18.995113 [ 28 ] <Error> BaseDaemon: 7. /lib/x86_64-linux-gnu/libpthread.so.0(+0x76ba) [0x7fe36b7676ba]

Что-то у меня жалуется на нехватку места, хотя алоцировать он пытается намного меньше чем лимит: DB::Exception: Memory limit (for query) exceeded: would use 9.41 GiB (attempt to allocate chunk of 134217728 bytes), maximum: 9.31 GiB

логично предположить, что 134217728 bytes - размер очередной аллокации, а лимит певысило суммарное потребление

хм, логично

Добрый день. Подскажите, пожалуйста, почему через определенное время строка может перестать участвовать в схлопывании. Может ли быть так, что возникла ошибка ранее с этой строкой и она навсегда выбрасывается из строк, участвующих в схлопывании, что бы не возникало ошибок в дальнейшем?

Это про CollapsingMergeTree?

Да

Из документации.

Если количество положительных и отрицательных строк совпадает - то пишет первую отрицательную и последнюю положительную строку. Если положительных на 1 больше, чем отрицательных - то пишет только последнюю положительную строку. Если отрицательных на 1 больше, чем положительных - то пишет только первую отрицательную строку. Иначе - логическая ошибка, и ни одна из таких строк не пишется. (Логическая ошибка может возникать, если случайно один кусок лога был вставлен более одного раза. Поэтому, об ошибке всего лишь пишется в лог сервера, и слияние продолжает работать.)

можно ли из материализованной вьюхи дропнуть партицию?

да, для materialize view создается обычная таблица вида .inner.название вью``

Ребят. Есть Nested колонка например с тремя колонками внутри. Если я делаю например sumArray(nested.column1), то фактически данные с остальных двух колонок будут читаться или нет?

И можно ли как то приджоинить только одну колонку из nested колонки, а не три сразу?

Т.е. делаю я например select nested.column1 from table array join nested. Или остальные колонки и так не читаются из nested?

остальные колонки не читаются и так

Супер, это то, что надо

Спасибо!

не уверен, что array join nested сработает. кажется, должно быть array join nested.column1

Я тут выше про нехватку памяти писал, вот в этом виео годно Алексей рассказывает что да как https://events.yandex.ru/lib/talks/4556/

Оно именно так и работает в данный момент

интересное поведение встретил функции sumif() - если там прописать ограничение, оно не транслируется выше для уменьшения выборки т.е прописав только sumif я имею ошибку по памяти, а если добавляю в where - все ок

во втором случае оптимизатор может пробросить условие из where в prewhere, и прочитается меньше кусков

также могут сработать ограничения, если столбец находится в первичном ключе

да, наибольшее общее условие всех агрегатов запроса можно выносить оптимизатором и применять на более ранних стадиях.

пробую удалить партицию
Received exception from server:
Code: 248. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Invalid partition format: 20170801_20170821_0_20882_333. Partition should consist of 6 digits: YYYYMM.

alter table site_stat_cache DROP PARTITION '20170801_20170821_0_20882_333';

при этом
SELECT concat('alter table site_stat_cache DROP PARTITION ''',name,''';') FROM system.parts WHERE /*active and*/ table = 'site_stat_cache' and min_date>='2017-08-01';
┌─concat(\'alter table site_stat_cache DROP PARTITION \\\'\', name, \'\\\';\')────────┐
│ alter table site_stat_cache DROP PARTITION \'20170801_20170821_0_20882_333\'; │
│ alter table site_stat_cache DROP PARTITION \'20170821_20170825_20883_93538_1857\'; │

А Nested вообще как под капотом устроено? Просто есть у меня например некоторое количество строк в Nested для каждой строки в основной таблице. И мне по этим Nested строкам нужно будет проводить фильтрации и пр., если смысл вынести уже отфильтрованные данные в соседнюю колонку или особой разницы не будет?

устроено как несколько массивов с общим значением offset. Насчет смысле не уверен.

спасибо. Я уже удалил просто месяц

да, неверно написал. alter table drop partition '201708' тогда

превед

скажите, для DDL запросов обязательно zookeeper нужен?

да

Привет, а можешь мне подсказать как лучше всего перекинуть данные, с одно сервера, на группу шардов?

Привет.
Есть три варианта:

1. С помощью INSERT ... SELECT ... FROM remote(...)
Просто, неэффективно.

2. Если у таблиц совпадает структура - перенести разные партиции на новые серверы. Для ReplicatedMergeTree см. ALTER ... FETCH PARTITION, для обычного MergeTree перенести файлы.
Более сложно, эффективно.

3. Если старые серверы будут присутствовать в кластере в виде шардов, то данные с них можно никуда не переносить. Новые данные писать на другие шарды.
Очень просто, быстро, недостаток - неравномерность нагрузки на кластере.

Есть ли какие то конфиги, которые влияют на параллельность обработки запросов? Столкнулся с ситуацией, что 200-300 запросов в сек уже ложат довольно мощный сервак. Сами запросы в одиночку выполняются в среднем за 0,3 с

Ох ) Жестко ) Я такой объем запросов размазываю на кластер ) Для КХ многовато будет 200-300 запросов на один сервер

Добрый день.
Нужна помощь)
Пытаюсь создать времменую таблицу через jdbc драйвер соеденение. Выкидывается exception Code: 113, e.displayText() = DB::Exception: There is no session, e.what() = DB::Exception. Вообще jdbc драйвер поддерживает сессии?

как-то странно, мускул справлялся с такой ситуацией вообще легко

ожидалось что будет ускорение, а тут совсем сервак ложится

Они работают совершенно по разному. КХ предназначен для обработки маленького количества больших запросов

Все еще зависит от данных и самих запросов. Мы например агрегируем некоторые данные по данным из КХ. Агрегаторов от 5 до 10 штук. Они делают асинхронные запросы с concurrency 5 и таких процессов висит 25 штук. Но запросы у нас крайне простые. Отдать например значения трех колонок для конкретного пользователя.

С такой нагрузкой КХ вполне себе справляется и не было случаев когда запросы убивали сервер. Все запросы валятся в один сервер, но данные размазаны по кластеру.

а какого типа данные в базе ?

параметры сессии, страница входа, реферер, ip, временные параметры

и нужно в ближайшем риалтайме их отдавать ?

^

для аналитики идет анализ всех сессий за период, а их мноого)

Аналитиков много ?

да

Тут несколько вариантов )

1. Уменьшить количество запросов на один сервер КХ;
2. Сделать кеширующую прослойку;
3. Сделать несколько реплик и балансировать запросы на реплики.

Я бы выбрал третий вариант в любом случае и размазывал запрос по репликам. Только нужно учитывать replication lag.

зачем все делают одно и тоже ?

Т.е. может получиться так, что два одновременных запроса на две разные реплики вернут разный результат, а спустя секунду одинаковый - это нормально. Но если это критично, то делать не асинхронную, а синхронную репликацию.

Есть еще мысль что лучше сгруппировать похожие запросы и сделать один

Потому что много делается фулскана

есть какой-нибудь пример?)

У нас запросы для аналитики получаются примерно по 300 строк в высоту ) Например на один запрос в API может делаться n+m запросов ) где n - кол-во строк в выборке, m - кол-во метрик на каждую строку из выборки.

пока начали 1 и 2 пути

Если у вас один шард, то поднимите несколько реплик и можно обычным round robin'om зарулить запросы

Я не уверен, но мне кажется, что у нас слишком жирные сервера в кластере, а данных на них не много, поэтому ничего не ложится...пока что :)

Например делать не по одному запросу на каждый аккаунт, а сгруппировать их

Вместо where accountId= сделать accountId in () и group by accountId

У нас кстати так и работает. Причем можно еще указывать конкретные accountId, например если страница с пагинацией и заранее известны идентификаторы accountId.

У меня запросы отрабатывают вот как то так. https://img.facedsid.ru/bbv7f.jpg

Круто, спасибо, попробуем что то такое применить!)

кто-нибудь гугловый DataStudio использует? они открыли доступ к написанию любых коннекторов. я бы мог написать для КХ, но нам DataStudio не нужен.

Только у меня судя по запросу не передаются конкретные айдишки, конкретные айдишки кладудтся во временную таблицу и к ним джойнятся данные, этотна случай если по какому то идентификатору вообще нет данных в кх и строка не вылетала из выдачи

Всем привет!
Есть n хостов с реплицируемыми табликами, на одной из реплик данных нет и в логах ошибка:

<Error> DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageReplicatedMergeTree::LogEntryPtr&)>: Poco::Exception. Code: 1000, e.code() = 104, e.displayText() = Connection reset by peer, e.what() = Connection reset by peer

и все, что это может быть? Не подскажите?

Проблема очень рандомная, на тесте ошибка есть, на проде нет. Конфиги одинаковые

Привет! Подскажите, пожалуйста, как из пандаса получить csv с null значениями, пригодными для clickhouse.
df.fillna('\N', inplace=True)
df.to_csv()
выдает мне \\N, что не парсится ch =(

Обработать их,заполнив условными дефотлными значениями нельзя ?

Добрый день!
Подскажите, почему не срабатывает функция arrayJoin?
Выполняю такой запрос:
select a.*, arrayJoin(splitByString(',',moid)) as mas_moid from table1 a
Ошибка:
ARRAY JOIN requires array argument
Приводила явно к типу Array - та же ошибка.
К конкретному элементу массива могу обратиться, а применить любую функцию, которая обрабатыет массив - нет.

Возможно нужно завернуть в подзапрос

Попробуйте выполнить запрос без arrayJoin и посчитать кол-во элементов получившегося после splitByString массиов. Может для некоторых строк splitByString возвращает не массив?

Зачем. Вот пример из документации
https://clickhouse.yandex/docs/en/functions/array_join.html?highlight=arrayjoin

Пробовала посчитать количество элементов - подсчитывает правильно

Мало ли оптимизатор глючит или еще чего )

В подзапрос тоже пробовала ввернуть, аналогичная ошибка

Я бы посоветовал убрать лишние колонки, алисы для таблиц и оставить только arrayJoin(splitByString(',',moid))

а что выдает вот такая штука
SELECT
moid,
toTypeName(splitByString(',', moid)) AS tn
FROM ...
WHERE tn != 'Array(String)'
limit 1

в столбце tn такое значение: Nullable(Array(String))

ага. а может у вас и moid бывает null?

moid Nullable(String)

Имеется ввиду что в таблице есть строки у которых moid = NULL

splitByString(_, null) = null, и этот null не массив, поэтому array join-у плохеет.

нет, у меня сейчас нет таких строк. все moid не пустые

а каая у вас версия сервера, у меня другая ошибка отдается
SELECT splitByString(',', moid)
FROM
( SELECT CAST('a' AS Nullable(String)) AS moid)

Received exception from server:
Code: 43. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Nested type Array(String) cannot be inside Nullable type.

впрочем, в обоих случаях это выглядит как баг.

может, у кого-нибудь есть идеи, как выкрутиться? пробовала привести к массиву с помощью CAST (может, конечно, сути это не меняет), ошибка та же

А через sql из tabix мы не можем посмотреть версию sql? (Всегда интересовало)

Убрать Nullable, писать пустые массивы и предварительно фильтровать пустые массивы нафиг )

Интересный баг, это надо @milovidov_an звать или пилить issue на гитхаб?

select version() ?

да, так можно посмотреть. у меня, например, вернул 1.1.54245

Логично...

с использованием cast(moid as String) работает?

Metrics->Overview

Cannot convert data from a nullable type to a non-nullable type

что у нас там еще есть, assumeNotNull(moid) ?

с assumeNotNull заработало

спасибо!

но надо понимать что с таким же успехом вы могли проальтерить колонку в не-Nullable тип, это даже в каком-то смысле безопаснее, т.к. сейчас ваш запрос будет работать до тех пор пока вы внезапно не вставите в moid null.

а что будет, если в moid попадется Null? assumeNotNull вернут ошибку и все отвалится или он просто пропустит эту строку?

кажется, вот такой вариант должен подойти
SELECT
moid,
if(isNull(moid), emptyArrayString(), splitByString(',', assumeNotNull(moid))) AS x
FROM
(
SELECT CAST('' AS Nullable(String)) AS moid
UNION ALL
SELECT CAST(NULL AS Nullable(String))
)

┌─moid─┬─x────┐
│ │ [''] │
└──────┴──────┘
┌─moid─┬─x──┐
│ \N │ [] │
└──────┴────┘

спасибо!

Почему при попытке создания таблички на второй реплике получаю такое сообщение - Will not execute task query-0000000068 : There is no a local address in host list.

на первой машинке создается все нормально, на второй нет и получаю отлуп - is executing too long (121 sec.)....

я так понимаю кривой конфиг, но где я не прав не пойму

А в limit by нельзя больше одной колонки передать?

Разобрался ) Можно )

@milovidov_an 😒☝️

😆 Что это было ?

А как можно выкинуть из результата строки у которых идет несколько одинаковых значений подряд?

Например. Есть таблица с эвентами и идентификаторами сущности и пользователя.
userId entityId action
1 1 enter
1 1 success
1 1 exit
1 1 success
1 1 success
1 1 success
1 2 enter
1 2 exit
1 2 exit
1 2 exit
2 1 enter
2 1 success
2 1 exit

Что бы в результате осталось

1 1 enter
1 1 success
1 1 exit
1 2 enter
1 2 exit
2 1 enter
2 1 success
2 1 exit

sequenceMatch не подходит т.к. нужно выбирать колонку с временем, а по ней group by естественно не сделаешь

distinct ?

Задача немного сложнее :) Есть перед userId колонка с eventTime типа DateTime

Да и distinct оставит только один эвент, у меня например у пользователя 1 может быть несколько последовательностей типа enter, success, exit на одну сущность

Я так понял, что никак :)

group by user_id, entity_id, action? :)

Не получится, есть колонка с временем по которой group by не сделаешь

any(time)

результат получиться идентичен результату без group by

или max или min

any(time) тоже не подойдет, т.е. будет случайное число, а мне нужно точное время

avg?

Просто есть последовательность событий и из них нужно строить например сессии

И логика такая, что сессия - это наличие enter + (success || exit)

И так, то бы между ними не было дырки больше чем 30 минут

И исключать например 30 подряд идущих enter событий

Помимо времени выбирается еще несколько колонок )

join с самой собой, фильтрация по разнице не более 30 минут + группировка

Вобщем то я понял, что лучше на клиенте это дело обработать и выкинуть лишние данные

Тут вопрос именно в том, что бы выкидывать битые последовательности. Например часть данных не поступила и у пользователя идет 100 enter в сущность подряд. Такие вещи нужно выкидывать. Сессия считается полной только в случае наличия двух событий из возможных трех событий.

Тут получается окно, а с окнами в CH пока никак

Окна решаются с помощью джоина таблицы с самой собой)

Блин ) Таблица так то 850кк )

У меня только что была такая задача как вычисление среднего значения между событиями с интервалом не более определенного времени

Я с 5 млн работаю и все ок

Ладно, попробую сейчас джоин, предварительно фильтруя по какому либо признаку )

Делайте максимальную фильтрацию перед джоинами таблицы

Думаю все получится)

выглядит как groupArray(time),groupArray(action) и потом некоторые (вероятно не поддерживаемые CH) пляски на массивах.

Я такое считала, выглядит примерно так:
SELECT
groupArray(EventName) as events,
groupArray(Time) as times,
arrayEnumerate(events) as events_index,
arrayFilter(name, index -> (index = 1) OR (events[index] != events[index - 1]), events, events_index) as events_filt,
arrayFilter(time, index -> (index = 1) OR (events[index] != events[index - 1]), times, events_index) as times_filt
FROM (
SELECT * FROM mytable ORDER BY time
)

Вот вобщем то пример