- 01 April 2018 (80 messages)
-
Joined. -
У меня тут появился некоторый интерес по запуску ClickHouse в контейнерах и интересно было бы почитать о каких-нибудь success stories по этому поводу. Интересны, в первую очередь: rkt, porto, lxc ну и о docker тоже можно. По porto, по понятным причинам - это всё к Яндекс, кое что есть тут https://www.youtube.com/watch?v=2QJgCTF1cIE , но может где-то что-то есть ещё? -
Ну все таки это про докер, и пока тут какие то печальные истории с оф образом кх в докерхабе, яндексоиды обещали делать сборки не на стороне докерхаба а у себя и должно стать все лучше -
Я бы сказать честно лучше бы сам эти образы собирал в данном случае
-
В lxc ещё у меня крутиться тестовый кх, вроде никаких проблем не наблюдаю
-
запускать для production или для разработки? -
Для создания нового продукта, что-то вроде cloud-native clickhouse ;)
-
Образ я могу создать, интересны некие подводные камни, как падает, насколько часто и почему и т.д.
-
Да вроде не падает, каких то подводных камней вроде тоже не было
-
память в основном
надо тюнить под "малый размер"
меньше background операций -
проблем с volumes я не заметил
но у меня не продакшен
у меня чисто тестовые среды -
-
Раз тут зашло за клиенты CH, то может быть кто0то знает в чём может быть дело. Линкуюсь статически и пытаюсь создать соединение в лоб. Но, когда уничтожаются объекты Connection, ConnectionTimeouts и закрывается логгер Poco, бросается SIGSEGV на мьютексе. Нельзя использовать коннектшены как это делаю я или как-то нужно инициализировать и разрушать Poco явно?
https://pastebin.com/saHpsW25 -
Joined. -
Добрый день!
На VPS на примонтированном диске случился зависон, в результате
<Error> (Data): Considering to remove broken part /mnt/volume-fra1-01/clickhouse//data/mybase/postback/20180401_20180401_1463046_1463046_0 because it's impossible to repair.
Файла по указанному пути не существует. Нагуглить пока ничего не удалось. -
пока что перегружать сервис не пробовал, но как обнаружил проблему, попробовал его стопнуть - подвис. принял решение ребутнуть машину. Очень долго поднималась, но ура - поднялась.
Реплики нет. Одна нода.
Буду признателен за любую наводку. -
овх сегодня ночью ? ну он потерял часть данных, ругнулся и пошел дальше работать, в чем собственно проблема ?
-
не поднимается сервис
-
а проверку диска делали после рестарта ?
-
что там вообще с файлухой в итоге ?
-
нет, пока не делал. посмотрю.
-
у меня что то подобное писал но там реплика есть у кх и вроде как само все просралось, так все таки это ночное падение овх во франции?
-
это digitalocean - во франкфурте.
-
FRA1 - у них диски полетели видимо
-
сегодня поднял там один сервер у до
-
стопаться упорно не хочет. Повис уже минут 5 как.
/etc/init.d/clickhouse-server stop
Stop clickhouse-server service: -
Был ребут после последнего обновления? В какой то версии что-то меняли в инит скрипте -
вообще, как не печально, это прод и апдейт давно не накатывался. В пн планировали садиться и делать реплики, но вот он - рок судьбы )
-
Кстати на ДО до сих пор
1 hour ago
Our engineering team continues to work on a fix for the issue with Block Storage in our FRA1 region. We appreciate your patience and will post an update as soon as additional information is available. -
Но желательно взглянуть что там ио
-
iotop -oa
-
не знаю, что конкретно там смотреть, но клкхауза там нет, да и впринципе нагрузки нет. нули восновном. проскакивает только постгрес.
-
-
а как чистить планировал? тоже есть подобная задача архивации
-
я думал архивировать как то
-
Верно, ну можно чистить просто реже
-
👍
-
если вы использовали старый синтаксис для создания merge tree, то да, он использует столбец с датой, но партиции делает по toYYYYMM(_) -
подозрительно.
-
а можно так партицирование на лету изменить ?
- 02 April 2018 (131 messages)
-
Joined. -
Приветствую.
Есть вопрос про бэкап/репликацию. В документации говорится, что для этого лучше всего делать репликацию на несколько серверов и если кто-то что-то удалил, то просто на одной из реплик нужно взять данные путем ATTACH PARTITION.
Не совсем понятен принцип. То есть на одном сервере, который в кластере нам нужно скажем, каждый час по крону делать DETACH? Чтобы в случае чего восстановиться? -
Если кто-то что-то удалил - это тоже реплицируется, например DROP PARTITION.
-
а если дроп тейбл делать то оно не реплицируется
-
Да, я это понимаю, отсюда и вопросы у меня. Просто если мы будем DETACH/FREEZE делать, то оно будет выгружаться в detached/shadow каталоги и можем оттуда их достать путем ATTACH PARTITION.
Вот хотелось бы понять это так как я описал или все-таки есть какой-то true-way способ, которым рекомендуют пользоваться. Как интересно в Яндексе это реализовано?! -
ну а зачем удалять то ?
-
фриз делает в целом хардлинки и если удалить из кх то данные все равно по идее останутся
-
DETACH отцепит кусок данных от таблицы и он не будет доступен, FREEZE сдалает хардлинк, т.е. и данные будут доступны и бэкап на том же сервере
-
Всем привет
Есть ли какой-то механизм для отправки метрик clickhouse в graphite или statsd ?
Чтобы лучше понимать что происходит с кластером. -
Документация ClickHouse | Документация ClickHouse
ClickHouse is a fast open-source column-oriented database management system that allows generating analytical data reports in real-time using SQL queries
-
Спасибо!
-
Товарищи, всем доброго. Вопрос возник, не кидайтесь в меня лучами добра, пожалуйста.
archlinux x64, попытка установить из aur.
Результат:
Building CXX object dbms/src/Storages/System/CMakeFiles/clickhouse_storages_system.dir/StorageSystemAsynchronousMetrics.cpp.o
In file included from /tmp/yaourt-tmp-littlewolf/aur-clickhouse/src/ClickHouse-1.1.54362-stable/dbms/src/Storages/System/StorageSystemAsynchronousMetrics.cpp:5:0:
/tmp/yaourt-tmp-littlewolf/aur-clickhouse/src/ClickHouse-1.1.54362-stable/dbms/src/Columns/ColumnString.h: В функции-члене «virtual DB::BlockInputStreams DB::StorageSystemAsynchronousMetrics::read(const Names&, const DB::SelectQueryInfo&, const DB::Context&, DB::QueryProcessingStage::Enum&, size_t, unsigned int)»:
/tmp/yaourt-tmp-littlewolf/aur-clickhouse/src/ClickHouse-1.1.54362-stable/dbms/src/Columns/ColumnString.h:96:45: ошибка: «*((void*)&<anonymous> +8)», возможно, используется без инициализации в данной функции [-Werror=maybe-uninitialized]
const size_t size_to_append = s.size() + 1;
~~~~~~^~
cc1plus: все предупреждения считаются ошибками
make[3]: *** [dbms/src/Storages/System/CMakeFiles/clickhouse_storages_system.dir/build.make:63: dbms/src/Storages/System/CMakeFiles/clickhouse_storages_system.dir/StorageSystemAsynchronousMetrics.cpp.o] Ошибка 1
make[2]: *** [CMakeFiles/Makefile2:4078: dbms/src/Storages/System/CMakeFiles/clickhouse_storages_system.dir/all] Ошибка 2
make[1]: *** [CMakeFiles/Makefile2:5483: dbms/src/Server/CMakeFiles/clickhouse.dir/rule] Ошибка 2
make: *** [Makefile:1252: clickhouse] Ошибка 2
Уже пятый день бьюсь, не арбайтенит. -
юзайте в докере его
-
А нативно никак?
-
Ну тут видимо надо заморочиться, уже сто лет сказать честно не компилил ничего. если чего то нет в репах то реально проще это в докере принести
-
Всем привет.
Скажите, какой тип атрибута словаря лучше использовать при загрузке поля из Postgres c типом bool? -
cmake -DNO_WERROR=1 -
вообще оказалось довольно легко он собирается, можно и через инструкцию по сборке и через cmake, и всяких примеров думаю уйма на гитхабе -
yaourt -S clickhouse
-
-
alter table TABLE on cluster CLUSTER_NAME drop partition PARTITION -
должен быть включен distributed ddl
-
DROP PARTITION реплицируется
-
alter table TABLE drop partition PARTITION должно быть достаточно -
в пределах шарда же?
-
Да
-
Реплики тоже вроде как в пределах шарда )
-
чет ссылка ведет просто на доку. Можешь поточнее скинуть?)
-
а все, нашлось. Спасибо
-
Он эту ошибку и выдаёт.
-
пожалуйста)
-
Низкий тебе поклон! Спасибо огромное!
-
подскажите, плиз, ошибка точь-в-точь как в ишью, куда копнуть чтобы долго и мучительно не выяснять в чем проблема? https://github.com/yandex/ClickHouse/issues/1617Crash on SHOW TABLES request #1617Version: 54318 Got exception on simple SHOW TABLES request: # clickhouse-client ClickHouse client version 1.1.54318. Connecting to localhost:9000. Connected to ClickHouse server version 1.1.54318. ...
-
Приветы. А знает ли кто-нибудь как натравить ALTER TABLE [db.]table DETACH PARTITION на список партиций одной командой в консоли? Допустим, я получил список партиций селектом из system.parts и хочу сделать им всем detach. Спасибо. -
ну мне кажется тут проще копированием схемы и дроп тейбл делать
-
А или вы не все партиции хотите в таблице удалить ?
-
В цикле, например: https://github.com/ClickHouse-Ninja/clickhouse-partition-cleaner/blob/master/clickhouse-partition-cleaner#L59ClickHouse-Ninja/clickhouse-partition-cleaner
ClickHouse partition cleaner. Contribute to ClickHouse-Ninja/clickhouse-partition-cleaner development by creating an account on GitHub.
-
нет, не все. Задача - отцепить старые и ненужные, унести их куда-то в сторонку.
-
ну, цикл-то на bash'e я могу написать без проблем. Вопрос в том, можно ли это сделать красиво
-
Почитав документацию, встроенных итераторов я не нашел
-
А скрипт клевый, спасибо. Положу в копилку :)
-
пока никак. -
Спасибо, буду использовать итератор снаружи
-
Joined. -
Видимо, задача выносить старье из ch появилась не только у меня
-
Ну просто они известно как называются
-
если я хочу изменить индекс в таблице t0, можно сделать как-то проще, чем
// есть таблица
t0(d Date, x Int8, y Int8) engine = MergeTree(d, (x, y), 8192)
// хочу индекс (y, x)
create table t1 engine = MergeTree(d, (y, x), 8192) as select * from t0
drop table t0
// хочу индекс (x, y)
create table t0 engine = MergeTree(d, (x, y), 8192) as select * from t1
drop table t1
? -
На самом деле эта таблица еще и распределенная/шардированная по 3 нодам, хочется как-то минимальными усилиями это сделать
-
Господа, а можно ли поменять PARTITION BY для таблицы? Меня устроит, что предыдущие части будут лежать как лежали, всё равно в конце-концов таки удалятся. Вот будущие бы... -
Да, это понятно, я рассчитывал на какой-то шорткат
-
Спасибо
-
А есть смысл делать MATERIALIZED VIEW с движком Replicated...? Он ведь, как я понимаю, тоже может иначе со временем стать различным? -
Просто на репликах уже есть Replicated таблицы, хватит того, что данные на них реплицируются, или вьюшку лучше тоже реплицировать? И как тогда всё это будет работать: не задвоятся ли данные на VIEW, если сначала попадут туда с реплицируемой таблицы, а потом при репликации самого VIEW? ...
-
Ага, спасибо. Значит надо.
-
Добрый день!
В CH есть функция подобная rank() (нумерация строк)? -
>rowNumberInAllBlocks()
- вероятно это -
Как-то можно отдебажить причину вылета клиента? Коннекчусь через докер (```clickhouse-client —host $REMOTE_CH_HOST```), запускаю запрос и он (клиент) через пару секунд отваливается молча
-
на сервере
2018.04.02 14:38:52.824757 [ 264 ] <Error> executeQuery: Code: 32, e.displayText() = DB::Exception: Attempt to read after eof, e.what() = DB::Exception (from 10.8.0.174:57874) (in query: CREATE TABLE shard_0.foo_2 ENGINE = ReplicatedMergeTree('/clickhouse/tables/0/foo_2’, 'node0', day, (x, y), 8192) as select * from shard_0.foo), Stack trace:
0. /usr/bin/clickhouse-server(StackTrace::StackTrace()+0x15) [0x82e3db5]
1. /usr/bin/clickhouse-server(DB::Exception::Exception(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, int)+0x21) [0x2cc1371]
2. /usr/bin/clickhouse-server(DB::throwReadAfterEOF()+0x4c) [0x2cc13dc]
3. /usr/bin/clickhouse-server(DB::readVarUInt(unsigned long&, DB::ReadBuffer&)+0x1f9) [0x2cd2de9]
4. /usr/bin/clickhouse-server(DB::TCPHandler::isQueryCancelled()+0x149) [0x2ccd139]
5. /usr/bin/clickhouse-server(DB::TCPHandler::processOrdinaryQuery()+0x2fe) [0x2ccddae]
6. /usr/bin/clickhouse-server(DB::TCPHandler::runImpl()+0x547) [0x2cd12e7]
7. /usr/bin/clickhouse-server(DB::TCPHandler::run()+0x2a) [0x2cd1f2a]
8. /usr/bin/clickhouse-server(Poco::Net::TCPServerConnection::start()+0xe) [0x85caf8e]
9. /usr/bin/clickhouse-server(Poco::Net::TCPServerDispatcher::run()+0x169) [0x85cb369]
10. /usr/bin/clickhouse-server(Poco::PooledThread::run()+0x76) [0x8be1c86]
11. /usr/bin/clickhouse-server(Poco::ThreadImpl::runnableEntry(void*)+0x37) [0x8bdde97]
12. /usr/bin/clickhouse-server() [0x8d9675e]
13. /lib/x86_64-linux-gnu/libpthread.so.0(+0x76b9) [0x7f2d0d4926b9]
14. /lib/x86_64-linux-gnu/libc.so.6(clone+0x6c) [0x7f2d0cebf41c]
2018.04.02 14:38:52.851555 [ 264 ] <Warning> TCPHandler: Client has gone away. -
Что странно - count() по таблице назначения растет, т.е. вроде как все в порядке
-
Joined. -
Joined. -
привет, а как жить, если при вставке в distributed получаю такой вот отлуп?
Block structure mismatch in RemoteBlockOutputStream stream: different number of columns
При этом та же вставка в локальную таблицу - все ок.
Distributed создается так: CREATE TABLE reports_1.events_all AS reports_1.events ....
Полагаю, что дело в полях, которые имеют default значение и не заполняются явно при вставке -
alias - нет
-
есть такие вот, и на них судя по всему, ругань и идет
ssid │ UInt64 │ DEFAULT │ cityHash64(session_id)
в них даныне не вставляются из TabSeparated явно, но эти дефолты прописаны и в локальной, и в дистрибутед таблице -
причем, такое ощущение, что работать перестало после обновления до последней версии
-
Релиз ClickHouse 1.1.54362, 2018-03-11......
"Удалена настройка strict_insert_defaults. Если вы использовали эту функциональность, напишите на clickhouse-feedback@yandex-team.com."
https://github.com/yandex/ClickHouse/search?utf8=%E2%9C%93&q=strict_insert_defaults&type=
Если [strict_insert_defaults=1](../operations/settings/settings.md#settings-strict_insert_defaults), то столбцы, для которых не определены DEFAULT, необходимо перечислить в запросе.
....yandex/ClickHouseClickHouse is a free analytic DBMS for big data. Contribute to yandex/ClickHouse development by creating an account on GitHub.
-
все без DEFAULT перечислены
-
в общем, когда и в distributed, и в локальных таблицах есть одни и те же дефолты, и когда их не указываешь при инсерте - ругань. если из дистрибутед убрать неуказываемые столбцы, то все работает
-
а кроме цепочки селектов есть возможность дубли по некоторым колонкам отфильтровать или, другими словами, делать выборки только по уникальным строкам?
пример, есть сырые данные с дублями
IP | UA |
127.0.0.1 | 123 |
127.0.0.1 | 123 |
127.0.0.1 | 123 |
127.0.0.2 | 234 |
127.0.0.2 | 234 |
127.0.0.2 | 345 |
127.0.0.2 | 345 |
надо выбирать из сгруппированных по ip+ua, в данном случае из такой таблицы
127.0.0.1 | 123 |
127.0.0.2 | 234 |
127.0.0.2 | 345 |
в чем разница: в первом случае COUNT(*) .... GROUP BY IP будет
3
4
а во втором
1
2 -
Не знаю как в кх но в SQL можно группировать по двум полям в гроупбай
-
это вроде бы немного другой случай, если сделать GROUP BY IP, UA по первой таблице то все равно будет не 1,2, а 3,2,2
то есть мне надо по одному результату от каждой "уникальной" строки получить, и с этим уже работать -
Не очень понял почему у вас должно получиться 1, 2
-
select max(ua) from table group by ip -
или наоборот min
-
и это в подзапрос
-
потому что там по сути SELECT из SELECT'a, я там выше пример привел в чем разница
-
вот похоже на то что нужно, но думал есть вариант без подзапроса обойтись, хотя это вроде достаточно элегантно тоже
-
select ip,ua, count(*) from table group by ip,ua чем не подходит?
-
в случае он 3 2 2 и вернет
-
во втором 1 1 1
-
почему там 1,2 то должно быть?
-
потому что там SELECT COUNT(*) ... GROUP BY IP
без UA -
а нужно то сколько получить?
-
1,2 ?
-
я всеравно ничего не понял)
-
ага, то есть мне нужно сначала выбрать уникальные по некоторым колонкам, например IP+UA, а потом уже с этой выборкой работать :)
двойным селектом то можно это все сделать, но думал есть способы отфильтровать сразу дубли -
я не понял смысла
-
почему нельзя добавить в group by ua
-
ну это пример синтетический, у меня таблица на сотню колонок в реальности.
потому что, если, выражаясь в терминах веб-сессий, у меня записано много хитов, а потом надо посчитать количество уникальных пользователей с IE, например, то группируя по IP, UA я все равно получу их хиты.
поэтому мне надо сначала свернуть их до уникальных пользователей, а их уже считать. -
можно сделать группировку по конкатенации двух полей, не? -
что-то вроде select max(ip), max(ua), count(*) from table group by ip || ua;
-
сейчас попробую, спасибо
-
Друзья, всем привет
есть простая таблица вида
url_hash | value_type | value
делаю преобразование в столбцы по value_type вида
SELECT url_hash,
sumIf(value, value_type = 1) AS count_value_type_1,
sumIf(value, value_type = 2) AS count_value_type_2,
sumIf(value, value_type = 3) AS count_value_type_n
from data_raw
group by url_hash
подскажите, как подобное провернуть, когда value - это массив? -
я наверное не очень внятно сформулировал, поэтому и непонятно всем.
по сути, вопрос к первой таблице такой:
сколько уникальных пользователей пришло с каждого из айпи?
ответ будет именно 1 и 2.
вот можно ли это посчитать одним селектом? -
спасибо! в моем случае значения по value_type уникальны, заменил на anyIf
-
select uniq(user) group by ip?
-
SELECT IP, uniq(UA) FROM table GROUP BY IP -
Есть идеи как поискать утечки памяти в СH ?
Два тестовых сервера (1.1.54343) один clickhouse-server --daemon сожрал 60 ГБ, его реплика 30ГБ
1. VIRT 66GB RES 35GB
(сюда идет бесконечная загрузка create TinyLog , insert into TinyLog from TSV, insert into *MergeTree select from TinyLog, drop TinyLog, таблиц много (соответственно заливающих запросов тоже много), данных ТБ-ы)
2. VIRT 30GB RES 12GB
(реплика первого).
mem type: 1 / 2
Dictionaries: memory taken: 6.15 GB / 6.15 GB
PK allocated memory: 2.26 GB / 2.07 GB
PK in memory : 1.35 GB / 1.35 GB
на графике 1-го (VIRT) есть ступеньки вверх +~10GB -
1. VIRT 66GB RES 35GB
select metric, formatReadableSize(value) from system.asynchronous_metrics where metric like ('%generic.%')
generic.heap_size 51.97 GiB
generic.current_allocated_bytes 28.74 GiB
2. VIRT 30GB RES 12GB
generic.heap_size 18.80 GiB
generic.current_allocated_bytes 9.44 GiB
т.е. утечки нет? -
ОК, понял, спасибо.
-
Кажется мне нужно лямбда выражение, а не очень понимаю как это работает. Мне нужно подсчитать количество элементов массива, удовлетворяющих определенной регулярке, может быть есть какой-то мануал, который по полочкам у меня в голове всё расставит? -
Спасибо большое, то что нужно!
Если вдруг попадётся на глаза удобное руководство про лямбда функции для чайников - тоже буду благодарен :) -
есть еще arrayExists , если подойдет булевый результат. вроде как работает шустрее -
Да, спасибо! Кстати именно arrayExists используется Метрикой для формирования отчётов с фильтрами)
- 03 April 2018 (182 messages)
-
Добрый день
-
Будет ли резервныый канал на случай, если телеграм закроют?
-
Так а прокси?
-
За исключением прокси, VPN и т.п.
-
группа в гугле есть)
-
покопавшись в логах, выяснил что проблема в "Received signal Illegal instruction (4)." при определенных операциях на клиенте и после этого сервер падает. Ну а потом по истории этой группы выяснил, что для использования активной сборки нужно расширение SSE4.2, а на серваке сейчас стоит старенький Intel Xeon E5450. Написал для тех, у кого подобная проблема возникнет.
-
Joined. -
ну значит они всем там у вас разные не больше 1 по кол-ву, uniq считает приближенно -
uniqExact точно считает
-
да также, например:
CREATE TABLE ...
(
...
)
ENGINE = ReplicatedReplacingMergeTree('/clickhouse/tables/{shard}/table_local', '{replica}')
PARTITION BY day
ORDER BY (show_id, campaign_id, flight_id, creative_id, day)
SETTINGS index_granularity = 8192 -
сорян, про версию пропустил как-то
-
ReplicatedReplacingMergeTree('/clickhouse/tables/{shard}/table_local', '{replica}', ver)
-
Joined. -
Сто лет как сменился репо , смотрите закрепленный пост
-
даже по ссылке которую вы дали уже измененный репо
-
Ну а кто старый то репо удалять будет )
-
Err:17 http://repo.yandex.ru/clickhouse/xenial stable/main amd64
-
этол откуда у вас ?
-
Привет! Подскажите пожалуйста, кто-нибудь использует Clickhouse в воркбуках Tableau через web-интерфейс tableau? -
можно
-
не лучшая идея , все таки не тот юзкейс, вам в еластик сфинкс
-
Конечно можно, и это даже будет работать. Но все таки кликхаус в меньшей степени про работу с текстовыми данными, и другие специализированные решения подойдут вам лучше. Расскажите про ваш кейс, объёмы и структуры данных, думаю вам помогут подобрать правильный инструмент. -
постгрес, разложить по вектору и повесить GIN индекс
-
тут еще надо уточнять – какой объем данных и какие требования к отчетам
-
в кликхаусе нет полнотекствого индекса - значит любой like %% будет читать-сравнивать слишком много данных
-
вам точно в постгрес
-
Можно решить только одним способом - взять и поправить тип UUID, сейчас он не работает
-
Joined. -
Joined. -
При попытке дропнуть базу с MATERIALIZED VIEW (SummingMergeTree) таблицей, поймал ошибку:
Received exception from server (version 1.1.54370):
Code: 60. DB::Exception: Received from 127.0.0.1:9003. DB::Exception: Table funprodwh..inner.TurnoversNet doesn't exist..
И базу не прибить. Помог только detach (кстати, в дока написано что detach database нет, а на самом деле есть) и удаление руками из папки с метаданными.
Такое тут пробегало, или сделать issue? -
Привет.
Вопрос по словарям - поддерживает ли CH загрузку http(s)-словарей с basic-авторизацией? -
так уже пробовал - не работает :(
-
Ограничьте по айпи просто
-
естественно.
-
По IP - логично, но хотелось бы убедиться в отсутствии правильного пути.
-
Вообще таблицу не упоминал, сразу дропал базу (DROP DATABASE), в которой была куча таблиц, предполагая что дропнуться все таблицы автоматом (почти так и произошло). Имя базы без кавычек.
-
Ок, я проверю.
-
Привет. Подскажите пожалуйста, а работает ли resharding?
Хочется при добавлении ноды в кластер перенести шард на новый сервер. На гитхабе нашел подобный вопрос, он еще открыт и последний комментарий от 20 сентября 2017 года (https://github.com/yandex/ClickHouse/issues/198).Resharding doesnt work · Issue #198 · yandex/ClickHouseHi. I use clickhouse version: ii clickhouse-server-base 1.1.54022 amd64 clickhouse-server-base I want to use resharding, if i need to improve performance of my database by adding an other node in t...
-
2018.04.03 16:44:52.394881 [ 35 ] <Error> ExternalDictionaries: Failed reloading 'regions' external dictionary: Code: 86, e.displayText() = DB::Exception: Received error from remote server https://name:password@URL/CH_dict_regions.tsv. HTTP status code: 401 Unauthorized, body: <html>
-
Joined. -
Joined. -
jabber пока ещё актуален
-
плюсую irc
-
но скорее всего это будет слак :)
-
нафиг, для него нет десктопного клиента под линукс
-
Тем более
-
Жабер ирк ICQ скорее мертвы чем живы
-
Вероятно в моде нынче слака
-
там десктопный клиент и сайт - примерно одно и то же, разве нет? -
ямб в открытый доступ яндекс не планирует ? -
вполне себе жив irc
-
Так там вроде на электроне клиент должен быть под все
-
"на электроне" == "вебклиент"
-
и да, линуксовый слак на электроне, особых жалоб нет, используем давно
-
Ну ровным счётом я не знаю пользователей ирк кроме себя, о чем то это да и говорит
-
Ну и покупать клиента, чтобы сидеть на единственном канале...
-
Есть подозрение что телеграм тоже на электроне
-
я множество знаю и теперь тебя. но в любом случае, ирк для коммерческих контор маловероятен
-
Joined. -
Зачем покупать он бесплатный
-
щьто
-
Либо я не понимаю, что у них в https://slack.com/pricing, либо в бесплатной версии нет доступа к внешним каналам
-
телеграм, кстати, не на электроне, судя по https://github.com/telegramdesktop/tdesktopGitHub - telegramdesktop/tdesktop: Telegram Desktop messaging app
Telegram Desktop messaging app. Contribute to telegramdesktop/tdesktop development by creating an account on GitHub.
-
+100500 за рассылки, кстати...
-
Вроде всегда был, я раньше сидел, теперь только рабочие слаки остались
-
Скорее, это было что-то альтернативное.
-
QT
-
хотя принцип примерно тот же
-
Угу, C++ и всётакоэ...
-
а есть какой то реальный кейс, чтобы хранить URL as is со всеми квери? -
Пользуемся только Slack и только Telegram. Однако Slack не так легок для общения.
-
всегда казалось, что достаточно хранить оптимизированный URL без квери для разного рода отчетности
-
если потом по этому урлу надо куда-то ходить, то при любой его обработке найдутся такие люди, у которых на измененном урле что-нибудь перестанет работать.
-
Нет, теперь для этого отдельная тулза https://clickhouse.yandex/docs/ru/single/#utils-clickhouse-copier
-
Как работают правила include'ов?
-
привет
есть такая проблема
2 шарда по 2 реплики
на всех шардах есть таблица MergeTree
так же на всех шардах есть таблица Distributed которая смотрит в эти MergeTree
в какой-то момент запросы на первый шард начинают возвращать ошибку о том, что якобы на репликах второго шарда нет MergeTree таблиц которые он ищет
лечится пересозданием Distributed таблицы на первом шарде, но помогает ненадолго. через какое-то время проблема повторяется
с чем может быть связано? -
примерно так
<xsl:template match="*[@incl]" name="inc">
<xsl:copy>
<xsl:variable name="x" select="@incl"/>
<xsl:apply-templates select="document($metrika_path)/yandex/*[name()=$x]/node()"/>
</xsl:copy>
</xsl:template> -
@orantius ОМГ
-
А, в remote-servers.xml все должно быть завёрнуто в <remote_servers>?
-
В любых вариациях с отдельными файлами конфигами получаю
<Error> Application: zkutil::KeeperException: Fail to initialize zookeeper. Hosts are -
делаете /etc/metrika.xml , в нем <yandex>, в нем <remote_servers>
-
Вааааат!? Атрибут include_from может быть определён у тега remote_servers или zookeepers?
-
-
заодно и сам почитаю
-
> xslt
кх готов в энтерпрайз -
Может, они у меня из инклуда подключаются
-
Вот чего-чего, а примеров оч не хватает.
-
Супер! То, что нужно. Благодарчик
-
если верить доке, то нужен элемент include_from, а не атрибут
-
Mikhail Как фича риквест, вы можете выпилить вот эту историю с incl и /etc/metrika.xml, чтобы людей не путать?)
-
пришел к аналогичному, но пользователь default оказался нужен для репликации.
-
Нет смысла уже скоро выйдет восьмерка
-
А в чем проблема через кликхаусклиент и готово
-
Ну там есть загрузка данных из файла в доке есть это
-
Какой нибудь CSV или tsv
-
Кажется, в доку пора разместить FAQ
-
Или где то рядом...
-
я мастер брал, собралось под 6й центось -
Пасиб, оч полезно.
-
в настройках можно указать профиль для системных задач с помощью ключа <system_profile> -
Как устроен GraphiteMergeTree. Вот, например, rollup'ы описывают, как данные будут схлопнуты?
-
Извините, давно не следил - аналитические/оконные функции ещё не появились? -
Понял, а пока не в планах?
-
Понял. Спасибо.
- 04 April 2018 (129 messages)
-
Рассказываем, как продолжить пользоваться Telegram в случае его блокировки.
Открыть статью.Как обойти блокировку Telegram?VPN Чтобы исключить влияние государственной цензуры на ваши коммуникации, на доступ и распространение информации - в первую очередь предлагаем вам установить VPN, как наиболее комплексное решение. Рекомендуем выбрать VPN из данной подборки, где отобраны защищенные сервисы, проверенные международными и российскими цифровыми активистами: VPNLove.me Большинство из этих VPN уже высказали свое негативное отношение к государственной цензуре и отказались от сотрудничества с Роскомнадзором по фильтрации пользовательского…
-
спасибо
-
Коллеги, можете подсказать в чем может быть проблема: при попытке сделать ALTER TABLE ON CLUSTER ADD COLUMN для DistributedMergeTree таблицы получаю такое сообщение:
DB::Exception: Table BLA-BLA isn\'t replicated, but shard #2 is replicated according to its cluster definition, e.what() = DB::Exception 11 0 -
Насколько я помню ON CLUSTER недоделано для Distributed, нужно руками на каждой машине запрос выполнить
-
-
Спасибо за пояснение
-
1.1.54370, перевели табличку в распределенный режим, стал ругаться "Too many parts (301). Merges are processing significantly slower than inserts."
куда смотреть? -
ну обычно это слишком много мелких вставок
-
в system.merges и system.replication_queue
-
в system.merges записи проскакивают редко, и проходят быстро... replication_queue гляну, спасибо
-
вроде вчера писали что тип ууид не работает в кх , но может не так поняол
-
ну ошибка говорит что нет функции ууидтунум
-
вероятно ее нет , либо старая версия и там ее нет , либо новая и там ее выпилили
-
Попробуйте из лога вытащить именно ту строку (или пачку строк), которая дает сбой. Есть вероятность, что это получится сделать
-
Кто подскажет куда копать? Временами CH рестартится сам по себе в логах только <Information> Application: Received termination signal (Terminated) и других намеков на причину нету -
OOM killer ?
-
Возможно, а не подскажете, как проверить?
-
dmesg
-
Спасибо, dmesg - есть записи срабатывания oom killer, но для другого процесса.
-
подскажите, а плюсовый клиент, ну и консольный клиент, при вставке в распределенную таблицу будут слать данные в ту ноду, к которой ему сказали подключиться, или оно настолько крутое что может слать разные строчки напрямую в соответствующие шарды?
-
вопрос про то, произойдет ли это на server-side или client-side сам умеет увидеть что таблица distributed и получить адреса шардов откуда-нибудь?
-
на серверсайде
-
клиент вообще по сути не знает что у вас там под капотом , он просто видит таблицу
-
клиент не знает create, клиент не знает настройки кластера, у него туда может просто не быть доступа
-
Joined. -
У меня в одном из стобцов храняться пути к файлам, я хочу поискать по ним и не могу правильно двоеточие экранировать.
Вот такие строчки в КХ
c:\ex\abonentsservice\13.91.0.1065_deployments-181833\abonents.exe
c:\ex\abonentsservice\13.91.0.1065_deployments-181833\abonents.exe
Вот так я пробую
select Image from wssg.sysmon_logs where Date=today() and EventId=3 and Image like 'с:\ex%' limit 100
Не работает. -
>like 'с:\\ex%' limit 100
-
тоже нет
-
DB::Exception: Exception: OptimizedRegularExpression: cannot compile re2: ^c:\\ex, error: invalid escape sequence: \\e., e.what()
-
Добрый день!
Подскажите, есть ли способ более активно кэшировать данные?
Есть таблица из которой постоянно селектят разными однотипными запросами мы знаем, что этот набор, в 99,5% случаев - последние сутки. Но чтение диска происходит "до дыр", практически постоянно данные перечитываются. Отчасти, это проблема со стороны приложения, которое может ждать не более 30сек, потом запрос повторяется..
Но что можно сделать на стороне clickhouse ? -
если в память влазит, то например держать последние сутки в памяти
-
Влазит и больше - как ?
-
use_uncompressed_cache не поможет ли? -
а более простым способом никак?
-
неа, не помогает, увеличивал
-
<uncompressed_cache_size>68719476736</uncompressed_cache_size> вот так сейчас, этого должно хватать на неделю данных
-
а включить не забыли? 😄 он выключен по дефолту
-
эмм
-
Это очень интересный вопрос )
-
Для запросов, читающих хоть немного приличный объём данных (миллион строк и больше), кэш разжатых блоков автоматически выключается, чтобы оставить место для действительно мелких запросов. Поэтому, можно держать настройку use_uncompressed_cache всегда выставленной в 1.
Можно комментарий? про миллион строк - это про набор данных в запросе или про количество прочитанных строк в исходных данных ? -
Прочитаных строк в исходных данных
-
а если у меня почти все запросы читают 1+ млн ?
-
оу, тогда может и не подойти. А есть способ принудительно это использовать ?
-
значит у меня кеш не работает?
-
а то думал почему запросы резко стали выполнятся из 100 мс 3 секунды
-
парни, привет. -
Подскажите, можно ли как-то отключить лишние уведомления при инсерте в CH из питоновского клиента?
-
чтобы не было block_send ****
-
Это можно посмотреть в метриках select * from system.events where event in ('UncompressedCacheHits', 'UncompressedCacheMisses')
-
Есть одна тачка с одним инстансом КХ, одна большая табличка (порядка 10^9 строк), один HDD, движок MergeTree. Данные каждый раз читаются с диска, не из кэша. Запрос вида SELECT col1, ..., coln FROM SomeTable ... . Запрос на чтение одним клиентом одновременно отрабатывает за 100ms, двумя -- каждый по 200ms, ..., n -- каждый по n*100ms, ...
1. Можно ли при совершении n конкурентных запросов заставить отвечать первому клиенту за 100ms, второму за 200ms, ..., n-ному за n*100ms, ...?
2. Пусть данные хранятся на разных дисках, осуществляется несколько конкурентных запросов, каждый к своему диску. Насколько сильно эти запросы будут влиять на время выполнения друг друга?
3. Есть ли продвижение по "Store data at multiple disk volumes of a single server" (https://www.altinity.com/blog/2018/1/8/clickhouse-roadmap-2018) -
может стоит просто их на ссд положить, там нет проблемы парралельного чтения
-
у меня 30ТБ в пожатом виде
-
ну либо разнести просто в шард на несколько мелких серверов как у нас например сделано
-
ну а как вы на один хдд диск положили 30 тб ?
-
пока никак, я пытаюсь понять смогу ли я масштабировать чтение количеством дисков
-
ну больше шпинделей больше иопсов
-
да, но я не могу быть уверен, что при увеличении количества дисков оно станет работать быстрее, потому что не знаю как оно там внутри у себя сериализует запросы, какие локи держит и какое отношение последовательного кода к параллельному
фича ж даже официально не поддерживается пока что -
Очень параллельно на чтение все
-
Несколько шардов все таки лучшее решение
-
несколько шардов будет, просто не хотелось бы масштабироваться тазами с одним диском на борту)
-
Напомните, пожалуйста, как сделать так, чтобы при репликации набор данных в момент времени на всех репликах был одинаков?
-
Ну ставьте по два диска
-
В RAID1
-
Каждый шард будет выполнять часть задача абсолютно параллельно по сути н шардов будет в н раз быстрее
-
да, я понимаю, что можно сделать n шардов, можно сделать RAID, но мой изначальный вопрос не "что делать в такой ситуации", а "является ли решение N решением"
-
Не является там же логарифмическая зависимость на обычных хдд , можно больше получить на час 15к оборотов
-
На сас
-
А как вы определили что у вас 30 Тб в сжатом виде?
-
я залил около 10млрд псевдослучайных строк в кликхаус, посмотрел, сколько получилось, экстраполировал на тот срок за который у меня уже есть данные
ну и в другой БД оно занимает 30ТБ в пожатом lz4-ом виде -
разумеется, оценка в 30ТБ не претендует на точность, но порядок вряд ли будет другой
-
А другая БД это кто?
-
самописное)
-
Ну так у вас данные что ли псевдостучайные?
-
На таких данных конечно и скорость и сджатие будут минимальными
-
ну более менее из распределения имеющихся
-
но генеренные
-
Вероятно просто кликхаус не ваш вариант
-
почему?
-
Ну данные у вас не такие как он любит
-
а как вы поняли, какие там данные?
там что-то вроде событий, какие то события случаются сильно чаще, какие то очень часто идут подряд одинаковые
просто их много -
Ну вы не даете нам понять от этого так и происходит ) загадка без вводных всегда сложно
-
ну и запросы чистый селект данных не юзкейс кликхауса
-
time series события с малым количеством колонок, низкой энтропией, рпс на запись в среднем 25к, на чтение <<, уже есть данные за 5 лет
-
ну покажите пример пару строчек это всегда лучше чем много слов и догадки , мало колонок тоже не айс для кх
-
Такого нет
-
Причем тут колво колонок? Хоть 2, хоть 202. У КХ вполне определеный кейс - много неизменяемых строк, мало запросов (без сложных join)
-
insert_quorum для вставки и select_sequential_consistency для чтения
-
спасибо
-
-
И да, если нужно извлечь все колонки (5 записей из 2х милиардов) - вот это не для КХ
-
ага, кейс записи -- append only, кейс чтения -- просто достать из базы
-
в English документации небольшое расхождение в тексте с дефолтным значением пути до данных (`/opt/clickhouse/data/default/
/opt/clickhouse/metadata/default/) хотя сейчас данные по умолчанию в /var/lib/...` -
Не обязательно просто чтение. Ещё и посчитать какой-нибудь средний доход зеленного пользовате в каждую пятую минуту в январе 2006
-
это я про свой кейс
-
вам просто запросы надо в очередь выстроить? chproxy ?
# Enable requests queueing - chproxy will queue up to max_queue_size
.... -
Спасибо
-
Меня сегодня позабавило другое, если физически нет default database кластера из конфига, то ломается Distributed с напрямую указанными именами бд :-) -
Я подумывал так защититься от ошибок создания таблиц on cluster без прямого указания бд, но видимо не судьба
-
Подскажите в чем может быть дело: полгода бесперебойно работал сервер КХ, Вдруг невозможно приконектиться, но сервер работает, работу делает, логи пишет. Рестарт сервиса помог -
Все подключения исправно закрываются, да и странно что за все время не возникало такой проблемы. И оом не убил бы процесс?
-
Локально пытался конектится, не давало.
-
Рестарт помог, а поднялся после убийства процесса не помогло, тоже странно
-
Спасибо, посмотрю
-
Да, стандартный
-
Спасибо, буду рыть в логах
-
ну и можно посмотреть просто dmesg там оом всегда есть
- 05 April 2018 (205 messages)
-
Joined. -
Нет, самостоятельно он так не умеет, но можно написать собственное решение которое будет пережимать данные.
-
у меня ReplacingMergeTree перестала мержить данные
-
ни автоматом ни через OPTIMIZE table
-
если добавить final то возвращает нормально
-
но всеравно не мержит
-
Code: 388. DB::Exception: Received from localhost:9000, ::1. DB::Exception: There are no need to merge parts according to merge selector algorithm.
-
но у меня select count(*) from table возвращает цифру больше чем select count(*) from table final
-
уже 4 дня прошло
-
как перестало мержить
-
сервер перезапускал
-
место свободное есть
-
ночью нагрузки нет вообще
-
а смержится должно примерно половина таблицы
-
а не планируется сделать optimize final для таблицы целиком?
-
кинул новую порцию дублей, он начал мержить
-
но в итоге недомержилось 5 записей
-
и даже OPTIMIZE TABLE ... PARTITION ... FINAL
-
не убрал эти 5 записей
-
у меня вот есть неодолимое желание получить шардинг в КХ, но без явовского зукипера. а есть где-то спеки, чего нам "напихонировать" , чтобы наступило счастье? -
шардинг к зукиперу не имеет отношения
-
в зукипере только репликация
-
Движок MergeTree поддерживает индекс по первичному ключу и по дате и обеспечивает возможность обновления данных в реальном времени.
-
а давно так стало?
-
шардинг весь в конфиге и названии дистрибьютед таблицы настраивается
-
именно часть про обновление в реальном времени
-
спасибо. почитаю
-
а чтобы селекты со всех шардов были прозрачными? для этого кипер не нужен разве?
-
селектам вообще зукипер не нужен
-
в чем прозрачность то , одинаковость реплик вы сами обеспечиваете если у вас нет зукипера
-
если вы про это конечнр
-
нет, мне не надо, чтобы на всех нодах было одинковое содержимое. нам достаточно. чтобы при обращении к любой выдавался полный сет со всех нод. вот этого хочется
-
для этого зукипер не нужен , просто обычный шардинг с дистрибьютед
-
спасибо, я в библиотеку :)
-
Всегда так было
-
странно
-
Скорее всего вы имеете ввиду обновление данных в таблице, тогда нет. Считайте что это про обновление данных по "F5" - можете писать и сразу же получать "актуальный" результат
-
я просто инсерт делаю в MergeTable и он сразу заменяет старые на новые в зависимости от ключа?
-
тогда в ReplacedMergeTable теряется смысл?
-
Он ничего не меняет, вы можете делать запросы на чтение в реальном времени (данные обновляются в реальном времени)
-
печально
-
я думал он обновлять может
-
тогда движок поддерживает не обновление в реальном времени, а добавление в реальном времени
-
Привет. Подскажите пожалуйста, имеет ли смысл использовать тип UUID для хранения уникальных идентификаторов? Есть ли с ним какие то проблемы? В changelog репозитории CH указано, что поддержка UUID неполная.
-
Проблем куча, используйте FixedString(16)
-
а можете привести пример, какие могут возникнуть проблемы с UUID ?
-
Ломает репликацию, не работает CAST, хранит обратный набор байт и не совместим со стандартными UUIDTo* функциями, не работают операции сравнения, а так можно использовать )
-
понятно, спасибо )
-
UUID тип сейчас вообще частично сломан -
поэтому в данный момент есть только вариант с FixedString
-
UUID field type #1770
Looks like bug in new data type UUID. Used version 1.1.54327 I can create table with uuid field, insert data using simple string, representing uuid like '0c5049ab-a9fe-46c6-aee6-bcb5e414a19c' The problem in using UUID typed field in WHER...
-
Конечно очень хотелось бы чтобы разработчики исправили CAST оператор и операции сравнения для UUID. Жить бы стало проще. Может кто нибудь дать estimatation по срокам на эти баги?
-
Вчера сказали исправьте сами и пришлите пул реквест, так что со сроками все ясно, как только сам починишь
-
))))
-
Ловлю очень странное поведение
`SELECT DISTINCT stack_trace
FROM dfs.error
WHERE emergency_datetime > toDateTime('2018-04-05 11:30:34')
LIMIT 10
Received exception from server (version 1.1.54370):
Code: 171. DB::Exception: Received from localhost:9001, 127.0.0.1. DB::Exception: Block structure mismatch in UNION stream: different number of columns:
stack_trace String String(size = 0)
stack_trace String String(size = 0), emergency_datetime DateTime UInt32(size = 0).
`
`
:) describe dfs.error
DESCRIBE TABLE dfs.error
┌─name───────────────┬─type─────┬─default_type─┬─default_expression─┐
│ incoming_message │ String │ │ │
│ stack_trace │ String │ │ │
│ emergency_date │ Date │ │ │
│ emergency_datetime │ DateTime │ │ │
└────────────────────┴──────────┴──────────────┴────────────────────┘
4 rows in set. Elapsed: 0.001 sec.
` -
version 1.1.54370.
-
dfs.error - это Distrebuted таблица
-
к локальной - работает
-
Пойду откатываться(((((
-
Коллеги, а по массивам можно делать IN , или обязательно arrayExists ?
-
has() -
Вопрос по StorageFile.
Почему нельзя создать таблицу из файла на сервере?
CREATE TABLE fileTest
(
id UInt32,
data String
)
ENGINE = File(TabSeparated, '/path_to_clickhouse/data/test.tsv')
DB::Exception: Using file descriptor or user specified path as source of storage isn't allowed for server daemons -
Народ, а подскажите, в чем может быть проблема и куда копать, если КХ перестал отвечать и отдавать Ok по адресу сайт:порт? -
ну посмотрите ошибки в нгинксе
-
посмотреть оом киллер и логи кх
-
оом киллер? Это че?
-
линукс киллер если память кончилась
-
ну если словаря нет то как то сложно работать всему что на него завязано
-
вроде и не было такого, создаете таблицу, заливаете данные и з файла кх клиентом
-
Joined. -
Ха, а знаете какой прикол - если захожу со Старбакса, ничего не пишет и висит, а если с расшаренного Андроида - пишет Ok =)
-
Коллеги, привет. В деве залил в БД фейковые данные. После этого стала вылетать такая ошибка абсолютно при любом запросе. Даже если ввести DROP DATABASE. В чем может быть проблема?
-
Понял, спасибо
-
Joined. -
Аргумент добавлен и специально запрещен, этот тезиз непонятен
-
У вас один сервер (чей hostName()) выдаётся в итоге мёржит результаты с разных серверов (на которые указывает Distributed)
-
это ожидаемое поведение
-
Если вы в консольном клиенте выставите set distributed_group_by_no_merge=1; и выполните внутренний запрос, то там появятся hostname
-
status_updated входит в выражение шардинга для Distributed?
-
а причина смерти ?
-
память , проц, место на диске?
-
Коллеги подскажите можно ли при билде image с КХ сразу выполнить операции создание схемы БД
пытаюст сделать вот так:
RUN cat schema.sql | clickhouse-server --client --database=default
но появляется ошибка
Code: 210. DB::NetException: Connection refused: (localhost:9000, 127.0.0.1) -
Артем имеется в виду билд докера?
-
Да там же команда RUN из докер билд файла, но там по сути же кх не запущен
-
Надо как то хитро его запустить и потом через && заливать и потом убить его
-
да
-
только при запуске
-
думаю, это возможно только если вы напишете на C++ некий код, который будет использовать clickhouse как библиотеку ))
-
но вообще просто если вам надо иметь структуру базы после запуска то надо сделать скрипт который будет при запуске образа исполняться
билд это по сути сборка, без работы -
Можно пртосто при билде в /var/lib/clickhouse/metadata/ положить нужные sql
-
привет
есть такая проблема
2 шарда по 2 реплики
на всех шардах есть таблица MergeTree
так же на всех шардах есть таблица Distributed которая смотрит в эти MergeTree
в какой-то момент запросы на первый шард начинают возвращать ошибку о том, что якобы на репликах второго шарда нет MergeTree таблиц которые он ищет
Code: 279. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::NetException. DB::NetException: All connection tries failed. Log:
There is no table .tablename on server: db4.hostname:9000
лечится пересозданием Distributed таблицы на первом шарде, но помогает ненадолго. через какое-то время проблема повторяется
с чем может быть связано? -
можно подробнее, у меня в этой директории лежит 2 папки: default и system
-
А можно ли в LIMIT использовать переменную описанную в WITH? Пробую — получаю Syntax error. Что-то делаю не так или нельзя? -
например вы хотите создать БД test, а в ней таблицу table, делаете так:
создаете файл test.sql
ATTACH DATABASE test
ENGINE = Ordinary
файл test/table.sql
ATTACH TABLE table /* синтаксис как и у CREATE TABLE*/
(
Date Date,
...
)
ENGINE = MergeTree(Date, Date, 8192) -
Пулл реквесты приветствуются?
-
Интересно было бы разобраться и поконтрибутить, надеюсь найду время
-
на db4 в логах нет этих запросов
-
тут важный нюанс - на этих же серверах есть другая пара MergeTree:Distributed таблиц и с ней все впорядке
-
еще вот такое странное в логах
Code: 84, e.displayText() = DB::Exception: Directory /data/clickhouse/data/mydb/mytable/tmp_merge_20180402_20180408_547040_547110_12/ already exists -
спасибо, отличная идея, а ты не знаешь почему билд крешится когда я помещаю файлы в директорию /var/lib/clickhouse/metadata/default ?
-
Нет, а какая ошибка?
-
в stdout ни чего полезного не падает, в dockerfile следующие команды
COPY default/ /var/lib/clickhouse/metadata/default/
USER root
RUN chown -R clickhouse:clickhouse /var/lib/clickhouse/metadata/default/
USER clickhouse -
да
-
видят точно. в логах видно что они пингуют друг друга
-
telnet zookeeper-node 2181 и сказать там mntr
-
На одном из узлов будут в числе прочего строки типа:
zk_followers 2
zk_synced_followers 2
zk_pending_syncs 0 -
Тогда точно зукиперы друг друга видят
-
есть такое, да
zk_followers 3
zk_synced_followers 3
zk_pending_syncs 0 -
прям вот постоянно воспроизводится (
2018.04.05 18:15:23.426996 [ 156 ] <Warning> ConnectionPoolWithFailover: There is no table . mytable_merge_tree on server: db2:9000,
2018.04.05 18:15:23.427776 [ 156 ] <Warning> ConnectionPoolWithFailover: There is no table . mytable_merge_tree on server: db4:9000,
2018.04.05 18:15:23.450765 [ 33 ] <Error> executeQuery: Code: 279, e.displayText() = DB::NetException: All connection tries failed. Log:
There is no table . mytable_merge_tree on server: db2:9000,
There is no table . mytable_merge_tree on server: db4:9000,
, e.what() = DB::NetException (from 127.0.0.1:60784) (in query: select count() from mytable), Stack trace: -
только на одной ноде. на второй ноде этого же шарда все в порядке.
ни ошибок, ни запросов в логах на остальных нодах не происходит в момент этого запроса -
mytable_merge_tree - условное имя
-
Joined. -
Joined.
-
С настройками по умолчанию, ZooKeeper является бомбой замедленного действия:
Сервер ZooKeeper не будет удалять файлы со старыми снепшоты и логами при использовании конфигурации по умолчанию (см. autopurge), это является ответственностью оператора.
Эту бомбу нужно обезвредить. -
https://clickhouse.yandex/docs/ru/single/ CTRL+F "бомбой"
-
вы пробовали эти данные поселектить из базы, их правда нет? говорят, такие сообщения это норма для зукипера, на них не стоит обращать внимания
-
в самом кликхаусе
-
данные на репликах норм?
-
в system.parts можно найти этот кусок и посмотреть
-
есть ли он, скока там строк и размер, и вообще как он себя чувствует, active или как
-
👍
-
а параметры use_uncompressed_cache /uncompressed_cache_size динамические? или нужен рестарт?
-
Да, нужен
-
Это нормально 🙂
-
ZK не хранит данных как таковых же
-
информацию о БД, задания
-
сервисные и координационные нужды обеспечивает
-
Я за zk начал следить после печального опыта эксплуатации ранних версий kafka, autopurge ещё опции в конфигами не было. Мой "рекорд" - под 2 терабайта снэпшотов
-
работает v1.1.54292 (Debian GNU/Linux 9 (stretch) + mariadb-client-10.1) ходит за словарями к percona 5.7
обновляю до 54343 получаю: external dictionary: Poco::Exception. Code: 1000, e.code() = 2027, e.displayText() = mysqlxx::BadQuery: Malformed packet
(from thread 1) Received signal Segmentation fault (11).
Address: NULL pointer.
....
clickhouse-server(DB::MySQLBlockInputStream::MySQLBlockInputStream(mysqlxx::Pool::Entry const&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&,
DB::Block const&, unsigned long)+0x9b) [0x65cfeeb]
заменил на mysql-client 5.7 не помогло.
В итоге вернул v1.1.54292.
Не понимаю что ему надо-то? mysql-client 5.5 ? -
Joined. - 06 April 2018 (153 messages)
-
Joined. -
Коллеги, добрый день! Подскажите, есть ли официальная поддрежка решения clickhous или только комюнити ?
-
Ещё на зимнем митапе была информация, что в России нет поддержки
-
Зарубежом Altinity вроде занимается
-
https://www.altinity.com/clickhouse/ эти ребята вроде что-то типа такого делают, может ошибаюсь -
Альтинити так-то русские ребята, думаю и в России смогут
-
спасибо
-
а какая именно поддержка нужна?
-
ну то есть у вас уже есть инсталяция CH и у вас какие то проблемы? или вас надо платно проконсультировать на тему подойдет ли CH под ваш workload?
или вас интересует мониторинг CH 24x7 ? -
Обычно ентерпрайзу надо и то и то и побольше
-
Да верно, комплексный подход. Поставить, настроить и тд сами можем, но в случае проблем багов, необходимо обеспечивать решения, которые бы не приводили к отказу или потери данных.
-
Привет, я все с теми же неожиданными рестартами, заметил что они происходят как-то по расписанию:
2018.04.06 01:00:01.488274 [ 509 ] <Information> Application: Received termination signal (Terminated)
2018.04.06 02:00:02.012034 [ 508 ] <Information> Application: Received termination signal (Terminated)
2018.04.06 03:00:02.183767 [ 510 ] <Information> Application: Received termination signal (Terminated)
2018.04.06 04:00:02.502462 [ 4188 ] <Information> Application: Received termination signal (Terminated) -
Кто знает почему может CH рестартиться сам по себе?
-
OOM киллер не убивал
-
крон, скорее всего
-
Уж больно регулярно срабатывает
-
Коллеги а как можно быстро автоматически создать схему БД в КХ , я так поманию что клиент командной строки не может выполнить больше одной операции за раз ? я хотел сделать вот так , но это больше одной операции он не выполняет
cat /schema.sql | clickhouse-server --client -
Разделители добавить ;
-
multi-query есть параметр
-
и можно много в схема sql положить
-
это наверно в системд надо смотреть
-
Да, но они чаще рестартят при умирании.
-
В кроне было, сейчас вроде закомментирован
-
Да, распавн
-
CREATE TABLE requests (
request_date Date MATERIALIZED toDate(request_time),
request_time DateTime,
request_uri String
) ENGINE=MergeTree(request_date, (request_time, request_uri), 8192);
SELECT * FROM requests ORDER BY request_date DESC LIMIT 10; -
Запрос видимо поднимает всю таблицу? Как такое оптимизировать? ...
-
Joined. -
WHERE
-
Есть Altinity, официальный партнер Яндекса. Подробнее можете у @alexanderzaitsev узнать
-
Это в cron.d нужно смотреть
-
Подскажите пожалуйста хотя бы куда копать
Есть два шарда по две реплики КХ
на все репликах созданы MergeTree таблицы mytable_real
поверх них на всех репликах созданы Distributed таблицы mytable
какое-то время все работает хорошо но потом одна из реплик начинает сходить с ума
например:
- при запросе select count() from mytable выдает ошибку об отсутствии таблицы mytable_real на втором шарде
- при insert'e в mytable выдает ошибку об отсутствии колонки в таблице mytable_real. при это колонка присутствует и вставка непосредственно в mytable_real происходит без проблем -
Какая версия КХ? Железо или докер и прочее? Адреса как ip прописаны или именами (если второе то возможно по хостнейму выдаются разные ip и сервер начинает ходить не туда). Вообще старнное поведение для Distributed, там все очень просто
-
версия 1.1.54370
стоит не в докере
железки по 4 ядра, 16Гб памяти (m4.xlarge)
хосты прописаны именами -
тут еще важный нюанс - на серверах есть другие таблицы созданные так же. с ними все в порядке
-
Диски разные? Живые? -
да. остальные ноды прекрасно видят ту одну, у которой проблемы
-
Иногда появялется такая ошибка:
>DB::Exception: ZooKeeper session has been expired
- какая-то нужная натсройка не устанволена? -
Пробовали указывать хосты ip-адресами, чтобы отсечь возможные проблемы с резолвером?
-
thanks)
-
еще нет, но сейчас попробуем
-
но у нас они прописаны в /etc/hosts
-
и в zookeeper ip адреса
-
это не помогло (
-
Подскажите, конкеренткая в ставка к ClickHouse, например, по числу ядер на целевой системе быстрее, чем "однопоточная" вставка? А для replicated-таблиц?
-
И как реализована поддержка идемпотентности для replicated-таблиц? Не очень понятно, ведь для обычного mergetree такого нет.
-
Блок = max_insert_block_size число строк? На стороне сервера нет тротлинга? А если вставлять в реплицируемую таблицу? Если есть две реплики, то вставлять в 2 N потоков?
-
джентельмены, кх умеет решардить данные при добавлении нового шарда? если не умеет, то планируется ли появление этого функционала?
-
clcikhouse-copier
-
есть отдельная тулза, есть описание в доке
-
это копипаста, немного не то
мой вопрос связан с появлением DELETE -
т.е. есть два шарда, заполненных на 50%, добавляю 3 и ожидаю, что после перешардирования каждый окажется заполнен на 30%
-
@kochetovnicolai Спасибо!
-
Joined. -
только не 30, а 20, наверное
-
вы абсолютно правы, я лишь хотел донести мысль
-
насколько актуальна оценка про UPDATE/DELETE в Q1-Q2 2018?
-
Хотел спросить тоже по UPDATE/DELETE
-
а апдейт будет настоящим?
-
спасибо!
-
про решардинг правда ничего не нашел, своими силами только если?
-
гарантированно или как в ReplacedMergeTable ?
-
а это будет новый движок или в простой MergeTable добавите?
-
Спасибо kochetovnicolai !
-
Joined. -
Joined. -
А обратно-совместимо или только для таблиц, созданных в новых версиях?
-
в clickhouse-copier параметр task-path должен иметь какое-то специальное значение? из примера не работает Can't get description node /task/path/description -
Joined. -
подскажите плиз, что такое VersionedCollapsingMergeTree?
-
ReplacingMergeTree сам по себе мерджится если данных для мерджа нет? Ну т.е. я создал новую таблицу, одним запросом туда данные перегнал, и вот уже пол часа жду пока оно поудаляет дубликаты
-
Имеется задача прислывать старые данных с локальных серверов который могут быть недоступные долго время, при это получается что часть данных будут писаться в текущем времени и часть отправлятся как старые данные, насколько мне изветсно это плохо, стоит ли создавать ради такого таблицу на каждую метрику или для это задачи плохо подходит кх? -
ReplacingMergeTree не дает гарантий отсутствия дубликатов. Но вроде OPTIMIZE фиксит.
-
насколько я понял, к ReplacingMergeTree нужно относиться как к MergeTree, то есть селектить с учетом того, что там могут быть дубли. ReplacingMergeTree просто экономит место на диске, схлопывая дубли. Но можно, например как я, схлопывать данные сразу после вставки c помощью optimize table partition final, и радоваться костылю :)))
-
Мне не нужна гарантия отсутствия дубликатов. Пока мне интересно как часто оно запускает эту процедуру
-
это время не определено, разрабы говорят, как КХ посчитает нужным
-
у меня 4 дня не запускалось
-
Я так понимаю пока я чего-нибудь туда не инсертну чтобы инициировать merge процесс, данные так и будут
-
пока я снова не начал туда дубли фагачить
-
да это даже ответ на мой вопрос
-
и в итоге всеравно 5 дублей осталось)
-
которые даже через optimize table partition final не убирались
-
если данных не очень много, можно селектить с FINAL
-
FINAL отбрасывает дубли
-
у меня 5 всеравно осталось
-
они потом пропали
-
значит они на разных шардах, поэтому и не схлопываются
-
после какойто очередной партии
-
у меня 1 сервер
-
ну раз пропали, значит все ок
-
Да поведение примерно такое как я и думал, заинсертил еще пачку дублей, появились чанки для мерджа — схлопнулось сразу
-
даже на optimize table partition final нельзя надеятся
-
и нифига не сразу
-
у меня основная проблема - это когда обновление версии
-
почти всегда нужно заново залить данные в кх
-
не буду же я дропать таблицу и ждать полной синхры)
-
в моем костыле все хорошо - я перезаливаю раз в час последние несколько дней из мускуля, схлопывается отменно :)
-
мы заливаем свежие данные почти сразу
-
но при обновлении у нас меняются логики вычисления полей
-
добавляются столбцы
-
лучше бы ссылку на программу эмиграции)
-
в канаду усложнили
-
года 2-3 назад
-
Joined. -
вроде вот только опять упростили
-
вроде ничего с 2015 года не поменялось
-
нужен контракт с работодателем
-
но с контрактом и в сша можно ехать
-
Да может перепутал я чего
-
В Германию ок, blue card несложно получить
-
blue card тоже надо контракт
-
с контрактом можно почти в любую страну
-
blue card больше флексибл, привязка к работодателю минимальная, сроки маленькие, никаких проверок положения дел с безработицей или чего-то типа
-
совсем плохо все с кадрами?
-
Где именно к UK так? И какого рода погроммисты?
-
А есть где-то публичная ветка, например на GitHub ?
-
Спасибо
-
Подскажите, пожалуйста, как в jdbc запихать array в CH через подстановку :value?
- 07 April 2018 (38 messages)
-
Именованные подстановки не реализованы. Сейчас есть только ? -
Графана 5 и плагин последней версии - не замечено такого поведения.
Были другие проблемы с плагином от того, что он сам меняет запрос, но автор исправил не так давно. -
Кстати, интересно, зачем плагин сам меняет что-то в запросе? Почему не передавать в CH исходный запрос? На гитхабе там последних пара issue по этому поводу есть.
-
Старенькая. 1.1.54304.
-
Графана 5.0.3 и плагин 1.4.1.
-
У вас таблица с данными случаем не в бд отличной от той где лежит distributed
-
Ну или справочник тот же
-
И в одной бд?
-
Господа, а можно для log_queries задать время хранения? -
Что бы, скажем, данные больше месяца сами удалялись или перезаписывались?
-
Может у вас дефолтные базы разные на разных серверах?
-
а clickhouse-client умеет в построчный вывод столбцов? как \G у mysql и \x у psql
-
воу. оказывается он как раз \G и умеет
-
Можете попробовать ещё разные форматы, просто добавьте в конце запроса, например, `format Vertical`. В документации есть полный список
-
во, так нативнее, спасибо)
-
подвисают намертво запросы по distributed таблице, когда сервер упирается в max_concurrent_queries
через kill query не убиваются, помогает только рестарт сервера...
кто-нибудь сталкивался? -
OMFG! да я просто люблю этих ребят! https://github.com/Vertamedia/chproxy#spread-inserts-among-cluster-shards
-
гм, но оно таки тоже не умеет понимать куда данные слать, просто какой-то свой load balancing делает :-/
-
Нет, КХ сам не чистит партиции, но для query_log можно задать произвольный ключ партиционирования чтоб можно было удалять не по месяцам
-
-
Приветстую.
А какие параметры КХ можете посоветовать для построения графиков в системе мониторига? Я хочу, скажем в заббикс добавить мониторинг КХ, чтобы в случае сбоя можно было по графикам быстро понять из-за чего это произошло? Ну или оповещения настроить при достижении определенных значений. -
Порты , логин , зукипер, количество записей
-
а какие-нибудь параметры из таблиц
system.metrics
system.asynchronous_metrics
system.events
нет необходимости? -
Ну смотря какие падения вы хотите мониторить , в целом мне хватает мониторинга процессора, памяти и места на диске
-
иногда стоит ещё rps, возможно даже с инсертами отдельно
-
в графане это выглядит вот так
https://grafana.com/dashboards?search=clickhouseGrafana Dashboards - discover and share dashboards for Grafana. | Grafana LabsGrafana.com provides a central repository where the community can come together to discover and share dashboards.
-
внезапно, ни одного graphite'ного дашборда для стандартных метрик которые отправляются clickhouse'ом через carbon?
-
(v1.1.54327.) случилось странное. У сервера 64ГБ, oom начал прибивать КХ (BackgrProcPool).
Добавил своп 64ГБ, и вот теперь я увидел что clickhouse-server скушал всю память и своп VIRT 170GB/ RES 61GB.
Идет мердж:
elapsed: 2233
progress: 0.00140
num_parts: 13
total_size_bytes_compressed: 148508434057
total_size_marks: 20606
bytes_read_uncompressed: 95158253980
rows_read: 237568
bytes_written_uncompressed: 9574550341
rows_written: 131072
memory_usage: 179221182948
Подозреваю, что в той таблице появились строки размером до 4МБ, которые очень хорошо жмутся в пару КБ.
Может это причина?
Никогда такого не было, и что делать теперь? -
В общем поменял max_bytes_to_merge_at_max_space_in_pool с 200Г на 50Г, видимо КХ мержить эти парты уже не будет.
- 08 April 2018 (38 messages)
-
а можно ли как-то в кх сделать такую штуку:
SELECT f1, f2, uniq(f3), count(*)....
GROUP BY f1, f2
и вот вместо uniq(f3) - вывести не число уникальных значений в этой группировке, а сами эти уникальные значения? как-то в массив, например, объединить? -
можно – groupUniqArray
-
кх не только не тормозит, но и 🔥
-
Сервера теперь горят?
-
работа
-
Проще заново залить данные без дублей
-
можно помудрить с генерацией уникального id на основе cityHash64(*)
-
но в случае коллизий могут быть потери
-
так первичный ключ есть?
-
он уникальный?
-
в данных
-
попробуйте
SELECT *, max(uniqID) FROM table GROUP BY *
если не получится тогда придется все поля перечислять - по идее должно уникальные строки выбрать. их уже в отдельную таблицу загнать. -
Insert into ваша_тэйбл_temp select <без дублей>
-
Потом пересоздать и обратно
-
Если вы точно знаете, по какому полю дубли, группирните по нему
-
можно сделать такую же таблицу, только с ReplacingMergeTree, и просто перелить как есть, потом optimize table partition final, и дубли схлопнутся
-
у меня принудительно запросом optimize table всегда удачно хлопаются
-
Вопрос про мониторинг Clickhouse
если clickhouse по умолчанию умеет слать свои метрики в graphite ??
тогда где можно найти grafana dashboards для этих graphite метрик? никто случайно не делал? -
мне кажется не совсем корректная подставновка в Tabix - http://joxi.ru/vAWKbKhkwyaxAW
должно быть UInt64, иначе ошибка синтаксиса1523208592516 (35 kb) uploaded April 8, 2018 Joximade using Joxi.net
-
Плагин меняет запрос когда используются макросы или когда пользователь использует format. Чтобы применить изменения запрос преобразовывается в ast и собирается назад. Да, это не всегда работает так как надо. Но пользователь вполне может не использовать макросы и формат и передавать запрос as is -
А макросы нельзя просто в строку подставить, реплейсом?
-
Проверьте, пожалуйста, исходящий запрос во вкладке Network или нажав в Графане кнопку Generated SQL под запросом на предмет подстановки default.
-
А макросы - это в том числе $from, $to и т.д.? Без них - неубодно строить графики :)
-
эти макросы заменяются реплейсом
-
макросы $rate, $columns - парсером
-
Тогда это не для всех запросов выполняется. Вот здесь в запросе этих макросов не было, а запрос пересобирался
https://github.com/Vertamedia/clickhouse-grafana/issues/42Latest version broke some of queries #42May be it was broken in 1.4.1 or in 1.4.0. Plugin got query and send it to Clickhouse without some symbols. See resulting query. There is no comma here "AS t toRelativeMinuteNum" Sett...
-
Разве что $table там ещё есть.
-
Да, Вы правы. Я забыл, что поменял поведение при добавлении adhoc фильтров, т.к. для их работы модифицируется именно ast, который потом снова собирается в запрос но с изменениями после преобразования. Я отключу такое поведение, если не используются adhoc фильтры. Спасибо, что обратили внимание
-
Здорово, спасибо!
- 09 April 2018 (110 messages)
-
Господа, в логах есть следующее:
2018.04.09 12:26:05.022486 [ 213 ] <Error> ServerErrorHandler: Code: 291, e.displayText() = DB::Exception: Access denied to database default, e.what() = DB::Exception, Stack trace: -
Как бы узнать, на каком хосте ошиблись с настройками клиента?
-
коннект - по tcp, про него известно только: TCPHandler: Client has not sent any data.
-
Обновите, пожалуйста, 1.4.3 ещё и в grafana "store".
-
https://github.com/Altinity/clickhouse-rpm вот же есть чудесный билд-скрипт, который все из пакетов ставит, не надо вообще ничего из сорцов собиратьAltinity/clickhouse-rpm
ClickHouse DBMS build script for RHEL based distributions - Altinity/clickhouse-rpm
-
читаю по привычке доку на английком, нашел такой перл:
position(haystack, needle)
Search for the 'needle' substring in the 'haystack' string. Returns the position (in bytes) of the found substring, starting from 1, or returns 0 if the substring was not found. It has also chimpanzees. -
шимпанзе то за что
-
только я не понял есть такая функция positionCaseInsensitive() или это шутка?
-
есть, проверил)
-
правило нужных функций в кх – если какая-то функция нужна, то она там есть
-
у меня есть заготовка template для KX на основе идей добрых людей, которые сделали шаблон для ZK — но вот до графиков у меня руки не дошли — если есть желание — можешь приделать их -
Да, давайте. Я пока прикрутил tcp_conn, http_conn, MemoryTracking, Query из system.metrics
-
было бы здорово
-
разве это не то поведение которе вам было нужно?:
SELECT substring('some text string for example', 3)
┌─substring(\'some text string for example\', 3)─┐
│ me text string for example │
└─────────────────────────── -
https://github.com/yandex/ClickHouse/blob/master/CONTRIBUTING.md - ссылка на Developer guide ведёт на 404yandex/ClickHouse
ClickHouse is a free analytic DBMS for big data. Contribute to yandex/ClickHouse development by creating an account on GitHub.
-
предположу, что удаление происходит не сразу, а вы таблицу Buffer с тем же именем создаете
-
я думаю что это хороший повод для issue на github?
-
но ведь nested, внутри которого array, это и есть array(array())
-
Кто нибудь запускал Dynamic Bayesian Network напрямую в кликхаусе? -
Здравствуйте! Возможно как-то узнать sharding key уже созданной distributed таблицы? -
наверное show create table поможет
-
Хм. Спасибо. А в системных табличках без чтения DDL?
-
Joined. -
Подскажите, есть ли туториал как настроить ZooKeeper для работы с ReplicatedMergeTree таблицами ?
-
Или для относительно небольших обьемов(50 инсертов в секунду) лучше использовать репликацию посредством Distributed таблиц ?
-
всегда лучше использовать зукипер
-
50 инсертов уже не мало, лучше бы по реже и большими пачками
-
к сожалению так не получиться, вот смотрю в сторону Buffer таблиц, но их тоже критикуют
-
кафку поставить?
-
да вот не перебор ли, мб и так база справиться
-
вешатся будет
-
наглухо
-
периодически
-
А как критикуют буферные таблицы? -
Если таблица назначения является реплицируемой, то при записи в таблицу Buffer будут потеряны некоторые ожидаемые свойства реплицируемых таблиц. Из-за произвольного изменения порядка строк и размеров блоков данных, перестаёт работать дедупликация данных, в результате чего исчезает возможность надёжной exactly once записи в реплицируемые таблицы.
В связи с этими недостатками, таблицы типа Buffer можно рекомендовать к применению лишь в очень редких случаях. -
это из офф документации
-
не ужели все так плохо? Вешаться на вставку ? Или и чтении в том числе ? Я пока столькнлся только с тем что место на диске выжирается, но это при нескольких тысячах инсертов в секунду
-
а подскажите такую штуку, у меня есть небольшой набор пар "ключ-значение", типа
MyId | Description
1111 | Petya
2222 | Vasya
и выборка из другой большой таблицы, которую я группирую по MyId, в виде
1111 | 49
2222 | 1023
я бы хотел вместо кодов видеть поля из Description из первой таблицы
то есть это должно быть
Petya | 49
Vasya | 1023
есть какой-то элегантный способ эту задачу решить? -
ну вроде как через dictionary можно, либо join
-
Ну, дедупликация не будет работать и с 99.9 % самодельных батчеров, так что это меньшее зло
-
-
спасибо
-
есть ли способ отсортировать массив функцией ?
-
arraySort?
-
:) select groupArray(a) from (select arrayJoin([1,5,2,9,3,8,18,4]) a order by a)
┌─groupArray(a)──────┐
│ [1,2,3,4,5,8,9,18] │
└────────────────────┘ -
ага? чего его нет в доках
-
:) select arraySort([1, 5, 2, 9, 3, 8, 18, 4])
┌─arraySort([1, 2, 3, 4, 5, 8, 9, 18])─┐
│ [1,2,3,4,5,8,9,18] │
└──────────────────────────────────────┘
класс )) а в доке нема -
еще такая есть
:) select arrayReverseSort([1, 5, 2, 9, 3, 8, 18, 4])
┌─arrayReverseSort([1, 5, 2, 9, 3, 8, 18, 4])─┐
│ [18,9,8,5,4,3,2,1] │
└─────────────────────────────────────────────┘ -
а там нету сразу nDCG@K ?
-
Спасибо, а реплики с replicatedMergeTree или distributed ?
-
Тогда надо в сторону буфер смотреть
-
Тут все используют репликейтед нет смысла его не использовать если нужна гарантия одинаковых данных на репликах
-
Блин, не могу найти документы как этот зоокипер настроить
-
Так distributed тоже режим реплики поддерживает , но смущает что почему то данные могут немного разъехаться
-
В ничтожных - это сколько ?, в доке пишут что несколько тыщ в секунду держит
-
Оно по дефолту умеет , вы разберитесь что такие зукипер сперва
-
Ну тут очевидно если что то пошло не так оно не умеет разруливать это
-
ну там репликацией, в понимании этого слова, и не пахнет, просто данные дублируются и все. а тут тебе реплика и попорченные данные сама скачает, и не позволит дубли записать, и восстановится после сбоя, одни плюсы
-
Ну там надо понимать что можно записать что тысяч сорок в секунду одним батчем но нельзя записать сто тысяч строк по одной
-
Это я понял , в принципе устраивает
-
Зукипер это как etcd примерно только по сути распределённая файловая система на джава
-
Завтра попробую разобраться, сегодня с наскоку не получилось . Доку для разработчиков надо читать ? Или для админов ?
-
Ок, буду настраивать replicated tree
-
Для админов
-
sum(чего то) выдало NULL
-
чего это может быть
-
понятно - это так таббикс NaN читает
- 10 April 2018 (91 messages)
-
а правильно ли я понимаю что
Common/ProfileEvents.h
эта статистика не хранится в system таблицах и может быть доступна только через <use_graphite>true</use_graphite> ? -
SELECT * FROM system.events
не могу найти DuplicatedInsertBlocks со значнеием 0
в graphite выгружается
оно там появляется только есил репликация есть? -
а у нас sqrt есть, а sqr нету?
-
значит не нужна!
-
ну так это не только у нас
-
но i * i должно вам помочь
-
ну да, я и говорю – не нужна. там просто не i, а просто myVeryVeryLongNamedColumn поэтому и спросил )
-
а что-то типа POW нет разве? -
да, оно, спасибо
-
AsynchronousMetrics.MaxPartCountForPartition
а кто нибудь может точно объяснить что именно означает эта метрика? -
парни привет, вы наверно сталкивались с проблемой DB::Exception: Timeout exceeded: elapsed 5.000088625 seconds, когда запрос после 5 секунд валится, есть атрибут max_execution_time, который отвечает за это дело, но при прописывании в конфиге и ребуте после этого, значение в таблице settings остается тем же
-
может быть я что-то неправильно делаю
-
у вас были подобные проблемы?
-
ребут не нужен, подхватывается налету, прописывается в профиль в файле users.xml
-
спасибо, думал, что в config.xml
-
-
отлично, спасибо
-
Joined. -
Народ, подскажите, а есть ли в РФ компании, предоставляющие поддержку CH?
-
-
Они вроде в UK
-
Они вполне себе и в России, вы можете связаться @alexanderzaitsev
-
Спасибо!
-
Привет, я использую -
у нас в продакшене вот это https://github.com/apla/node-clickhouse
стабилен, проблем нетGitHub - apla/node-clickhouse: Yandex ClickHouse driver for nodejsYandex ClickHouse driver for nodejs. Contribute to apla/node-clickhouse development by creating an account on GitHub.
-
добрый день
подскажите пожалуйста какие допустимые значения для настройки
distributed_product_mode
в документации этого нет -
Joined. -
спасибо. а не подскажите заодно для каких случаев какое значение? )
-
спасибо
-
Мм, господа, подтвердите плиз, допустим есть шард, в нем к примеру 2 реплики, на которых при запуске были вывполнены правильные create table, затем на одной из реплик были выполнены какие либо alter, которые успешно отреплицировались, теперь я добавляю 3 реплику в шард, для того чтобы поднялась репликация я на новой реплике так же должен сказать create table, теперь вопрос схема таблицы должна быть такая же точно как на тех двух уже сущесвтующих репликах? -
Да, с учетом примененого ALTER'а
-
мы не можем залить на новую реплику некую промежуточную схему и затем при помощи alter довести ее до состояния остальных реплик в шарде, поскольлку это корректируюшие alter бутут в свою очередь реплицированы, что может привести к странным результатам (если таблица вообще создастся)
-
ясно, спасибо
-
Подскажите пожалуйста, почему может не проходить репликация в одном направление. Есть две таблица с репликациеями между ними, если писать в node1 , то данные в node2 появляються, Наборот - нет. Причем в system.replicas видно что queue_size увеличивается.
Тут http://collabedit.com/vpg4u по system_replicas результат селектов. -
Проверьте доступность порта 9009 на node1 с node2
-
проверил, все ок
-
а вот с node1 на node2 не пашет
-
В system.replication_queue почему оно не работает
-
С node1 резолвится node2?
-
да, там last_exception: Poco::Exception. Code: 1000, e.code() = 111, e.displayText() = Connection refused, e.what() = Connection refused
-
резолвится
-
Вот, в /var/log/clickhouse-server/clickhouse-server.err.log будет более подробно куда он стучится и вот то куда он стучится недоступно
-
Я следовал вашему сообщению. Если верить логу что вы дали то проблемы с доступом как раз к node2, и данные не появляются в ней, так как очередь копится на первой. Посмотрите в настройки node2, возможно на ней просто закрыт порт, она слушает неправильный адрес, или прописано что-то плохое в https://clickhouse.yandex/docs/en/operations/server_settings/settings/#interserver_http_port
-
спасибо, разобрался, просто node2 слушал локалхост . Как раз с node1 на node2 проходила репликация, в другую сторону нет, проверил дважды.
-
🤔
-
а кто нить у себя в проде дедупликацию отключает для репликейтед таблиц ?
-
Там дедупликация на уровне блоков, чтоб она рабатола нужно постораться.
-
по дефолту 100 блоков, я возможно упрусь, так как планирую активно юзать ReplicatedAggregatingMergeTree
-
Вам для дедупликации нужно гарантировать что вы вставляете полностью идентичные блоки (тогда КХ поймет что это дубли)
-
Пример:
У нас есть демон который читает из кафки и сбрасывает блоки по таймеру или при определенном количестве строк в блоке. Если что-то пошло не так эти строки из буфера не удаляются и встявятся потом, в каком это будет порядке не понятно, как и количество строк которое мы сбросим. Поэтому у нас дедупликация работать не может -
Но! У нас CollapsedMergeTree который по PK удалит дубликаты
-
ок, наверное действительно надо постараться что бы в проде попасть на дедупликацию
-
а если в какой-нибудь vim-mcedit вставлять то все норм ?
-
Всем добрый вечер. Есть желание ходить в кликхаус спарком, кто-какие способы оптимизации этого дела знает (помимо не ходить)? Поделитесь, пожалуйста
-
Можно ходить, ничего страшного нет
-
Это да, но что можно сделать, чтобы это быстрее было? Помимо вдумчивого использования партиций. Вдруг что-то есть.
-
Обычно я использую для неопределенной даты окончания периода -- 9999-12-31 23:59:59
Получается удобно писать
вместо date_begin <= today() and (date_end >= today() or date_end is null)
я пишу today() between date_begin and date_end
Но CH превращает 9999-12-31 23:59:59 --> 1970-01-01 19:59:59
И что делать? Как жить дальше? Что использовать в виде суперудаленного будущего? -
2038
-
Ок. Спс. Надеюсь я сдохну до 38 года и меня коллеги не достанут за такие красивые грабли.
-
Там же давно до 2106 подняли
-
1.1.54310
Диапазон значений типов Date и DateTime расширен до 2105 года. -
еще 70 лет, живем. видимо начали секунды считать как uint.
-
ОК, отлично, но вообще 70 лет хватит не всем (Desperate gas producers sign 100-year shipping deals....).
-
если Газпром заюзаеют CH, тогда придется подумать )
-
гораздо хуже, что он начинается с 1970 года
-
Здравствуйте! Есть таблица типа Memory. После удаления таблицы память не освобождается. Только после перезапуска сервера. Это баг или фича? Или есть возможность покрутить конфигурацию, что бы память срузу освобождалась. ClickHouse server version 1.1.54370 -
скорее всего фича. Кстати какая память? Вот пример из top
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
3189 clickho+ 20 0 0.105t 0.022t 40820 S 1480 12.0 48474:04 clickhouse-serv
Я бы на VIRT столбик вообще не смотрел, т.е. реально КХ занимает 0.022TБ. -
Нет, вроде физическая
До добавления таблицы
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
3928 clickho+ 20 0 1819520 1,029g 38588 S 0,0 6,6 0:04.20 /usr/bin/clickhouse-server —config=/etc/clickhouse-server/config.xml
После добавления таблицы
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
3928 clickho+ 20 0 1844096 1,170g 42748 S 0,0 7,5 0:05.80 /usr/bin/clickhouse-server —config=/etc/clickhouse-server/config.xml
После drop table
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
3928 clickho+ 20 0 1844096 1,169g 42748 S 0,3 7,5 0:05.89 /usr/bin/clickhouse-server —config=/etc/clickhouse-server/config.xml
З.Ы. Таблица мелкая - 3KK строк. -
1,169g ну по-моему это нормально, это не отдаст, чтобы не перезапрашивать.
Можно смотреть
SELECT metric, formatReadableSize(value) FROM system.asynchronous_metrics where (metric LIKE 'generic%')
сколько показывает generic.current_allocated_bytes, должно быть около 1,169 (не отличаться в разы) -
нужно ли что-то делать если селект висит и висит и не отваливается
-
kill не помогает
-
elapsed: 13608.366977925
-
вроде не мешает...
-
'waiting' - запросу отправлен сигнал завершения, ожидается его остановка; и так 3 часа уже
-
Прямо после drop'a
generic.heap_size 1.25 GiB
generic.current_allocated_bytes 1.14 GiB
Через секунд 30
generic.heap_size 1.25 GiB
generic.current_allocated_bytes 23.54 MiB
Это он оказывается для heap'а держит. Спасибо за консультацию. -
Снять трейс всех тредов через gdb и показать -
sudo apt install clickhouse-common-dbg gdb
sudo gdb -ex run -batch -ex 'set pagination off' -ex "set logging file gdb.log" -ex 'set logging on' -ex 'continue' -ex 'thread apply all backtrace' -ex 'detach' -ex 'quit' -p $(pidof clickhouse-server) -
и версию сервера конечно
-
спс, если до завтра висеть будет, сделаю
-
пока висит :)
- 11 April 2018 (149 messages)
-
Всем кому интересно как мониторить Clickhouse встроенными в CH средствами
собрал демо-стенд
https://github.com/Slach/clickhouse-metrics-grafana
планирую улучшать Dashboards и добавить Moira Alerts
и попробую все таки написать документациюSlach/clickhouse-metrics-grafanaClickhouse grafana dashboard with graphite storage - Slach/clickhouse-metrics-grafana
-
Интересно, надо будет прикрутить к себе, спасибо
-
не создает
-
в целом все данные пожаты, тем более повторяющиеся
-
Друзья, приветствую!
подскажите, есть ли аналог mysql функции bit_count? (не нашел в доке)
нужно посчитать расстояние Хэмминга по симхешу -
а как вот это прикрутить в графану?
https://github.com/Slach/clickhouse-metrics-grafana/tree/master/grafanaSlach/clickhouse-metrics-grafanaclickhouse-metrics-grafana - Clickhouse grafana dashboard with graphite storage
-
или это два разных дашборда?
-
а, у меня через прометеус все тянется, это не подойдет, похоже
-
Добрый день друзья
прочитав доку по КХ и посмотрев как делаются там бекапы
верно ли я понимаю что можно удалить /var/lib/clickhouse/shadow/ после копирования и сам КХ не сломается?
подскажите пожалуйста -
а зачем удалять? -
ну потому-что я скопировал на другой сервер
локально бекапы ненужны -
Все что в shadow можно удалить. Саму папку лучше сотавить
-
а почему лучше оставить
-
Если будете делать бекапы еще, они будут складыватсья в эту папку
-
Я не уверен, что CH сам ее создаст
-
спасибо огромное за помощь
-
Joined. -
Привет!
Подскажите, кто знает
Например, есть таблица, где три колонки(date, value, type)
И в type есть три возможных значения
Как теперь это таблицу "транспонировать", чтобы эти три возможных значения стали новыми колонками?
Как нибудь по-простому можно? -
привет, у меня типа такого
insert into agg_table (url_hash, count_in_301_redirects, count_in_3xx_redirects, count_in_canonicals)
SELECT url_hash,
sumIf(value, vtype = 1) AS count_in_301_redirects,
sumIf(value, vtype = 2) AS count_in_3xx_redirects,
sumIf(value, vtype = 3) AS count_in_canonicals
from raw_table -
судя по справке все манипуляции с данными делаются через INSERT INTO table2 SELECT * FROM table1, т.е. перебросом в созданную таблицу по заданным критериям, а потом заменой исходной. Могу ошибаться, но ничего более подходящего не видел
-
Окей, всем спасиб)
-
судя по
SELECT *
FROM system.functions
WHERE name LIKE '%bit%'функции нет, но ее должно быть несложно добавить, можете сделать задачу об этом. -
а пока можно на простом sql попробовать тот кусок из hacker's delight реализовать.
-
новыми колонками в структуре или выводе select?
-
добавить три новые колонки, выселектить зачения из type, и вставить их - куда проще-то? =)
-
Joined. -
Я может не совсем правильно объяснил что хочу
Но вот как сейчас :
date | value | type
-------------------
1 | 10 | 1
1 | 15 | 2
1 | 20 | 3
И как я хочу :
date | type_1 | type_2 | type_3
------------------------------
1 | 10 | 15 | 20 -
можно создать 3 колонки, а вставлять данные только в type, а в доп.колонках сделать типа
col1 DEFAULT (if type='monkey', 1, 0)
, они будут сами заполняться -
если у вас имя колонки содержится в значении type, то по-простому никак
-
Я так и думал(
Ну ладно, спасибо -
для тех у кого тянется через прометеус уже есть дашборды от fl1egor
-
ага, ну я думал там что-то другое
-
там будет другого со временем, если руки дойдут
-
Приветствую , работали с командой в CH , но он упал , при вызове комманды : clickhouse-client --password ... выдает ошибку : code: 210. BD:netexception: connection refused: (localhost: 9000, ::1) проверили этот порт ничем другим не занят, конфиги отредактировали (так что содержит и :: и ::1). Как запустить ?
-
проверьте не закомментированы ли строчки с ::, я на этом обжигался
-
Нет, везде стоит < , вместо , <!
-
Joined. -
Подскажите пожалуйста функцию, для вычисления интервала между датами -
через таймстамп?
-
да
-
это было предложение)
-
select toDate('2018-02-01') - toDate('2018-01-01')
не?) -
Спасибо
-
Подзапрос? -
У ClickHouse с алиасами столбцов нужно быть осторожнее и не называть их также как и колонки
-
Совпадают
-
clicks
-
where clicks = 150 ? Если хотите повесить условие на выполнение агрегатной функции то используйте HAVING
-
having clicks = 150 не пробовали?
-
Значит неправильно пробовали SELECT SiteId, (View) as views, sum(Click) as clicks FROM t.events group by SiteId having clicks=150
-
:) select game_id, sum(user_id) as sm from event_log group by game_id having sm = 6;
SELECT
game_id,
sum(user_id) AS sm
FROM event_log
GROUP BY game_id
HAVING sm = 6
┌─game_id─┬─sm─┐
│ 186 │ 6 │
└─────────┴────┘
1 rows in set. Elapsed: 0.279 sec. Processed 7.95 million rows, 63.57 MB (28.52 million rows/s., 228.17 MB/s.) -
Можно полагать, что SSD будут в этом случае показывать лучше результаты против HDD?
-
Здравствуйте
Пытаемся восстановиться после потери железного хоста по инструкции: https://clickhouse.yandex/docs/ru/table_engines/replication/#_4
На хосте жил 1 из 3х Zookeeper и 1 из 4х ClickHouse - будем считать, что это реплика одного шарда
Zookeeper был просто переустановлен
КХ после выполнения процедуры вроде ожил
Но количество записей (ReplicatedMergeTree, count(*)) в нем и в его реплике _больше_ того, что было ранее
Причем логи полны всяких разных записей, самые удивительные это
<Debug> executeQuery: (from 192.168.0.43:56604) INSERT INTO events ...
Этот INSERT с "соседа" -
Подскажите пожалуйста хотя бы куда копать
-
Да
-
Все ставили из пакетов (своих)
-
А Вы знаете, "сосед" - это хост, на котором была вставка в Distributed-таблицу.
Клиенты все отключены (вроде как).
Это может быть очередь записи? -
Все, вычислили. Это был другой клиент. Извините за беспокойство и спасибо за помощь.
-
Спасибо.
-
А есть способ создать массив определенного размера? Например у меня есть значение 42 (Int64) и мне нужно создать массив этих значений размером 10: [42, 42, 42, 42, 42, 42, 42, 42, 42, 42]
-
SELECT arrayMap(x -> 42, range(10)) AS a
┌─a───────────────────────────────┐
│ [42,42,42,42,42,42,42,42,42,42] │
└─────────────────────────────────┘ -
Спасибо :)
-
класс
-
а как лучше поставить clickhouse-client на macbook? -
проще использовать через докер docker run -it --host=net yandex/clickhouse-client
-
Выше были попытки собрать кликхаус под macOS, возможно у кого-то уже есть и нативный клиент
-
круто, спасибо!
-
я через DataGrip подключаюсь)
-
еще есть replicate(42, range(10))
-
в принципе, под macOS сейчас кликхаус собирается нормально
-
но требуется очень много времени и места
-
даже просто клиент?
-
у меня есть только довольно старая сборка под мак, я бы не рекомендовал её использовать
-
клиент и сервер это один бинарь :)
-
v1.1.54343 под мак, самая последняя стабильная не собралась
https://github.com/arduanov/homebrew-clickhouseGitHub - arduanov/homebrew-clickhouse: ClickHouse for MacOS Sierra and High Sierra.ClickHouse for MacOS Sierra and High Sierra. Contribute to arduanov/homebrew-clickhouse development by creating an account on GitHub.
-
во мощь коммьюнити.
-
Читаю спеку для Distibuted таблиц https://clickhouse.yandex/docs/ru/table_engines/distributed/ , абзац про весы шардов :
Для выбора шарда, на который отправляется строка данных, вычисляется выражение шардирования, и берётся его остаток от деления на суммарный вес шардов. Строка отправляется на шард, соответствующий полуинтервалу остатков от prev_weights до prev_weights + weight, где prev_weights - сумма весов шардов с меньшим номером, а weight - вес этого шарда. Например, если есть два шарда, и у первого выставлен вес 9, а у второго 10, то строка будет отправляться на первый шард для остатков из диапазона [0, 9), а на второй - для остатков из диапазона [10, 19).
"а на второй - для остатков из диапазона [10, 19)" - тут разве не дожен быть полуинтервал [9,19 ) ? -
сейчас есть возможность собрать именно один клиент но зависимостей у него всеравно большая часть сервера
-
а можно ли у КХ настроить flush-интервал к диску?
-
👍
-
какая-то непонятная фигня, все версии КХ свежее чем 1.1.54327 падают на mysql словарях на ядрах 4.9.51-1
Запускаю в lcx контейнере, причем не важно какой контейнер debian8 или 9, попробовал все версии mysql / maria/percona клиентов, упорно получаю Malformed packet
<Error> ExternalDictionaries: Cannot create external dictionary 'test_dict' from config path /etc/clickhouse-server/dict/test_dict.xml: Poco::Exception. Code: 1000, e.code() = 2027, e.displayText() = mysqlxx::BadQ
uery: Malformed packet (mysqlhosttest:3306), e.what() = mysqlxx::BadQuery
https://pastebin.com/rxAUuWdA
Проблема только с КХ, из mysql (клиент) теже запросы выполняются без проблем. -
а если собрать на тойже системе?
-
сейчас попробую. Но проблема что gcc-7 тоже придется собирать.
-
У Вас Debian?
-
Сорри
-
Не видел
-
Собирать будете на Debian 9?
-
да, а что?
-
Могу поделиться готовым пакетом gcc-7 под stretch. Но, как говорится, на свой страх и риск :)
-
Но можете и время сэкономить :)
-
Или могу поделиться bash, который собирает gcc-7 :)
-
да, буду благодарен, я готов рискнуть, мне только КХ собрать и проверить поможет или нет.
-
сколько времени gcc собирается? 12 ядер/32 гига?
-
Сегодня-завтра выложу пакеты куда-нибудь и напишу Вам в личку
-
У нас непубличный репозиторий к сожалению
-
А баш тоже непубличный (pastebin)
Ну и спасибо. Буду ждать. -
Не - баш пожалуйста :)
-
Минуту
-
-
Я как тут видно немного считерил - взял dsc из sid
Но собирается -
OK. спасибо, попробую.
-
Не за что
-
Да, ему нужен binutils чуть свежее
-
-
Чем сейчас есть или был в stretch
-
Вы знаете - не помню
-
Но точно не дни - часы :D
-
это тоже "стабильная" система с софтом выпущеным 10 лет назад?
-
Вы про Debian? :)
-
вот первый раз за 20 лет с линуксом работаю с дебианом, на текущем месте работы один сплошной дебиан, а шо делать?
-
снести и поставть freebsd конечно
-
я думаю примерно в 15 хостингах из 20, будут несколько удивлены идее поставить freebsd и драйвера тупо не найдут для некоторых железок.
-
Мы - люди подневольные
-
@den_crane Вы только внимательнее со сборкой - у меня помнится в сборочном скрипте не очень старой версии КХ было написано что-то а-ля "which gcc-6", хотя дока была про 7й уже. Лучше с разработчиками посоветоваться.
-
да спасибо, я КХ-то собирал уже несколько раз, но на убунта-сервер, разберусь.
по скрипту вот доставил уже (nvptx из sid)
wget http://ftp.us.debian.org/debian/pool/main/n/nvptx-tools/nvptx-tools_0.20180301-1_amd64.deb
dpkg -i nvptx-tools_0.20180301-1_amd64.deb
apt-get install dpkg-dev debhelper patchutils quilt -
можете тогда и gcc-7 из сида попробовать наверное...
-
nvptx это маленький скрипт вроде.
попробовать можно gcc-7 из сида, но что-то я сомневаюсь, там поди зависимостей пол сида.
в общем начал gcc7 собираться -
а binutils новый собрался? без него гцц 7 у меня не собирался...
- 12 April 2018 (252 messages)
-
Подскажите, пожалуйста, можно ли обновить список словарей (в моем случае - удалить ненужные) без рестарта инстанса CH? Спасибо
-
А, нашел
> Словари могут обновляться без перезапуска сервера. Но набор доступных словарей не обновляется. -
Joined. -
Joined. -
Joined. -
да у нас на виртуалках
-
мб весь урл стрингом?)
-
А почему не контейнеры? Оверхед меньше и все немного проще
-
Joined. -
ну не знаю, мне норм. все задачи решаются через функции:
https://clickhouse.yandex/docs/en/single/#extracturlparameterurl-name -
в месяц ~2млрд строк
так а если вы эти строчки разложите по полям у вас разве получится сэкономить объем? -
если очень много одинаковых данных то да
-
если однотипные то согласен
-
Подскажите, пожалуйста, как работает ODBC-драйвер сейчас? Кто пользуется. Есть ли проблемы?
-
zabbix прекрасно селектит из кх через odbc, проблем нет, centos 7
-
под винду так и не смог завести, плюнул и использую http, все хорошо
-
понятно, спасибо). мы сейчас используем компоненты визуализации DevExpress (возможно, кто-то трогал), там очень просто создавать dashboard к любым источникам, вот думаю, нужно ли кардинально менять dashboard, в случае если я захочу делать витрины на clickhouse.
-
но, видимо, надо методом проб и ошибок.
-
после включения distributed_ddl перестали создаваться таблицы с произвольным ключом партиционирования:
Syntax error: failed at position 338 (line 14, col 1):
CREATE TABLE db.table_local ON CLUSTER repl
(
date Date,
page_id UInt64,
project String,
account String,
tag_id UInt64,
revenue UInt64,
shows UInt64,
clicks UInt64,
type String
)
ENGINE = ReplicatedReplacingMergeTree('/clickhouse/tables/{shard}/table_local', '{replica}')
PARTITION BY date
ORDER BY (page_id, account, tag_id, date)
SETTINGS index_granularity = 8192
Expected one of: INTO OUTFILE, FORMAT
подсвечивает PARTITION
версия 1.1.54343 -
поменял на старый формат, создалось
-
поняла, спасибо)
-
Коллеги, подписался неделю назад на канал этот. Наблюдаю сплошные проблемы с КХ, это точно ентерпрайз уже решение ?
-
точно, просто многие хотят странного и принимают странные решения
-
ну именно "проблем с КХ" я не вижу :) так, чтобы потерял данные, или встал колом, или еще что-то
-
в основном тут проблемы у клиента, не у сервера
-
Было ару дней назад в переписке.
-
Joined. -
это все ерунда, "очень быстро" и "очень бесплатно" все перевешивает :) на проде с репликацией вообще никаких гвоздей
-
Вы можете подписаться на любой активный канал о СУБД и увидеть кучу проблем
-
ну это проблемы из разряда я не следил за зукипером и кончилось место и он умер
-
или у нас сдохли диски и на ноде был кх и зукипер и теперь не пойми что получилось
-
Больше напоминаем проблемы я сам выстретил в себе в ногу и пистолет плохой
-
Либо вы можете обойтись без кх и тогда вам кх не нужен, либо нет. Альтернатив продукту нет.
Т.е. выбирать не из чего. Либо платить деньги за редшифт и вертику, сильно больше, чем затраты на доп. программистов и круглосуточных дба. -
Есть как минимум Greenplum
-
он как минимум на постгресе и это про другое
-
Он про тоже самое, но SQL у него более размашистый как у PostgreSQL
-
у него внутри же постгрес
-
что то банальный импорт и замена data source не взлетает :)
-
PostgreSQL даже "ванильный" очень расширяемая штука, например Citus и https://github.com/postgrespro/vops. В Greenplum используется кодовая база PostgreSQL, но он там сильно переписан как, собственно, и VirticaGitHub - postgrespro/vops
Contribute to postgrespro/vops development by creating an account on GitHub.
-
ну когда изучал вопрос как то про него нигде не увидел инфы , думаете так будет быстро варить триллион записей как кх на слабом железе?
-
не будет
-
Вы с каким префиксом данных хоаните? Кликхаус надо настроить
-
Посмотрите config.xml в репозитории
-
Greenplum медленнее КХ, но за счет более продвинутой поддержки SQL, работы с типами данных и отсутствием ряда проблем молодого продукта он, вполне себе, может быть более правильным выбором чем КХ
-
Медленнее для нас не вариант, именно скорость основной критерий у нас по выбору, чтобы строить отчёты онлайн
-
Коллеги, добрый день. А кто нибудь видел/делал бенчмарки на коннектор из Кафки в кх? -
Т.е. Kafka engine
-
не уверен, что понял правильно
я взял доску queries, которая дергает таблицу system, поменял data source и еще какие то настройки сверху нужны? -
Коллеги, подскажите, пожалуйста, как можно передать в toDate массив?
Сейчас есть такое (работает):
toRelativeMonthNum(Date) in (toRelativeMonthNum(toDate('2018-03-01')))
Надо, чтобы в toDate(массив дат).
Есть предложение куда смотреть? -
unexpected query_log отсутствует в system
-
Кажется, должен помочь arrayMap
-
вам нужно поменять настройки КХ так, чтобы он начал логировать запросы. По дефолту он этого не делает
-
Спасибо, сейчас попробую
-
Я не знаю, есть ли в указанном репо инструкция как это сделать, но вы можете взять ее отсюда в разделе How to install
https://grafana.com/dashboards/2515ClickHouse Queries dashboard for Grafana | Grafana LabsHelps to visualize most frequent, slowest, failed queries. Shows queries rate per second, table with last queries
-
инструкции в моем репо нет еще
-
Greenplum же совсем для других целей, не для olap
-
??? ;) колончный greenplum не для OLAP нагрузок? а для чего?
-
=) вот вы лучше скажите мне не смотрел ли кто в сторону
https://github.com/baidu/palo ?apache/incubator-dorisApache Doris (Incubating). Contribute to apache/incubator-doris development by creating an account on GitHub.
-
не увидел сначала что он и колоночно умеет
-
судя по тестам https://clickhouse.yandex/benchmark.html#[%2210000000%22,[%22ClickHouse%22,%22Vertica%22,%22Greenplum(x2)%22,%22Greenplum%22],[%220%22,%221%22]] он и рядом с CH не стоял
-
sumMap
-
SELECT sumForEach(x)
FROM
(
SELECT arrayJoin([[0, 1, 1, 1], [1, 1, 1, 1], [1, 1, 0, 1]]) AS x
)
┌─sumForEach(x)─┐
│ [2,3,2,3] │
└───────────────┘ -
Вертика написана с нуля, там только парсер SQL взят внешний какой-то. Постгресовские корни в Гринпламе его сильно ограничивают. Примерно в три раза медленее Вертики на одинаковых данных.
-
В вертике постгресовые корни сильнее и эти корни Майкл Стоунбрейкер )
-
> В вертике постгресовые корни сильнее и эти корни Майкл Стоунбрейкер )
Он не корни, он садовник ) -
лямбды, фильтры
-
или arrayJoin, подзапрос и groupArray )
-
btw лямбды крутые, я недавно запрос строил и так радовался им 😀
-
а он делает то что вам надо?
-
arrayIntersect есть, arraySubtract что-то не вижу.
-
Что-то вылетело, а какая функция объединяет элементы при агрегации, мне нужно как то так:
select client_id, make_array(watch_id) from hits group by client_id -
groupArray?
-
Добрый день. Уверен кто-то уже измерял разницу в скорости селектов по ключу если он Date или DateTime?
Сейчас у нас ключ в формате Date и нам этого вполне хватало, но вот пришла идея вводить часовые пояса, но тогда не достаточно просто даты, нужно и время -
Оно, спасибо!
-
Ну и храните время отдельным столбцом
-
Сейчас вопрос в другом. Настолько ли нам нужны часовые пояса, если существует просадка по времени. Если просадки нет или она незначительная, то так и сделаем, разве что ключ изменим
-
Joined. -
Всем доброго дня!
Нарвался на КХ при изучении систем, которые могли бы потянуть большие объемы данных, но по описанию вижу, что для OLTP оно не годится.
Сам я не разработчик, поэтому прошу помощи - подскажите на что можно посмотреть, если нужна высоконагруженная СУБД и обвязка?
Заранее спасибо! -
мы используем postgres+clickhouse )
-
в кликхаусе только нужные для аналитики данные
-
такчто вполне подходит
-
имена словарям подключаются уже в жаве
-
в кх только циферки
-
руки не доходят внешние справочники сделать
-
а так нам очень нравится
-
и нету риска
-
мы можем в любой момент дропнуть кх
-
и залить заново
-
Аж глаз задёргался
-
Хорошо у вас
-
мы и так при переходе на новую версию дропаем)
-
потому что меняются логики формирования части атрибутов
-
ну у нас например 15T данных, куча разных скриптов и демонов данные льет, заливать заново это боль
-
без репликации никуда
-
я бы вот не рискнул делать кх основной бд
-
слишком много заморочек
-
с транзакциями и т.д.
-
нужно делать самому транзакции на уровне приложения
-
+ удаления нету
-
не подходит вообще для основной бд
-
ну у нас пока в 100 гб укладывается кх
-
словари из мускуля, живут в памяти прекрасно:
SELECT
type,
element_count
FROM system.dictionaries
┌─type───┬─element_count─┐
│ Hashed │ 2939 │
│ Hashed │ 966854 │
│ Hashed │ 1611475 │
│ Hashed │ 70 │
│ Hashed │ 29613 │
│ Hashed │ 61948 │
│ Hashed │ 3093 │
│ Hashed │ 3599277 │
│ Hashed │ 318636 │
│ Hashed │ 64 │
│ Hashed │ 19428 │
│ Hashed │ 15570993 │
│ Hashed │ 1028 │
│ Hashed │ 320681 │
│ Hashed │ 2745141 │
└────────┴───────────────┘ -
храним в оперативке, по имени не сортируем
-
если нужна сортировка по имени
-
у нас в справочниках есть поле ord
-
в котором указана нужна сортировка
-
потом что постоянно просят костыль в виде "а вот этого всегда вверху"
-
Насколько плохо пушить старые по времени данные в кх?
-
и вот это поле, если надо добавляем
-
Всегда так делаю, не вижу ничего плохого
-
я вообще update и delete жду
-
чтобы весь кх переделать
-
и синхронизацию
-
и справочники
-
возможно еще микросервис на жаве заменить на lua
-
если получится подключится
-
у нас данные не так часто меняются
-
мб greenplum ?
-
но иногда надо
-
и делит очень нужен
-
даже пусть с переписыванием всего блока
-
+ чтобы при обновлении версии таблицу не дропать
-
а обновлять незаметно для пользователя
-
пусть оно там в фоне мержится
-
иногда надо удалить целиком без остатка
-
пытались сделать replacedmergetable
-
вообще не фонтан
-
А мне нравится, куча таблиц, сразу после инсерта в скрипте делаю optimize table partition final, пока нареканий нет
-
а мне не помогает
-
вот сегодня
-
100к записей
-
делаю optimize table partition final
-
0 толку
-
всмысле 100к лишних записей
-
я хотел уже так делать
-
но это пока не критично
-
и можно дождатся update/delete
-
пока данные за 20 минут переливаются
-
из постгреса в кх
-
можно дропать
-
Странно, у меня всегда хлопается одним запросом до последней записи, например в таблице где партиции по дню, ~2 млн строк за день, перезаливаю раз в час, хлопается сразу же
-
у меня партиции по стандартному ключу
-
может если сделать по 1 дню, то лучше станет
-
мы готовы смирится с падением скорости на какойто промежут времени
-
когда выполняется update/delete
-
днем у нас мало записей приходит
-
все в основном ночью
-
У вас версия кх какая
-
вчера обновлялся
-
думал, мб баг где
-
а нет
-
не помогло
-
У меня 343, может не надо обновляться)))
-
и воспроизводится еще както странно
-
не всегда
-
может парты нельзя смержить потому что итоговый размер очень большой будет?
или дубликаты уже лежат в одном парте, нечего мержить (это пофикшено имхо) (если залить дубликаты одним инсертом, то они не схлопнуться) -
У вас точно данные с одним ключом не разьезжаются по шардам?
-
1 машина
-
места свободного чуть меньше чем сама бд занимает
-
Опа
-
Может в этом дело
-
но партиции то не больше гигобайта
-
это не важно, размер парта определяется параметром merge чего-то там.
-
Хорошая мысль про итоговый размер
-
на прошлой неделе у меня вообще дублей было столькоже, столько настоящих данных
-
просто х2
-
я изначально надеялся запихивать вообще все
-
при обновлении
-
и пусть оно там удалит старое
-
но чтото не пошло
-
Селекты с final убирают дубли, с ним медленно выходит?
-
медленно
-
почти в 5 раз
-
Ну да, у меня также
-
надо попробовать ключ по дням сделать
-
может легче станет
-
У меня когда своб.места остаётся мало, кх перестает мержить
-
ну я не думаю что ему 90 гб для мержа мало
-
если реально так, то можно еще сотку выпросить
-
правда возмущаются, когда ссд просишь
-
вы проверьте есть ли вообще что мержить
select * from system.parts where table =
и параметр max_bytes_to_merge_at_max_space_in_pool -
ну я проверяю дубли сравнивая результат между final и не final запросом
-
дубликаты илиминируются при мерже партиций (в старых версиях КХ)
-
ну у меня вставки идут по месяцам
-
такчто просто в партицию кидается еще столькоже данных
-
сколько там было
-
при обновлении версии всмысле
-
я оговариваюсь, не партиций, а партов, каждый новый инсерт это новый парт, который будет смержен, а может и не будет, это зависит.
-
от чего зависит?
-
t.me/clickhouse_ru/48373Alexey Milovidov in ClickHouse не тормозит
Напишите SET optimize_throw_if_noop = 1; и запустите OPTIMIZE. Он напишет, почему не хочет мержить.
-
а это делал тогда
-
он мне говорил, что мержить нечего
-
Ну т.е. дубликаты залиты за один инсерт или я чего-то не понимаю.
-
были записи
-
я этиже записи заливаю, но немного измененнные
-
и с версией+1
-
одной пачкой
-
и ему походу норм
-
есть еще прикол, имя партиции сделайте копи паст из
select * from system.parts where table =
я однажды опечатался в цифре (11111) и не заметил, а КХ ничего не говорит , у него все successfully
optimize table mytable partition 11111 final
---
0 rows affected
optimize executed successfully -
Действительно, нужно какой-то результат выводить
-
я прямо через селект формировал строчку optimize table mytable partition 11111 final
-
такчто ошибок быть не могло
-
Используйте toTypeName()
- 13 April 2018 (196 messages)
-
Joined. -
Привет!
А как работает [TO[db.]name] при создании MATERIALIZED VIEW?
Попытался выполнить
CREATE MATERIALIZED VIEW Turnovers2 TO Turnovers ENGINE = SummingMergeTree(RecordDate, ( RecordDate, NetID ), 8192) POPULATE;
на что получил синтаксическую ошибку на слове Engine (у таблицы Turnovers он MergeTree, если что).
В документации почти ничего. -
TO указывает на уже созданную таблицу и при дропе самого VIEW эта таблица не будет удаляться как при обычном MV и .inner. таблицах
-
т.е. просто пишем CREATE MATERIALIZED VIEW v_view TO table AS
-
Ага. Тогда такой вопрос (юзкейс) :)
У нас есть одна большая таблица (миллиарды записей на 400 колонок). И к ней - MATERIALIZED VIEW c ENGINE = ReplicatedSummingMergeTree. Совершенно штатный случай - добавление к основной таблице новых колонок.
Непонятно, как поддерживать MATERIALIZED VIEW? В доках написано что ALTER не поддерживается. Дропать и потом подсоединять с POPULATE - это жесть, на проде будут потеряны записи для агрегирования во вьюхе (или остановится обработка очереди).
Быть может, использовать как раз TO, дропать вьюху, добавлять колонки в .inner, и снова создавать вьюху с TO? -
МЫ делаем так: создаем view с to на готовую таблицу, если нужно что-то поменять останавливаем запись, делаем ALTER в таблицу, дропаем и создаем MV с учетом записи в новую колонку
-
Спасибо! Будем пробовать.
-
TO и делали для того чтоб можно было достаточно легко MV обслуживать
-
Есть ли какие планы по переносу этого канала в другой месенджер? -
Текстовая трансляция
https://www.gazeta.ru/tech/2018/04/13_a_11715859.shtmlПятница, 13-е: черный день для TelegramМессенджер Telegram будет заблокирован на всей территории России — такое решение принял Таганский суд Москвы. Как заявила судья Смолина, это решение подлежит немедленному исполнению. «Газета.Ru» вела онлайн-трансляцию заседания, на котором решалась судьба Telegram.
-
и чо они за день решение вынесут?
-
Есть идея как то перекинуть все сообщения этой группы в архив. Очень выручает поиск по схожим вопросам и проблемам.
-
Могут и вынести и заблокировать
-
решение могут и за день вынести, а вот реализация может затянуться, если только они заранее не подготовились ) -
что, простите? а как же время на ожалование и все такое?
-
да подключить прокси
-
да и все
-
я тоже не вижу в этом проблемы
-
если заблочат вечером заморочусь, арендую vps гденить в европе
-
как будто мы не в IT работаем
-
мне кажется дуров должен сразу выпустить клиент со встроенным прокси и впн
-
функционал прокси добавили еще когда первые отголоски этого безобразия появились
-
В ОАЭ ни скайп, ни вотсапп, ни телеграмм, ни вайебер ... итд не работает голосовой вызов. ВПН трафик режут и штраф за использование 10.000$.
Понятно что решение найдем, но будет не удобно. -
У Яндекса ведь был какой-то свой месенджер?
-
прикольно... опенвпн тоже вычисляют и режут? -
по 443му порту пустить, например
-
Link
Яндекс 360 для бизнеса — набор сервисов для работы, объединенных общим интерфейсом. С его помощью можно решать самые разные задачи: вести переписку, хранить документы и проводить видеовстречи. Яндекс 360 объединяет Почту, Диск, Календарь, Телемост, Мессенджер и Заметки.
-
На 100%
-
0_о а как? он отличается от https-трафика?
-
китайцы режут легко
-
Все режут, если мобильный или доманий интернет
-
он похож на хттпс трафик только портом, а всем остальным отличается
-
Есть хитрость - vpn завернуть в https - только тогда работает
-
да, про это тоже подумал
-
ябыл недавно в китае и каждый раз их фаервол все умнее и умнее
-
а как это технически? через прокси?
-
иногда просто не коннектит и все
-
что за долбанутый мир стал...
-
Нет. Stunnel. Кстати его не плохо использовать для работы с CH
-
Ты не заметил что война идет?
-
ну это уже следствие того, что мир стал долбанутый
-
Может дуров для россии просто секретные чаты отключит? Но архив группы надо обязательно сделать. Здесь очень много полезной инфы
-
Китайцы вроде весь трафик просто на себя переправляют и подсовывают сертификат фаервола, а там внутри уже смотрят на трафик. Вся страна под Mitm партии :)
-
архив вроде есть где то , я просто часто когда по кх ищу встречаю в инете на каком то сайте ответы с архива чата, но не запомнил где именно
-
Просто нужно сюда бота добавить который будет писать в базу архив сообщений с веб гуем. Кажется чат русской федоры так работает
-
В матрицу)
-
в европу
-
Правительство рекомендует ICQ. -
Я тоже про матрицу https://matrix.orgLink
Matrix is an open standard for interoperable, decentralised, real-time communication
-
лично я с удовольствием в ирку бы )
-
форум в торе?)
-
зачем переезжать? тут каждый в состоянии настроить прокси
-
за уровнем жизни 😀
-
спасибо, пригодится
-
О, а подскажите ссылку на чат русской федоры.
-
drop partition отрабатывает на связанный с таблицей MATERIALIZED VIEW? Или надо там тоже руками дропать?
-
В новых версиях только MV созданные без TO могут пробрасывать дроп партиций, а так нужно руками делать
-
В телеграме? https://t.me/russianfedoraRussian Fedora Community
Чат русскоязычных поклонников Fedora. Новостной канал: @rfrnews Сайт: https://ru.fedoracommunity.org FAQ: https://russianfedora.github.io/FAQ Если вы не можете отправить ссылки и скриншоты - это антиспам бот, сообщите админу. Russian language only.
-
Спасибо
-
Пробовал. Блокируют в ОАЭ
-
Может плохо разобрался.
-
select * from db.table where id % (случайное число) = 0 limit 100000
-
коллеги, добрый день!
подскажите, кто знает/сталкивался:
1. есть таблица MergeTree
2. есть MATERIALIZED VIEW от неё SummingMergeTree
при этом периодически наблюдается, что значения в суммируемых полях MV отличаются от сумм по полям таблицы с учётом группировок
отчего подобное может происходить?
версия 1.1.54304 -
select * from db.table where id % (случайное число) = 0 limit 100000
случайное число = select number from (select number from system.numbers limit 1000) order by rand() limit 1 -
эммм... а rand() чего отдаёт? вроде как UInt32
https://clickhouse.yandex/docs/ru/functions/random_functions -
select number from (select number from system.numbers limit 100) where (rand() / 4294967295) < 0.1;
-
ORDER BY cityHash64(rand()) LIMIT 100
-
Joined. -
sample 0.001 ?
-
да, без него не работает
-
заменить rand() на rand() / 4294967295 не пробовали?
-
:О)
-
👍🏿
-
день добрый, после обновления с 54337 до 54342 и выше сломались логи ( больше не пишутся в stdout и лог файлы), проблема наблюдается только при запуске в kubernetes (docker version - 17.03), все версии младше 54342 работают нормально. запускается через bash /entrypoint.sh - образ из докерхаба с кастомным entrypoint. Есть идеи куда посмотреть? -
UP!
никто не сталкивался? -
в какую сторону отличается? Если в меньшую, много ли данных льете? Может просто не успевает?
-
да, в MV данных меньше
льём прилично
если не успевает — то как с этим бороться? -
для теста, попробуйте остановить наливку и подождать завершения всех мержей. Ну просто чтоб точно понимать оно это или нет. Поскольку я просто предположил.
-
хотя... 1М в час записей
-
разницу наблюдаю ещё за март, так что все мержи давно бы должны пройти уже
-
будем копаться
-
тогда нужно провалидировать ключи. Не помню в деталях, но там суть в том что если не верно ключи указаны, суммирование работает немного не так как ожидается.
Сейчас попробую найти письмо, я когда то писал с подобной проблемой. -
PREWHERE нужен когда есть условия по колонке на которую нет индекса
-
и когда остальные условия не откидывают большую часть данных
-
<listen_host>::</listen_host> ?
-
В этом случае эффект быстрее будет если все в WHERE пихнуть, КХ сам пытается соптимизировать и закинуть колонки в PREWHERE. Вообще нужно пробовать на ваших данных и запросе, самый большой эффект когда нет в запросе индексных колонок и все пихаем в PREWHERE
-
да
-
в чем проблема?
-
в PREWHERE имеет смысл заносить условие по неиндексной колонке, если размер колонки не большой (инт, дата и т.п.), при этом это условие даст хорошую фильтрацию данных
в этом случае КХ "быстро" пробежится по этой колонке, оставив для дальнейшего рассмотрения лишь отфильтрованное, а дальше уже будет разбираться с индексами из WHERE -
Можно ли джоинить по двум параметрам?
-
да
-
как?
-
USING (a, b)
-
select a,b,c,d from (select 1 a, 2 b, 3 c) all left join (select 1 a, 2 b, 4 d) using (a,b)
-
Спасибо
-
и "по выражению"
select a,b,c,x,d from (select 1 a, 2 b, -5<0 x, 3 c) all left join (select 1 a, 2 b, -55<0 x,4 d) using (a,b,x) -
добрый день, сейчас изучаю кликхаус для нового проекта, подскажите - для mergetree нету опции автоинкрементируемого поля?
-
Нет
-
Коллеги, добрый день! Пытаюсь создать таблицу в CH получаю такую ошибку: Existing table metadata in ZooKeeper differs in primary key. Stored in ZooKeeper: event_date, cityHash64(event_id), local: time, cityHash64(event_id) раньше такой ключ был, но таблицу я удалил после этого, почему не удалились записи из zk?
-
их теперь надо вручную удалить?
-
а я кажется понял... удалил таблицу не со всех реплик
-
забыл ON CLUSTER
-
@kshvakov я тут проблему внезапную обнаружил с голанг драйвером.
Ошибка в конвертации time.Time в toDate/toDateTime. helpers.go:127
В коде это так: у меня дата — начало месяца 2015-03-01 00:00:00, поле типа DateTime.
Но драйвер конвертит эту дату в toDate(кол-во дней) и выборка в итоге некорректная из-за этого. Написал пока воркароунд — +1 наносекунда.
Issue на гитхабе вроде по этому поводу нет, я напишу, или может сам придумаю как пофиксить сразу с PR. -
Я знаю об этой проблеме, буду фиксить введя новые типы для даты и даты и времени с таймзоной
-
Окей! Спасибо
-
Здравствуйте. Подскажите пожалуйста, как можно посмотреть какие движки поддерживает кликхауз который уже установлен? Интересует движок MySQL , не уверен что версия которая сейчас установлена, поддерживает этот тип движка. Спасибо. -
Можно просто попробовать создать таблицу с необходимым движком
-
в целом да, буду тогда пробовать
-
и еще вопрос по поводу MySQL движка, какие права нужны пользователю для правильной работы? или хватит SELECT привилегии?
-
Joined. -
поканьте таблицу и запрос, интересно же :)
-
🙈
-
а что такое CloM8CwMR2
-
и tkRpHxGqM1
-
вот это запрос
-
Друзья, кто-нибудь реализовывал на КХ аналог aggregation() over (partition by ...) оракла? Функция runningAccumulate() не спасает :(
-
Ктулху это хорошо - много свежей кальмарятины!
а проблему воспроизвести всеравно надо -
Я бы попробовал поочерёдно изнути наружу избавляться от джоинов и в теории можно будет понять на каком этапе тормозит.
А вообще накой вам такая сложная структура? Сделайте одну огромную таблицу и будет счастье -
Ребят, а что означает ошибка?
2018.04.13 19:30:11.427727 [ 22 ] <Error> HTTPHandler: Cannot send exception to client: Code: 24, e.displayText() = DB::Exception: Cannot write to ostream, e.what() = DB::Exception, Stack trace:
убрал трейс для читаемости -
У меня такое когда клиент отвалился, по таймауту, например
-
Ребят, а можно выдать права доступа только на 1 базу?
-
Да, можно. Для пользователя указывается список баз в allow_databases, например:
<users>
<username>
<password></password>
<allow_databases>
<database>test</database>
</allow_databases>
</username>
</users> -
Спасибо! А может быть тогда есть возможность пойти дальше и сделать для части баз RO доступ, а для части RW?
Может быть есть дока по этому поводу? -
Нет, так сделать нельзя. На данный момент в ClickHouse очень упращенный механизм разграничения прав
-
Телеграмм бот «Telegram Proxy (SOCKS5) Bot» в списке сайта Telegram-store.com
https://ru.telegram-store.com/catalog/bots/proxy_socks5_bot/ -
Joined. - 14 April 2018 (18 messages)
-
Народ, кто нить решал подобную проблему? https://github.com/yandex/ClickHouse/issues/2070SegFault with Distributed Kafka Tables · Issue #2070 · yandex/ClickHouseI am using Clickhouse 1.1.54362. Steps I followed: Verified everything works with a non-replicated table. Create local tables on all hosts in cluster Create distributed table on all hosts in cluste...
-
господа, нужно мне было сделать cumsum внутри групп, поискал я тут в группе и нашел только такое t.me/clickhouse_ru/2430
по аналогии сделал для своих данных https://gist.github.com/mephistopheies/971769aec94162da9314d86e3cc9bf45
имхо это какой то изврат дичайший, сообщение то на которое я ориентировался слегка старое, может с тех пор появился какой то более кошерный способ считать камсум?
upd: ессесно такой изврат вышел за пределы памяти -)Mariya Mansurova in ClickHouse не тормозитВ принципе, в CH тоже можно посчитать cumulative sum - не очень красиво, но вроде работает CREATE TABLE test ENGINE = Log AS SELECT arrayJoin([1, 2, 3]) as value SELECT value1 as value, sum(value2) as cumsum FROM (SELECT value as value1, 1 as fake FROM test ) ALL INNER JOIN (SELECT value as value2, 1 as fake FROM test ) USING fake WHERE value1 >= value2 GROUP BY value1
-
а можно воспроизведение этой проблемы поместить в скрипт чтоб запустить и упало? тогда было бы легче решить
-
Могу пошагово описать, с командами. Так норм?
-
да
-
Joined. -
Joined. -
парни, привет. поделитесь как можно максимально быстро заджоинить справочник к distibuted таблице, либо нужно эту таблицу-справочник подключать как-то по другому. Ситуация следующая, есть 2 ноды, distributed таблица c ключом rand(), на первой ноде есть справочник, с которым пытаюсь заджоиниться, естественно получается медленно, тк, данным из второй ноды нужно джоиниться с этим справочником по сети
-
а может его на обоих нодах держать?
-
Joined. -
у меня была такая идея,еще не пробовал, возможно есть более быстрые способы в виде подключения внешних словарей или чего-нибудь похожего
-
Положил ссылку на скрипт в изис https://github.com/yandex/ClickHouse/issues/2070. КХ падает даже без сообщений в топике Кафки. Как только вьюха подключается … сервер КХ умирает.SegFault with Distributed Kafka Tables · Issue #2070 · yandex/ClickHouse
I am using Clickhouse 1.1.54362. Steps I followed: Verified everything works with a non-replicated table. Create local tables on all hosts in cluster Create distributed table on all hosts in cluste...
-
Спасибо
-
Спасибо, попробую
- 15 April 2018 (7 messages)
-
Joined. -
Joined. -
Joined. -
а с сетью все норм?
-
Интересно чем это начинание закончится? 🙂 https://github.com/yandex/ClickHouse/issues/2218A good notice - Enterprise ClickHouse Database IDE #2218
Hello Yandex friends, after several tests on ClickHouse, I felt the power of this tool. I would like to thank the wonderful work done by the Yandex team. We are already using the company where I wo...
- 16 April 2018 (100 messages)
-
а чувак TABIX то смотрел? ;) чем оно ему не угодило?
-
смотрел, судя по тексту
> For the tools of interaction with ClickHouse are very bad and full of bug (like Tabix). -
Посмотрите логи кх, посмотрите логи syslog посмотрите dmesg
-
Ощущение что не хватает файлов или сокетов или соединений в фаерволе
-
Приветствую. Подскажите пожалуйста, обновояю сейчас версию clickhouse и смотрю что раньше использовался метод сжатия данных lz4 а сейчас zstd , вопрос в следующим что бы перейти на новый вид сжатия достаточно указать просто новый метод или же нужно как то переливать данные? Спасибо.
-
Данные переливать не нужно, новый метод сжатия будет работать для новых кусков
-
т.е. достаточно просто в конфиг файле изменить метод сжатия и все?
-
Да, этого должно хватить, но нужно понимать зачем оно вам
-
спасибо, для экономии места 🙂
-
а с zstd просядет скорость выборки?
-
Для сжатых данных конечно просядет
-
Но, у КХ еще есть кэш расжатых блоков, если он у вас неплохо справляется то сильно оно вас не зацепит
-
просто нашел сравнение lz4 и zstd сжатия и вижу что zstd в плане выборки медленее, я так понимаю за счет того что данные больше сжаты
-
оставлю я наверное lz4 тогда 🙂
но спасибо за информацию -
Подскажите пожалуйста такой момент, можно ли как то делать подзапрос с другой таблицы?
в mysql можно сделать что то типа такого:
select
t1.id,
(select count table2 where event_date = t1.event_date and field2 = t1.field2) as cnt
from
table1 as t1
where
t1.event_date = curdate() and
field2 = 5 -
смотрел что можно через any left join но там идет сравнение по 1 полю, а нужно по двум
-
JOIN можно делать через несолько полей:
>USING id, user_id -
о, спасибо, сейчас попробую
-
а если название полей разное то уже никак?
-
в t1 - event_date в t2 - date поля
-
1. коррелированные подзапросы не поддерживаются.
2. конкретно этот запрос можно переписать в виде
select t1.id, cnt
from table1 join
(select field2,event_date,count() as cnt from table2 join ( select field2,event_date from table1 where event_date=curdate()) using field2,event_date group by field2,event_date)
using field2
может получиться что-то рабочее. -
select x as y в подзапросе - будут одинаковые
-
А это не тот же чувак который metabase драйвер последним обещался разработать?
-
uniqArray(arrayFilter((n, v) -> 1, p.Name, p.Value), arrayFilter((v, n) -> 1, p.Value, p.Name)) group by url
-
где вместо 1 фильтр по имени или значению.
-
ну вы посмотрите, вдруг подойдет.
-
хотя.. а вы в данном случае что считаете кортежом? пару name-value?
-
и count() означает что, количество раз которое была такая комбинация url,name,value?
-
Joined. -
Коллеги, привет!
Подскажите, пожалуйста, есть ли где -то сравнение кликхауса с BigQuery? -
-
спасибо! :)
-
дело в том, что вы пытаетесь вставить строку в числовую колонку
-
а clickhouse по сравнению с обычным sql несколько более строго типизирован.
-
когда вы явным образом что-то преобразуете, то есть немного больше уверенности в том, что получится то что вы ожидаете, а не "что-то". также например интересно, вот у вас a!=null ? a : null выдал null. на пустой строке, видимо. он ведь у вас вообще на любой строке это выдает? потому что с null не так надо сравнивать.
-
действительно. скорее всего это объясняется еще одной особенностью поведения clickhouse, он вычисляет обе ветки if
-
Спасибо!
-
есть вот такой набор сравнений http://tech.marksblogg.com/benchmarks.htmlSummary of the 1.1 Billion Taxi Rides Benchmarks
Benchmarks & Tips for Big Data, Hadoop, AWS, Google Cloud, PostgreSQL, Spark, Python & More...
-
sad
-
насколько показательно сравнение из этой статьи?
-
ну он там подробно методологию и шаги описывает по каждому тесту чтоб было понятно
-
просто в одном месте кластер, в другом видеокарта, а потом обычный проц
-
как сравнить bigQuery и запрос на Intel Core i5 4670K конечно, не очень понятно
-
спасибо за видео 🙂
-
Руководитель группы Алексей Миловидной
ошибка? -
Какой сейчас статус по update/delete?
-
алгоритм у sample такой. условие sample 0.x равносилен условию sample_expr < 0.x*max_value(typeof(expr))
-
а вам нужно равномерное распределение чего
-
и как вы хотите сделать это с помощью семплирования?
-
select from table sample 1sec действительно не работает. а какие вам нужны значения, может просто погруппировать по секунде?
-
а как вы это делаете в любой другой базе?
-
для некоторых гранулярностей есть toStartOf фунции, для остальных можно поделить на нужный шаг
-
Joined. -
Где можно почитать по тем метрикам, что КХ отправляет в графит?
-
Печаль
-
Joined. -
@clickhouse_ru
-
есть ли в клике функция или метод, которые позволяют быстро определить принадлежит ли тот или иной ipv4/6 набору подсетей? -
Спасибо, будем смотреть
-
Вы случаем не в Роскомнадзоре работаете?)
-
😂😂😂😂😂
- 17 April 2018 (255 messages)
-
😆😆😆😆😆
-
слышал это вы заблокировали 600к айпишников в амазоне
-
Интересно, какого это работать на Роскомнадзор... Наверное, потом ночью кошмары снятся) -
Может быть подойдет:
>IPv4NumToStringClassC(ipv4) IN ('123.123.123.xxx', '123.123.124.xxx', '123.123.125.xxx', ...) -
минуту назад пришло письмо [members-discuss] Russian government blocked 2mln IPs at 16/04/2018 Умоляю остановитесь.
-
На Хабре уже разразились статьёй: https://habrahabr.ru/post/353630/РКН заблокировал несколько КРУПНЫХ подсетей Amazon и Google (UPD.: и продолжает блокировать новые!)
Сегодня вечером сразу на нескольких ресурсах появилась новость о блокировке РКН нескольких подсетей Amazon. Позже появилась информация, что в бан улетела и одна...
-
толку то, право голоса свое прокакали 18го, теперь 6 лет будте добры хавайте что дают -
можно приводить ip к подсети
SELECT IPv4NumToString(bitAnd(IPv4StringToNum('127.0.0.100'), IPv4StringToNum('255.255.255.0')))
IPv4StringToNum - переводим в int
bitAnd - накладываем битовую маску на ip
IPv4NumToString - обратное преобразование int -> ip -
т.е. применяя bitAnd с ip и маской всегда получается адрес подсети
-
если адрес подсети совпадает это значит, что ip входит в сеть
-
Товарищи, есть таблица table, примерно 10 Гб (Engine=Log). Пытаюсь выполнить пободный запрос:
CREATE TABLE new_table Engine=Log AS
SELECT
id,
argMin(A, id),
argMin(B, id),
argMin(C, id),
argMin(D, id),
argMin(E, id),
argMin(F, id)
FROM table
GROUP BY id
Запрос требует около 30 Гб. Есть ли способ уменьшить память для выполнения запроса? -
Да, есть. Нужно выставить max_bytes_before_external_group_by в нужное вам значение
-
Ну у вас там таблица наверно на тридцать гигов получается, уберите группировку и по идее должно полегчать, так как чтобы отсортировать ему нужна полность таблица
-
Спасибо, понимал, что должен быть параметр, но не увидел его
-
отказаться от нгинкса
-
Таймауты покрутить
-
504 это timeout
а тут похоже кто-то обрывает соединение с nginx до получения ответа -
или просто proxy_pass на nginx не на тот IP настроен
-
Точно )
-
О, группа за 1.5к перешагнула :)
-
Обычно такое когда nginx не может подсоединиться к апстриму. Кх в докере? Порт наружу проброшен?
-
Тогда в логах nginx должна быть информация что не так с апстримом.
-
Marek Vavruša в английском чатике может сказать почему, т.к. он словарь делал
-
Я думаю Marek'у это будет интересно, им в Cloudflare обычно важна производительность
-
@kshvakov Кирилл, добрый день. Скажите, пожалуйста, планируется ли в будущем прикручивать возможность подключения справочников из postgresql, а так же будет ли возможность хранить пользователей в какой-либо внешней базе, вместо прописывания в xml файле?
-
Из постгреса можно уже сейчас подключать справочники через ODBC https://clickhouse.yandex/docs/en/dicts/external_dicts_dict_sources/#example-of-connecting-postgresql
-
Насчет внешнего источника для пользователей я не в курсе, может быть @milovidov_an что-то знает, но, я не думаю что Яндексу это очень нужно. Понятно что LDAP, например, нужен корпоративным пользователям, а если нужен то это только вопрос времени насколько быстро и в каком виде он появится (и кто его сделает). Сейчас, насколько мне известно, только Altinity выступает как сторонняя компания занимающаяся КХ, может еще кто-то есть и, скорее всего, инициатива должна исходить оттуда.
-
спасибо за ответ
-
а не подскажете, как можно сделать distinct с or
-
типо
-
select count(distinct A or B) from table
-
uniq()
-
а что это должно выдавать в ответ?
-
число уникальных строчек
-
число строчек у которых уникально что, A or B?
-
КХ много чего пропускает, потом встать не может :(
-
ну есть 2 поля, уникальность нужно проверять через OR
-
уникальность через or. интересно. при этом A B это не boolean, да?
-
да, А и В это строки)
-
Пользуемся, бед не знаем
-
аналогично
-
ClickHouse/clickhouse-jdbc
JDBC driver for ClickHouse. Contribute to ClickHouse/clickhouse-jdbc development by creating an account on GitHub.
-
Это, видимо, у вас в Nested разные по длине колонки, сейчас КХ действительно никак это не чекает, просто пишутся как колонки где идет: название Nested структуры; точка; название колонки в структуре
-
Вставляются они нормально, но при чтении он этот блок выкинет
-
Значит регрессия, надо править
-
Теперь лучше использовать clickhouse-client и clickhouse-server
-
я не прошёл собеседование, не благонадёжен и недостаточно неадекватен
-
😁 -
а как будет вести себя таблица join, если я начну в нее лить дубли?
-
Скорее всего покорно примет данные
-
Подскажите, пожалуйста, как и куда надо прописать use_uncompressed_cache? Да и все параметры https://clickhouse.yandex/docs/en/operations/settings/settingsSettings | ClickHouse Documentation
Settings distributed_product_mode Changes the behaviour of distributed subqueries. ClickHouse applies this setting when
-
В профиль прописать https://clickhouse.yandex/docs/ru/operations/settings/settings_profiles/
-
Спасибо!
-
Скорее всего я смогу воспроизвести на минимальном примере, 5 мин
-
Добавил небольшой пример для воспроизведения
-
Joined. -
Всем привет. Может ли кто помочь с тонкой настройкой chproxy и CH? Напишите плиз в личку. А то один разобраться не могу. Само собой не даром.
-
При отправке 3 партий из 1800 запросов на добавления возникают ошибки у некотрых запросов: Unknown error field: Error: read ECONNRESET
Error: [ Id: 151B87319A4EE08F; User "default"(3) proxying as "default"(3) to "127.0.0.1:8123"(8); RemoteAddr: "135.159.86.36:43190"; LocalAddr: "135.159.86.36:9090"; Duration: 2.001769892s ]: cannot reach 127.0.0.1:8123; query: "" -
А ClickHouse на машине с chproxy есть? Он у вас на localhost запросы шлет
-
да именно так
-
Когда сократил max_concurrent_queries с 10 до 2 ошибок стало значительно меньше
-
Т.е. вы шлете 1800 INSERT за раз ?
-
шлите один инсерт с 1800 записями это решит ваши проблемы
-
try {
await ctx.getDB().querying(query);
} catch (e) {
console.error("Error /push-call-data", query, e)
} // и таких query - 1800 - 3 раза -
А что делать если это невозможно?
-
Писать в MySQL/PostgreSQL etc )
-
Joined. -
1800 INSERT - это поток или разовое?
-
Если разовое (скажем, раз-два в минуту) - можно и Buffer прикрутить.
-
Можите объяснить почему такие проблемы. и При уменьшении в chproxy max_concurrent_queries с 10 до 2 уменьшает количество ошибок?
-
1. Это поток. 2. Buffer уже прикручен. Изменение параметров буфер таблицы не влияет.
-
Он начинает в очереди держать запросы и одновременно пишет меньше.
-
Кеш что-то исправит. Но хорошо, а почему 10 одновременно для него проблема?
-
Кеш что-то исправит?
-
КХ заточен под вставку данных блоками, а не по одной строке
-
Понятно. Но эти данные сначала пишутся в Buffer таблицу, которая как я понимаю и призвана решить данный вопрос?
-
В нее тоже не рекомендуется лупить по одной записи в цикле
-
Так что тогда делать, допустим идет поток данных 1000 в секунду и их надо писать в одну таблицу
-
Причем интересная закономерность. Если 500 записей в одном потоке и поток 1 - то все отлично. Если в течении 1 сек послать послать еще один поток в 500 записей начинаются ошибки.
-
Пишем в очередь, а из нее читаем и переодически сбрасываем одним инсертом в БД
-
Так вот и не понятно зачем тогда Buffer
-
chproxy так может?
-
Да и по сути это Buffer получается — разве нет?
@clickhouse_ru / Public archive of Telegram messages.
- 01 Apr 2018 (80)
- 02 Apr 2018 (131)
- 03 Apr 2018 (182)
- 04 Apr 2018 (129)
- 05 Apr 2018 (205)
- 06 Apr 2018 (153)
- 07 Apr 2018 (38)
- 08 Apr 2018 (38)
- 09 Apr 2018 (110)
- 10 Apr 2018 (91)
- 11 Apr 2018 (149)
- 12 Apr 2018 (252)
- 13 Apr 2018 (196)
- 14 Apr 2018 (18)
- 15 Apr 2018 (7)
- 16 Apr 2018 (100)
- 17 Apr 2018 (255)
- 18 Apr 2018 (254)
- 19 Apr 2018 (135)
- 20 Apr 2018 (142)
- 21 Apr 2018 (26)
- 22 Apr 2018 (21)
- 23 Apr 2018 (111)
- 24 Apr 2018 (171)
- 25 Apr 2018 (140)
- 26 Apr 2018 (109)
- 27 Apr 2018 (103)
- 28 Apr 2018 (113)
- 29 Apr 2018 (24)
- 30 Apr 2018 (50)