- 01 June 2017 (154 messages)
-
Привет, а есть возможность соеденить два массива в select запросе? -
У кого нибудь была задача посчитать номер недели с начала года? Как решали? -
-
relativeweeknum возвращает относительно некоторого момента в прошлом. А хотелось бы номер недели с начала определенного года. т.е. я передаю год и число, а получаю номер недели
-
Хочется с начала того же года. что и дата, или какого-то определенного года в прошлом?
-
того же года что и дата. Аналог SELECT EXTRACT(WEEK FROM now()); в Postgres.
-
Кажется, должна помочь комбинация toStartOfYear и toMonday. Что-то типа такого
SELECT (toMonday(now()) - toMonday(toStartOfYear(now()))) / 7 -
Вопрос: если инициировать выборку из дистрибьютед таблицы под пользователем с ограниченными правами, то запросы в остальные шарды пойдут от имени какого пользователя? Указанного в конфигурации кластера <remote_servers> ? -
Да, от указанного в <remote_servers> -
Joined. -
Просите за нубский вопрос, но в ClickHouse возможно использование алиасов для неагреггированных полей?
select t.field as SomeField from t -
Возможно.
-
Спасибо! Это похоже то что нужно!
-
Спасибо, разобрался
-
зависит от объема "стандартных аттрибутов" -
если их пять штук и 20 килобайт блоба - кликхаусу тут делать нечего
-
он не предназначен для логов в "свободном формате"
-
Тогда возникает вопрос использования лимитов и квот. Если запрос приходит от условного юзера web с лимитами на память и время, то на другие шарды он уходит от уже другого пользователя без этих лимитов
-
Параметры попадаются на реплики
-
а что вы хотите сделать, допустим у вас есть логи (user_id, visit_date) и (user_id, purchase_date), и вам нужно по ним посчитать что? -
Всем привет, подскажите, вот в ReplicatedMergeTree работает дедупликация, если в батче <100 строк, верно? Есть возможность обойти ее? Использовать Buffer перед RMT? Или может настройка use_uncompressed_cache влияет? -
> Запрос INSERT разбивается на блоки данных размером до max_insert_block_size = 1048576 строк. -
>Блоки данных дедуплицируются.
-
зачем обходить?
-
т.е. можно быть увереным, что лимиты установленные на пользователе-инициаторе запроса к дистрибьютед таблице будут распространятся на все ноды кластера?
-
у меня возможны дубли сингл инсертами, которые нельзя терять.
-
а, ну сингл инсерты не рекомендуют, если батчи копить, то дублей не будет. Buffer да, решение. Но может что-то получше подскажут
-
День защиты детей 2017 #GoogleDoodle
https://g.co/doodle/u9cqwzДень защиты детей 2017День защиты детей 2017 #GoogleDoodle
-
Оке, а вот еще момент, который мне непонятен, если батчем, но в батче менее 100 строк? или там априори не работает дедупликация?
-
работает. В доке речь про последние 100 блоков. Про 100 строк ничего не написано.
-
Да верно.. Спасибо
-
1 июня — детский логотип на ЯндексеК Международному дню защиты детей Яндекс провел в соцсетях конкурс детского логотипа. Мы хотели, чтобы дети нарисовали, как они видят мир. В конкурсе участво...
-
Это значит, что Кликхаус не проектировался для подобного и не даст никаких преимуществ против варианта "положить все в мускул"
-
тормозить не будет, падать не будет
-
это мнение основанное на базовом понимании дизайна column ориентированных БД и небольшом опыте эксплутации CH в случае когда данные в формате, который CH обрабатывает хорошо
-
logstash+kibana+elasticsearch -
именно так, ELK просто создана для такого
-
оно создавалась для этого
-
а кликхаус не создавался))))
-
это офтоп, CH - это не "обычная субд"
-
это узко-специализированная СУБД
-
нет, опять нет.
-
это не причина, это следствие
-
нет, я его пользователь
-
который внимательно прочитал документацию и имеет пару баз в продакшене
-
я это изначально сказал, выше
-
Яндекс открывает ClickHouse
Сегодня внутренняя разработка компании Яндекс — аналитическая СУБД ClickHouse, стала доступна каждому. Исходники опубликованы на GitHub под лицензией Apache 2.0.
-
Если вам нужно просто хранить логи, у вас есть много вариантов. Вы можете загружать логи в Hadoop, анализировать их с помощью Hive, Spark или Impala. В этом случае вовсе не обязательно использовать ClickHouse. Всё становится сложнее, если вам нужно выполнять запросы в интерактивном режиме по неагрегированным данным, поступающим в систему в реальном времени. Для решения этой задачи, открытых технологий подходящего качества до сих пор не существовало.
-
этого достаточно, как ответ разработчиков?
-
Вопрос в количестве записей логов. Профит вы будете получать в случае множества записей. Например если льете логи доступа и разбиваете на нужные колонки для хранения в КХ миллион событий в день. Тогда дальнейший анализ или аналитика будет выполняться Очень Быстро.
Если логов мало, то смысл КХ теряется -
1 реквест в секунду, расчитывайте на это -
Потому, что в CH запиь не меряется в рпс
-
нужно вставлять редко, но много
-
а скорее в размере батча, который, желательно в тащах штук строк измеряется
-
батчи в несколько десятков/сотен тысяч строк в секунду - это норм
-
Зависит и от сложности вставки -
Я писал графитные данные, сразу в бинарном формате. Это string, float64, int 32, date
-
чем больше колонок и данных в них тем медленнее
-
У меня есть опыт записи логов с приложений в кх. Стр-ра примерно следующая: Date, Time, appName, Type, Message, где Message json в несколько kb. Логи собираются в батчере и пушаться по достижению лимита или таймаута. Вставка примерно 20к/с на 16core, 32gb ram. Существенной нагрузки сервер не испытывает. Но были проблемы с выводом последних сообщений из таблицы в графане, т.к. колонка Message имеет огромный размер. имхо
-
Таких строк я впихивал 2.5млн в секунду, батчами по примерно 250 тысяч.
-
Но на 16 ядерном цпу, 128гб рам
-
Кх по структуре оптимизирован под обработку хорошо структурированных данных с разумно маленькими полями
-
10 полей по 1кб ему лучше чем 1 поле на 10кб
-
20 тыс строк в секунду. Соглашусь с отсальными, что этот кейс не самым лучшим образом подходит для кх. Нужно как-можно лучше структурировать логи
-
было дело, такое еще умела RethinkDB, которая как монга, но сильно легче
-
вот там можно было без индексаци и прочего трамбовать довольно много данных, но я до продакшена ее не дотаищил, а потом они и сами свернули лавочку
-
да, собирает записи в один запрос и по достижению лимита записей или по таймауту отправляет запрос в кх
-
асболютно верно, писать json не самая лучшая идея
-
а можно уплотнить json в messagepack
-
и сжать его эдак раза в полтора, это конечно не решит проблемы с 20кб
-
Joined. -
Привет, есть ли возможность подключить SPSS Modeller к ClickHouse?
-
Joined. -
Привет, коллеги! А как из count() возвращать 0, если нет совпадений?
-
How to make ClickHouse count() function return 0 in case of zero matches?
Our task is to run a batch of ~20000 queries in ClickHouse and store results into a CSV file. Each query is a count() aggregation returning a single number. We do it like this: ./generate_queries...
-
про это есть тикет
-
👍
-
Что-то не нашёл на Github, а ссылочкой не поделитесь?
-
Коллеги, а есть поддержка Liquibase для Clickhouse ? -
что-то тоже не нашел. хотя задача уже успела стать классической.
-
Приятно, что мы не одни.
-
Вопрос: а хранимые функции будут или лучше про это забыть? -
Техдир обещает распять? -
А то и раз шесть ;) -
а что с ним?
-
Тут кто то пробовал, не работает ничего кроме зукипера
-
Кх использует функционал ЗК которого нет в zetcd
-
multiop · Issue #38 · coreos/zetcd
ZK's transactions. Haven't seen it used in the wild.
-
Но вообще Джава в проде это не так больно
-
А где можно почитать: что такое зукипер, чем он отличается от zetcd?
-
-
Zetcd реализация протоеола зукипера поверх etcd
-
Тут дело в том что по производительности zetcd будет хуже
-
Правда вопрос в том упретесь ли вы в нее
-
А есть бенчмарки?
-
Я где то находил, zetcd был в 2-3 раза медленнее
-
После этого я для себя решил что в нем как то смысла пока нет
-
Для загрузки данных из умирающей influx в КХ надо из csv файла со строками типа:
timestamp,tag, A=<значение>
...
timestamp, tag, B=<значение>
...
положить данные в таблицу КХ со структурой:
(timestamp, tag, A, B)
Засада в том, что строки с A и B для совпадающих значений timestamp,tag разбросаны случайно по csv файлу. gzip-нутых csv данных порядка 50-100 гигов.
Как лучше это сделать?
Пока надумал такое :
1) grep A < file | clickhouse-local -S ... -if CSV -q 'SELECT ... format CSV ' | clickhouse-client —query="INSERT INTO DB.tableA FORMAT CSV"
2) grep B < file | clickhouse-local -S ... -if CSV -q 'SELECT ... format CSV' | clickhouse-client —query="INSERT INTO DB.tableB FORMAT CSV"
3) INSERT INTO FinalTable FROM SELECT timestamp, tag, A, B FROM tableA INNER JOIN tableB USING timestamp, tag
4) DROP table tableA; DROP table tableB
Или есть более оптимальный КХ-way способ? -
linux group by date column and show counti have a CSV file that looks like this: aaa bbb ccc, 2015-01-01 fff ggg ddd, 2015-01-01 ggg hhh sss, 2015-01-02 ddd fff aaa, 2015-01-03 sss kkk www, 2015-01-03 i want to group by the second field...
- 02 June 2017 (159 messages)
-
Добрый день подскажите пожалуйста, я сделал бэкапирование данных в кх методом копирования data папки во процессе работающего сервера, по размеру бэкапов вижу что они отличаются по размерам такое чувство что не все файлы копируются и включаются в архив - возможно по причине того что некоторые файлы не доступны для копирования т.к. используются сервером, но не уверен. Был бы рад любой критике -
Какого типа a и b и есть ли какие-нибудь характеристики по их физической близости друг к другу на диске?
-
Я сегодня первый раз столкнулся с тем, что кликхаус прекратил запрос со словами: 9g is too much for query, stop it
-
Я скорее про то, что считать нормальным
-
Пока что у меня под это рабоает только один сервер с 32 гб памяти, очевидно надо просить хостера расширять
-
Какие разумные цифры тут ставить? 16 гигов на запрос? Или лучше попробовать пооптимизировать запрос?
-
я вроде где-то в этом канальчике видел советы делать просто select * fromat RowBinary в файл или что-то в таком духе
-
Консистентность бекапов проверяли? Далеко не факт что такой бекап нормально будет ресториться.
Как по мне, лучше выделить сервак, на него сделать реплики и уже на них FREEZE PARTITION.
Подробнее тут: https://clickhouse.yandex/docs/ru/query_language/queries.html#id5 -
что-то типо того. но на счет пишет сомневаюсь но на выходе в облаке вижу разного размера бэкапы
-
привет. этот способ хорошо, но что будет если я буду селектит в файл 1 млрд данных это будет по времени наверное намного дольше чем копирование?
-
a и b - UInt64 (счётчики пакетов и байтов). Про близость строк с a и b и одинаковым набором остальных полей (тегов и timestamp) ничего определённого сказать нельзя. Насколько я понимаю это просто тупой дамп из key-value storage в потрохах InfluxDB. Маловероятно, что там будет какая-то гарантированная упорядоченность.
Теоретически можно задачку решить чисто линуксовыми тулзами - слиянием через paste двух потоков (grep A|sort ...) и (grep B | sort ...), но я не пробовал и не знаю, как поведёт себя sort на многогигабайтном текстовом файле.
Вот пример куска исходного файла:
device_srcAS_nexthop_interfaces,device=10.146.0.1,iface_in=0,iface_out=22,nexthop=149.6.168.201,src_as=0 bytes=960000i 1488480600000000000
device_srcAS_nexthop_interfaces,device=10.146.0.1,iface_in=0,iface_out=22,nexthop=149.6.168.201,src_as=0 bytes=960000i 1488481200000000000
device_srcAS_nexthop_interfaces,device=10.146.0.1,iface_in=0,iface_out=22,nexthop=149.6.168.201,src_as=0 packets=10000i 1488479100000000000
device_srcAS_nexthop_interfaces,device=10.146.0.1,iface_in=0,iface_out=22,nexthop=149.6.168.201,src_as=0 packets=20000i 1488479400000000000
device_srcAS_nexthop_interfaces,device=10.146.0.1,iface_in=0,iface_out=22,nexthop=149.6.168.201,src_as=0 packets=10000i 1488480600000000000 -
реплики не планируем пока использовать. FREEZE PARTITION создает ведь в папку detached партишины? может оттуда их копировать?
-
Я думал где-то с месяц назад написать конвертер из InfluxDB в CH. Имя метрики - таблица. Но пока застопорилось на том что кажется надо свою библиотечку для КХ писать.
-
О том и речь. Отдельный сервер с репликами чтобы не аффектить на продуктивный кластер.
-
я думаю, что стоит попробовать написать код, который будет читать из инфлюкса два синхронизированных по времени стрима для A и B и их заливать в кликхаус
-
другой вариант могу предложить: сделать собственный сторадж в котором строки вида: UTC:Int32, A:Int64, B:Int64 и пройтись по нему, перезаписав inplace
-
это вот два варианта, которые могу посоветовать
-
Для КХ вроде достаточно связки "clickhouse-local | clickhouse-client". У меня засада в кривости Influx и его cmdline клиентов - вроде бы простой select * from somemeasurement where time > t1 and time < t2 легко выжирает всю память (50 свободных гигов не хватает). Пришлось influx_inspect export использовать, а он, как оказалось, поля (fields) в отдельные строки дампа выводит 😞 Что-то специально писать не хочется - задача миграции разовая.
-
Я с вопросом про размер query. Это вообще разумно поднимать max query memory до 20 или 30 гигабайт? Т.е. я задрать могу, а насколько это оправдано? Может я просто не так пользуюсь и это уже неправильное использование инструмента?
-
Joined. -
@maxlapshin возможно вы не совсем правильно используете кликхаус? Если был инфлюкс, где нормальной аграгации нету - а вы перешли на кликхаус, который заточен под агрегацию (т.е. не на стороне софта, а прямыми sql вытягивать данные) вот здесь уже нужно или лимитировать, или добавлять максимально доступное ОЗУ исходя из того, сколько может быть одновременных запросов т.к. при переполнении - падает весь демон, а не выдает ошибку для запроса -
Не знаю как у кликхауса, но к примеру в касандре есть потоковое чтение что в вашем случае очень может помочь, т.е. оперативная память не будет сильно забиваться: прочитал->отдал, но с касандры только сырые данные можно будет получить + очень критично к параметрам WHERE по порядку выборки, или использовать ALLOW FILTERING и терять в скорости
-
Всем добрый день!
Подскажите, можно ли корректно удалить партицию из materialized view вида MergeTree? -
Ну да, вроде так и удаляется как у обычной таблицы на MergeTree
-
Говорит, Method dropPartition is not supported by storage MaterializedView.
-
Если указать .inner, ругается на синтаксис
-
не уверен, что вас понял, но у меня именно агрегация в SQL.
-
я беру хиты за день и группирую все, которые выглядят как от одного клиента: group by ip, streamname, useragent и потом сгруппированное сортирую и выдаю
-
и сколько у вас разных (ip, streamname,useragent) ?
-
и какая средняя длина у строк
-
Joined. -
Joined. -
Коллеги, подскажите, пожалуйста. В локальной сети на выделенную машину поставил CH в дефолтовых настройках. Как подключиться с dev машины к CH через Tabix в реализации "без инсталляции", если такое вообще возможно. Перепробовал все, коннекта нет -
с дефолтными настройками подключиться из сети нельзя. -
надо править listen_host
-
я комментарии убрал
-
<http_server_default_response>... понял, сейчас попробую
-
всего их около 2 млн, разных где-то в три раза меньше. Ширина думаю под килобайт
-
Как-то странно, что отжирает настолько много памяти
-
ок, разберусь ещё
-
@maxlapshin вот пример по нашей базе.
SELECT *
FROM
(
SELECT
COUNT() AS c,
UserIP
FROM impressions
WHERE EventDate >= '2017-05-20'
GROUP BY UserIP
ORDER BY c DESC
)
LIMIT 5
5 rows in set. Elapsed: 1.612 sec. Processed 145.22 million rows, 1.93 GB (90.09 million rows/s., 1.20 GB/s.) -
ОЗУ скушало копейки
-
Если начинать добавлять в связку GROUP BY - после этого растёт потребление памяти, что в принципе логично, но не настолько критично как у вас. Возможно получается всё же слишком много записей? Стоит попробовать как-то групировать пользователей сразу, к примеру генерировать какой-то fingerprint
-
поставил <listen_host>::</listen_host> и рестартовал. но сервер через tabix все равно не доступен
-
может еще что надо сделать?
-
netstat -natp | grep LISTEN
-
хорошо, я попробую разобраться с тем, что я делаю не так
-
Или посмотреть что говорит curl -i http://host:port
-
хм, сказал Ок
-
я пытаюсь зайти, используя http://ui.tabix.io/#/login
-
Вы curl на сервере делали или на своей тачке?
-
curl на сервере с использованием внешнего IP, на локальной win машине открыл браузером
-
Браузером "Ок" увидели?
-
да
-
В tabbix указываете с портом или без?
-
Порт у вас стандартный?
-
с портом
-
8123
-
А что в консоли браузера при подключении через tabbix?
-
Хост: http://10.0.0.234:8123, login default, pass пустой.... ВЫдает "ошибка доступа"
-
Direct CH
-
В консоли, не на странице
-
В хроме под виндой открывается по F12 вроде
-
/#/login:1 XMLHttpRequest cannot load http://10.0.0.234:8123/s1/query.
-
OPTIONS http://10.0.0.234:8123/s1/query 501 (Not Implemented)
-
/#/login:1 XMLHttpRequest cannot load http://10.0.0.234:8123/s1/query. Response to preflight request doesn't pass access control check: No 'Access-Control-Allow-Origin' header is present on the requested resource. Origin 'http://ui.tabix.io' is therefore not allowed access. The response had HTTP status code 501.
-
Вот оно
-
Ребзя, а как это в CH настраивается? Cors в смысле
-
а агрегируете как, суммы или уники?
может можно группироать по хешам фиксированной ширины, а потом джойнить к ним исходные строки. -
SELECT
ip, name, type, user_id, country, referer, useragent,
dictGetString('useragents','browser_type',tuple(useragent))
AS ua_browser_type,
sum(deleted_at - created_at) AS view_time,
um(bytes_sent) AS bytes_sent,
min(toUnixTimestamp(created_at)) AS created_at_,
max(toUnixTimestamp(deleted_at)) AS deleted_at_,
min(id) AS id_,
count(distinct id) AS count
FROM sessions
WHERE
account_id=19446
AND created_at_date='2017-06-02'
AND created_at > (toDateTime(1495148194))
GROUP BY
ip, name, type, user_id, country, referer, useragent,
created_at_date
ORDER BY created_at_ asc
LIMIT 200 -
вот, даже без вложенного селекта
-
я группирую всё, что похожее и вот оно не влезает в 9 гигабайт
-
count(distinct id) =uniq(id)
-
т.е. тяжелый агрегат, тяжелые ключи. миллион кардинальность. может, так и должно быть.
-
вообще, если память у вас есть, и никому кроме себя вы не мешаете, то ставьте сколько нужно. иногда можно оценить какой у вас рост данных в этом запросе будет в ближайшие пару лет, т.е. когда этот вопрос встанет опять.
-
да, у меня очень много строк после group by остается
-
окей, следующий вопрос: если я задеру max_query_memory до, скажем, 24 гигабайт при том, что на сервере сейчас 32 гига памяти, кликхаус может упасть с OOM из-за этого?
-
супер, это именно мой вопрос!
-
Еще вопрос есть. Как с помощью https://github.com/yandex/clickhouse-odbc подключиться к базе из R (Win)? поставил релиз 64 бит, R 64 бит. Пишу
library(DBI)
con <- dbConnect(odbc::odbc(),
driver = "ClickHouse ANSI",
# database = "default",
uid = "default",
#pwd = "password",
host = "10.0.0.234",
port=8123L
)
Выдает ошибку: Error: nanodbc/nanodbc.cpp:950: HY000: Cannot parse port number.GitHub - ClickHouse/clickhouse-odbc: ODBC driver for ClickHouseODBC driver for ClickHouse. Contribute to ClickHouse/clickhouse-odbc development by creating an account on GitHub.
-
Ооо, group_by_overflow='any' !!
-
а domainHash при этом надо сохранить при записи? Т.е. мне надо хранить hash(useragent) для этого?
-
хотя нет, это для like/position
-
хранить при чтении быстрее, иначе придется читать длинную колонку и считать по ней хеши.
-
хранить при записи в смысле?
-
да, сохранять при записи. например добавить колонку с default hash(domain)
-
ну в любом случае надо сделать новую таблицу и туда все данные перелить, верно?
-
> Такой столбец не может быть указан при INSERT, то есть, он всегда вычисляется.
-
а он вычисляется один раз при вставке или всегда потом при каждом обращении?
-
помогло!
-
Итак, что у меня было.
Запрос с group by, оставляющий очень много строк, не влезал в память.
Я сделал alter table sessions add column ref_hash UInt64 materialized cityHash64(referer);
и поменял с group by referer на group by ref_hash
Теперь всё стало сильно лучше и влезает в 10 гигабайт. -
а исходные рефереры ответе не нужны?
-
неа
-
мне надо по ним сгруппировать
-
Вот тут опять про номрмализацию строк, и у меня такая же проблема.
-
и ещё я поменял вложенный селект с count distinct на uniqCombined((field1,field2,field3))
-
подскажите пожалуйста какой сейчас Go коннектор к кликхаусу считается самым тру? -
нисколько
-
у меня одна таблица
-
даа, здесь выше выложили
-
я его прослушал уже
-
Joined. -
https://github.com/kshvakov/clickhouse
Или свой писатьGitHub - ClickHouse/clickhouse-go: Golang driver for ClickHouseGolang driver for ClickHouse. Contribute to ClickHouse/clickhouse-go development by creating an account on GitHub.
-
Го
-
А что?
-
спасибо
-
практикуемся на С++ :)))
-
на го три либы, а на плюсах одна, даешь конкуренцию :)
-
я нашел две более-менее активных
-
ок, две, могу ошибаться:)
-
вот плюсовому драйверу очень не хватает батчера, красивого
-
в проекте я нечто на коленке написал, что задачку решает, но блокирует поток приема данных, некрасиво
-
а как красиво с многопоточностью написать, чтобы сброс данных в CH шел в отдельном потоке без блокировки и чтобы таких потоков могло быть несколько - не осилил откровенно
-
Как в CH устроенно хранение вложенных стурктур данных?
-
А столбец с размерами содержит смещения относительно головы массива?
-
А как хранятся строки переменной длинны? Длинна + последовательность байт или как с массивами?
-
Друзья, хочется страшного. Группировать выборку по некоторым полям, а остальные поля выводить любые, желательно первые попавшиеся. Это возможно?
-
Ооо, да, кажись оно.
-
сек, попробую)
-
Да, то что нужно! Спасибо!
-
Это не страшное даже. Тут выше обсуждение как без такого не выжить по памяти
-
Ну это просто обычно поведение MySQL ) на сколько я знаю только он так умеет.
-
Мускль делает any по умолчанию. Постгрес очень жесткий тут
-
Спасибо!
-
Имеет смысл в CH делать схему звезда с таблицей фактов и измерений или одна таблица-простыня наше всё?
-
@garikanet используешь словари только как справочник?
-
а старые удаляете?
- 03 June 2017 (3 messages)
-
ок, у меня теперь назрел следующий вопрос: а как вы тестируете проекты, которые используют кликхаус?
-
мокаете запросы к кликхаусу или гоняете всё на тестовом сервере?
- 04 June 2017 (23 messages)
-
а как посоветуете быть с геолокацией. Это то, что лучше писать в базу или это вычислимые данные? Кажется, что это надо писать в базу, потому что данные то меняются.
-
у нас событиям добавляется локация пользователя в момент события. А то они любят ее менять произвольно. -
зависит от ситуации. координаты москвы не меняются, координаты людей меняются.
-
IP -> координаты
-
я про это
-
гоняем на сервере.
-
Для геолокации были патчи на префикс лакапы по айпи
-
т.к. эта связь меняется со временем, то если нужно знать где было событие, то либо надо помнить всю историю геопривязки и джойнить при чтении, либо джойнить в момент записи. второе по-моему проще.
-
ок
-
разумно
-
хотя я так понимаю, что как раз для этого есть словари с временем?
-
да, кейс примерно этот. по-моему там сейчас гранулярность времени по датам, он только увеличивается в размерах, и при чтении он работает при каждом чтении, а при записи один раз. зато его можно апдейтить, если что-то пошло не так.
-
/stat@combot -
чо там чо там про геолокацию? -
тыкдом научился работать с геоданными?
-
смотря что считать "научился"
-
ну там считать пересечения, полигоны, линии, расстояния и прочие плюшки
-
расстояния - да, все остальное - нет.
-
так что скорее нет, чем да.
- 05 June 2017 (88 messages)
-
Коллеги, так может подскажете, можно ли доступиться из tabix.io (открываю с сайта, без инсталляции) к серверу CH в локальной сети с другой машины? Консоль хрома дает такую ошибку: XMLHttpRequest cannot load http://10.0.0.234:8123/s1/query. Response to preflight request doesn't pass access control check: No 'Access-Control-Allow-Origin' header is present on the requested resource. Origin 'http://ui.tabix.io' is therefore not allowed access. The response had HTTP status code 501.
-
просто в браузере проверку ok пройти могу
-
да и запрос тоже получается... если самому query в строке написать
-
локалка, в одном сегменте. у меня машина 10.0.0.53, CH - 10.0.0.234. никаких проксей, ничего. В принципе можно с веб-based версии tabix достучаться до локального CH или нет?
-
где лог взять? это единственная ошибка в консоли хрома. информ. сообщения про отсутствие перевода я вырезал
-
просто из браузера я могу вбить строчку и получит select по таблице
-
а где можно прочитать про необходимые настройки? на сайте пусто
-
я же не знаю, как табикс устроен. может он все js скрипты к себе затаскивает
-
локалка — винда
-
CH - ubuntu
-
буду благодарен
-
Ошибка не в кх или табикс, а в браузере
-
Для безопасности уже давно браузеры не умеют делать cross site запросы если у сервера не выставлен хедер cors
-
Можно искать в гугле по запросам clickhouse cors
-
https://github.com/yandex/ClickHouse/pull/83 - кажется вот pr который добавил поддержку этого в кх и там же указано как пользоваться.Add CORS hearder,param:add_http_cors_header and check request header by isublimity · Pull Request #83 · yandex/ClickHouse
В ответе HTTP сервера, отдавать заголовок : Access-Control-Allow-Origin: * Если: Указан параметр add_http_cors_header=1 в параметрах запроса Передан заголовок Origin Пример: curl -v "http:/...
-
Joined. -
Нужно использовать обратные кавычки: alter table DatabaseName.`.inner.TableName` -
Joined. -
Joined. -
Кто-нибудь использовал Clickhouse в Laravel5? Как поступили с миграциями?
-
Igor, спасибо не видел, планировал немного модифицировать стандартные миграции в Laravel, может кто уже это проходил.
-
в yii2 в одну строчку заработало если что - http://joxi.ru/4vAWKbKhpjDWAW1496673608010 (58 kb) uploaded June 5, 2017 Joximade using Joxi.net
-
Ребята, такой вопрос. Есть какие-то минимальные и рекомендуемые требования по железу на одну ноду КХ? И насколько хорошей/плохой практикой может быть расположение нескольких нод на одной физической машине? -
помогите разобраться, делаю три запроса:
1. `SELECT uniqExact(managed_object) AS qty
FROM alarms WHERE
ts BETWEEN toDateTime('2017-06-01T01:00:00') AND toDateTime('2017-06-01T07:00:00')
or
ts BETWEEN toDateTime('2017-05-30T15:00:00') AND toDateTime('2017-05-30T16:00:00')`
результат = 87238
2. `SELECT uniqExact(managed_object) AS qty
FROM alarms WHERE
ts BETWEEN toDateTime('2017-06-01T01:00:00') AND toDateTime('2017-06-01T07:00:00')`
результат = 35941
3. `SELECT uniqExact(managed_object) AS qty
FROM alarms WHERE
ts BETWEEN toDateTime('2017-05-30T15:00:00') AND toDateTime('2017-05-30T16:00:00')`
результат = 52729
почему 87,238 <> 35,941 + 52,729 (88,670) -
потому что один и тот же managed_object появился и в мае и июне? -
да, это возможно, спасибо
-
У нас в Яндекс.Метрике это главный вопрос на собеседовании -
Ожидаем что люди понимают что уников складывать нельзя
-
ну почему а если primary key?
-
Иногда можно. Но почти всегда нельзя.
-
И в ClickHouse нет primary key :)
-
я имел ввиду уникальный идентификатор
-
Ребяты, не подскажите, необходимо производить выгрузку в Excel (для бизнеса) всей таблицы из КХ (обычный select * from table), для такого простого функционала odbc-драйвер КХ-ный пойдет? -
Вроде до 10 млн, в любом случае нужно выгружать небольшие агрегатные таблички до 1 млн.
Для больших объемов, естественно, отдельный скриптец выгрузки -
ага, а потом уже начинается bigdata -
CSV и импортировать
-
или каким-нибудь софтом csv -> xls сделать
-
orantius@x:~$ clickhouse-client --query "select * from system.one format TabSeparatedWithNames" > dump.tsv
-
можно и без драйвера, или вам с
виндовой машины надо это делать? -
-
В старом формате, в xls. В xlsx сильно больше
-
график нарисовать, тренд посчитать.
-
у нас 500+, не падает.
-
а что говорит при этом?
-
можно из любопыства вопрос, что у вас в таком кол-ве колонок хранится?
-
м, спс. И как скоросьт вставки на такое? Страшно предствить insert запрос
-
м, успехов
- 06 June 2017 (83 messages)
-
так это просто клиент ресетнул коннект, ничего такого
-
нене, ClickHouse way это кинуть предупреждение, но после соглашения все же позволить выстрелить себе в ногу))
-
Повторюсь, это не более чем дополнительный инструмент, манагерам так удобно, вроде очевидно же
-
Только при показе 700-800к строк (а в csv выгружается столько, сколько отображено) Хром помирает)
В общем, поэкспериментирую с odbc-дровами, посмотрим, че как, всем спасибо -
У вас какая задача то ? Выхлоп в excel положить?
-
Ага
-
так это, CURL + FORMAT CSV чем не подходит?
-
Joined. -
Опишу чуть больше: дать манагерам/аналитикам инструмент выгрузки небольших табличек в excel-е, чтобы они сами могли еще что посмотреть и поработать с данными у себя на машинах.
Вариант работы прям через excel симпатишный, если он не взлетит, то, конечно, можно через курс и отдавать sh-скрипт, это понятное дело -
>Вариант работы прям через excel симпатишный
тут можно вногу себе выстрелить) Попросив excell показать всю таблицу(а она неожиданно весит терабайты....) -
привет. не могу создать создать materialzed view с использованием populate, в оригинальной таблице 40млд записей. сначала была ошибка с нехваткой памяти, подкрутил лимиты для group by, теперь ошибка с тем что не хватает файловых дескрипторов
есть какие нибудь настройки для того чтобы делать populate по кусочкам ? -
По кусочкам можно, вручную. Делаете MV без populate или с populate на текущий месяц, если там не очень много данных. А потом ручками вставляете в .inner. таблицу кусками -
спасибо, попробую
-
А как вы лимитируете кол-во записей для выгрузки? Можно ведь и превысить лимиты экселя.
Как вы смотрите на вариант создания пользователя КХ с ограниченными правами для манагеров/аналитиков? Тогда они смогут напрямую работать с КХ, ведь он отлично для этого подходит. Или предложить использовать Табикс/Графану, тогда можно будет анализировать данные с любого места и в любое время -
У нас 2 сценария использования для аналитиков/манагеров (все на винде):
1) Повертеть данные, посмотреть что-как обычными запросами любые таблицы (сырые, агрегированные, обогащенные данные). Для этой цели есть ридонли юзеры и им отдается tabix (только в версии чуть более старой, без процессов и всякого доп. мониторинга, т.к. полегче)
2) Выгрузка "агрегатных" таблиц полностью (мы просто говорим, какие таблицы так можно выгружать, а какие нет - это и есть лимитирование) для того, чтобы их повертеть excel, графички построить и т.п. Для этих целей в дальнейшем мб будем использовать какой-нибудь Clickview, но там нужен уже полноценный odbc -
Joined. -
Какие-нибудь доки/best practices по подходам к housekeeping в CH не присоветуете? Интересует CH-way для агрегирования/удаления старых/ненужных данных а ля RRD или retention policy в Influx в приложении к time series данным. Диски всё-таки не резиновые.
-
это больная тема :(
-
дропать месяцами.
-
Месяцами - понятно. А если детальные данные дольше дня-недели-двух не нужны? Заморачиваться с таблицей на каждый день и дропом или переименованием? Можно ли для этого использовать движок Merge в котором будет обновляемый список (много) MergeTree таблиц? Или тут могут быть грабли?
-
я лично затаился и жду, костылиазация ретеншена очень неприятная и сложная
-
но это скорее будет не ретеншен, а просто дроп старых данных
-
но, опять же, вручную имея возможность дропать данные по дням это будет легко реализовать вручную, обрабатывается день, перекладывается вдругую базу - дропается
-
и так каждый день
-
Ребят, а конвертация MergeTree в ReplicatedMergeTree возможна?
-
И на сколько ресурсоемкая операция?
-
ребят а как кто делает бекапы clickhouse? -
Через FREEZE
-
Переименовать старую, создать новую, скопировать данные. Может быть можно обойтись без копирования, через detach/attach партиций. Но если данных не очень много, то спокойнее через insert-select.
-
а если вставлять напрямую в inner таблицу, репликация данных пройзойдет или надо вручную на каждом хосте делать insert ?
-
Если inner таблица реплицируема, то, конечно, репликация будет
-
спасибо за информацию
-
а кто-либо юзал кликхаус вместе с ZFS?
-
(на линуксе, естественно)
-
а в чем профит такой комбинации?
-
возможность собрать очень большие партиции из большого числа дисков в пределах одной машины
-
сейчас насколько я понимаю, кликхаусу нельзя скормить 24 3Тб жестких диска, чтобы он самостоятельно разместил данные на них равномерно.
-
Joined. -
а чем аналог из md не устроит?
-
кажется использовать зфс чтобы объединить диски это оверкилл
-
всем привет. полечите по фотографии пожалуйста. КХ жрёт проц как не в себя, в show processlist висят инсёрты, приложение легло. Как понять, почему инсёрты висят? -
в логах что-то непонятное, щас на пастебин выложу
-
место на диске есть
-
-
есть какой-нибудь аналог эксплэйна мускулевского?
-
md в этом месте кажется более удачным решением. В десятку его со sparse 2 — и красота -
нуда 32 харда в рейд 10. мистер бесконечные деньги:)
-
Joined. -
всем привет, собираю стату по кликам, нужно пометить через некоторое время конверсионный, по сути нужен апдейт по номеру клика одного поля
как тут лучше быть? -
выше спрашивал почему зфс
-
а не md или что-то еще
-
основная проблема не отсуствие возможности объединенное блочное устройство сделать, для этого есть lvm, dm, md и аппаратные рейды
-
скорее вопрос в том, какую файловую систему ставить поверх этого 10-60 терабайтного блочного устройства
-
ext4 и прочие - идут мимо. был приятный опыт недельного fsck в оффлайн режиме на 20тб, больше не хочется :)
-
а ZFS On Linux с центосом 6 и 7м прекррасно хранил по 60 тб без единой проблемы почти 3 года, но это были бэкапы с довольно своеобразным паттерном записи (в основном последовательная)
-
отсюда и вопрос, был у кого опыт или нету)
-
Могу соврать, но у нас на сколько я помню часто ставят xfs на дисковые полки. Но это не для КХ.
-
вполне возможно, но все равно на таких объемах файловую систему без self-healing как зфс страшно :(
-
XFS я как-то совершенно упустил из практики, лет 7 назад были потери данных, а после этого "осадок остался" и везде был экст3 ну и потом экст4, с сопутствующим им приколами
-
вот никак не могу найти ответ в мануале: а почему count() возвращается в json как строка?
- 07 June 2017 (126 messages)
-
uint64/int64 по умолчанию сериализуется в json как строка чтобы не ломаться у людей без целых 64-битных типов. отключается настройкой output_format_json_quote_64bit_integers
-
Выложите пожалуйста -
Joined. -
Всем привет! Не появился еще odbc под windows? -
привет!
нужно округление времени до границы в 20 минут (как timeSlot, только 20 минут)
(и за этот интервал буду брать среднее значение value)
intDiv(ts, 1200) будет прекрасно работать или у timeSlot есть какая-то дополнительная магия (типа преагрегации)? -
привет. столкнулся со странной ошибкой. запрос такой:
SELECT screen_name, count(*) FROM (
SELECT screen_name, session_id, event_time
FROM analytics.apps_clickstream
LIMIT 2 BY session_id
)
GROUP BY screen_name LIMIT 50
фейлится с ошибкой DB::Exception: Not found column session_id in block. There are only columns: screen_name, e.what() = DB::Exception
подзапрос при этом выполняется и отображает все колонки. -
можешь по-другому это сделать:
-
select screen_name, uniqExact((session_id, event_time)) from analytics.apps_clickstream group by screen_name
-
так не лучше?
-
да это я для примера такой запрос сделал, чтобы показать проблему. изначальная задача вообще определить второй экран в сессии. )
-
Joined. -
Joined. -
Joined. -
а ты уже создал issue на github для этого?
-
Joined. -
Joined. -
Ребят, а есть простой способ пронумеровать строки в выводе?
-
спасибо! то что нужно
-
это же не будет нумерацией строк в выводе. в CH аналога оконной row_number() over () нет, насколько я помню
-
сорри, перепроверил с подзапросом. действительно, работает.
-
Joined. -
Joined. -
Ребят, подскажите, пожалуйста, где почитать как развернуть свой tabix proxy
-
Install - Tabix
Tabix DB Gui
-
клиент - tabix - ch
без прямого коннекта к ch не работает -
Joined. -
у нас такое используется примерно так -
location /api/v666 {
proxy_pass http://localhost:8123;
proxy_redirect off;
proxy_set_header Host $host;
proxy_set_header Authorization "Basic tralala";
} -
tabix на location можно посадить или обязательно с отдельным server_name?
-
тру!
-
спасибо
-
конференции с платным видео
-
у меня в голове не укладываются такие вещи :/
-
Бывают такие странные люди которые считают что конференции могут быть прибыльными и даже кормить организатора
-
а простите, как оно должно быть по-другому? =)
-
это офтоп здесь
-
есть множество конференций таких как NANOG, RIPE, ENOG, DNS OARC, которые ставят во главу угла все же распространение знаний, а не бабло :)
-
на самоокупаемости и волоентерах, иначе оно превратится в рекламу продуктов от спонсоров
-
Joined. -
ооо, Илья, такие люди) привет со СГАУ))
-
Поясните, pls : доках написано, что в таблицы с движком ENGINE=SET можно добавлять данные через INSERT. А если надо удалить ненужный элемент из множества? Только через DROP TABLE ?
И вопрос вдогонку: каковы практические ограничения/рекомендации на размеры SET таблиц? -
за КХ не скажу, но вот так, как вы описали, поступает мускль, а постгрес читает по индексу на date назад и как правило с первого блока набирает первую страницу
-
Так про него и была речь
-
Ребята, такой вопрос.
Что будет, если писать в Date поле случайные равномерно распределенные числа?
Не спрашивайте зачем :) -
Имею в виду то самое date поле в движке MergeTree. Какое будет поведение кликхауса в этом случае, в плане хранения данных, индексации и поиска.
-
Если я скажу, вы мне все равно не поверите:)
Я же правильно понимаю, что все будет ок для случая, когда мы заранее знаем конкретный месяц и не выбираем данные, попадающие в 2 месяца сразу? -
Да
-
данные, попадающие в два месяца сразу? оО
-
Имеллсь в виду,что не запрашиваем данные из нескольких месяцев сразу :)
-
Спасибо огромное! Попробуем
-
И еще +1 к легиону ждунов произвольного партиционирования
-
Привет! А какой самый правильный способ скопировать таблицу из одного кластера в другой, если нет доступа до диска серверов, чисто по http api? Видимо CREATE TABLE table AS SELECT * from remote('address', db.table) ? -
Синтаксис чуть-чуть другой
CREATE TABLE table engine = Engine AS SELECT * from remote('host', 'db', 'table', 'login', 'password') -
Joined. - 08 June 2017 (190 messages)
-
Если ничего не поможет, то могу поискать у нас в вики инструкции, как узнать, что в vfs кеше
-
Я думаю одни из первых вопросов которые тут зададут - версия кх и сколько кусков не смержено?
-
Может стоит обновиться до последнего стейбла и сделать оптимайз?
-
Там что то про https://clickhouse.yandex/reference_en.html#system.mergesClickHouse Documentation | ClickHouse Documentation
ClickHouse is a fast open-source column-oriented database management system that allows generating analytical data reports in real-time using SQL queries
-
ClickHouse Documentation | ClickHouse Documentation
ClickHouse is a fast open-source column-oriented database management system that allows generating analytical data reports in real-time using SQL queries
-
Второе про куски, первое про мержи которые идут
-
@miptgirl спам ^
-
Возможно ли в запросе сделать разделителем десятичного числа вместо точки запятой? -
Что-то я не понимаю: это баг или фича?
Есть 2 таблицы - одна обычная, другая с движком Set:
USE proba
SHOW CREATE TABLE set_1
CREATE TABLE proba.set_1 ( d UInt32, i UInt32) ENGINE = Set
SHOW CREATE TABLE test
CREATE TABLE proba.test ( dev UInt32, idx UInt32) ENGINE = Memory
Такая выборка работает:
SELECT * FROM test WHERE (dev,idx) IN set_1 FORMAT CSV
1,11
А эта вылетает:
SELECT * FROM test where (dev,idx) IN proba.set_1 FORMAT CSV
Received exception from server:
Code: 60. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Table proba.proba.set_1 doesn't exist..
Почему имя базы лишний раз дописывается?
Вроде же синтаксис для имён таблиц такой: [db.]name
Или есть ньюансы? -
Возможно проще преобразовать разделитель, не приводя float к строке?
SELECT replaceRegexpOne(toString(toFloat32(12.1)), '(\\d+)\\.(\\d+)', '\\1,\\2') AS number -
просто первая идея которая лезет в голову - что что-то пошло не так с мержем последних кусков и их слишком много
-
а сейчас скорость нормализировалась?
-
И в любом случаи стоит обновиться на последний стейбл
-
мб создать дистрибьютед таблицу поверх processes?
-
есть ведь client_hostname поле
-
Joined. -
Добрый день! Раньше где-то видел ссылку на changelog, но сейчас ничего похожего найти не могу =( https://github.com/yandex/ClickHouse/releases/tag/v1.1.54236-stable — как понять, что изменилось не изучая все коммиты?yandex/ClickHouseClickHouse is a free analytic DBMS for big data.
-
@f1yegor спасибо
-
Joined. -
Joined. -
да, тоже такое сделал на прошлой неделе. Можно мониторить кол-во запросов с кластера:
$rateColumns(
concat(substring(query, 1, 45), '...') AS query,
count() c)
FROM $table
SELECT
$timeSeries as t,
avg(query_duration_ms) select_duration
FROM $table
WHERE $timeFilter AND type = 2
and query like 'SELECT%'
GROUP BY t
ORDER BY t -
да, а почему Вы думаете, что что-то может пойти не так?
-
WHERE $timeFilte
не нужен -
он подставляется
-
Joined. -
extract(x, "([^=]+)=") + extractURLParameters
-
Joined. -
всем привет. кто-нибудь подключал здесь odbc драйвер на винде? пытались подключить его к spss моделлеру - ничего не вышло. скачивали сборку из гитхаба последнюю
-
нужен конкретно odbc драйвер. с jdbc делали подключение через плагин для языка R.
-
можете подсказать к кому обратиться по вопросу с odbc? если помогут разобраться - могу сделать PR с описание как его собрать/настроить
-
давайте начнем немного с начала. у вас есть таблица, в ней одна строка это нечто с урлом. также у вас есть колонка Array(String) с параметрами, например с их именами. а рядом, можно предположить, есть еще одна колонка с значениями, тоже Array(String), в хорошем случае такой же длины как первый.
-
и вот вы хотите какой-то отчет, например select k, count() from urls array join Param.Keys as k, Param.Values as v where k in ('1','2','3') group by k. а может быть нет.
-
ну так если у урла нет параметров, то он явно не относится к этому трафику.
-
а что такое "отчет по трафику"
-
Мы еще добавляем node, чтоб ы можно было из одного места смотреть все и в разбивке по нодам. Для этого на каждой ноде создается view, где в node прописано имя ноды, а потом уже distributed смотрит на все вместе
-
может вам нужно arrayExists(x,y-> x='k' and y='v', Param.Key, Param.Value) ?
-
вам по параметрам урлов надо группировать или фильтровать?
-
и что именно у вас не получается?
-
можно кстати сложить их допольнительными строками в БД, вместо Array
-
тогда с группировкой и фильтрацией попроще
-
мне хочется странной визуализиации в кликхаусе, у меня около 15ти числовых полей (32 бита) в базе, я хочу делать отражения в 3х мерное пространство трех заданных полей.
-
и хочу видеть это на 3х мерной картинке с возможностью ее покрутить
-
хорошо, а если бы эти параметры лежали в другой таблице 1 ко многим, вы бы как этот запрос написали?
-
казалось бы, причем здесь кликхаус.
-
тут много плагинов для визуализации обсуждается
-
для 2х мерного случая я абсолютно рад графане, но для 3д в голову не приходит ничего
-
последнее куда я данные заливал, был projector.tensorflow.org , можно сразу в 15 измерениях PCA построить или t-SNE
-
хотя он немного не для этого.
-
красиво, но хочется что-то stand alone, в облаке много штук которые это могут, но обычно хочут денег
-
может вам нужно arrayExists(x,y-> x='k' and y='v', Param.Key, Param.Value) ?
-
Всем привет, скажите пожалуйста для каких целей Вы используюете ClickHouse? -
Храню Netflow/sflow телеметрию с сетей в нем ;)
-
какие другие? arrayExists выдает true если для хотя бы одного индекса предикат выполнился.
-
Пытаюсь запихнуть в КХ маркет-дату.
-
когда мне скучно, я его ломаю, это поднимает настроение.
-
arratFilter arrayMap тоже могут принимать несколько массивов и лямбду соответствующей арности
-
Plotly plugin for Grafana | Grafana Labs
Scatter plots and more
-
@hagen1778 супер! спасибо!
-
спасибо https://grafana.com/orgs/natelNatel Energy Overview | Grafana Labs
Data visualization & monitoring with support for Graphite, InfluxDB, Prometheus, Elasticsearch and many more databases
-
Вопрос: хочу избежать дублей для таблицы в которой будет храниться словарь. Вроде Set лёг бы идеально, но словари с ним не работают. Вопрос: как бы лучше и быстрее осуществить вставку недублирующих значений, ну или проверку + ставку если нет.
-
очень ждут :(
-
ну в общем работать будет, но месяцев не так чтоб прям очень много будет )
-
и вопрос - что делать потом?
-
так мне кажется в КХ только до 2038 года date сейчас
-
хотя я не помню...
-
то есть хватит на 816 дней
-
условно
-
ага, но потом переделывать все )
-
иногда подождать - лучшее решение
-
нужно как-то в софте поддерживать маппинг 1970-01 в реальную дату
-
еще и консистентно везде
-
или использовать дедупликацию в бэкапе
-
хотя бы на блочном уровне
-
ну если система бэкапа умеет поблочную дедупликацию, то можно делать бэкап каждый день, но по факту будет добавляться лишь вновь добавленная информация
-
ага, консистентности так или иначе надо как-то добиваться
-
ну или LVM snapshot / ZFS snapshot и разморозка сразу же
-
Для разных вещей: список процессов, список запросов, колонки и таблицы -- чтобы можно было с одного места увидеть все, сравнить между нодами и т.п.
-
В общем, наверное, все таблицы из system.*
-
А как его потом обратно вставлять?
-
если железо позволяет проще лить на два сервера одини и те же данные
-
хочется еще долгие бэкапы?
-
на случай ядерной войны консервы и патроны лучше)
-
а так, да, оправдано
-
да, тоже самое наблюдал, предварительный конверт в строку ускряет вставку в 6 раз
-
спс за инфо, возможно
-
со временем надо быть предельно аккуратными, даже в С/С++ легко отрелить себе что-нибудь полезное
-
ну я про производительность, обычно они дьяволски быстры на фоне всего прочего)
-
а вот время... была у меня статейка
-
On Linux vDSO and clock_gettime sometimes being slow
Like the previous post on this somewhat dormant blog, I want to share an oddity I discovered that no search engine could really find for me...
-
во
-
виртуализация вообще дьявольщина, я каждый раз разубеждаю юзать любую) чистое железо предсказуемее всего, как ни странно
-
https://github.com/yandex/ClickHouse/issues/371 мб тикет уже закрыть надо, поидее исправлено?Security issue: bind 127.0.0.1 only for unsecured database · Issue #371 · yandex/ClickHouse
Hello, I install ClickHouse on the debian server, and play around according the guides. Thanks for the great product! I find ClickHouse server bind to 0.0.0.0 by default, and all databases are unse...
-
Так все равно с ним кто то будет разбираться
-
Не ты, так провайдер, но за твои деньги
-
А это от процессов зависит
-
При наличии людей, можно вполне выделить команду которая занимается железом
-
а ссд еще сильнее снижают сложность обслуживания
-
да
-
Стоит смотреть, он развивается. На подходе приятные киллерфичи) -
это бы в документацию, я случайно обнаружил )
- 09 June 2017 (64 messages)
-
Joined. -
так я переливал данные большого объема(70 ГБ кусок)
nohup curl -v -T test351560.csv -X POST 'http://username:passwordg@domain.ru:8123/?query=insert%20into%20customer360.agg_pm_kpi_weekly_prp_dist%20format%20CSV' -H "Transfer-Encoding: chunked" -H 'Expect:' & -
здесь объем может быть любым, в ограничение по оперативной памяти не упрётесь
-
спамеры набегают я смотрю :/
-
Joined. -
Можно для поля Enum типа прописывать default значения, чтобы строки не из enum-списка не кидали exception?
-
деволтное занчение, оно же на случай отсутствия значения в insert
-
Может я не так сформулировал вопрос. Мне надо, чтобы при парсинге входного json для неизвестных значений поставлялось что-то из списка допустимых, а не кидалось исключение.
-
А с сеткой все ок? Если к примеру тем же telnet попробовать
-
тут уже точно не подскажу, но я бы смотрел на вывод lsof. И кстати, ребут не помогает или он недопустим?
-
А lsof показывает еще соединения?
-
с тем же сервером
-
Всем приветы! Подскажите, пожалуйста по конфигу кликхауса. -
Выставляю параметр <max_memory_usage>40000000000</max_memory_usage>
прямо в сеции yandex, перезапускаю кликхаус - значение не верное. -
Что я делаю не так?)
-
это в <profiles> для профиля должно быть
-
я понял, спасибо.
-
<?xml version="1.0"?>
<yandex>
<profiles><name><max_memory_usage>32212254720</max_memory_usage> -
привет, у меня тоже проблема с кластером, которая 100500 ошибок
2017.06.09 12:00:32.379509 [ 36 ] <Error> events_all.Distributed.DirectoryMonitor: Code: 210, e.displayText() = DB::NetException: I/O error: Broken pipe: while reading from socket (10.7.16.229:9000), e.what() = DB::NetException, Stack trace: -
данные через jdbc вставляются медленно шопипец - за час несколько миллионов строк
-
пробовал все ноды рестартовать - не помогло. куда рыть?
-
раньше, кстати, все бодренько-шустренько вставлялось
-
Может слишком маленькими пачками вставляете и кликхаус не успевает их мержить?
-
теоретически, возможно, вставляю спарком через коннектор. но вроде как репартиционировал побольше и batch size 3 ляма выставил
-
array(...) - не считается агрегатной функцией? - не понятно.
-
array - это функция конструирования массива из аргументов переданных в функцию. агрегатная функция это groupArray
-
SELECT groupArray(x)
FROM
(
SELECT [number, number + 1] AS x
FROM system.numbers
LIMIT 2
)
┌─groupArray(x)─┐
│ [[0,1],[1,2]] │
└───────────────┘ -
А полиморфизм функций планируется? А то много всего одинакового, но только для разных типов данных. Понятно что это даже не второстепенная задача.
-
1. у кликхауса сейчас идеология делять много функций, каждая для своего случая как можно оптимальней. например поэтому нет неявной конверсии типов, а есть явная и есть перегрузки под различные комбинации типов аргументов.
2. например одна из сигнатур arrayMap :: (a->b) -> [a] -> [b], это достаточно полиморфно? -
да, вполне логично. Достаточно или нет - это тяжело оценить. В кдб с другой стороны обратная ситуация - всё очень полиморфно, но кажется что не хватает оптимизации как раз для простых типов/вариантов использования.
-
Сейчас посмотрел, и подумал, что не достаточно, но конечно от случая зависит, так как векторизированный 1+[1,2,3] в sse может мало того что быть быстрее, чем +1 через map. Но и с виду проще :). Т.е. map сама по себе плохая операция, но тут бы как раз помог бы полиморфизм +
-
а, ну то есть полиморфизм у вас не в терминах system f, хорошо.
-
Да, систем-ф на apl пока не получилось натянуть.
-
Вообще как язык k/q очень эффективен и при этом прост.
-
насчет того что он прост я видел разные мнения.
-
кликхаус более многословен, это правда. но он все таки больше sql, чем например язык для работы с массивами. что иногда неудобно.
-
Согласен. K/Q как язык в общем-то эффективен и прост, но с ходу не привычен, как и векторные базы :) А про полиморфизм: местами (в данном случае для plus) эффективнее чем более сложные конструкции типа map (\x -> x+1)
- 10 June 2017 (19 messages)
-
Joined. -
https://github.com/yandex/ClickHouse/issues/777
есть подвижки с zetcd
но пока все валится на вставке
блин =( я в C++ не шарю, было бы круто разобраться с этими падениямиclickhouse core dumped when try work over zetcd · Issue #777 · yandex/ClickHousei create repo https://github.com/Slach/clickhouse-zetcd for reproducing stand clickhouse + zetcd latest clickhouse Dockerimage core dumped after run following query sudo docker-compose run clickhou...
-
я конечно продолжаю быть в шоке от кликхауса: у нас 900 млн записей в таблице, индексов нет и всё работает очень и очень быстро.
-
я никак не могу понять: если я хочу сделать сервер для постоянной репликации для бекапа, мне всё равно надо использовать зукипер? Я бы хотел это отложить до последнего
-
я хочу копирование всех записей на другой сервер с минимальной задержкой
-
с ним в принципе надо разбираться и надо поднимать несколько экземпляров
-
С зукипером кстати как и с любой инфраструктурной штукой одна проблема - не хочется усложнять себе жизнь, когда у тебя уже стоит скажем консул. Зоопарк мало кто любит.
-
Можно смигрировать все на зукипер :) -
В современном мире скорее всего у тебя будет любые 2 из консула, etcd, zookeeper что бы ты ни делал
-
У zetcd минус это скорость, которая может стать критичной. Даже если он с кх заработает
-
Хз, хз. Вон в тарантуле планируют поддержать все 3 и дать выбор пользователю.
-
Я в чудеса не верю, вероятно один из трёх будет ощутимо лучше работать
-
Если будет удовлетворять требованиям, то какая разница? Выше, сильнее и быстрее не всегда лучше -иногда нужно просто чтобы без гемора. :)
-
Ну что спорить, увидим. :)
- 11 June 2017 (4 messages)
- 12 June 2017 (33 messages)
-
всем привет, пытаюсь юзать скрипт по загрузке данных из yandex metrica
https://github.com/yndx-metrika/logs_api_integration/
юзаю виртуалку ubuntu 16.04 с 2 гигами оперативки и дефолтным конфигом
получаю
Out of memory: Kill process 13197 (BackgrProcPool) score 906 or sacrifice child
Jun 12 13:21:53 local-metrika2clickhouse-clickhouse-pro kernel: Killed process 13182 (ConfigReloader) total-vm:14636140kB, anon-rss:1830256kB, file-rss:692kB
данных вроде не много грузится
куски по 70 мегабайт
суммарно данных 1.5 гигабайта в TSV формате
как так получается что clickhouse умирает по OOM ?GitHub - yndx-metrika/logs_api_integration: Script for integration with Logs APIScript for integration with Logs API. Contribute to yndx-metrika/logs_api_integration development by creating an account on GitHub.
-
по дефолту ограничение 10гб вроде в кликхаусе. Поправьте users.xml чтобы не вылезал за физически доступный обьем
-
<Trace> MergeTreeBlockInputStream: Reading 1 ranges from part 20140701_20140731_568_568_0, approx. 8192 rows starting from 0
что значит эта запись в логах? -
у меня очень странное поведение просто, у меня тупо в какой то момент сейчас сервер падает, но без всякого OOM уже
и эта запись
2017.06.12 16:10:06.886533 [ 12 ] <Trace> MergeTreeBlockInputStream: Reading 1 ranges from part 20140601_20140630_552_552_0, approx. 8192 rows starting from 0
последнее что есть в log файле
и последнее что есть в .err.log файле это просто
2017.06.12 16:10:01.027339 [ 3 ] <Warning> ConfigProcessor: Include not found: clickhouse_compression
т.е. жалобы на конфиг
при этом
service clickhouse-server restart
не помогает сервер тупо не стартует -
хотя
service clickhouse-server status
показывает
● clickhouse-server.service - LSB: Yandex clickhouse-server daemon
Loaded: loaded (/etc/init.d/clickhouse-server; bad; vendor preset: enabled)
Active: active (exited) since Mon 2017-06-12 16:09:58 UTC; 3min 55s ago -
попробуйте включить core dumps или запустить clickhouse под gdb
-
а в dmesg написано что "clickhouse-server segfaulted..." или подобное?
-
ну вот сделал я service clickhouse-server stop
потом
service clickhouse-server start
и видимо запустилась какая то компактификация
потому что у меня 20-30 мегов в секунду чтение и iotop даже в консоли не может запуститься...
в смысле консольный ввод вывод тормозит
а хост машина показывает что VboxHeadless отжирает 20-30 мегов на чтение -
так, ну вот сейчас заработали лимиты
и приложение которое льет данные стало выпадать
ValueError: Code: 241, e.displayText() = DB::Exception: Memory limit (for query) exceeded: would use 477.21 MiB (attempt to allocate chunk of 1048576 bytes), maximum: 476.84 MiB, e.what() = DB::Exception
зачем нужно 0.5 гигабайта памяти для TSV файла который весит 70 мегабайт? -
файл c данными это просто выгрузка из metrika logs api
-
https://mega.nz/#!uU42CBoI!58xKHMdW1tBgsWBRzUGdo6zcHhRA6pnSWBIeUWbet60
вот образец данных которые я пытаюсь грузить через запрос вот такого вида
CREATE DATABASE metrika2clickhouse;
CREATE TABLE metrika2clickhouse.hits_all ( Artificial UInt8, Browser String, BrowserCountry String, BrowserEngine String, BrowserEn
gineVersion1 UInt16, BrowserEngineVersion2 UInt16, BrowserEngineVersion3 UInt16, BrowserEngineVersion4 UInt16, BrowserLanguage String, BrowserMajorVersion String, BrowserMinorVersion String, ClientID UInt64, ClientTimeZone Int16, CookieEnabled UInt8, CounterID UInt32, Da
te Date, DateTime DateTime, DeviceCategory String, Download UInt8, Event UInt8, FlashMajor UInt8, FlashMinor UInt8, From String, GoalsID Array(UInt32), HasGCLID UInt8, HttpError String, IFrame UInt8, IpAddress String, JavascriptEnabled UInt8, LastAdvEngine String, LastSe
archEngine String, LastSearchEngineRoot String, LastSocialNetwork String, LastSocialNetworkProfile String, LastTrafficSource String, Link UInt8, MobilePhone String, MobilePhoneModel String, NetworkType String, NotBounce UInt8, OpenstatAd String, OpenstatCampaign String,
OpenstatService String, OpenstatSource String, OperatingSystem String, OperatingSystemRoot String, PageCharset String, Params String, PhysicalScreenHeight UInt16, PhysicalScreenWidth UInt16, Referer String, RegionCity String, RegionCountry String, ScreenColors UInt8, Scr
eenFormat UInt16, ScreenHeight UInt16, ScreenOrientation String, ScreenWidth UInt16, ShareService String, ShareTitle String, ShareURL String, Title String, URL String, UTMCampaign String, UTMContent String, UTMMedium String, UTMSource String, UTMTerm String, WatchID UInt
64, WindowClientHeight UInt16, WindowClientWidth UInt16 ) ENGINE = MergeTree(Date, intHash32(ClientID), (Date, intHash32(ClientID)), 8192)
INSERT INTO metrika2clickhouse.hits_all FORMAT TabSeparatedWithNamesLinkMEGA provides free cloud storage with convenient and powerful always-on privacy. Claim your free 20GB now
-
в общем я не удержался
https://github.com/yandex/ClickHouse/issues/868
сделал issue
потому что считаю такое поведение clickhouse очень страннымHow many memory need for insert 70Mb TSV file? · Issue #868 · yandex/ClickHousei install latest clickhouse-server official ubuntu package from repository change settings in users.xml 500000000 1000000000</max_mem...
-
Joined. -
Очень люблю такое. Вам бы сразу к Бокунову. Я за неделю не напишу. Никто не напишет. Если нормально. А абы как - обращайтесь. За деньги поможем.
Сколько готовы платить? -
Ребят, давайте финансы в личку, а?
-
@artmkin Павел, а не было каких-либо изменений с ColumnDate? Почему-то в С++ клиенте отвалились поля Date (все по нулям), хотя считается все как и раньше, поле DataTime рядом - заполняется корректно.
-
+void ColumnDate::Append(const std::time_t& value) {
+ data_->Append(static_cast<uint16_t😠value / 86400));
+} -
кажется я понял свою ошибку :)
-
починилось, я пытался кастить и сам приводить в нужный формат дату, а нужно было лишь использовать тот же time_t, что использовал для DateTime. Красота :) Прошу прощения за беспокойство.
-
на самом деле код делающий тоже самое у меня выглядел примерно также :(
-
но сломался он потому что была двойная конверсия секунды в дни и потом опять дней еще раз в дни, что в итоге в любом случае давало нули
-
его наверное просто стоит передавать далее как time_t и не заморачиваться преобразованием в самой библиотеке отправляя эту проблему в CH ;)
- 13 June 2017 (83 messages)
-
@FacedSID и скорость вставки смешная получается, да?
-
я вот до 1.1.54236 обновился, и тоже такая шляпа началась
-
Joined. -
Joined. -
Всем привет!
ClickHouse meetup наконец-то едет в Минск! Встреча 29 июня.
Будет интересно как администраторам ClickHouse, так и тем, кто пока только присматривается к системе. Мы приглашаем белорусских пользователей также поделиться своим опытом использования ClickHоuse и выступить на встрече с блиц-докладами.
Участие в мероприятии бесплатное, но необходимо заранее зарегистрироваться: количество мест в зале ограничено.
Посмотреть программу и подать заявку на участие можно на странице встречи: https://events.yandex.ru/events/meetings/29-june-2017/ClickHouse Meetup, 29 июня 2017, Минск — События ЯндексаСобытия — вся информация о конференциях, школах, семинарах и других мероприятиях Яндекса — как прошедших, так и предстоящих.
-
Также можно поделиться с друзьями в сетях
https://www.facebook.com/Yandex.Events/posts/1568900803130035
https://vk.com/yandex.events?w=wall-17796776_5432
https://twitter.com/ya_events/status/874564684531335168Яндекс.МероприятияClickHouse Meetup отправляется в Минск! 29 июня в Минске впервые выступят с докладами создатели СУБД ClickHоuse и те, кто ежедневно использует её для решения аналитических задач. Докладчики...
-
А я боюсь отвечать :) Приезжайте в Минск!
-
Минск прекрасен, рекомендую :)
-
А когда уже в москве?)
-
Нет, не планируется.
-
-
Верить мне, не будет трансляции (
-
-
была опечатка
-
Видео тоже не планиурется. Опубликуем пост в блоге ClickHouse https://yandex.ru/blog/clickhouse
-
попробовал поделить файл пополам, все вставилось нормально
значит дело все таки в том что у меня там 72 колонки
и 130 тысяч строк
ну вроде по вашим словам не должно аллоцироваться больше 100 мегабайт
все таки было бы не плохо разобраться -
я бы начал с strace процесса CH и tcpumpd/wireshark
-
broken pipe должен возвращать вполне конкретный сокет и эту ошибку видно в сисколлах
-
Привет. https://clickhouse.yandex/docs/ru/table_engines/graphitemergetree.html – насколько этот движок специфичен для Graphite? Насколько он стабилен? И будет ли документаци на него на английском? -
Ребята, clickhouse упал по OOM Killer
после старта сервера
отожрал всю свободную память
и увел в жестокий iowait всю систему... -
http://take.ms/iUsHN
выглядит все примерно так -
все счетчики показывают что система начинает есть на чтение весь доступный диск
-
Есть ли альтернативы GraphiteMergeTree для прореживания данных?
-
Какую? Где почитать?
-
Точнее, есть ли ещё что-то, кроме ссылки выше и исходников? :)
-
Можно ли указать несколько pattern'ов? Что такое version? Важен ли формат path?
-
-
> Version это столбец, который при прореживании позволяет среди значений с одинаковым Path и Time выбрать одно.
Как? По максимальному значению? -
https://github.com/yandex/ClickHouse/blob/master/dbms/tests/integration/test_graphite_merge_tree/test.py#L30 – тут будет храниться и дата, и timestamp? Почему timestamp – UInt32, а не DateTime?yandex/ClickHouse
ClickHouse is a free analytic DBMS for big data.
-
Добрый вечер! А вы не планируете вторичные индексы? Всегда хватает 1 ключа или есть сложности в реализации? Раздумываю над запросами, временами фулскан выходит т.к. не все попадают в primary key
-
Кажется, можно выносить отдельные ключи в MATERIALIZED VIEW и join'ить, join'ить. -
м, спс
-
Вопрос: это что-то известное? Вставляю в buffer, в котором есть materialized поле. Какое-то время всё ок, но потом сервер начинает сыпать Cannot insert column col_mat со стек-трейсом. Версия 1.1.54236
-
А, те в buffer default, а в таргете оставить как есть. Понял.
-
Или наоборот :), в общем понял, спасибо.
-
https://clickhouse.yandex/docs/ru/table_engines/graphitemergetree.html
В документации колонка называется Version, а в коде дефолтное название Timestamp - https://github.com/yandex/ClickHouse/blob/e03ae570f7a760a4acedbea77e5063a99a9b15e2/dbms/src/Storages/StorageFactory.cpp#L199yandex/ClickHouseClickHouse is a free analytic DBMS for big data.
-
Не дождался я предложения :-(
-
ну может человек забросил удочку и ушел искать в ином месте)
- 14 June 2017 (179 messages)
-
А кто нибудь пробовал пускать clickhouse из docker с volume на data папку?
-
Joined. -
похоже действительно коннект теряется, а CH этого не замечает. Рестарт восстанавливает коннект и все что не залилось, доливается)
-
Joined. -
Joined. -
у меня broken pipe перманентно в логах сыпется, и данные почти не вставляются :(
-
рестарт ниалё
-
Joined. -
Добрый день! Кто-нибудь пробовал AD прикрутить к кликхаусу? -
Аутентификацию? -
Можно через https://github.com/kvspb/nginx-auth-ldapGitHub - kvspb/nginx-auth-ldap: LDAP authentication module for nginx
LDAP authentication module for nginx. Contribute to kvspb/nginx-auth-ldap development by creating an account on GitHub.
-
спасибо
-
Я посмотрел у себя эти broken pipe когда начинаются. Ситуация такая - есть кластер из 14 машин, 7 шардов по 2 реплики. Таблица с хитами, на данный момент в ней в районе 45 миллиардов записей. От этой таблицы есть несколько materialized view AggregatingMergeTree.
-
Идея была такая - в таблицу пихаются данные, и автоматически рассчитываются предагрегации для дальнейших отчетов.
-
Судя по всему, что-то пошло не так, сейчас при попытке дальнейших вставок валится
DB::Exception: Memory limit (total) exceeded: would use 93.13 GiB (attempt to allocate chunk of 512 bytes), maximum: 93.13 GiB, e.what() = DB::Exception (from 10.7.16.188:54877) (in query: INSERT INTO dbreports.events (<куча колонок>) FORMAT TabSeparated) -
и после этого с нод валятся broken pipe
-
Joined. -
Вопрос: что я делаю не так, не стоит ли поубивать нафиг эти материализованные вьюхи (подозреваю, что это они жрут память при вставке), и как вообще работать с такими объемами, потому как при попытке полностью предрассчитать отчет и вставить данные селектом в таблицу, я тоже вываливаюсь по памяти
-
@milovidov_an у меня по идее обычная вставка в табицу events, по сути распаршенные сырые данные (вставка из spark'а через jdbc), ну и собственно вот одна из материализованых вьюх:
CREATE MATERIALIZED VIEW dbreports.top_pages_month_without_geo_ ( month Date, did UInt64, short_url String, Users AggregateFunction(uniq, UInt64), Cnt AggregateFunction(count)) ENGINE = ReplicatedAggregatingMergeTree(\'/clickhouse/tables/{shard}/top_pages_month_without_geo_20170515\', \'{replica}\', month, (month, did, short_url), 8192) AS SELECT toStartOfMonth(event_date) AS month, did, short_url, uniqState(uid) AS Users, countState() AS Cnt FROM dbreports.events GROUP BY month, did, short_url -
-
вот так вот лучше
-
> in query: INSERT INTO dbreports.events
:) -
от dbreports.events материализованные вьюхи должны автоматически заполняться, я на это грешу
-
@milovidov_an цепочка сложная. spark->clickhouse_spark_connector->jdbc
-
коннектор я тут вот форкнул: https://github.com/archimed-shaman/clickhouse-spark-connectorarchimed-shaman/clickhouse-spark-connector
spark to yandex clickhouse connector. Contribute to archimed-shaman/clickhouse-spark-connector development by creating an account on GitHub.
-
батчами пытаюсь писать по 5000000 записей, могу попробовать поменьше :)
-
по дефолту вроде 1 000 000 на кусок
-
А в CH специально нет защиты от дурака, чтобы запросы вроде
CREATE MATERIALIZED VIEW buyers
ENGINE = MaterializedView
AS SELECT distinct_id
FROM purchases
WHERE distinct_id <> UUIDStringToNum(toFixedString('', 36));
ложили CH? -
ложили - это речь про то, что демон падает или о том, что тормозит?
-
Демон падает, в логах что-то про нулевой указатель.
-
Joined. -
... удалено. Похоже poco флашит автоматом.
-
А у меня сложилось впечатление, покрепленное опытом, что атомарна или почти. Ошибка вставки в MV приводит к откату вставки в основную таблицу. Исключение -- когда несколько некаскадных MV на одной таблице: если на момент ошибки какие-то MV уже обновились, то они не откатываются
-
Во всяком случае в рамках одной реплики. Остальные реплики (основая таблица и MV) догоняются полностью независимо
-
а можно как-то кх ограничить по памяти? а то жрет всю оперативу, выжирает весь своп и сервер вешается так, что даже по ssh не достучаться
-
шуршит в фоне мержами
-
max_memory_usage выставлено, но чот по ощущениям выжрато весьма больше :)
-
а ну да
-
У меня такая же ошибка тоже на вставках последняя версия выжраламвсю оперативу и сервер крашнулся по oom
-
@milovidov_an ну я бы не сказал, что 120gb - это очень маленький объем :)
-
ох, спасибо. выставлял потому, что именно память зажирает и сервак вешает. почему - пока понять не могу
-
интересно, а линукс умеет пристрелить отдельный поток, а не приложение целиком при событии OOM?
-
это да, конечно...
-
Если я правильно понимаю, это освободит только стек потока, что не очень много -
в теории ведь можно добавить поток в отдельную cgroup
-
и наложить на нее ограничения памяти
-
но как это состыкуется с C++ - оооочень сложный вопрос
-
потоки имеют общее адресное пространство (процесса), сомневаюсь, что это вообще возможно
-
если бы ОС умела передать инфуормацию об этом в приложении - поидее было бы возможно
-
в бусте есть т.н. interruption point
-
когда приложение может прочесть уведомление и например пристрелить поток
-
и вызвать корректно освобождение занятых ресурсов конкретно этим потоком
-
Because this ability caused certain problems, the ability to independently manipulate the cgroup memberships of the threads in a process has been removed in cgroups v2
-
Адресное пространство - общее, у потока нет его ресурсов (кроме стэка)
-
эх, сколько развлечения удалили :)
-
если вам не нужна фильтрация по id, то зачем вы ее добавляете в запрос?
-
там - это где
-
и почему это не означает список из одного id, равного null
-
по-моему драйвера запросы особенно не парсят и вряд ли что-то в них удаляют.
-
Такое как-то можно починить?
Сегодня уже 14 июня, а он все еще надеется...
Part 20170606_20170606_238257_238365_21 is covered by 20170606_20170606_238257_238370_22 but should be merged into 20170606_20170606_238257_238372_22. This shouldn't happen often.
Checking if anyone has part covering 20170606_20170606_238257_238372_22.
Found all blocks for missing part 20170606_20170606_238257_238372_22. Will wait for them to be merged. -
Нет
-
записываются в Zabbix, правда не все
-
Эти не записываются. Я включу, такое наверняка повторится.
А можно как-то починить? -
Мне подходит неудобно :)
-
Кстати такая же штука случалась с таблицей, где всего одна реплика была
-
да
-
тестовый сервер
-
нет, такое же
-
Found all blocks for missing part 20170413_20170413_43744_43847_18. Will wait for them to be merged.
-
И все-таки, как починить?
-
Хорошо, спасибо
-
Joined. -
Вот и меня настигла проблема broken pipe
2017.06.14 18:16:04.011259 [ 2 ] <Error> hits_d.Distributed.DirectoryMonitor: Code: 210, e.displayText() = DB::NetException: I/O error: Broken pipe: while reading from socket (10.138.208.224:9000), e.what() = DB::NetException, Stack trace:
0. clickhouse-server(StackTrace::StackTrace()+0x16) [0x2969826]
1. clickhouse-server(DB::WriteBufferFromPocoSocket::nextImpl()+0x5ad) [0x297de7d]
2. clickhouse-server(DB::Connection::sendData(DB::Block const&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&)+0xe5) [0x2b6f365]
3. clickhouse-server(DB::Connection::sendQuery(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, unsigned long, DB:
:Settings const*, DB::ClientInfo const*, bool)+0xc35) [0x2b709b5]
4. clickhouse-server(DB::RemoteBlockOutputStream::writePrefix()+0x6a) [0x2c25eda]
5. clickhouse-server(DB::StorageDistributedDirectoryMonitor::processFile(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&)+0x6f9) [0x2aa4cf9]
6. clickhouse-server(DB::StorageDistributedDirectoryMonitor::findFiles()+0x14c) [0x2aa680c]
7. clickhouse-server(DB::StorageDistributedDirectoryMonitor::run()+0xc5) [0x2aa6d05]
8. clickhouse-server() [0x36744ef]
9. /lib/x86_64-linux-gnu/libpthread.so.0(+0x76ba) [0x7f3c3ac906ba]
10. /lib/x86_64-linux-gnu/libc.so.6(clone+0x6d) [0x7f3c3a2b182d] -
простая Distributed таблица на 2х серверах
-
На втором сервере:
2017.06.14 09:43:36.158877 [ 19 ] <Error> ServerErrorHandler: Code: 101, e.displayText() = DB::NetException: Unexpected packet from client, e.what() = DB::NetException, Stack trace:
0. clickhouse-server(StackTrace::StackTrace()+0x16) [0x2969826]
1. clickhouse-server(DB::Exception::Exception(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, int)+0x1f) [0x108f49f]
2. clickhouse-server(DB::TCPHandler::receiveHello()+0xc8) [0x10a34f8]
3. clickhouse-server(DB::TCPHandler::runImpl()+0x1cc) [0x10a721c]
4. clickhouse-server(DB::TCPHandler::run()+0x2b) [0x10a827b]
5. clickhouse-server(Poco::Net::TCPServerConnection::start()+0xf) [0x3274d5f]
6. clickhouse-server(Poco::Net::TCPServerDispatcher::run()+0x13b) [0x327b19b]
7. clickhouse-server(Poco::PooledThread::run()+0xb7) [0x34e6e07]
8. clickhouse-server(Poco::ThreadImpl::runnableEntry(void*)+0xa5) [0x34b2e45]
9. /lib/x86_64-linux-gnu/libpthread.so.0(+0x76ba) [0x7efc71ac56ba]
10. /lib/x86_64-linux-gnu/libc.so.6(clone+0x6d) [0x7efc710e682d] -
Nullable нет. Версию сейчас скажу
-
1.1.54236
-
Таблица маленькая. До 100мб если считать объём внутри clickhouse
-
Не, у меня их нет. В кластере вообще по сути 1 таблица. На каждом из серверов локальные. Плюс на каждом из серверов distributed поверх локальных. Движок mergetree
-
Ура, спасибо!
-
А деталей не расскажете? В чем была проблема?
-
Ага, понятно, логично. Спасибо!
-
А по поводу авторизации через АД можете что - нибудь подсказать?
- 15 June 2017 (73 messages)
-
Коллеги, батч инсерт INSERT INTO $table FORMAT Values и получаю иногда Code: 32, e.displayText() = DB::Exception: Attempt to read after eof, e.what() = DB::Exception
-
Кто нибудь сталкивался с такой проблемой?
-
Нету какой-нибудь прокси или балансера перед КХ?
-
@Felixoid я сам просто шлю батчи на разные сервера
-
такой типа round-robin
-
Разобрался, это потому что вместе DateTime передаю пустую строку
-
такой вопрос теперь, а можно ли передать как то null?
-
sorry :/
-
а когда релиз планируется с багфиксом broken pipe?
-
Joined. -
В течение недели, вчера мне сообщили так в этом чате.
-
Joined. -
Я правильно понимаю что вставка из одного хэндла однопотоковая?
-
Да
-
Т.е. вижу что в сеть не упирается, но в 4 потока в 4 раза быстрее.
-
Ага, понял, спасибо. Просто в буфер вставляю, он вроде дублируется в памяти по потокам.
-
Host http://our-clickhouse:8123 is cooling down for 1 seconds
NoAvailableHostsException: No available hosts among: ['http://our-clickhouse:8123']
тоже из-за больших вставок в одном запросе?) -
сотировка по времени?
-
ммм, я видел такое в InfluxDB
-
они как опцию предлагают сортировать на клиенте
-
python clickhouse
-
резонно
-
Всем привет. Тестируем СН, жутко тормозит запрос вида select * from test where id > x order by id limit y. По статистике видно что идёт чтение всей таблицы целиком. Можно ли что-нибудь настроить, чтобы такой запрос отрабатывал быстро?
-
ppodolsky / clickhouse-python
Hg repository hosted by Bitbucket.
-
Id, date, string. В запросе конечно не пишу *. Написал тут для экономии места.
-
помогло
СПАСИБО -
Пичалька. Как жить?
-
но наверное имеет смысл, если ты можешь, готовить данные сразу в правильном порядке )
-
Joined. -
Поддерживаю вопрос. Очень туго живется без ORDER BY.
-
Подождите, вроде order by тут ни при чем
-
Там в запросе where по индексу
-
Как я понимаю, он не работает
-
А order by по индексу в большинстве случаев не будет давать ожидаемого профита, как я понимаю. Следствие организации хранения данных в merge tree.
-
Подумал ещё немного. Будет, но зависит от данных и запроса. Не так как в классических базах с каким-нибудь btree.
-
Я все вертику жду обновления, уже версия 8.1 в проде бегает 😬
-
С Вертикой не будет принципиальной разницы в зависимости от версий
-
Добрый день! Как-то проблема решилась? Тоже самое наблюдаю, все норм работает. INFO. Но все же. Сыпятся постоянно такие сообщения..
-
ок, спс
- 16 June 2017 (128 messages)
-
Всем привет. Кто-нибудь пробовал использовать odbc драйвер на windows? У вас он хоть с какой-нибудь программой начал отрабатывать?
-
Мы пробовали spss моделлер, excel 2013, tableau 10.3 - где-то видит только таблицы, где-то еще видны поля. но селект нигде не получилось сделать. эксель просто не подлкючился
-
Joined. -
Здравствуйте!
Система генерирует поток событий. У события есть время появления, уникальный идентификатор и текстовое представление события.
Структура таблицы для хранения событий:
CREATE TABLE IF NOT EXISTS test_data (CounterID UInt32, EventDate Date, Payload String) ENGINE = MergeTree(EventDate, (CounterID, EventDate), 8192)
Я хочу использовать кликхаус в качестве хранилища событий с возможностью запуска аналитики и с возможностью последующей выгрузки в другие системы.
Записал в таблицу примерно 0.5*10^9 таких событий и пытаюсь перегружать их по мере пеступления во внешнего клиента таким запросом:
SELECT CounterID,EventDate,Payload FROM test_data WHERE CounterID > 5 ORDER BY CounterID LIMIT 5 FORMAT JSON
Запрос выполняется 50 минут.
Всего строк
COUNT()=623171850
"statistics":
{
"elapsed": 3094.789434725,
"rows_read": 623171850,
"bytes_read": 430075954723
}
Аналогично для запроса
SELECT CounterID,EventDate,Payload FROM test_data WHERE CounterID > 623171000 ORDER BY CounterID LIMIT 5
По какой причине в этом запросе происходит чтение всех строк и не используется индекс?
Есть ли правильный способ перегружать данные из таблицы во внешнюю систему по мере поступления событий или clickhouse в принципе не предназначен для таких задач?
версия clickhouse 1.1.54236 -
А нет ли желания рассказать про ClickHouse на https://smartdataconf.ru/ ?LinkSmartData 2021 — конференция для Data-инженеров. 4 дня. Спикеры со всего мира. Несколько десятков технических докладов о хранилищах данных, стриминге, data governance и многом другом.
-
Спасибо, интересно
-
Joined. -
Затрудняюсь ответить. Я пока только посетитель конференций, проводимых JUG.ru.
-
ну хоть кто-то здесь не ненавидит яву=)
-
про использование order by понял, спасибо
-
Существует ли возможность смерджить одноуровневые массивы? Например, для структуры: Key UInt32 | Value Array(UInt32)
поулчить все уникальные значения элементов массива Value для определенного ключа? -
спасибо!
-
это из области жесктих дисков, время необходимое на передвижение головки механического диска на другую дорожку
-
условно, это время задержки межда получением команды "прочти блок Х" и его прочтением с магнитной пластины.
-
нет :)
-
это относительно постоянная величина в районе 4-9 мс
-
она зависит сугубо от расстояния между дорожками (чем дальше - от центра - данные на диск легли - тем дольше)
-
ну и как следствие, чем больше обращений с паттерном "рандом read / write", когда чтение запись идет не последовательно, а в разные файлы (как следствие размещенные в физически разных местах жесктого диска) идет этот самый seek
-
чем больше рандомность - тем больше он времени жрет. Идеальный вариант - когда данные пишутся последовательно и очень большими блоками, так будет быстрее всего.
-
либо выкинуть начерт механические диски и забыть про бурду что я только что рассказал :)
-
я почти уверен, что - в штуках :)
-
Joined. -
Joined. -
Joined. -
т.е. это не seek шпинделя?
-
Joined. -
Joined. -
удобная штука для отладки
-
Ребят, а есть какие нибудь костыли против broken pipe до релиза новой версии?
-
Чет не совсем понимаю, а как оно поможет?
-
очень интересное решение
-
А zookeeper нужен?
-
Огонь, тогда то что нужно!)
-
я вот правда одного понять не могу. Как такая версия попала в репозитории? Ведь на сколько я помню версия сначала обкатывается на метрике, и только спустя какое то время выкладывается в репу
-
или в Яндексе идеальные сети?))
-
скорее вопрос, зачем поставили в продакшен то, что прилетело в репах
-
нежели чем к авторам. КХ - опенсорс и идет без гарантий, SLA и прочего
-
мы держим свой репо со старой версией КХ и долгим процессом обновления на новую версию
-
по факту 1-2 месяца задержки между продакшеном и выходом фичи в репо КХ
-
Не, у меня вопрос без претензий. Чисто истерес. Т.е. если эта версия стоит на метрике и там все работает, быть может админы метрики имеют какое-то секретное заклинание.
-
А, вот он и ответ. Спасибо!)
-
выше описали) они по другому вставляют
-
Всем привет, а существует ли чатик про логс апи метрики? И если нет - уместно ли будет тут спрашивать?
-
Joined. -
Так и есть.
-
попробовал
-
не помогло)
-
я возможно не правильно сделал. У меня 2 шарда. Я получается в кадом шарде создаю еще по одной такой же реклике и добавляю <internal_replication>true</internal_replication>
-
верно?
-
да
-
Надо двигаться дальше - автодобавление в словарь!
-
AMD has Intel squarely in their sights with the Ryzen release; all the released and currently available consumer Ryzen CPUs have native hardware SHA support, and their highly-anticipated Naples (codename Epyc) server chipsets due for release in Q2 2017 are sure to win them favor in the high performance, high throughput, encrypted endpoint game when they’re released in just a few months.
-
Немного офтоп, но думаю много кому такая оптимизация будет актуальна
-
у интела тоже есть аппаратный SHA :)
-
и уже ржали что они анонсировали аппаратный SHA1 чуть ли не в день когда в нем нашли последнюю уязвимость
-
Intel® SHA Extensions
Download PDF New Instructions Supporting the Secure Hash Algorithm on Intel® Architecture Processors July 2013 Executive Summ
-
опкоды и поведение совпадает с теми, что в Ryzen'е
- 17 June 2017 (6 messages)
-
Joined. -
Joined. - 18 June 2017 (1 messages)
- 19 June 2017 (141 messages)
-
На сколько мне известно, там можно прям папку базы скопирнуть -
Смотри в сторону FREEZE PARTITION
-
наверно ответ там
-
Использовать float? -
Ой не чушь пишу
-
Интересно, а в строку это реально будет преобразовать?
-
или оно умрет на этапе суммирования?
-
а работа с 16ричными числами поддерживается?
-
чисто интересно
-
Там давно деноминацию провели
-
И 1 новый рубль почти как полбакса стоит ;) оч недурно
-
184467440 миллиардов не хватит?
-
Привет. Можно чтоб в словаре flat или hashed идентификатор был строкового типа? или только через complex_key_hashed ? -
Релиз новый еще не собрали?
-
ну я не вижу вариантов, кроме как хранить кусками поразрядно
КХ при этом не сможет просуммировать больше uint64
если нужно uint128 сделать 8 полей по uint16
потом выбирать SUM(f1), SUM(f2), ... SUM(f8)
и уже в своей программе досуммировать, учитывая единицу переноса -
как минимум 2^(64-16) строк так можно хранить
-
128 битные числа - мне нравится идея
-
как минимум - я бы мог использовать их для IPv6 и манипуляции с ними, FixedString, конечно, работает, но нэтивный да еще и числовой тип с потенциальной возможность увеличения компрессии... мммм! :)
-
Вот есть подробное описание от Алексея. Думаю будет полезно: https://groups.google.com/d/msg/clickhouse/eUrsP30VtSU/p4-pxgdXAgAJGoogle Groups
Google Groups allows you to create and participate in online forums and email-based groups with a rich experience for community conversations.
-
2-3 таблицы?
-
Joined.
-
или + mat view с другим набором ключей
-
решение впрочем не оч удобное, жаль нет вторичных индексов
-
Joined. -
FixedString16
-
просто string будет сильно неоптимально AFAIK :(
-
Ребят, через tcp драйвер можно
set max_memory_usage
ставить? -
через гошный можно
-
Я его проставил, но похоже на весь кластер не распространилась настройка
-
Так как при обращении к ditributed таблице другие сервера прекращают выполнение из-за памяти
-
Вопрос: а какие-то энджины с индексами но без даты - планируются или врядли?
-
Всем привет! Подскажите, есть ли возможность подсчитать процентное значение столбца от общей суммы?
-
вы же не знаете сумму, пока не дочитаете до конца.
-
разве что свернуть столбец в массив.
-
не знаю, но мне хотелось бы ее подсчитать один раз на запрос. Например, вы подсчитываете кол-во событий с каким-то условием. А потом считаете процентное соотношение от общей суммы событий
-
это можно сделать вроде
select countIf(condition) / (select count() from ...) from ... group by... -
это можно сделать как sumIf(x,y)/sum(x)
-
а, от общей суммы. да, встроенного нормализатора нет.
-
а в стандартном sql это как выглядит? наверно сработал бы count() / count() over (partition by 42), если бы он был.
-
там есть cross join https://stackoverflow.com/questions/30509149/get-column-sum-and-use-to-calculate-percent-of-total-mysql
не знаю, правда, как быстро он работаетGet column sum and use to calculate percent of total (mySQL)Here is a very basic look at my table. I have columns 1 and 2 and need to generate column 3. Column 3 is simply the total of the Number column for all Name divided by Number for the given row. |...
-
Вопрос: в документации часто упоминается пример с userId. Вопрос: как в вашем случае реализован вывод , если нужно имя пользователя?: это словарь или join по другой таблице или может словарь во внешней базе?
-
Так как отличий от маркет-дата по сути никаких в данном случае.
-
в нашем случае нет имени пользователя.
-
Внешняя база?
-
Извините, а можно подробнее? Так как я про такие словари спрашивал месяц наверное назад и я так понял что этого ждать не стоит. Так как это одна из основных фишек кдб, очень удобная, и которой нет в КХ
-
И, в отсутствии этого посещают мысли или самому пытаться реализовать или , как сейчас, приходится экспериментировать странными способами
-
А именно: сохраняю строки, но в словарь загружаю из view на основании выборки
-
у меня быстрый вопрос. Я решил воспользоваться прогрессом возвращаемым в HTTP хедерах
-
< X-ClickHouse-Progress: {"read_rows":"214418","read_bytes":"25670058","total_rows":"327680"}
< X-ClickHouse-Progress: {"read_rows":"222610","read_bytes":"25686442","total_rows":"327680"} -
я правильно понимаю, что read_rows*100 / total_rows это примерно процент выполнения запроса?
-
спасибо
-
ща сделаем круто в интерфейсе
-
А как в яваскрипте получить поток хедеров
-
Ну так это вопрос о том как в табиксе получить прогресс
-
Так, а как отсюда вот правильно руками собрать кликхаус? https://github.com/yandex/ClickHouseGitHub - ClickHouse/ClickHouse: ClickHouse® is a free analytics DBMS for big data
ClickHouse® is a free analytics DBMS for big data. Contribute to ClickHouse/ClickHouse development by creating an account on GitHub.
-
а, ништяк, спасибо. почитаю. а то я чот сбилдил, а что - сам не понял
-
@iamigor да я даже деб пакет вроде собрал, сейчас попробую развернуть по серверам взамен версии с багой
-
Оу, оу, это классная идея прикрутить пользователю прогресс-бар.
-
Правда вроде иногда он сбрасывается если подзапрос.
-
Ага
-
всем привет. как правильно юзать <remote_servers incl="clickhouse_remote_servers" /> через инклюд?
-
надо создать clickhouse_remote_servers.xml, и он подхватится7
-
?
-
че-то не хочет
-
2017.06.19 17:33:35.028015 [ 2 ] <Debug> ConfigReloader: Loading config `/etc/clickhouse-server/config.xml'
2017.06.19 17:33:35.029582 [ 2 ] <Warning> ConfigProcessor: Include not found: clickhouse_remote_servers -
к сожалению нифига не понял, даже в русском варианте
-
каким боком здесь /yandex/
-
это дефолтное имя корневого элемента xml
конфига. -
А как rowbinary обрабатывает default поля - надо обязательно указать или можно игнорировать?
-
Не понимаю как он понимает чему binary соответствует. Если только длину блока сравнивать с разными размерами. А если два default ...
-
@milovidov_an Добрый день, скажите столкнулись с проблемой. как её можно решить
-
-
626 млн записей read. 255 сек....
-
а сколько должно быть
-
если сделать select count(*) за даты которые я сканю выходит 300 млн. почему 626 млн сканит не понятно
-
у вас за полчаса стало больше на 250М. значит 84Гб это за неделю. значит у вас 1кrps, и события по 130б. вряд ли по этому скриншоту получится наванговать большее.
-
@orantius ну на основе этих данных строим отчет. но данные приходят за 250 сек и пост обработка еще пару минут. как быть? и я так и не понял почему фулл скан идет. подсчитывает на 300 млн записей. а запросом на sum сканит 600+
-
select
eventDate,
toString(country) as country,
toString(region) as region,
toString(city) as city,
toString(gender) as gender,
age as group_age,
SUM(requests_count) AS requests
from
`audience_statistic_segments
where
`eventDate` between '2017-05-21' and '2017-06-19'
group by
eventDate,
`country`,
`region`,
`city`,
`gender`,
`group_age
order by
eventDate asc,
`country` asc,
`region` asc,
`city` asc,
`gender` asc,
`group_age` asc -
а c count() запрос такой же?
-
select
count(*)
from
`audience_statistic_segments`
where
`eventDate` between '2017-05-21' and '2017-06-19' -
count - 335340740
-
а в статистике при этом что написано, 300М?
-
а у вас для древних дат статистика продолжает обновляться?
-
я туплю там тоже 300 млн. совпало
-
но все равно не пойму как тогда на основе большого количества данных построить отчет
-
в тех же метриках явно можно фильтровать как угодно и группировать
-
а зачем toString()?
-
чтобы вместо пустых строк (где нету данных) не прилетала длинная невидимая строка с байтами
-
а откуда >100 байт на запись? дата регион*3 пол возраст штуки это примерно 2+2+2+2+1+1+4=14
-
данные в прошлое обновляются? если нет, то месяц надо один раз посчитать, а не при отчете.
-
userid есть, семплировать можно?
-
сколько строк в ответе, сколько машин хранят данные.
- 20 June 2017 (466 messages)
-
одна машина у нас. не понял на счет > 100 байт
-
Joined. -
А может ли долго запрос возвращаться из-за высокого IOPS ?
-
6 тыс IOPS
-
Может конечно. В случаях если вы берете много данных для расчёта (чтение с диска) или если вы уходите в своп в процессе расчёта. Или если стоят опции external_group_by, external_sort (в точном названии могу ошибиться)
-
600+ млн записей по 40 полей. расчет суммы и группировка по 5 полям и сортировка по 5. смотрю по мониторингу что местам то 5 то 6 тыс IOPS. что значит external_group_by и external_sort? как можно оптимизить скорость выполнения?
-
запустили запрос. еще выполняется
-
-
это memory
-
процессор
-
-
по IOPS пик был на 304
-
из этого следует что он упирается именно в проц?
-
Create table в студию
-
это отдельная машина для кх. там только он и стоит. до запрос steal был 22%, после запроса 35-45. где можно уменьшить этот параметр ?
-
таблица содержит только 1 индекс на eventDate. запрос который запускаю - выше (вчера скидывал)
-
-
а как посчитать?
-
есть еще процесы которые просто висят не грузят проц. но жрут память таких много
-
ps ax | grep clickhouse-server | wc -l
2 -
и 2 виртуальных ядра
-
ps -axH | grep clickhouse-server | wc -l
43 -
-
idle 0 ) снова запустил запрос
-
и jenkins есть да. но он не грузит ведь ничего
-
и apache стоит для tabix
-
и collectd для сбора метрик
-
виртуалка?
-
да
-
высокий steal-time это время сворованное у виртуалки гипервизором
-
amazon
-
Оу)
-
st — (Steal Time) время, «украденное» гипервизором у этой виртуальной машины для других задач (например работа другой виртуальной машины)
это из википедии -
т.е. в это время ваша вирта не работала
-
я знаю что такое steal
-
может помочь стоп-старт виртуалки
-
или снапшот - убиение - старт
-
прод машину нельзя останавливать)
-
есть вероятность запуститься на новом гипервизоре, раз этот перегружен
-
если нельзя - нужна отказоустойчивость :)
-
тогда можно
-
тем более амазон - снапшот, запуск копии, доливка данных, переключение прода
-
можешь более подробно объяснить эту кухню
-
если остановить машину и снова включить - есть вероятность попасть на другой гипервизор и будет steal ниже, всегда?
-
нет
-
есть вероятность что на новом гипервизоре стил будет ниже :)
-
steal значит что на физ хосте оверселинг довольно высокий и тебя активно переключает гипервизор, если очень условно
-
а, уже ответили
-
но тебе никто не запрещает эту процедуру повторять регулярно
-
@maksim_melnichuk условно представь себе секунду. Steal 50% значит что твоя машина хочет работать всю секунду, а ей дают только 0.5
-
условно и упрощенно
-
а когда у тебя кластер кх, который не умирает от выключения одной ноды, то это и вообще отлично - никто не заметит
-
в общем я так понял это проблема виртуализации
-
или выделения ресурсов
-
это не означает, что гипервизор сломался/плохой
-
это скорее означает, что потребление ресурсов больше, чем вы заплатили / выделено админами
-
и гипервизор режет это потребление в соотвествии с тем, что вам выделено.
-
если мы говорим о нормальных облаках - а-ля амазон, гугл, азур - то на другой машине все будет точно-также
-
это значит что сервер упирается в нагрузку по тарифному плану и гипервизор режет ?
-
скорее всего именно это и значит, эта штука крайне специфична к типу гипервизора и ведет себя по-разному
-
другие инстансы имеют такие же конфиги железа и там тоже есть нунлевой steal?
-
окей кто работал с amazon какой тип инстанса предпочтительнее для кх ?
-
точно ли нагрузка на все инстансы идентичная?
-
ui сервер тоже бывает steal 40+ %
-
если нагрузки нету то steal вообще 0
-
Типы инстансов Amazon EC2 – Amazon Web Services
Типы инстансов EC2 включают различные комбинации таких компонентов, как ЦПУ, память, хранилище и сетевые ресурсы. Это обеспечивает возможность выбирать тип инстанса, наиболее соответствующий вашим потребностям.
-
какой инстанс нужен для нормальной работы кх ?
-
мы используем почти везде t2
-
может в этом проблема
-
сколько кредитов там осталось?
-
на т2
-
в информации по инстансу есть
-
где это глянуть ? предположу что в monitoring CPU Utilization ( Percent ) ?
-
-
@milovidov_an не хватает тестов физической железки в ряду =(
-
И контейнеров! :)
-
какой instance предпочтитетльнее для работы КХ?
-
железный :)
-
из списка который есть
-
это очень мало
-
надо апгрейдить виртуалку
-
она съела все кредиты
-
почитай что это такое
-
да я почитал
-
я создаю c4.xlarge инстанс
-
думаю он спасет)
-
и еще одна проблема мы используем gp2 диск на 100 гигов. а это всего 300 IOPS что может тормозить дополнительно
-
кликхаус создан чтобы работать на не очень быстрых дисках
-
ничего себе не на быстрых. по 5 тыс IOPS
-
обычная сата - это от силы 200-300 IOPS
-
и клихаусу вполне хватает
-
в общем наша ошибка была в том что мы взяли T2 инстанс под кх. он съедал кредиты цпу мигом и потом тормозил
-
ну т2 надо понимать зачем использовать, так то это отличная штука
-
да согласен переборщили отдав такой инстанс на кх
-
@maksim_melnichuk я бы сказал, что это хорошая идея (и по бюджету и в целом) вынести DWH за пределы Amazon'а. Под DWH я понимаю все что хранить данные которые нужны для анализа вашими аналитиками, а не реально для работы системы
-
вынести это куда-нибудь в хецнер - будет скорее всего ощутимо дешевле
-
и при этом проблем с гипервизором не будет
-
online.net люто рекомендую =)
-
привет) в ближайшие месяцы мы планируем с концам уехат на хецнер, т.к. посчитали что это в 2 раза выгоднее по цене и полный контроль
-
ну там варианты уже ) не таких дорогих хостингов прям много
-
полный контроль... я бы НЕ РЕКОМЕНДОВАЛ если дорожите своим бизнесом %)
-
ну на самом деле с хецнером не так прям чтоб много проблем пока ты мелкий-средний
-
особенно если все в белую делать
-
просто надо иметь в виду что хецнер очень дешевый и в случаи чего виноват клиент по их мнению
-
хецнер это не для mission critical. точка =)
-
там как повезет, повезет с железкой - будет все ок долгие годы
-
им сейчас можно доплатить чтобы железо было не БУ )
-
разово на каждую замену каждой железки
-
увы, это не решает
-
траст ми! айм энджинер!
-
ну точнее я 7 лет с ними работал с несколькими тысячами машин в саб-аренде
-
если сервер сдохнет они не несут ответственности ?
-
отвественность? о чем вы?
-
железка в месяц стоит дешевле чем ужин в ресторане
-
у них нет SLA :)
-
сейчас насоветуют)
-
свое в своем дц со своим техником - маст, если mission critical :)
-
а иначе будут постоянно постмортемы в стиле "ну у нас облако упало, мы не виноватые такие"
-
@pavel_odintsov вопрос должен быть исходя из затрат и выгоды
-
если затраты на свой ДЦ превышают потери от падения - то как бы и ладно, пусть падает
-
ровно поэтому и хецнер ок, если ты стартап, например
-
потому что выгода превышает риск
-
они наружу же, а не во внутренней сети
-
внутри можно ваще свич свой попросить и в стойку влепить :)
-
А кто-нибудь пробовал clickhouse на RPi
-
?
-
увы тогда
-
подскажите, какой наиболее оптимальный порядок полей в первичном ключе
например, есть колонки в PK дата, id сайта, id страны
причем стран гораздо больше, чем сайтов
какая комбинация выгоднее: (date, id сайта, id страны) или (date, id страны, id сайта)? -
id сайта, id страны
-
А дату какой смысл тащить туда? Она и так PK
-
у меня просто ReplacingMergeTree и дата нужна для замены
ок, спасибо
т.е. более вариативный столбец ставим после менее вариантивного -
Да, верно.
-
зависит от того, какие будут запросы. если они всегда включают фильтр по id сайта и диапазону дат, то лучше (счетчик, дата), если нет, то могут быть разные варианты.
-
а у КХ есть какой нибудь флаг дебага для запуска из консоли? а то
> clickhouse —extract-from-config —config-file=/etc/clickhouse-server/config.xml —key=path
> /work1/clickhouse/
и все, процесс не поднимается -
RPI есть 3 разные версии, 2 их них 32 бит - на них никак. версия 3 - 64 бит, на ней запустить можно. Но в ней только 1g ram .
-
Я про 3-ю, но понятно. Просто ищу timeseries бд на нее.
-
если хочется с такими железками поиграть - лучше odroid c2 , там и памяти 2g и процессор побыстрее
-
и еще особенность - clickhouse сейчас не собрать на железке с 2gram, а своп изнасилует sdкарту и если и соберется - очень долго
-
так, попырил сырцы, все просто, —stacktrace —log-level debug
-
хотя, один чорд понятнее не стало, почему не взлетает
> $ clickhouse —extract-from-config —config-file=/etc/clickhouse-server/config.xml —key=path —stacktrace —log-level debug
> 2017-06-20 07:52:20.029 <Warning> ConfigProcessor: Include not found: clickhouse_compression
> /work1/clickhouse/ -
лог создается?
-
лог остался от того кликхауса, который ставил до этого из пакетов, и он не обновляется, в том и беда
-
попробовал от sudo -u clickhouse -g clickhouse, не помогло
-
gdb -ex run --args clickhouse —config-file=.........
-
prll сорян, я кажется олень. —extract-from-config и key нафиг не нужный были. но это я из rc скриптов пытался выдернуть, чтобы понять. почему же не стартует
-
чот я жостко протупил :) это же не строка запуска, а получение ключа из конфига, по именам же понятно, а я баклан не ту строчку поди взял 😂
-
А кому-нибудь еще хочется поднять clickhouse на arm железках? если да, то 32 или 64бит ?
-
Я б посоветовал брать виртуалки с армв8 и собирать на них.
-
Ок, подумаю
-
Я б посоветовал взять графит на самом деле, кх кажется оверкилл
-
В простом случаи go-carbon + carbonapi + grafana
-
Спс
-
Поставили c2.xlarge (4 ядра и 8 гигов ram). выполняется 3 запроса каждые 5 сек. по 100 млн read rows. 1 ядро съедает все. если запустить большой запрос на выборку в добавок то получится 2-3 ядра будут забиты. как держать нагрузку если 100 человек захотят получить данные статистики если уже при нескольких запросов такой сервер съедает. percent-steal 0%
-
а вы что конкретно делаете и для какой аудитории? )
-
на самом деле, мне надо докупить ссдшку и у меня будет дома относительно шустрая ARMv7 железка
-
могу на ней даже регулярно собирать, если будет шанс что ваще КХ будет собираться
-
ну теже графики построить на основе статистики в кх
-
ну или воткнуть диск от ноута
-
а зачем там 100 человек одновременно?
-
шлется запрос получаются агрегационные данные - строится график
-
у каждого зарегистрированного пользователя есть свои графики (дашборд)
-
возьмите уже с них по 1 евро и арендуйте сервер ;)
-
и так выходит 200$ в месяц этот кх сервер который не держит даже 10 запросов
-
не пойму что не так...
-
У меня продолжение вчерашнего вопроса: как при вставке в таблицу в default в середине таблицы - пропустить это значение, чтоб оно сработало из default как раз?
-
за 200 баксов в месяц можно кластер из трех i7 32гиговых собрать в хетзнере
-
@milovidov_an Алексей хотел бы услышать ваше мнение на счет clickhouse, почему он такой прожорливый или может мы делаем что-то не так
-
ну у вас в память оно явно не влезает, а хранилище у амазона по дефолту тормозное
-
сколько иовейт-то?
-
почти 0-1% всегда
-
ну тогда надо знать запрос:) сожрать 100м рядами одно ядро не сложно) мы же не знаем чего ты там считаешь.
-
Читаю это. И видно что люди занимаются тем же самым - нормализуют строки. все пытаются нормализовать строки :)
-
Да потому что это OLAP. В отличие от того же PG работает в множестве потоков и максимально мобилизует ресурсы сервера для выполнения запроса.
-
Может там что-то конкретное тормозит - типа asc? Или toString?
-
-
load average 1.5
-
оно таки влезает в память судя по объему
-
эти 3 запроса выполняются каждые 5 секунд по очереди
-
-
вот запустились еще парочку запросов для показа статистики. load average 3
-
3 ядра забито из 4
-
поле с датой используете в where?
-
если вам графики рисовать, то наверное можно не все вытаскивать, а только последние N минут/секунд
-
да конечно
-
а если я хочу посмотреть суммарное количество показателей за месяц
-
а если /etc/clickhouse-server/dictionaries.d/*.xml ?
-
Максим, попробуй кэшировать эти запросы. У меня разработчики накосячили чуть чуть с демонами и тим вот всем
-
и не заметили, сервер две недели был в 100% утилизации
-
накинул кэширование - сразу в 0 стало
-
объясни плиз. они вроде как по дефолту должны кешироваться самим кх?
-
да вроде не кэшируется
-
я просто нгинксом в кэш кидаю, очень годно и удобно
-
я что-то пригрустил. вначале небыло предела моему счастью когда мы слезли с mysql, а теперь это какой нужен сервер чтобы обслужить хотябы 500 реал тайм человек..
-
мне кажется вы используете кликхаус как-то не так :)
-
это не замена mysql, это аналитическая базка
-
где малое количество юзеров делают какое-то количество запросов на огромных наборах данных
-
и кх в этом великолепен
-
мы только для статистики её используем
-
но на основе почти 1 млрд записей мы строит пользователю графики и отчеты
-
а админу свои отчеты более показательные
-
про nginx не понял. как ты его связал с кх запросы ведь летят на порт кх
-
мы используем веб интерфейс кх для запросов
-
smi2 ?
-
да
-
а мы шлем запросы напрямую на порт сервера через драйвер сми2
-
но та статистика, которая отрисовывается юзерам - предаггрегированная
-
нам оказалось проще на стороне загрузки раскидывать по разным базам статистику
-
и с нее делать запросы
-
если я захочу посмотреть график посекундно мне агрегация не подходит
-
аггрегируй по секундам :)
-
схлопнуть 1 млрд в 50 млн не проблема. но это будет по минутам или часам
-
а при достижении большей нагрузки 50 млн когда нибудь снова привратяться в 1 млрд
-
я думаю за пол года спокойно
-
мне кажется ты ожидаешь от кх чего-то невозможного в рамках инсталляции на c2.xlarge
-
вот интересно как яндекс построил свои метрики. у них ведь и кеша никакого нету. прямые запросы. я конечно понимаю что у них сервера реактивные, но я думаю в чем-то есть принципиальная разница архитектурная в хранении данных может
-
скорее всего там в индекс юзерайди добавлен и не нужно лопатить все данные
-
я очень сомневаюсь, что у яндекса нету "кэша" который копит свежие данные и мгновенно выдает их в метрике
-
ну так писал миловидов их начальник по clickhouse
-
в веб интерфейсе я имею в виду
-
дорого на их объеме такой кэш содержать
-
я думаю выезжают за счет распределенных запросов
-
ну user_id это хорошо. решает много проблем
-
но если нужно построить отчет по всем пользователям суммарный
-
такой запрос просто повалит сервер на бочок
-
ну, агрегируйте такой отчет отдельно, в любом случае подобные вещи дико считать по сырой статистике
-
построить расчет по всем это задача мапредьюса и не реалтаймовая
-
можно более подробно?
-
делать вставку дублирующая на таблицу типа agregateMergerTree ?
-
вернее не такой же. а с тем набором полей который необходим в отчете. просто пусть суммирует для каждого пользователя
-
зачем для каждого если у вас проблема с отчетом по всем ?
-
а вдруг понадобится :)
-
надо все-все предусмотреть
-
посекундно
-
нет, прописать <dictionaries_config>/etc/clickhouse-server/dictionaries.d/*.xml</dictionaries_config>
-
А он уже в репах?
-
А) ну на прошлой неделе тут в чате говорили что в течение нелели примерно будет. Так что надеемся на этой неделе )
-
я имею ввиду что вместо 1 большой таблицы. делать несколько таблиц по секундно, по минутно, по часам, дням, месяцам. Соответственно по секундно можно выбрать диапазаон только час. по часам день. Ну и агрегировать в разные таблицы данные
-
или как
-
храните сырую стату столько сколько она вам реально нужна, а для отчетов используйте уже схлопнутую по минутам или по 15 минут (не знаю какая вам точность нужна)
-
+1. Даже кдб такого не выдержит. Из-за этого много статсов. Без этого никуда.
-
метрика выдает отчеты из кх. но у нас 400+ машин и при необходимости используется семплирование.
-
что представляет из себя это сэмплирование?
-
Грубо говоря по индексу читается только часть данных в надежде на то, что получится достаточно репрезентативная выборка
-
в некоторых случаях клиенту все равно, пришло к нему на сайт 1000 человек или 1001. тогда можно строить отчет по части данных, который показывает примерные числа, но работает быстрее.
-
а если важно
-
тогда кликхаус не используют
-
а тащут ACID базу
-
Тогда и модели данных другие используют
-
в общем из большой базы сырых данных надо делать подготовленные агрегейтмердж таблицы а лучше summerge. но проблема потом добавлять новое поле, ведь update нету и добавить данные из сырой в подготовленную не получится
-
там разная логика для путей начинающихся с / и просто name*.xml
-
то что нужно делать зависит от того, скольк у вас данных пишется, сколько у вас данных читается, какой сервис с какими отчетами вы делаете, какие у вас требования к нему по времени ответа, количеству запросов, точности ответа, а также сколько у вас есть на это денег.
-
может быть несколько summing merge tree подойдут.
-
Добрый вечер, коллеги, подскажите пожалуйста, если внешним словарём является исполняемый скрипт, и запрос вида Select .... LIMIT 10; то исполняемый скрипт выполнится только 10 раз (LIMIT) или для всего набора данных?
-
сам запрос у вас потоковый, но если у вас тяжелые строки, а в случае select * так может быть, то нужно чтобы за один раз в память читалось не слишком много строк.
-
я бы покрутил что-то вроде max_block_size
-
А decompress=1 какие компрессии поддерживает? Через gzip прогнать ок?
-
и почему так быстро?. у нас 600 млн записей почти минуту отдает, пытаюсь посчитать для них сумму и сгруппировать по странам регионам
-
эм.. тогда я точно не понимаю в чем дело
-
а какой сервер? может какие-то настройки сервера отличные от тех что по умолчанию?
-
у меня много группировок по строковым типам
-
ну это только некоторые из полей можно так сделать. но не все к сожалению
-
сервер 4 ядра и 8 гигов ram. это конечно в 10к раз хуже вашего
-
магия
-
вот элементарный пример
-
SELECT count(*) FROM xxx
-
-
7 сек чтобы посчитать количество ... это норм?
-
не тормозит
-
-
это в 4 раза медленее. но это запрос на сервере. а если отправлять запрос на порт 8123 то 7 сек
-
и у вас 18 rows/s у меня почему-то 3 rows/s
-
диски ssd
-
но на примере обычного теста я отстаю в 4 раза. это как объяснить?)
-
есть мониторинг
-
только что смотреть. памяти хватает. проц съедают потоки clickhouse-server. место есть
-
iops не упирается в диск
-
вот еще раз выполнил запрос
-
-
уже почти 0.5
-
в среднем от 0.2 до 0.5
-
А ещё к слову, мне тут что то подумалось, что индекс же должен влиять в том числе на скорость group by, даже если нет фильтрации. Разве нет?
-
Ну логика говорит что должен влиять в общем :)
-
группировки по ключу?
-
а сколько у вас дисков, от 100->200 потоков было какое-то увеличение в скорости?
-
а, вы не в одну машину пишете
-
Как же все сложно в обычном sql:
... where sym in (select arrayJoin(arrayMap(x->cityHash64(x), ['AAA','BBB'])))
вместо векторного:
... where sym in cityHash64 each ['AAA','BBB'] -
я бы делал has(arrayMap(x->cityHash64(x), ['AAA','BBB']), sym)
-
хотя наверно то же самое будет.
-
Совсем не ясно почему колонка (что в векторной базе = вектор), тут не считается вектором (массивом) по сути.
-
С has вообще не очень понятно как работает, те и не должно по идее работать, но главное в 200 раз медленнее
-
синтаксически список в правой части in это вообще тупл, т.е. не массив, хотя проверки относительно него делаются как для массива, проверяется существования общего типа всех компонентов. массивы же не считаются отношениями, это такой вектор-строка, в отличие от вектора-столбца, который представляет собой таблица с одной скалярной колонкой. arrayReduce немного маскирует это отличие, но не всегда помогает.
-
Has возвращает булевый массив, но он будет не соответствовать длине sym => странно что where его вообще принимает.
-
а вот это интересно. ну т.е. работать должно, почему бы и не работать, неужели он хеши считает на каждую строку.
-
Я не понимаю как where может работать при таком подходе, :) может только тиражирует все на каждую строку, отсюда и скорость.
-
SELECT has([1, 2, 3], 1)
┌─has([1, 2, 3], 1)─┐
│ 1 │
└───────────────────┘ -
а у вас sym это массив?
-
А, извиняюсь, параметры в голове местами переставил. Тогда странно что так медленно
-
Нет, сим - это колонка.
-
Чуть позже пришлю запрос как он в кдб выглядит и какой он получается (пока не получается).
-
SELECT *
FROM
(
SELECT number AS x
FROM system.numbers
LIMIT 100000000
)
WHERE has(
(
SELECT arrayMap(x -> cityHash64(x), ['AAA', 'BBB'])
), x)
Ok.
0 rows in set. Elapsed: 1.693 sec. Processed 100.01 million rows, 800.06 MB (59.07 million rows/s., 472.52 MB/s.)
SELECT *
FROM
(
SELECT number AS x
FROM system.numbers
LIMIT 100000000
)
WHERE has(arrayMap(x -> cityHash64(x), ['AAA', 'BBB']), x)
Ok.
0 rows in set. Elapsed: 4.484 sec. Processed 100.01 million rows, 800.06 MB (22.30 million rows/s., 178.43 MB/s.)в три раза отличается. -
SELECT *
FROM
(
SELECT number AS y
FROM system.numbers
LIMIT 100000000
)
WHERE y IN
( SELECT arrayJoin(arrayMap(x -> cityHash64(x), ['AAA', 'BBB']))
)
Ok.
0 rows in set. Elapsed: 0.389 sec. Processed 100.01 million rows, 800.06 MB (257.02 million rows/s., 2.06 GB/s.)еще четыре раза. любопытно. -
видимо в таком виде этот кусок не реплицируется на каждую строку.
-
Ну с точки зрения векторизации последний вариант понятно будет быстрее.
-
ну можно сделать вывод, что во-первых сервер не вычисляет cityHash64 от констант, иначе первый вариант работал бы как второй, а также для has с первым аргументом-константой как минимум в одном случае оптимальнее переписывать в in.
-
Не понял про константы.
-
Переписал
-
Признаться не так ужасно , кроме этой обработки массива, ну и словаря конечно, + скорость очень порадовала. сначала думал, ну вот, в 5 раз от кдб отстаёт, а потом смотрю - дату забыл поставить.
-
has(arr,val) эквивалентно val in (select arrayJoin(arr)) если arr не зависит от строки. если arr сам столбец, то так не получится.
-
а какие времена ответов. и где во втором запросе cityhash
-
Ля, я не так написал, сейчас.
-
-
@orantius время ответа: КХ - около 200мс, что в общем-то много все равно. В кдб - 48мс
-
Ситихеш - это временное решения для быстрой нормализации строк.
@clickhouse_ru / Public archive of Telegram messages.
- 01 Jun 2017 (154)
- 02 Jun 2017 (159)
- 03 Jun 2017 (3)
- 04 Jun 2017 (23)
- 05 Jun 2017 (88)
- 06 Jun 2017 (83)
- 07 Jun 2017 (126)
- 08 Jun 2017 (190)
- 09 Jun 2017 (64)
- 10 Jun 2017 (19)
- 11 Jun 2017 (4)
- 12 Jun 2017 (33)
- 13 Jun 2017 (83)
- 14 Jun 2017 (179)
- 15 Jun 2017 (73)
- 16 Jun 2017 (128)
- 17 Jun 2017 (6)
- 18 Jun 2017 (1)
- 19 Jun 2017 (141)
- 20 Jun 2017 (466)
- 21 Jun 2017 (121)
- 22 Jun 2017 (186)
- 23 Jun 2017 (186)
- 24 Jun 2017 (7)
- 25 Jun 2017 (5)
- 26 Jun 2017 (116)
- 27 Jun 2017 (141)
- 28 Jun 2017 (70)
- 29 Jun 2017 (198)
- 30 Jun 2017 (172)