- 01 November 2017 (144 messages)
-
Joined. -
Продолженние вчерашней эпопеи со сборкой ) в 4 потока сборка падала, в один пока идет норм, тот файл что сбоил ранее собрался, может так и все соберется -
А есть еще какие-нибудь полезные доклады с точки зрения построения оптимальных запросов и в целом каких-то best practices по работе с кликхаусом? Что-нибудь в духе https://events.yandex.ru/lib/talks/4556/LinkПриглашаем всех, кто анализирует большие объёмы данных, на встречу, посвящённую СУБД ClickHouse. СУБД ClickHouse, разработанная в Яндексе для нужд Яндекс.Метрики, почти сразу стала использоваться для решения самых разных аналитических задач. ClickHouse работает быстрее всех известных нам СУБД и легко обрабатывает петабайты данных. Это делает СУБД незаменимым инструментом в руках аналитика. Сейчас ClickHouse стала открытым программным обеспечением, так что её могут свободно использовать все. На встрече будет два доклада. Аналитик Яндекса Мария Рыжова покажет типичные задачи, которые легко решаются с помощью этой СУБД, а технический директор проекта СМИ2 Игорь Стрыхарь расскажет о созданном командой СМИ2 Tabix — графическом интерфейсе для работы с ClickHouse. После докладов пройдёт сессия вопросов и ответов. С собравшимися пообщаются аналитики Яндекса, использующие ClickHouse в самых разных сферах. Их можно будет расспросить, как эффективнее всего применять эту СУБД к конкретным задачам. Участие бесплатно…
-
Joined. -
Собралось, итого: на THREADS != 1 сборка падала 100% независимо от наличия свободной памяти (первая версия что ООМ)
-
Docker может ограничивать память -
Особенно на маке
-
Потому что там виртуалка
-
О, спасибо )
> That 2GB limit you see is the total memory of the VM in which docker runs. -
да, так и оказалось, 2гб стоит
-
докер на маке запускает полноценную виртуалку с линуксом
-
в котором запускает докер
-
ага, только раньше это относительно явно было (VBox торчал в системе) сейчас спрятано и если не заглядывать в настройки то можно и не вспомнить про эти лимиты 🙂
-
скорее всего они перешли на hypervisor framework
-
но я увы не уверен и не знаю
-
ну это не суть 🙂 главное лимит поднял, попробую собрать уже deb наконец-то )
-
а, ну ок
-
Да, и теперь оно вполне сносно работает на стареньком слабом маке ) -
Подскажите, пожалуйста, как взять определенный уровеннь урла без начального куска?
У примеру есть example.com/a/b/c , вот я хочу вытащить /b/ -
Я пробовла комбинацию URLHierarchy и replaceOne, но реплейсу необходимы константы..
-
а какое условие для /b/? вторая часть? -
Блин, на примере сработало..
-
А вот так не рабоатет..
-
!!! точно! спасибо!
-
вот SELECT splitByChar('/', path('http://example.com/a/b/c'))[3]
-
Спасибо большое! это прямо на много лучше, потому что у меня ещё и урлы лежат без http:// и пареметров)
-
Вчера кто-то собирал 54307 с проблемами, под centos 7 собралось практически из коробки, если вдруг нужно -
мм... тогда вам надо будет без path разбивать, кажется path без http/https не понимает строку
-
Добрый день, есть какие нибудь решения для обработки User-Agent на стороне Clickhouse? Я видел тикет https://github.com/yandex/ClickHouse/issues/157 , но вдруг есть какая то альтернатива? Или все процессят на стороне ETL перед загрузкой в CH ?Any plans for User-Agent header parsing? · Issue #157 · yandex/ClickHouseHello! I want to parse vast amount of access logs loaded ClickHouse and extract operating system, browser and device type (mobile/desktop/search crawler bot) on-the-fly. Do you have any plans to ma...
-
Поправил ссылку на правильный тикет.
-
Да, не работает, и это очень не удобно. Но ничего, просто надо будет к индексу массива еденичку добавить и брать от всего урла, а не от пути
-
Joined. -
Может быть ещё какой-то удобный способ заменять пустую строку на какое-то значение без if-ов? по аналогии с coalesce
-
а какая цель преследуется?
-
-
Оптимизация. Чтобы не пересчитывать функцию даважды вот в таком кейсе:
-
Т.е. я хочу сгруппировать по a и b из примера example.com/a/b/c
И если b пустая - то ставить туда что-то не пустое.. -
глупый вопрос, а зачем?)
-
Есть раздел сайта, в котором несколько инструкций. В каждой урл имеет формат example.com/instr_a
В каждой инструкции нужно пройти несколько шагов с урлами example.com/instr_a/1, example.com/instr_a/2 итд.
Задача посмотреть сколько пользователей пришли на example.com/instr_a и сколько прошли до какого шага.
Хочу в итоге получить сводную, где будет в строках название инструкций, а в столбцах номер шага, при этом сам заход на инструкцию назвать шагом 0 -
Из докуентации: Размер URL ограничен 16KB, это следует учитывать при отправке больших запросов.
Попробуйте создать view и сделать select * form view -
я пока не пойму чем вам пустая строка мешает)))
-
Чтобы везде были цифры, которые можно отсортировать по значению
-
select splitByChar('/','example.com/a/b/c')[2] as a, replaceOne(toString(length(splitByChar('/','example.com/a/b/c')[5])),'0','some pattern') as b group by a,b
вот какое-то извращение накидал)) -
А это не сработает, потому что если там какое-то значение, то вернётся длинна, а не значение
-
Так что надо решать через if видимо, что не красиво, ну да ладно
-
replaceRegexpOne(splitByChar('/','example.com/a/b/c')[5],'^$','0')
-
Не сработало :(
-
Насколько я помню, в кликхаусе все одинаковые выражения внутри одного запроса вычисляются единожды. -
Как раз наоборот, в if/case вычисляется все, а потом применяется условие, например
CASE WHEN 1 = 1 THEN
SELECT COUNT() FROM T1
ELSE
SELECT COUNT() FROM T2
END
Посчитает каунт из T1 и из T2 -
А не знает ли кто-нибудь, как работает алгоритм псевдонимов? вот если у меня есть колонки A и B. Если я напишу select A и B то получу разные данные, а если select A as B, B - то одинковые. А если select A as B, B as A - то значения будут из какого столбца?
-
алгоритм работает интересно. -
поэтому лучше так не делать.
-
более чем
SELECT
IPv6NumToString(ip) AS ip
FROM T
WHERE ip = '127.0.0.1'
Будет
SELECT
IPv6NumToString(ip) AS ip
FROM T
WHERE IPv6NumToString(ip) = '127.0.0.1'
А самое печальное вот тут
SELECT
SUM(imps) AS imps,
SUM(imps + clicks) AS total
FROM T -
т.е лучше не называть алиасы именами колонок, даже если это одна и та же колонка? Аля SELECT url AS url?
-
@proller привет, не подскажешь, если в kafka движке указываем формат TSV, то получается нужно указать и разметку какие поля куда?
-
Joined. -
Прекрасный универсальный ответ :) А вот так писать нормально или лучше в подзапрос убирать?
-
если запрос по одному счетчику (из многих) или если по конкретным датам (не по всем), и наверное если семплирование не 1, то лучше два подзапроса. и зведочку лучше не писать , т.к. во-первых это все колонки, во-вторых в данном случае это все колонки левой таблицы.
-
Звёздочка для примера джоина. Кстати по поводу дат, если мне нужны все хиты визитов определенной даты, то, на сколько я понимаю, диапазон дат хитов лучше расширить, правильно? И если да - то на сколько?
-
у визита ограничение 24 часа,
-
Всем привет! Вопрос такой: пытаюсь использовать из питона sqlalchemy, но не могу прочитать nullable переменные. Кто-нибудь знает, как это обойти? -
-
тем временем правильный ответ такой, нашла. через ifNull
-
-
Привет!
Обновились с 1.1.54197 до 1.1.54292
Теперь раз в пару дней возникает проблема с нагруженной таблицей: в какой-то момент перестают запускаться мерджи, куски начинают накапливаться и мы достигаем лимита "Too much parts".
Помогает только рестарт одной из двух реплик -
что значит скользить? что-то типа курсора? -
может получится что-то на https://clickhouse.yandex/docs/en/functions/other_functions.html#runningdifference-x сделать. Но надо подумать как) -
это вроде единственная функция, которая что-то про соседнюю строчку знает
-
ClickHouse нужен когда у вас очень много данных, для журнала входов это чуть более чем перебор, попробуйте посмотреть в сторону PostgreSQL и оконных функций (https://www.postgresql.org/docs/current/static/tutorial-window.html , http://www.postgresqltutorial.com/postgresql-window-function/)
-
pgsql – PostgreSQL
Чат русскоязычного сообщества PostgreSQL, здесь мы обсуждаем технические вопросы, для поиска работы и предложения вакансий есть группа https://t.me/pgsqljobs For English discussion visit https://t.me/pg_sql
-
Может меня сейчас закидают помидорами, но есть greenplum c развесистой поддержкой SQL (http://gpdb.docs.pivotal.io/510/ref_guide/sql_commands/sql_ref.html), он, конечно, не такой шустрый как ClickHouse, но способен "прожевать" достаточно большое количество данных )
-
любой хостинг виртуалок их оверселит по какому-нибудь ресурсу, даже дорогой типа амазона
-
оверселинг добавляет веселья)
-
попал ты на физ машину с еще пятью кликхаусерами и каждый получает по 2ГБ в секунду)
-
ну просто потому что все занято соседями
-
дело во всем сумарно
-
Xeon E5v4 могут кэши и bandwidth памяти алокейтить на виртуалки, кстати)
-
точнее per pid
-
правда я сомневаюсь что хостеры это используют
-
как раз пропогандировали как борьбу с вымывыанием кэша соседями
-
речь про Broadwell
-
Xeon E5 v4 и новее. Они в принципе уже год с лишним в свободной продаже
-
но я пока v3 в хостинге только видел
-
но впрочем я по работе с хостингами не сталкиваюсь
-
если взять такой датасет для примера
SELECT
number AS time,
((time * 31) + 7) % 17 AS cc
FROM system.numbers
LIMIT 20
┌─time─┬─cc─┐
│ 0 │ 7 │
│ 1 │ 4 │
│ 2 │ 1 │
│ 3 │ 15 │
│ 4 │ 12 │
│ 5 │ 9 │
│ 6 │ 6 │
│ 7 │ 3 │
│ 8 │ 0 │
│ 9 │ 14 │
│ 10 │ 11 │
│ 11 │ 8 │
│ 12 │ 5 │
│ 13 │ 2 │
│ 14 │ 16 │
│ 15 │ 13 │
│ 16 │ 10 │
│ 17 │ 7 │
│ 18 │ 4 │
│ 19 │ 1 │
└──────┴────┘то с ним можно делать вот такие вещи
SELECT
w,
arrayReduce('avg', groupArray(cc) AS vs) AS avg,
vs[-1] AS v,
vs
FROM
(
SELECT
cc,
arrayMap(x -> (time + x), range(4)) AS window
FROM
(
SELECT
number AS time,
((time * 31) + 7) % 17 AS cc
FROM system.numbers
LIMIT 20
)
)
ARRAY JOIN window AS w
GROUP BY w
ORDER BY w ASC
┌──w─┬───avg─┬──v─┬─vs───────────┐
│ 0 │ 7 │ 7 │ [7] │
│ 1 │ 5.5 │ 4 │ [7,4] │
│ 2 │ 4 │ 1 │ [7,4,1] │
│ 3 │ 6.75 │ 15 │ [7,4,1,15] │
│ 4 │ 8 │ 12 │ [4,1,15,12] │
│ 5 │ 9.25 │ 9 │ [1,15,12,9] │
│ 6 │ 10.5 │ 6 │ [15,12,9,6] │
│ 7 │ 7.5 │ 3 │ [12,9,6,3] │
│ 8 │ 4.5 │ 0 │ [9,6,3,0] │
│ 9 │ 5.75 │ 14 │ [6,3,0,14] │
│ 10 │ 7 │ 11 │ [3,0,14,11] │
│ 11 │ 8.25 │ 8 │ [0,14,11,8] │
│ 12 │ 9.5 │ 5 │ [14,11,8,5] │
│ 13 │ 6.5 │ 2 │ [11,8,5,2] │
│ 14 │ 7.75 │ 16 │ [8,5,2,16] │
│ 15 │ 9 │ 13 │ [5,2,16,13] │
│ 16 │ 10.25 │ 10 │ [2,16,13,10] │
│ 17 │ 11.5 │ 7 │ [16,13,10,7] │
│ 18 │ 8.5 │ 4 │ [13,10,7,4] │
│ 19 │ 5.5 │ 1 │ [10,7,4,1] │
│ 20 │ 4 │ 1 │ [7,4,1] │
│ 21 │ 2.5 │ 1 │ [4,1] │
│ 22 │ 1 │ 1 │ [1] │
└────┴───────┴────┴──────────────┘но если у вас много данных, то может это работать и не будет. - 02 November 2017 (274 messages)
-
Joined. -
Joined. -
Joined. -
С ними надо аккуратнее. Запросто можно попасть на Skylake c багнутым микрокодом.
Подробнее тут https://lists.debian.org/debian-devel/2017/06/msg00308.html
Ловил проблемы на E3-1275 v5 (PX61nvme).
Думаю имеет смысл пополнить раздел https://clickhouse.yandex/docs/ru/operations/tips.html#hyper-threading -
Идентифицировать проблему сложно, но лечится легко
-
перешивкой микрокода )
-
да. PX91 и выше этим вроде не болеют, но проверить стоит
-
от проца и партии. в статье все описано
-
На самом деле если у вас достаточно свежая ОС то вам не следует заморачиваться с этим, ОС каждый раз при загрузке вкатывает микрокод (соответственно ОС получает обновления микрокода вместе с остальными обновлениями пакетов), это все сделанно для того, чтоб когда в очередной раз найдут какую-то проблему в процессоре не выпускать новые и не бегать по всем пользователям и менять, а просто накатить некий патч который данную проблему исправляет/прикрывает
-
intel/amd активно по этому поводу работают с linux
-
16.04 из коробки проблемы не решила
-
пришлось руками накатывать intel-microcode из офф репозитория
-
17.04 на сколько мне известно тоже
-
По дефолту пакет может и не стоять, ставим пакет -> не паримся
-
именно
-
Ubuntu – Details of package intel-microcode in xenial-updates
Processor microcode firmware for Intel CPUs
-
Там выше написано intel-microcode )
-
не забудь только подключить updates репозиторий
-
может глупый вопрос, но: в рекомендациях есть упоминание фс ext4 и xfs. а на cephfs кто-нибудь размещал? каковы будут возможные грабли и будут ли? -
Зачем ?
-
Не прошивкой, а апдейтом в момент загрузки оси. Там простая процедура - делается initrd специальной тулзой и ставиться как первый, раньше стандартного
-
а есть какая-нибудь возможность посмотреть на пропущенные при импорте строки с включенной опцией input_format_allow_errors_? -
"один большой массив" дисков. не реорганизовывать структуру
-
Распределённый и сетевой. Для бд которая сама умеет в распределенность, это не имеет смысла
-
Ты так только количество доступных цпу и оперативы снижаешь, не получая выигрыша в чем либо
-
согласен, спасиб
-
Мы используем через хикари, вроде без проблем
-
нет, но можно написать простой скрипт и дропать старые партиции
-
нет
-
Никто не скрещивал https://www.rstudio.com/ с ClickHouse под macOS, я этой штукой не пользуюсь, а вот наш аналитик да, поэтому если кто знает что и как там, расскажите как их скрестить ?RStudio | Open source & professional software for data science teams
RStudio provides free and open source tools for R and enterprise-ready professional software for data science teams to develop and share their work at scale.
-
какое скрещивание подразумевается? там датасеты вполне классическим образом импортируются.. -
Из R-Studio прямо в КХ ходить, она (аналитик) у нас так раньше в Citus ходила
-
посмотрите на https://github.com/hannesmuehleisen/clickhouse-r может получится на этой основе сделать шаблон R, в который ваш аналитик будет дописывать просто поведение по полученной выборкеGitHub - hannesmuehleisen/clickhouse-r: Rstats client for ClickHouse (https://clickhouse.yandex)
Rstats client for ClickHouse (https://clickhouse.yandex) - GitHub - hannesmuehleisen/clickhouse-r: Rstats client for ClickHouse (https://clickhouse.yandex)
-
OK, спасибо
-
тут в одном соседнем новостном канальчике чуваки показали https://github.com/flant/loghouse вот такую штуку
-
Вроде мускул как внешний словарь можно подключить
-
Всем драсьте. Столкнулся со странной проблемой чтения данных из CH. Использую https://github.com/kshvakov/clickhouse
Делаю банальный Query и получаю 0 записей хотя если в консольке повторить тот же запрос там будет много записей. В дебаге информации нет ни какой. Пусто, ошибок тоже нет. Прям как то неожиданно и даде не знаю куда копать. Может кто сталкивался с пододобнымю Буду признателен за подсказкли куда посмотреть что проверить.GitHub - ClickHouse/clickhouse-go: Golang driver for ClickHouseGolang driver for ClickHouse. Contribute to ClickHouse/clickhouse-go development by creating an account on GitHub.
-
@artemalemasov Может подключаетесь к разным базам через консоль и через библиотеку?
-
Нет база одна - что называется под ногами
-
Код покажите
-
@kshvakov
Да вроде все просто
—---------------
db, e := sql.Open("clickhouse", fmt.Sprintf("tcp://%v?debug=%v&compress=true&username=%v&password=%v&read_timeout=60&write_timeout=60", server, debug, user, password))
if e != nil {
return nil, e
}
rows, err := db.Query(query)
if err != nil {
return 0, fmt.Errorf("Query error:\n%v\n", err)
}
cols, _ := rows.Columns()
count := 0
for rows.Next() {
count++
...
}
—--------------- -
Если debug включить что показывает ?
-
@kshvakov
—---------------—
clickhouse][connect=1][prepare] SELECT sum(effective_price * (100/(100 - if(isNull(payload__fee_percent), 0, payload__fee_percent))))/1000 as fee, sum(if(agg__events_weight >= 25, 1, 0)) as event_25, sum(if(agg__events_weight >= 50, 1, 0)) as event_50, sum(if(agg__events_weight >= 75, 1, 0)) as event_75, sum(if(agg__events_weight >= 100, 1, 0)) as event_100, sum(bidfloor) as sum_bidfloor, sum(raw_price) as sum_raw_price, sum(click) as sum_click, sum(payload__payment) as sum_payment, sum(effective_price) as sum_effective_price, sum(imp) as sum_imp, country as country FROM agg WHERE if(isNull(install), 0, install) = 0 AND toDate(bid_timestamp) <= '2017-11-01' GROUP BY country
[clickhouse][connect=1][send query] SELECT sum(effective_price * (100/(100 - if(isNull(payload__fee_percent), 0, payload__fee_percent))))/1000 as fee, sum(if(agg__events_weight >= 25, 1, 0)) as event_25, sum(if(agg__events_weight >= 50, 1, 0)) as event_50, sum(if(agg__events_weight >= 75, 1, 0)) as event_75, sum(if(agg__events_weight >= 100, 1, 0)) as event_100, sum(bidfloor) as sum_bidfloor, sum(raw_price) as sum_raw_price, sum(click) as sum_click, sum(payload__payment) as sum_payment, sum(effective_price) as sum_effective_price, sum(imp) as sum_imp, country as country FROM agg WHERE if(isNull(install), 0, install) = 0 AND toDate(bid_timestamp) <= '2017-11-01' GROUP BY country
[clickhouse][connect=1][read meta] <- data: packet=1, columns=12, rows=0
[clickhouse][connect=1][rows] <- progress: rows=290515, bytes=17560768, total rows=3112960
[clickhouse][connect=1][rows] <- progress: rows=622592, bytes=39845888, total rows=0
[clickhouse][connect=1][rows] <- progress: rows=434900, bytes=26801408, total rows=0
[clickhouse][connect=1][rows] <- progress: rows=612958, bytes=40261504, total rows=0
[clickhouse][connect=1][rows] <- progress: rows=716697, bytes=45868608, total rows=0
[clickhouse][connect=1][rows] close
[clickhouse][connect=1][stmt] close
—----------------- -
@kshvakov Тот же самый SQL в консоле
—----------------
SELECT
sum(effective_price * (100 / (100 - if(isNull(payload__fee_percent), 0, payload__fee_percent)))) / 1000 AS fee,
sum(if(agg__events_weight >= 25, 1, 0)) AS event_25,
sum(if(agg__events_weight >= 50, 1, 0)) AS event_50,
sum(if(agg__events_weight >= 75, 1, 0)) AS event_75,
sum(if(agg__events_weight >= 100, 1, 0)) AS event_100,
sum(bidfloor) AS sum_bidfloor,
sum(raw_price) AS sum_raw_price,
sum(click) AS sum_click,
sum(payload__payment) AS sum_payment,
sum(effective_price) AS sum_effective_price,
sum(imp) AS sum_imp,
country AS country
FROM agg
WHERE (if(isNull(install), 0, install) = 0) AND (toDate(bid_timestamp) <= '2017-11-01')
GROUP BY country
—---------------
выдает
...
20 rows in set. Elapsed: 0.435 sec. Processed 3.04 million rows, 194.56 MB (6.98 million rows/s., 446.94 MB/s.) -
@artemalemasov полезно включить trace лог у кликхауса и посмотреть какой запрос ему прилетел
-
и сравнить их глазами
-
то что руками делал и то что прилетело от библиотеки
-
@Civiloid Понял спасибо буду смотреть по логу КХ
-
просто даст чуть больше информации о том что былоо
-
вот тут cols, _ := rows.Columns() ошибку обработайте
-
еще у Scan и rows нужно проверять ошибки, судя по дебагу там данные так и не пришли, только прогрес, похоже что просто таймаут сработал
-
Если можете создать кейс (структуру таблицы + данные + код) для воспроизведения можно сюда написать https://github.com/kshvakov/clickhouse/issues
-
@kshvakov
Обработал но ошибки нет даже распечатал колонки
—------------------—
Columns: [[sum_effective_price sum_imp sum_click sum_payment event_75 sum_bidfloor sum_raw_price fee event_25 event_50 event_100 country]]
—------------------— -
Ок понял попробую в лог KХ еще заглянуть может там что интересное будет.
-
не будет там ничего интересного, запрос дошел и начал выполнятся, сделайте минимальный кейс для воспроизведения проблемы и Issue на GitHub или в личку ;)
-
@kshvakov я еще иногда вижу что проскакивает ошибка
https://github.com/kshvakov/clickhouse/blob/58c555f03a371215afe7e1db07232826fe17aaa6/clickhouse.go#L266kshvakov/clickhouseclickhouse - This is a Golang driver for ClickHouse column-oriented database management system
-
Но она как то рандомно срабатывает
-
Я попробую кейс составить спасибо
-
А какой полный текст у ошибки ?
-
@kshvakov Немного дезориентировал возможно это другая ошибка вот текст
—-------------
Query error:\n[rows] unexpected packet [16] from server\n"
—------------- -
Да, там явно что-то пошло не так, давайте кейс )
-
Она возникает рандомно и похоже связана с конкурентным использованием одного инстанса db который я постороил через sql.Open("clickhouse", "tcp://...")
-
И, какая у вас версия ClickHouse ?
-
При конкурентом он сам вам несколько соединений создаст
-
@kshvakov
Да да я вижу в дебаге несколько коннектов эт верно но она возникает когда именно конкурентно использую. если 1 запрос то ошибок не вижу подобных
Версия КХ 1.1.54292 -
если соберете кейс - я поправлю, у меня оно нигде не воспроизводится
-
Хорошо попробую сделать проектик с этим кейсом.
-
@artemalemasov @kshvakov еще полезно попробовать другую ОС, я помню вот этот баг воспроизводился легко на MacOS но не воспроизводился на linux : https://github.com/kshvakov/clickhouse/issues/34 , обычно связано с фрагментацией пакетовtoColumn type fails on high-batch load · Issue #34 · kshvakov/clickhouse
Observed behaviour: on high batch load toColumn types randomly fails Expected behaviour: no failure while database is up Environment: go version go1.8.1 darwin/amd64 Golang SQLDriver 1.1.54213 Clic...
-
@kenota Понятно. Я использую Ubuntu. И клиент и сервер оба на Ubuntu.
-
Там проблема не в макоси была, а в криворукости автора библиотеки )))
-
@kshvakov хехе :) но проявлялась то она на макоси лучше, т.к. пакеты фрагментировались)
-
если помнишь кстати, мой баг который воспроизводился когда сервер и клиент за 5-6 мс друг от друга были, а запросы были жирными
-
да, я помню
-
@kshvakov на самом деле крутая библиотека, сохранила нам кучу времени, спасибо
-
это да, определенно крутая
-
а ченжлога нет пока?
-
Судя по комитам там будет кафка )
-
Я не дождался кафки - пришлось написать свою реализацию )
-
не дождался оф билда, сам собрал с кафкой, пока все круто ) данные льются, помещаются во вьюху, все работает, прям тру онлайн аналитика
-
если б кафка появилась чуть раньше, я бы не городил костыли на gRPC для передачи данных :)
-
Joined. -
А есть пример, как это чудо работает? -
https://clickhouse.yandex/docs/en/table_engines/kafka.html есть документация
-
Я имею в виду концептуально. Риалтайм это называют потому, что данные из очереди напрямую в кх попадают или потому что всё выше плюс тэйлэбл курсор появляется?
-
схема простая, создается таблица с engine kafka, там указывается адрес брокера, топик, группа и формат (из тех что умеет CH) Сама по себе эта таблица ничего не делает, к ней цепляется Materialized View, после этого начинается постоянный забор данных из кафки пачками (настраивается)
-
таким образом записи из кафки влетают напрямую в CH и сразу доступны для обработки
-
можно без вьюхи, тогда на каждый селект он будет ходить в кафку за данными
-
@ajIeks а оно в каком формате желает видеть данные?
-
в самой кафке
-
в тех что умеет CH
-
а, в самой кафке строка вроде
-
ну то есть в кафку можно писать Native формат кликхауса
-
и будет ок?
-
в доке еще что-то про cap'n proto написано, но не пробовал
-
получается да
-
жаль что не протобуф )
-
ага ) как-то привычней ) но можно сделать PR ))
-
@cebka чем? )
-
cap'n'proto там только лиш по той причине что его используют в Cloudflare, если б они использовали protobuf то был бы он )
-
я знаю)
-
ждем гугл )))
-
А так в принципе получается достаточно удобно, если уже есть кафка как общая шина, можно в нее пушить всякие метрики и не заморачиваясь сразу доставлять в том числе в CH
-
почему нет?
-
ну прям сильно простые правки можно на CH делать, в пределах возможного, все равно проходит через SELECT вьюхи
-
там и замену и каст сделать можно (при необходимости)
-
можно так кстати сразу обогащать данные )
-
но wire-size ощутимо больше
-
и плюс протобуф нативен для gRPC
-
обогащать в том плане что есть исходный набор и докидываем например если это покупки статус контрагента на этот момент, либо что-то еще из справочников
-
особенно удобно для фиксации исторических значений (если сразу не приходят)
-
k-way merge?
-
Не знаю, подойдет ли вам такой вариант, но можно создать view и таки впихнуть запрос в ?query
-
Как запустить сервер кликхауса на 0.0.0.0, а то он по дефолту на локалхосте работает? -
Только в конфиге /etc/clickhouse-server/config.xml править?
-
да, поменять на :: -
Joined. -
systemd-юниты легко пишутся, в принципе
-
можно и самому намалевать
-
У нас такое случается достаточно регулярно, когда ноды КХ теряют связь с ZooKeeper.
Некоторые таблицы перестают накатывать изменения.
Это видно в system.replicas, разница между log_max_index и log_pointer становится большой.
Я в таких случаях делаю detach/attach таблице с проблемой, она перечитывает очередь и накатывается -
В документации написано:
...
OR log_max_index - log_pointer > 10
...
Если этот запрос ничего не возвращает - значит всё хорошо.
https://clickhouse.yandex/docs/ru/system_tables/system.replicas.html -
Я написала сюда, и пошла проверить. И нашла одну залипшую таблицу. У нас 1.1.54284
-
Значит, пора :)
-
вам подкинуть юнит на системд? он простой с виду
-
я думаю, ничего страшного в пулл-реквесте нет
-
по крайней мере лично я буду благодарен, может, даже от себя добавлю
-
ок, завтра сделаю
-
Спасибо! -
detach partition не такая плохая идея, но вот attach два раза делать не стоило
-
на второй реплике все в порядке?
если да, я бы удалила таблицу с проблемой, и создала заново
ну или можно попытаться разобраться, что у нее в очереди в ЗуКипере -
drop partiton реплицируется, партиция удалится на всех репликах
-
смотря сколько данных в таблице
-
если удалить реплику и создать заново, она все скачает заново
-
у второй ноды в очереди на репликацию ничего нет?
-
system.replication_queue
-
на ненормальной должно быть много всего в очереди, по идее
-
посмотрите в ЗуКипере
-
select * from system.zookeeper where path='/{path_to_table}/replicas/{replica}/queue'
-
да, одно и то же
-
можно попробовать удалить все файлы от той партиции и запустить ноду
-
тогда наверное места хватит
-
скорее всего в очереди фетчи
- 03 November 2017 (154 messages)
-
-
-
-
Еще бы вот такую штуку поправили
SELECT
action_date,
action_at
FROM
(
SELECT
action_date,
action_at,
action_code
FROM distributed.events
WHERE (action_date = today()) AND (action_at > (now() - 3600))
ORDER BY action_at ASC
LIMIT 1 BY action_code
LIMIT 2
)
→ Progress: 229.80 million rows, 2.46 GB (104.05 million rows/s., 1.11 GB/s.) 98%Received exception from server:
Code: 10. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Not found column action_code in block. There are only columns: action_date, action_at. -
Не могу придумать адекватный способ получить DateTime со следующим месяцем, если у меня есть toStartOfMonth(DateTime)
Т.е есть 2017-10-01, нужно получить 2017-11-01 -
Пока родился такой монстр: toDateTime(toStartOfMonth(*дата с началом месяца* + (((60 * 60) * 24) * 35)))
Если есть у кого лучше варианты - буду рад услышать :) -
О, замечательно! Документация ведь обновляется под новые функции или лучше следить за чейнджлогом и коммитами?
-
t — это DateTime?
а что тогда получится, если t=2017-01-31 00:00:00?
31 февраля, т.е. 3 марта, или 28 февраля? -
ну, или даже если просто Date, то вопрос остаётся
-
Всем привет, что-то tabix не может подключится к БД, пару дней назад все работало - что-то поменялось? -
БД работает, приложение с ним работает
-
Такая же проблема -
http://joxi.ru/82QQ0Qs1RYPy2d - на сервере ничего не менялось1509704048398 (166 kb) uploaded November 3, 2017 Joxi
made using Joxi.net
-
ip:8123
-
1509704274848 (71 kb) uploaded November 3, 2017 Joxi
made using Joxi.net
-
у нас server version 1.1.54236.
-
Спасибо, и огромное спасибо за сам инструмент, очень удобно работать)
-
-
Привет всех. Ктото пробывал запускать клик в kubernetes? Есть ли у когото опыт? -
Kubernetes + docker =profit, а для докера есть image -
если хотите потерять данные то да ) -
Почему потерять?
-
погуглите "docker aufs problem"
-
лучше смотреть в сторону kubernetes + cri-o
-
Ну я на google cloud тестировал их систему с kubernetes, было все ок
-
google cloud это совсем другое
-
там от докера только название
-
Да и в Azure, именно в докере тоже все ок
-
я не потерю данных, а кто работал и имеет опыт клика и куба?
-
думаю поднмать сначало zookeeper а потом в него запускать клик, вот думаю как лучше сделать
-
Вы поиграться хотите с кластером ?
-
у нас клик в кубе, ничего необычного
-
нашел вариант (https://github.com/count0ru/k8s-clickhouse) думаю попробывать чтото такоеcount0ru/k8s-clickhouse
Deployments of Yandex Clickhouse for Kubernetes. Contribute to count0ru/k8s-clickhouse development by creating an account on GitHub.
-
интересно, но у нас свои деплойменты
-
zook возьму https://github.com/kubernetes/contrib/tree/master/statefulsets/zookeeper. А образ клика вы сами собираете или используете официальный @mvikharevkubernetes-retired/contrib
[EOL] This is a place for various components in the Kubernetes ecosystem that aren't part of the Kubernetes core. - kubernetes-retired/contrib
-
Свой, но основанный на базовом яндексовском
-
добавляем туда пару пакетов, конфиги словарей и подобное
-
Клик в кубернетесе? -
не работает форматирование столбца
-
В новом релизе есть способ партиционировать таблицу по дням. Есть ли / будет ли механизм альтера таблицы и смены партиционирования? Или по старинке - создаем новую таблицу рядом -> перегоняем все данные -> переключаемся -> удаляем первую? -
Эх :(
-
Думаю что при использовании условия на _table будет так же быстро как и partition by -
У нас случилось интересное.
Я делала detach partition, а в это время (как выяснилось) шел мерж. Они не поделили system.columns, и в результате во всех трех столбцах с размерами были цифры типа 18446744073709331264.
1.1.54292
Потом во время каждого мержа были ошибки типа
<Error> <table_name> (Data): Possibly incorrect subtraction: 7621 - 170117 = 18446744073709389120, variable <column_name>.bin.file_size -
Всем привет!
вопрос прямой и простой. Можно ли как-то сделать так чтобы формат Pretty выводил не 10 000 строк, а большее количество? -
select * from system.settings where value='10000'
-
Joined. -
Алекс, Татьяна, спасибо - очень помогли
-
Joined. -
ok
-
интересно, кликхаус указывает операционке, чтобы она не засоряла файловый кэш данными из смерживаемых кусков? В принципе, итоговый кусок тоже желательно не помещать в файловый кэш, т.к. он может не понадобиться в ближайших запросах. Это могло бы увеличить объем полезно закэшированных данных. -
можно для начала добавить настройку с минимальным размером куска, для которого использовать O_DIRECT, и выставить ее в 100500Тб по умолчанию, чтобы все работало как раньше. Тогда желающие могли бы потестить эту настройку в продакшн и подобрать оптимальное значение :)
-
> Специально добавили для этого поддержку O_DIRECT, причём, с AIO
а для чего там может понадобиться AIO? Насколько я понимаю, мерж просиходит синхронно в один поток? -
O_DIRECT для селектов не подходит, зато для мержей больших кусков должно быть то что надо )
-
короче, оказалось, что магия O_DIRECT слишком хрупкая? -
мы сейчас выставили максимальный размер куска в 400Гб, на серваках 100Гб оперативки. Получается, что мержи кусков более 100Гб вымывают все полезные данные из файлового кэша, которые используются в наиболее частых селектах.
-
может быть... интересно, как это проверить?
-
сейчас посмотрим ...
-
блин, vmtouch не входит в стандартную поставку убунты. Придется устанавливать из исходников (
а пока есть мысли по поводу минимального размера куска для O_DIRECT по умолчанию:
min_part_size_for_direct_merge = ram_size * (vm.dirty_ratio / 100)
В убунте vm.dirty_ratio = 20, получается что на сервере со 100Гб оперативы O_DIRECT мерж включится для кусков больше 20Гб -
прямо сейчас мержится вот такой кусок:
:) select source_part_names, result_part_name, total_size_bytes_compressed from system.merges\G
SELECT
source_part_names,
result_part_name,
total_size_bytes_compressed
FROM system.merges
Row 1:
──────
source_part_names: ['20171102_20171103_38116342_38119529_5','20171103_20171103_38119530_38122811_5','20171103_20171103_38122812_38126119_5','20171103_20171103_38126120_38129163_5','20171103_20171103_38129164_38132266_5']
result_part_name: 20171102_20171103_38116342_38132266_6
total_size_bytes_compressed: 162198802986
vmtouch показывает, что этот кусок полностью закэширован:
$ sudo vmtouch /opt/clickhouse/data/default/events/tmp_merge_20171102_20171103_38116342_38132266_6
Files: 12
Directories: 1
Resident Pages: 2752594/2752594 10G/10G 100%
Elapsed: 0.35555 seconds -
т.е. идет вымывание полезных данных из файлового кэша (
-
исходные куски тоже вытесняют из кэша полезные данные (
$ sudo vmtouch /opt/clickhouse/data/default/events/20171102_20171103_38116342_38119529_5
Files: 93
Directories: 1
Resident Pages: 1695862/8779728 6G/33G 19.3%
Elapsed: 0.34444 seconds -
ждем нового релиза :)
-
Минутка рекламы - вышла новая версия chproxy, где добавлена поддержка кэширования ответов - https://github.com/Vertamedia/chproxy/releases/tag/1.6.0
В кэше есть защита от dogpile effect, предотвращающая одновременную отправку одинаковых запросов в кликхаус. Один запрос уйдет в кликхаус, а остальные будут ждать закэшированного ответа от первого запроса.
Кэширование ответов может быть полезно при построении отчетов, когда пользователь перезагружает одни и те же отчеты много раз, как это часто происходит в системах аналитики. Например, почасовые отчеты "за сегодня" или отчеты "за текущую неделю/месяц" с разбивкой по дням.Vertamedia/chproxychproxy - ClickHouse http proxy
- 04 November 2017 (22 messages)
-
Скорее всего все операции записи имеет смысл делать только o-direct через буфер размером 100*X Мб. -
Мы тоже наблюдаем проблему с вымыванием кэша из-за мерджей и записи новых данных, и, я думаю, нам бы очень помогла "ручка" чтоб можно было настроить работу КХ с мерджами и записью через O_DIRECT
-
Звучит отлично, нужно будет попробовать на запросах от Графаны, там мы как раз видим проблему с одинаковыми запросами, но пока решение было: Nginx + возможность выставить round в плагине
-
А это действительно так сильно нужно в клиенте ?
-
Chrome is new IE6 -
Кстати, а Firefox 57 пробовали? Там розовые пони какают бабочками так быстро, что даже на глаз заметно.
- 05 November 2017 (9 messages)
-
Joined. -
Как и все -If : сначала колонка по которой аргмакс брать, потом условие. -
Я говорю:
CREATE MATERIALIZED VIEW if not exists mybase.zuzuzu ...
А мне говорят:
DB::Exception: Table mybase..inner.zuzuzu already exists..
А дропнуть mybase.zuzuzu нельзя, её нет:
DB::Exception: Table mybase.zuzuzu doesn't exist..
Чё происходит-то? ) А этот иннер-то как дропать?
Перед этим возможно админы жесточайше ребутнули сервак посреди выполнявшегося первого указанного в этом посте запроса. -
"Если где-то нет кого-то, значит кто-то где-то есть! Только где он, этот кто-то, и куда он мог залезть?"
Поищите в SELECT * FROM system.tables, вдруг поможет -
Ну найду я там этот иннер. Но сделать-то с ним я ничего не могу.
-
ну а кроме innera там есть основная таблица с именем zuzuzu и движком MaterializedView?
- 06 November 2017 (79 messages)
-
Ребят, подскажите пожалуйста, где почитать про partition by? Что то кроме тестов на гитхабе больше ничего найти не могу... -
А что осталось непонятным ?
-
Яндекс уже использует кастомное партиционирование в продакшене ? :)
-
Понял, спасибо! Просто увидел, что при создании таблицы с partition by нет дополнительных параметров в движке таблицы (индекс, ключ сэмплирования, размер блока). Не понятно куда их передавать...
-
Спасибо! Это очень круто!
-
вопрос для любителей поиграться с логами: никого не интересует плагин для fluentd к кликхаусу?
-
шо по чем? -
я намалевал плагин для отправки данных из fluentd в кликхаус по HTTP, и думаю, где его держать — в корпоративном репозитории или на гитхабе
-
с этого места подробнее
-
в каком виде данные на флюентд прилетать должны?
-
очень!
-
я сейчас его тестирую на флюентовском @type http, но, как я понял, внутри самого флюента все логи становятся JSON'ами
-
а на фход подать можно простоплейн текст или все же надо тоже в json?
-
ну вообще нужное дело
-
а чем данные из кликхауса для визуализации забераете?
-
ты знаешь флюент? он полученные данные может сам парсить
-
я ещё не задумывался этим вопросом, для начала хочу складывать все логи с боевых серверов в одно место =)
-
а ELK не хочу брать по религиозным соображениям
-
это я в курсе, мне было интересно все стандартно или все же какие-то ограничения есть
-
по идее, ограничений никаких
-
через час закину на гитхаб со своими конфигами, там уже посмотрим
-
о супер
-
остался вопрос веб морды
-
😍
-
Что интересует конкретно, визуализация данных, хранящихся в CH?
-
там messagepack используется как стандартный способ сериализации, а на выходе уже то угодно
-
как я выяснил опытным путём, при попадании единицы лога вызывается функция плагина format(tag, time, record), внутри которой я сделал TSV плюс пара приколов
-
могу подробнее описать свои изыскания, но это уже оффтопик =)
-
ну и на вот это можно посмотреть https://github.com/flant/loghouseGitHub - flant/loghouse: Ready to use log management solution for Kubernetes storing data in ClickHouse and providing web UI.
Ready to use log management solution for Kubernetes storing data in ClickHouse and providing web UI. - GitHub - flant/loghouse: Ready to use log management solution for Kubernetes storing data in C...
-
я смотрел на него, это было буквально в тот день, когда я сам загорелся идеей fluentd-clickhouse. но у них там целая система со всеми плюшками, а у меня только один плагин
-
а не def emit(tag, es, chain) ?
-
при этом там упор на кубернетис, я не смог разобраться, можно ли его перестроить под себя
-
https://docs.fluentd.org/v0.12/articles/plugin-development
# This method is called when an event reaches to Fluentd.
# Convert the event to a raw string.
def format(tag, time, record)
[tag, time, record].to_json + "\n"
## Alternatively, use msgpack to serialize the object.
# [tag, time, record].to_msgpack
endWriting plugins | FluentdTo install a plugin, please put the ruby script in the /etc/fluent/plugin directory.
-
может то что нужно? https://github.com/ento/fluent-plugin-out-httpfluent-plugins-nursery/fluent-plugin-out-http
A generic fluentd output plugin for sending logs to an HTTP endpoint. - fluent-plugins-nursery/fluent-plugin-out-http
-
не знал про него! и я бы, наверное, сам перешёл на него, если б не тот момент, что он не поддерживает буфферизацию.
-
Ну splitByChar возвращает массив, а IN ожидает String :)
-
так а какой ответ вы ожидали?)
-
для буферизации есть плагин ) в конце на странице указано на него https://github.com/kazegusuri/fluent-plugin-bufferizekazegusuri/fluent-plugin-bufferize
fluent-plugin-bufferize - A fluentd plugin that enhances existing non-buffered output plugin as buffered plugin.
-
ну или можно посмотреть как сделаны оба и сделать свой как хочется )
-
а, я сразу полез в код =)
тогда остаётся понять, как его сконфигурировать (выставить TSV или другой кликхаусный формат в body, как задать нужный URI etc), и можно пускать -
но я для начала свой напишу
-
если кто-нибудь ещё интересуется плагином для fluentd, то вот https://github.com/kam1sh/fluent-plugin-clickhousekam1sh/fluent-plugin-clickhouse
Fluentd output plugin to Yandex ClickHouse. Contribute to kam1sh/fluent-plugin-clickhouse development by creating an account on GitHub.
-
👍
-
Эта ситуация с ISO и unixtime, похоже, является серьезным камнем преткновения. В свое время тоже пришлось избавляться от этого минуса довольно-таки топорным способом..
-
Не сочтите, пожалуйста, за рекламу..
-
openbsod/nginx2clickhouse
Parsing and sending nginx logs to clickhouse db real-time - openbsod/nginx2clickhouse
-
там был какой-то баг с парсингом, как я помню, и вроде как он уже исправлен
-
это не так страшно, я сам всё мечтаю о возможности указать другую таймзону в HTTP-запросе
-
Да, на тот момент полугодовой давности было актуально. Это не отменяет ужасного качества кода этой моей "утилиты", конечно.
-
Вроде как везде, SELECT COUNT(*) … -
Если я правильно понял, в чем не уверен, то вывести те данные которые clickhouse-client пишет. Есть вот такой формат https://clickhouse.yandex/docs/en/formats/json.html в котором эти данные есть
- 07 November 2017 (101 messages)
-
Joined. -
Не тормозитПерлы Лёши
-
Перлы Лёши Миловидова с публичных выступлений в развлекательных целях :)
-
👍
-
В CH пока нет Update'ов. Но вы держитесь.
В CH Update'ы будут! -
Joined. -
теперь я нашел объяснение для ряда наших задач Непонятно зачем мы так сделали, но вероятно в этом есть скрытый смысл )))
-
стикерпак нужен, обязательно! -
команда работает над этим
-
Лёша говорит, что такого не говорил 😞
-
Однако в документик высказывание попало
-
Теперь придётся сказать )
-
Это не Миловидов, и я, каюсь, забыл имя и фамилию, но по-моему вполне достойно того канала
-
SELECT dictGetFloat64OrDefault('normalization', 'B', (toDate('2017-09-01'), 'fsdfds'), CAST(10. AS Float64))
Received exception from server:
Code: 368. DB::Exception: Received from server:9000, ip. DB::Exception: Bad cast from type N2DB11ColumnConstI13StrongTypedefISt6vectorINS_5FieldESaIS3_EENS_8TupleTagEEEE to N2DB11ColumnTupleE. -
это баг или фича? :)
-
Всем привет, используем для изменяемых данных движок таблицы ReplacingMergeTree для автоматической дедупликации. Столбец с версией updateAt (dateTime)
Заметил, что если делаем запрос LIMIT 1 то вытаскивается последняя именно запись, то есть нужная. Этому можно верить, или там вероятностная выборка и не гарантирует сортировку по колонки с версией? -
Пользуясь случаем спрошу про "интересный алгоритм" работы алиасов, может его сделать еще интереснее, чтоб запросы вида
SELECT
SUM(imps) AS imps,
SUM(imps + clicks) AS all
FROM T
работали -
А ещё интересна судьба вот этих проблем:
https://github.com/yandex/ClickHouse/issues/859
https://github.com/yandex/ClickHouse/issues/971
https://github.com/yandex/ClickHouse/issues/1087
https://github.com/yandex/ClickHouse/issues/1164
)Wrong query optimisation throws out required columns from subqueries. #859Query below works fine. SELECT * FROM ( SELECT learnerHash, passed - eventTime AS diff FROM statements GLOBAL ANY INNER JOIN ( SELECT learnerHash...
-
попробую с другой стороны зайти - что должно быть четвертым аргументом? ключ? значение?
если значение
> SELECT dictGetFloat64OrDefault('normalization', 'B', (toDate('2017-09-01'), 'fsdfds'), tuple(CAST(10. AS Float64)))
> Received exception from server:
> Code: 43. DB::Exception: Received from server:9000, ip. DB::Exception: Illegal type Tuple(Float64) of fourth argument of function dictGetFloat64OrDefault, must be Float64..
если ключ:
> SELECT dictGetFloat64OrDefault('normalization', 'B', (toDate('2017-09-01'), 'fsdfds'), (toDate('2017-09-01'), ''))
> Received exception from server:
> Code: 43. DB::Exception: Received from server:9000, ip. DB::Exception: Illegal type Tuple(Date, String) of fourth argument of function dictGetFloat64OrDefault, must be Float64.. -
словарь ComplexKeyHashed, ключ (Date, String) три атрибута Float64
-
ну в первом варианте я в третий аргумент передавал кортеж, в четвертый - Float64 как раз, и получал инвалид каст, причем по названиям судя, ощущение, что из плюсовых потрохов эксепшен
-
Привет, можно как то сделать регистронезависимый поиск?
-
Сделать lowerUTF8 на колонку?
-
Колонка с именами, так что перевести ее в нижний регистр не получается. Или lowerUTF8 во время выборки сделать можно?
-
Ну да, почему нет? SELECT * FROM myTable WHERE lowerUTF8(name) = 'вася'
-
Спасибо
-
А в какой переговорке? -
Или прям в холле?
-
А сколько нас? На предыдущих митапах ощущалось острая нехватка места. Одновременно в этим видно, что кто-то проводил митап прямо в холле рядом с Москвой
-
-
с некоторых пор видимо нет.
select * from (select 1 as `a.b.c`) -
подскажите, пожалуйста, как ведёт себя SUM() по полю, где может быть NULL: в результате получаем NULL, или же NULL-значения при суммировании пропускаются?
-
select sum(x) from (select arrayJoin([1,null]) as x)
┌─sum(x)─┐
│ 1 │
└────────┘ -
спс
-
Aliaksandr Подскажите, пожалуйста, в clickhouse-grafana, когда работаешь с шаблонами графаны (Templating) в query не поддерживаются "Global Built-in Variables" (http://docs.grafana.org/reference/templating/)? Насколько вижу, запросы улетают в кликхаус без интерполяции.VariablesTemplates and variables A variable is a placeholder for a value. You can use variables in metric queries and in panel titles. So when you change the value, …
-
Здравствуйте! Это не свзано с https://github.com/grafana/grafana/issues/1909 ? Опишите, плз, на примере что вам нужно получить. Так же вы можете создать issue на гитхабе.Time range from & to as template variables #1909Provide from & to time range as template variables. Useful when generating links in text panels.
-
Joined. -
Возможно и оно, но странно, что в документации написано, что поддерживается.
Из документации
"The $timeFilter variable returns the currently selected time range as an expression."
А хочу я следующее: в графане есть шаблоны (Templating). При следующем запросе я получаю ошибку. Запрос в кликхаус улетает без интерполяции переменной $timeFilter -
-
Был похожий issue https://github.com/Vertamedia/clickhouse-grafana/issues/10Use time range filter in a template query #10
Is it possible to use time range filter (i.e. $from, $to or $timeFilter) in template query? In Grafana documentation I see "Set this only to On Time Range Change if your variable options query contains a time range filter or is dependent...
-
Спасибо. Непонятно, почему они тогда в документации пишут, что оно есть.
-
Возможно, ситуация успела поменятся - я не проверял это поведение с тех пор. Если Вы используете графану с другими датасорсами - там поддерживается такое поведение?
-
И тут есть небольшая неувязка. При использовании КХ-датасорса на странице может быть несколько панелей. У каждой панели будут свои настройки $table, $database и т.д. Когда мы говорим о темлейте, то там нет конфигуратора - соотв. как понимать, во что должен раскрыться $timeFilter?
-
Если Вам необходимо иметь актуальные данные в переменной, то можно использовать такой воркараунд:
SELECT DISTINCT operator FROM gate.dir WHERE DateColumn >= today()-7
т.е. за последние 7 дней -
Проверил в postgres источнике - да, тоже не работает, к сожалению.
-
Так и делаю, но могут быть небольшие неувязки, если данные меняются (месяц назад были, а сейчас нет, при этом график строится по "месяц назад"). Но это относительно допустимо.
-
еще можно добавить новую переменную, в которую нужно вводить/выбирать из списка кол-во дней:
$period
SELECT DISTINCT operator FROM gate.dir WHERE DateColumn >= today()-$period -
как обычно поступают с $interval
-
Первый вариант проще, чтобы интерфейс не перегружать лишними элементами :)
-
чем автомобиль лучше чем леопард? -
@milovidov_an , можно ли как-то пофиксить добавление колонки при активных мержах? Сейчас alter table ... add column может висеть очень долго, если в это время идет большой мерж
-
Правильно ли я понимаю что все фкнкции uniq всегда делают фулскан и разница только в объеме памяти? -
Тот же вопрос только сбоку.
Можно ли хранить число (вероятностное) уникальных кортежей за единицу времени, а потом просто сложить гиперлоги за несколько интервалов и получить реалтайм? -
@podshumok ^
-
У вас, наверное, ssd или очень много памяти. У нас мерж ограничен скоростью записи ~100мб/с на persistent disk storage в google cloud, а максимальный размер куска - 400Гб. Поэтому его мерж не может быть меньше 4000 секунд, а это больше часа
-
В процессор упирается?
-
Уже поздно смотреть, т.к. уже добавили новую колонку на все шарды. У нас селекты обычно выполняются не дольше пары минут, а alter'ы подвисали до получаса, причем только на шардах с большими мержами в момент алерта. И как только мержи заканчивались, alter'ы моментально завершались. В следующий раз посмотрю, выполняются ли в это время длинные запросы.
- 08 November 2017 (160 messages)
-
Joined. -
Joined. -
Парни привет. не подскажете кто-то настраивал datagrip+clickhouse?
-
Пробовал, но чет успехом не увенчалось)) -
Joined. -
Работает с JDBC-драйвером, c такой-то матерью, не особенно юзабельно было, когда в последний раз смотрел.
-
спасибо. значит можно попробовать еще)
-
Clickhouse ведь вроде умеет напрямую за словарями в MySQL ходить? Сделать композитный ключ по id + диапазон дат, должно вроде сработать?
-
Joined. -
тогда храните домен отдельным полем и пихайте его в индекс
-
или вы лайком в самом домене ищите, а не в URL ?
-
тогда, периодически вытаскивайте домены, например, в память, делайте поиск на стороне приложения и пихайте их в запрос в IN
-
вообще в этом случае лучше хранить домены в ClickHouse интом, а не строкой
-
есть вариант добавить ещё поле, где хранить обращённый домен (т.е. для домена abc.ru хранить в этом поле ru.abc), тогда, имея индекс по обращённому домену можно делать like 'needle%' — а оно с индексом работает гораздо шустрее, чем like '%needle'
-
Хай! Как мне залить CSV файл во временную таблицу с помощью питона? -
Joined. -
кто-нибудь заморачивался связкой fluentd - КХ?
-
Могу ошибаться, но тут за последние 2 дня было два проекта для этого
-
Вчера в этом канале кто то выкладывал плагин и как раз обсуждали, поищите поиском)
-
постили линки
-
спасибо, поищу)
-
только что проверил на выборке из 12 миллиардов строк - разница в скорости между '%needle%', 'needle%' и '%needle' составляет менее 10%, да и то это скорее всего погрешность.
Если же сравнивать Domain like '%needle%' с Domain = 'foobar.needle.com', то второй вариант быстрее первого на процентов 20. Если что, то домен у нас не входит в ключ, т.е. по всем запросам идет full scan -
Народ, а кто HighLoad? Можете плиз поискидывать, например, мне, классные высказывания Лёши для https://t.me/milovidov_perls ?Не тормозит
Перлы Лёши
-
А то в телеграме нет "предложенных новостей" и никакой обратной связи у канала
-
у меня на 15 млрд вообще разницы нет, все 4 варианта 35-36 сек :)
-
тоже фуллскан
-
Про кликхауз и зону комфорта например :)
-
Вот сейчас что-то вроде: "'это оцтой, мы могли бы сделать нормально, но не сделали" )
-
https://www.youtube.com/watch?v=Ygfwwd490mk там как раз сейчас (-4 минуты) началась трансляция выступления Алексея про КХГлавный зал HighLoad++ 2017. 8 ноября
Друзья, бесплатная трансляция главного зала конференции HighLoad++ 2017 (в расписании указан как Конгресс-холл) 8 ноября 10:00 / Как выбирать тимлидов на разных этапах роста компании / Евгений Потапов (ITSumma) 11:00 / Как я был тимлидом, а теперь – руководитель направления / Виталий Шароватов (Badoo) 12:00 / Контроль качества высоконагруженных систем / Андрей Дроздов (Avito) 13:00 / Почему ivi перешел со Sphinx на Elasticsearch / Евгений Россинский (Ivi) 14:00 / Жизнь после шардинга / Михаил Курмаев (Badoo) 15:00 / Эффективное использование ClickHouse / Алексей Миловидов (Яндекс) 16:00 / Как мы поддерживаем 100 разных версий клиентов в Badoo / Ярослав Голуб (Badoo) 17:00 / ElasticSearch и Heka: как мы учились просеивать слона через сито / Адель Сачков (Яндекс.Деньги) 18:00 / Почему оно не находится! / Андрей Аксенов (Sphinx) Расписание конференции: http://www.highload.ru/2017/schedule.html Трансляция остальных залов платная: http://www.highload.ru/2017/online Доставку и ускорение трансляции осуществляет…
-
(как будет полное видео - таймстемп примеро 4 часа от начала)
-
Вот сервис, я его не смотрел, ничего гарантировать не могу. Впрочем, по ClickHouse - тоже
-
:)
-
Это уже было ))) -
Видимо это на препрогоне было
-
@Civiloid А что там Прометеус второй умеет теперь в кликхаус писать?
-
есть remote storage api :) можно написать конвертер
-
есть проект - https://github.com/Percona-Lab/PromHouse но в начале он был страннымGitHub - Percona-Lab/PromHouse: PromHouse is a long-term remote storage with built-in clustering and downsampling for Prometheus 2.x on top of ClickHouse.
PromHouse is a long-term remote storage with built-in clustering and downsampling for Prometheus 2.x on top of ClickHouse. - GitHub - Percona-Lab/PromHouse: PromHouse is a long-term remote storage ...
-
А у перконы что за тула? Как я понял это для архивов, а не как замена стораджу?
-
сейчас мб нет
-
На HL++ Алексей сказал про 5 (или 6 способов) правильной вставки, для КХ есть еще один способ "батчить", в Гошном драйвере можно открыть "транзакцию" и в цикле писать данные, он будет сбрасывать блоками по block_size,
а на defer "повесить" commit ) -
промхаус стал адекватнее сейчас. они по крайней мере теги больше не в массиве хранят)
-
Вы у себя не думаете на Прометес переходить?
-
у нас системные метрики (под которые пром хорошо подходит) это 10% нагрузки
-
в нем вероятно медленно но верно перейдем
-
не понимаю, почему пром плохо подходит для метрик приложения?
-
давай в церковь лучше, тут оффтоп это
-
или в личку)
-
Кто ж послал этого человека на хайлоад? Всё очень плохо. Да и врёт при этом. -
Какого?
-
Я думаю, можно пополнять 😬 -
о как. Это ж Миловидов.
-
Понятно, с кем, будем считать что разобрались, а наврал-то он что ?
-
ну, он так вскользь упомянул геоданные. Но мы в этом же чате выяснили, что там их нет.
-
Вы не правильно слышите или просто не хотите слышать, там, на сколько я могу судить, говорилось о хранении идентификатора региона
-
Может он так сказал. Но тогда это уже не геоданные.
-
А что ?
-
Joined. -
чары, стринги, инты, в случае численного представления. Но точно не геоданные.
-
Если вас так сильно "бомбит" по этому поводу, вы можете добавить нужный вам тип самостоятельно или можно объяснить разработчикам что он реально всем нужен
-
На "Камчатке" сонное царство. Люди спят на докладе.
-
Joined. -
"В кликхаусе есть один такой, чуть ли не самый известный, недостаток — он не умеет апдейты. В некотором смысле это даже хорошо."
-
Joined. -
Joined. -
Joined. -
Joined. -
Joined. -
Joined. -
Joined. -
Joined. -
очередная компания добавилась )) -
кажется, его только что послали прямо в зале
-
гыг
-
с хайлоад
-
Joined. -
Joined. -
Joined. -
на ютубе главный зал
-
другие за денежку 🙁
-
https://www.youtube.com/watch?v=Ygfwwd490mk - основной зал, доклад по КХ - примерно 4 часа от начала (или -1 час от текущего)
-
Joined. -
Joined. -
Тупой вопрос. Делается запрос CREATE MATERIALIZED VIEW if not exists xx.bubu ENGINE = SummingMergeTree(date, (date, col1, col2), 8192, (cnt1, cnt2, cnt3)) POPULATE AS SELECT FROM xx.zuzu.
Размер xx.zuzu — 18 млрд строк. В xx.zuzu постоянно втыкается ~500K строк раз в минуту. Где-то к 50-60% исполнения запроса, сервак начинает подыхать по диску. Все прочие запросы скапливаются в очередь и она достигает предела. Индикатор прогресса сабжевого запроса показывает постоянное снижение rows/s и MB/s. Далее всё доходит до того, что сервак перестаёт отвечать на пинги и его ребутают.
Какими явлениями под капотом это обусловлено? Точнее, какими параметрами клиента что можно изменить, чтобы дело шло может быть и медленнее, но стабильнее? -
/stat@combot
-
про ручную репликацию:
- Данные все-равно будут расходиться. Из-за каких-то особенностей в вашем коде..... Надеюсь что в вашем. -
Можно не делать POPULATE, остановите запись и сделайте MATERIALIZED VIEW без POPULATE после чего пропробуйте залить в нее данные кусками через INSERT INTO xx.bubu SELECT * FROM xx.zuzu WHERE blabla= 'X' и запустите запись в xx.zuzu
-
Запись хочется вести только в одну таблицу, из которой делалось populate. В этой таблице данных больше, а в этом создаваемом MV данные более саггрегированы.
-
populate нужен только для того, чтоб влить старые данные которые есть в таблице, причем в этом случае вы не сможете использовать в запросе WHERE (это бага), а также в MW не будут записанны данные которые ппадут в таблицу пока создается MW на нее. Вы можете создать MW без POPULATE и удобным для вас способом вогнать старые данные в MW
-
Joined. -
В каком именно запросе нельзя будет использовать WHERE? В SELECT в готовую MV ? Или в запросе который POPULATE AS SELECT?
-
в том который будет лить данные в MW (AS SELECT ....)
-
Ну это ладно, мне тупо нужно перелить всё. А вот то, что во время создания MV туда не поступают свежие данные - это жесточайше!
-
Всем привет, используем для изменяемых данных движок таблицы ReplacingMergeTree для автоматической дедупликации. Столбец с версией updateAt (dateTime)
Заметил, что если делаем запрос LIMIT 1 то вытаскивается последняя именно запись, то есть нужная. Этому можно верить, или там вероятностная выборка и не гарантирует сортировку по колонки с версией? -
Если селектить с FINAL, то по идее вообще проблем не будет, не?
-
-
поменялся дефолтный максимальный размер куска при мерже. возможно сервер решил перемержить большие куски в очень большие.
-
но вообще за полгода много чего менялось.
-
мержи больших кусков не должны кушать память - https://github.com/yandex/ClickHouse/issues/931Reduce memory usage during vertical merge · Issue #931 · yandex/ClickHouse
Preface We tried increasing max_bytes_to_merge_at_max_space_in_pool from default 100Gb to 500Gb in order to reduce the number of parts for a huge table according to the suggestion from @alexey-milo...
-
у нас сейчас куски по 400гб, полет нормальный
-
Как себя поведет чёрт его знает (хотя мы реплицируем со свежих версий в старые), но если есть свободная машина то можно попробовать на ней, возможно у вас старые версии остались в /var/cache/apt/archives/, мы просто подняли собственный репозиторий (чего и всем желаем) с https://www.aptly.info/ это достаточно удобно
-
у меня вопрос по поводу форматов вставки. Есть таблица exapmle ( Date Date DEFAULT toDate(DateTime), DateTime DateTime, tag String, Num Int32) ENGINE = MergeTree(Date, Date, DateTime, 8192), и я думал, что если вставлять в неё данные через CSVWithNames, опустив поле Date, то всё прокатит и поле подхватится из DateTime. но не прокатило =(
так и должно быть или у меня какая-то корявая табличка или csv-шка? -
Поменяйте на MATERIALIZED DEFAULT...
-
Колонку
-
спасибо!
-
запомню про оба способа. ещё раз спасибо
-
Joined. -
Joined. -
Joined. -
Joined. -
Так их еще не выложили. Недели через 3
-
Joined. -
у меня проблемы записи данных на диск кликхаусом. Скорость запись на диск в секунду кликхаусом более 2-3 Mb/s. Это влияет на загрузку всей системы. Как можно снизить нагрузку? Может писать пачками? Сейчас пишется реалтайм -
спасибо, попробую
-
Посмотрите на мержи. Скорее всего от большого количества вставок приходится мержить часто и много кусков. Это может создавать нагрузку на диск. -
Алексей, спасибо за доклад.
- 09 November 2017 (203 messages)
-
Кажется, у вас проблема с железом. 2-3 мб/с - даже на microsd не тормозит
-
Можно так https://youtu.be/Ygfwwd490mk?t=5h2m14s посмотретьГлавный зал HighLoad++ 2017. 8 ноября
Друзья, бесплатная трансляция главного зала конференции HighLoad++ 2017 (в расписании указан как Конгресс-холл) 8 ноября 10:00 / Как выбирать тимлидов на раз...
-
Joined. -
Hi, what exactly is "Shard" in clickhouse terminology? Is it like table slicing, or distributed query engine?
I can also understand russian, writing is not that well -
@clickhouse_en English speaking channel :)
https://clickhouse.yandex/docs/en/single/#replication
TLDR; like in other databse, shard - one of the servers that have some portion of data. You can use distributed table to query all those servers in parallel and this table engine will combine results for you. -
it's about tables
-
А если я хочу создать таблицу с репликаций, но без разделения данних между серверами, что мне писать при CREATE TABLE?
-
CREATE TABLE plexts_betaspike
(
guid FixedString(34),
ts UInt64,
dt Date,
plextType String,
categories UInt8,
team Enum8('ALIENS' = 0, 'RESISTANCE' = 1),
text String,
markup_player String,
markup_player_team Enum8('ALIENS' = 0, 'RESISTANCE' = 1),
markup_player_guid FixedString(34),
markup_text String,
markup_portal_addr String,
markup_portal_guid FixedString(34),
markup_portal_latE6 Int32,
markup_portal_lngE6 Int32,
markup_portal2_addr String,
markup_portal2_guid FixedString(34),
markup_portal2_latE6 Int32,
markup_portal2_lngE6 Int32
)
ENGINE = MergeTree(dt, (guid, dt), 8192) -
-
Joined. -
Уже читал, не раз.. всётаки непонимаю параметров при созданиё
-
Зачем там шард указать? Как мне указать если нехочу шардов?
-
Значит у вас будет 1 шард
-
shard - идентификатор шарда (в вашем случае, например, 01)
replica - идентификатор машины внутри шарда, чтоб сервера понимали что у кого есть, можно просто вставлять хостнейм -
Если у вас не будет шардирования, то можете забить на shard и не указывать его совсем, это нужно для уникальности внутри Зукипера
-
Значит мне надо пробовать /clickhouse/tables/01-01/таблица или /clickhouse/tables/таблица ?
-
Можно так /clickhouse/tables/таблица
-
btw
https://youtu.be/Ygfwwd490mk?t=18123 - с привязкой ко времени на начало выступления Леши про кликхаусГлавный зал HighLoad++ 2017. 8 ноябряДрузья, бесплатная трансляция главного зала конференции HighLoad++ 2017 (в расписании указан как Конгресс-холл) 8 ноября 10:00 / Как выбирать тимлидов на раз...
-
Joined. -
Мне казалось, что Алексей вчера упоминал про возможнсть кастомного партиционирования. Где можно почитать об этом?
-
yandex/ClickHouse
ClickHouse is a free analytic DBMS for big data.
-
Я подобное решаю с помощью default materialized, но приходится хранить обе копии
-
Подскажите, пожалуйста, есть ли легкий способ установить clickhouse на linux alpine без компиляции? -
контейнер?
-
Не, именно на alpine, не докер-образ clickhouse ) или быть может есть репозиторий apk где он есть собранный
-
Привет
Весь лог завален ошибками вида "Unexpected file minmax_date.idx in data part" - это с чем связано? -
Если есть docker alpine образ clickhouse, то можно посмотреть как он собирается -
Официальный на ubuntu
-
Если ты не хочешь компилировать, значит тебе надо где-то достать бинари. Либо через пакетный менеджер, либо где-то брать готовые бинарники. Я сомневаюсь, что в apk есть CH. Поэтому берёшь бинарники, копируешь куда надо и запускаешь
-
Попробую, спасибо ) тогда проще в deb-пакете подсмотреть что куда ставится
-
Можно один раз скомпилировать, а потом собрать результат в tar
-
И распаковывать куда надо
-
Оба варианта должны быть одинаково не рабочие, но можно попробовать )
-
Нет так подробно, как исходниках тестов, но основая суть и примеры синтаксиса:
https://www.altinity.com/blog/2017/11/8/custom-partitioning-in-clickhouse-1154310Custom partitioning in ClickHouse 1.1.54310 — AltinityNov 8, 2017 ClickHouse introduced a new major feature in version 1.1.54310 - it is a custom partitioning for tables with MergeTree engine. Before it enforced to use Date field for partitioning and the only choice to partition by month. The new version allows much more flexibil
-
Спасибо!
-
Про эквивалентность старого синтаксиса я добавил. Насчет компрессии -- надо посмотреть
-
Там все же маленькие кусочки по дням получаются, обязаны хуже сжиматься.
-
У меня за сутки в таблице примерно 10-15 млн строк, движок ReplicatedReplacingMergeTree, одни инты, очень было бы удобно сделать партиции по суткам, так как часто приходится перезаливать данные из источника MySQL. Есть противопоказания к этому?
-
судя по всему, из плохого, только место на диске увеличивается
-
У вас всего 10мл строк, там места не так уж и много должно быть
-
ну так да, места мало, заюзаю эту фичу, будет круто
-
насколько мало,у вас очень "широкая" таблица ? При таких объемах оно меряется парой гигабайт за год
-
места мало занимает эта таблица :) мне главное чтобы производительность из-за этого сильно не проседала из-за всяких мержей
-
Подскажите, пожалуйста, почему optimize table patition final отрабатывает и не схлопывает данные?
-
Я где-то не так понял документацию?
-
Если я правильно понимаю, то после optimize, count() == uniqExact(primary key) должно быть
-
вот как раз это использую часто, optimize table patition final, для своей ReplicatedReplacingMergeTree, всегда схлопывается
-
Вот у меня тоже самое, но не схлопывается
-
Правда у меня просто ReplacingMergeTree
-
у вас без Distributed? Может быть, данные на разных шардах лежат?
-
чтобы схлопывалось, нужно чтоб они на 1 шарде лежали
-
У меня 1 машина с 1 КХ
-
@milovidov_an Алексей, помогите, пожалуйста
-
Вот такая беда(
-
Вот create table
-
С вашими объемами не о чем беспокоиться
-
Joined. -
Ну, на какое-то время у вас в репликах будут разные данные, потом все должно нормализоваться
-
А селект с FINAL что покажет?
-
А что такое селект с final?
-
Нашёл. отработал хорошо, корректно
-
из доки - Модификатор FINAL может быть использован только при SELECT-е из таблицы типа CollapsingMergeTree. При указании FINAL, данные будут выбираться полностью “сколлапсированными”.
но для Replacing оно тоже работает -
-
select ... from table FINAL where ...
-
Но это какие-то костыли и несоответствие документации..
-
Но спасибо за подсказку!
-
с FINAL все ок, но OPTIMIZE их не схлопывает - хз дальше, есть мысль только про ключ для сэмплирования, у меня его нет, и все работает
-
OPTIMIZE с FINAL еще есть
-
Он так и делает
-
Мне кажется, вы ключ для сэмплирования указали не в соответствии с докой :) там про него ничего нет для движка ReplacingMergeTree
-
Не очевидно, если честно. Т.е. да, в разделе про ReplacingMergeTree нет ни слова про сэмплирование, но 1) оно есть в описание семейства движков 2) оно же создалось!
-
"Движок таблиц отличается от MergeTree тем, что выполняет удаление дублирующихся записей с одинаковым значением первичного ключа." И нету "и отсутсвием возможности сэмплирования"
-
Наверное да, но 1) не понятно как это получилось, раз записи должны были схлопуться, и 2) не понятно что теперь с этим делать (
-
Товарищи, как сделать rename колонки в таблице?
Не нашёл такой alter в доке. -
я конечным юзерам всегда говорю юзать FINAL, потому что они могут наткнутться на момент когда появились дубли, но еще не схлопнулись
-
Доброго дня всем! А кто подскажет куда и в каком виде вставить в конфиг флаг для произвольного партиционирования? Который experimental_allow_extended_storage_definition_syntax ? -
вангую что в users.xml надо воткнуть <experimental_allow_extended_storage_definition_syntax>1</experimental_allow_extended_storage_definition_syntax>
-
FINAL медленно, GROUP BY лучше
-
а с group by разве дублей не будет*
-
Для CollapsingMergeTree нет
-
А, т.е. оно только для создания? для работы сервера не нужно?
-
@ztlpn : А, а для GraphiteMergeTree не работает еще?
-
:) CREATE TABLE graphite_xui (
:-] Path String,
:-] Value Float64,
:-] Time UInt32,
:-] Date Date,
:-] Timestamp UInt32
:-] ) ENGINE = GraphiteMergeTree PARTITION BY Date ORDER BY (Path, Time);
CREATE TABLE graphite_xui
(
Path String,
Value Float64,
Time UInt32,
Date Date,
Timestamp UInt32
)
ENGINE = GraphiteMergeTree
PARTITION BY Date
ORDER BY (Path, Time)
Received exception from server:
Code: 42. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: With extended storage definition syntax storage GraphiteMergeTree requires 1 parameters:
'config_element_for_graphite_schema' -
А, точно, роллап потерял.
-
@ztlpn : типа ENGINE = GraphiteMergeTree PARTITION BY Date ORDER BY (Path, Time) SETTINGS config_element_for_graphite_schema='graphite_rollup'; ?
-
не берет 🙁
-
A, параметр движка. Спасибо!
-
Joined. -
Всем привет! А можно ли сделать второй раз один и тот же запрос, и при этом игнорировать кеш кликхауса? Для сверки производительности.
-
Можно так SET min_bytes_to_use_direct_io=1, merge_tree_uniform_read_distribution=0
-
наверно думается) второй один и тот же запрос срабатывает в разы быстрее. Если первый 20 секунд - то второй за 10мс
-
Ребят, подскажите пожалуйста кто работал с CH из Tableau: при любой попытке поработать с интовой колонкой в Tableau в сторону CH через ODBC кидается SQL вида: "SELECT SUM({fn CONVERT(test_tableau.i, SQL_BIGINT)}) AS sum_i_ok FROM test_tableau HAVING (COUNT(1) > 0)". И естественно получаю syntax error. Может кто сталкивался?
-
Да, последнюю - 54310
-
Да, релиз odbc брал от 2017-11-07
-
Ок, спасибо за инфу
-
на митап в мск где записываться?
-
а когда хоть будет?
-
@milovidov_an Алексей, а можете по optimize partition final для ReplacingMergeTree подсказать? Почему-то не схлопывается..
-
SELECT * FROM system.merges пустой. В партиции 6 кусков, не понимаю, мержатся ли они прямо сейчас.
Обидно, что optimize final вроде срабатывает и пишет Ok. , но на самом деле данные остаются задублированные( -
забудь до завтра про ovh. там до сих пор трясёт всё. консистентность разъехалась, dns упали -
мы даже умудрились сертификатов потерять
-
Костя привет 🙂 -
не, все стабильно
-
Не обязательно в ZooKeeper
можно sudo -u clickhouse touch /var/lib/clickhouse/flags/force_restore_data -
Привет! Как можно узнать размер таблицы/всей базы? -
где-то в системных табличках должна быть инфа, если вы не про du -sh /var/lib/clickhouse/db
-
А где можно прочитать для каких задач был сделан CH? И для чего желательно его использовать?
-
в доке
-
прям на лендинге https://clickhouse.yandex/ClickHouse DBMS
ClickHouse is a fast open-source column-oriented database management system that allows generating analytical data reports in real-time using SQL queries
-
в самом начале
- 10 November 2017 (68 messages)
-
-
Пожскажите, как правильно сдампить бинарные данные в csv ?
Сейчас при экспорте расставляются переносы строк -
Сейчас одна запись выглядит вот так:
https://i.gyazo.com/9a08ab9f522a13e45a30207f185cc973.png -
Всем доброе утро и хорошего дня!
Подскажите, пожалуйста, как посмотреть запрос, который вызывает ошибку записи в базу?
] <Error> executeQuery: Code: 26, e.displayText() = DB::Exception: Cannot parse JSON string: expected opening quote: (at row 14)
куда-то пишется лог? -
system.queries табличка или какое-то похожее название :)
-
посмотрел - system.processes, но там просто написано JSONEachRow - мне бы сам этот запрос кривой поймать как-то..
-
Вот тут надо смотреть system.query_log
-
Для юзера от которого идут запросы должен быть включен лог <log_queries>1</log_queries>
-
Joined. -
Joined. -
Joined. -
format json, rows_before_limit_at_least
-
limit без order by - по возможности избегайте этого.
-
Ну,в native оно передается как Int8/Int16
-
stripelog ?
-
если не совпадают длины двух массивов, то проблема может быть в любом из них.
-
Говорят что пока идёт запрос CREATE MATERIALIZED VIEW foo AS SELECT ... FROM bar;, то вставляющиеся в bar данные не попадают в foo пока данный CREATE выполняется. Но после завершения CREATE что будет, данные попадут? А какая именно часть вставляющихся в bar данных не попадёт в foo? При начале работы CREATE фиксируется некий "конец" bar, до которого проработает POPULATE SELECT или нет этогй "фиксации конца" и SELECT выгребет данные вплоть до тех данных, которые были вставлены когда сабжевый CREATE запрос уже работал? Хочется развёрнутый ответ, спасибо!
-
(2) Есть большая таблица на N терабайт, которую надо перетащить на новый физический сервер (диск кончился). Копировать её настолько долго, что собираемые за такое время данные не хочется потерять. Поднять мгновенно реплику к этой таблице и получить на новом серваке живую копию нельзя - таблицу даже через перезапуск сервера вроде как нельзя преобразовать в replicated. Что же делать? Прокатит ли такой фокус: переименовываем старую жирную таблицу, потом на том же сервере создаём новую replicated со старым именем старой и делаем некий аттач старой в хвост этой новой, чтобы ВСЕ наши данные стали принадлежать этой replicated таблице и могли быть среплицированы вживую на тот новый сервер?
-
Да. прокатит, по структуре и движку должны полностью совпадать
-
pavel, вы пересказали пункт доки "Преобразование из MergeTree в ReplicatedMergeTree" :)
-
Без POPULATE вью создается сразу и начинает писать во вью попадают только новые данные, если делаете POPULATE то выполняется указаный запрос на уже имеющихся данных и пишет во вью, пока идет запрос новые данные идут "мимо"
-
Можно и без replicated, наверное. Переименовать большую таблицу в OLD, создать пустую такую же с тем же именем. Потом сделать detach для OLD, скопировать detached файлы на новый сервер и там приаттачить. Потом на новом сервере вкачать свежие данные , например, через INSERT SELECT * FROM remote(...) -
А что если сделать без POPULATE, получив "живой" materialized view, а потом запустить POPULATE на него? Т.е. получим что он "с хвоста" заполняется старыми данными и с "головы" новыми, а посередине будет постепенно уменьшающийся пробел в данных. Это реальность?
-
Да, создаете MATERIALIZED VIEW без POPULATE, засекаете до какого момента лить старые данные и делаете INSERT INTO MV SELECT ... FROM T WHERE , в общем инсертите с тем же запросом что и вью создавали, но навешиваете на него условия чтоб данные сильно не задублировать
-
Т.е. данные в "mv1" (MATERIALIZED VIEW), созданный без POPULATE могут поступать свежие (из связанной с ней другой таблицы, в которую кто-то вставляет) и одновременно в этот "mv1" может выполняться большой INSERT INTO mv1 SELECT ... из OLD таблицы?
-
Да, там "под капотом" обычная таблица создаётся
-
Спасибо. SummingMergeTree vs MergeTree на уровне хранения (на диске) - это одно и то же, разница только в том что SMT при мердже блоков суммирует столбцы и аггрегирует ключу, а MT этого не делает? Можно ли сказать что если вставляются только уникальные ключи, то в производительности вставлялки разницы нет?
-
Не должно быть разницы при вставке
-
Ещё вопрос. Допустим есть MergeTree и SummingMergeTree. Мы хотим туда вставить данные из другой таблицы (INSERT SELECT), проаггрегировав по одним столбцам и просуммировав по другим. В случае с MergeTree мы пишем INSERT SELECT col1, col2, sum(col3), sum(col4) GROUP BY, т.е. используем явный GROUP BY и явные sum... Для SMT такого можно не делать, оно само умеет агрегировать и суммировать. Но наш запрос для MergeTree всё время падал по памяти на 98% даже со всякими памяте-ограничивающими параметрами в консоли (может они быле не те, ага). В случае с SMT всё хорошо, но мы дохли на IO, диск как-то конски жрался непонятно пока кем, видимо процессами суммирования блоков. Но если потерпеть, до запрос выполнялся.
Хочется где-то прочитать в чём разница между этими двумя "пайплайнами" и что лучше юзать при подобных махинациях с терабайтными таблицами. -
в первом случае скорее всего падали на group by, SMT же выполняет это в фоне, насилуя лишь диски (собственно что и видели)
-
Ну, про то что одна задача в фоне, а другая нет уже написали. Про то что запросы падали надо смотреть конкретные запросы, терабайты КХ обрабатывает неплохо
SELECT *
FROM
(
SELECT
publisher_id,
count() AS c
FROM events
GROUP BY publisher_id
)
ORDER BY c ASC
LIMIT 5
┌─publisher_id─┬──c─┐
│ 4014 │ 1 │
│ 3851 │ 2 │
│ 5213 │ 7 │
│ 3785 │ 12 │
│ 3827 │ 14 │
└──────────────┴────┘
5 rows in set. Elapsed: 15.958 sec. Processed 51.40 billion rows, 205.61 GB (3.22 billion rows/s., 12.88 GB/s.) -
max_bytes_before_external_sort
почемуто не помогает когда есть сортировка и limit 1 by a,b -
всегда так делаю
-
Joined. -
Joined. -
Подскажите, можно ли каким хитрым запросом сделать разрежение time series метрик, как делает GrafiteTreeMerge?
То есть есть метрики (таблица с колонками Metric, Value, TImestamp) с поминутными значениями, а хочется выборку с часовым разрешением? -
Коллеги, а есть ли существенная разница в производительности между SELECT FINAL и SELECT?
-
Да, на порядок, бывает больше
-
оу, точно, у меня была такая хрень, после дропа партиций не вставлялись данные, отбрасываясь как дубли
-
недавно обновился на 1.1.54304 версию, вроде как проблема ушла
-
последний раз все залилось четко
- 11 November 2017 (25 messages)
-
Хм, да,точно, я октябрь перезаливал, ноябрь не трогал
-
Joined. -
@milovidov_an Привет, сегодня случилось странное на ClickHouse 1.1.54284
Началось все с https://gist.github.com/kshvakov/062efe6d1328b987f23d0bde256bd6e2 и в часть таблиц на шарде, по ощущениям, данные как-то рандомно задублировались, в 3 утра по UTC все спали и руками шард не трогали, примерно в 5 по UTC должна была выполниться задача на пересчет статистики, она выполнилась и сделала атач партиций с данными в таблицы и вот часть этих данных, слегка, странная -
Там местами получилось что действительно как-то рандомно, но в основном это посто дубли данный x2/x3/x4...
-
Если диски под lvm, то это плевое дело. Иначе можно сгородить костылей с софт-линками: сделал детач, перенёс партишн, сделал на него линк, сделал аттач
- 12 November 2017 (75 messages)
-
Вчера перезапуск сервера помог только для избавления от ошибок zkutil::KeeperException: invalid zhandle state, эти ошибки были только на 1-м сервере из 3-х в шарде, при ATTACH партиции, насколько я помню, ошибок не было (по крайней мере пишущий воркер их не зафиксировал), завтра ещё раз проверю. Данные пришлось восстанавливать, т.к. на всех серверах шарда данные были невалидны, но одинаковы, репликация отработала как надо )
-
Приветы. А почему нет нативного репозитория под debian? Пользоваться убунтовским?
-
-
Потому что в Яндексе Ubuntu )
-
Понятно, но деб не так далёк. Все остальные свои репы держат?
-
если лень компилировать, то напоминаю про образы докера
-
Я так и пользуюсь, но это без гарантий, так?
-
C нашей стороны ATTACH был один
-
и не все таблицы заафектило
-
Joined. -
Использую в графане запросы вида status IS NOT NULL AND status = 0.
-
Если такое бывает нужно, делаю график с status IS NULL.
-
То есть визуализация как бы обратная. График растёт, если много NULL.
-
Но вообще, наверное да - я не понял юзкейза (сам, на практике, не сталкивался с недостатками интерпретации NULL, разве что если хочется выбрать нулевые значения и приходится дописывать условие IS NOT NULL).
-
Дело не в движке, тут можно кастомный output сделать, это решаемо, но есть одно "но", ClickHouse отдает данные блоками и, если взглянуть на clickhouse-client, возможна ситуация когда он нарисует несколько таблиц, но это можно будет пофиксить дополнительной сортировкой
-
А вообще интересная задача чтоб покапаться во внутренностях ClickHouse )
-
Кстати, нет желающих потестировать ещё один иструмент для миграций https://github.com/pressly/goose/pull/81 ? )
-
Ммм, можно поковрять)
-
сегодня тоже задался этим вопросом :)
Храню логи сообщений и в какой то момент обнаружил, что возникает дубликат пары (chat_id, msg_id) в момент записи. Попробовал сделать ReplacingMergeTree с кортежем (chat_id, msg_id), но он вообще все схлопывал и не писал :)
Поэтому присоединяюсь к вопросу: как схлопывать одинаковые записи, где "одинаковые" - если сходятся два столбца? -
надо завтра ещё раз попробовать :)
- 13 November 2017 (161 messages)
-
Joined. -
какой "этот"
-
Joined. -
Добрый день господа
Timeout exceeded while receiving data from client кто-то сталкивался с таким при заливке данных?
как решали? повышали таймауты? -
кликхаус на одной ноде? не кластер?
движок таблицы ReplicatedMergeTree? -
У нас ровно такая же нагрузка. Фронт сервер умеет аккумулировать данные и если кликхаус не справился, то запишет позже
-
а что такое "фронт-сервер"? мне кажется у топикстартера такого объекта нет в системе =)
-
В кликхаус кто пишет то?
-
Не браузеры клиентов ведь :)
-
запиню еще разочек
сори -
через http льёте? https://clickhouse.yandex/docs/ru/single/#keep-alive-timeout
-
нет, cli
-
вот тоже на одной локела
переписали код чего?
возможно проблема в клиенте -
а сейчас
-
но проблема в том что до какого-то момента все работало а потом перестало
-
clickhouse-client в консоли
-
неа(
-
Коллеги, а про "Применение моделей CatBoost внутри ClickHouse" не планируется в Мск рассказывать, в ближайшее время? -
Тема интересная, кажется
-
да это все смотрели
спасибо за помощь -
Code: 47. DB::Exception
-
как боротся с этой ошибкой?
-
большинство операторов из синтаксиса запросов выполняются в виде вызовов некоторых функций, caseWithoutExpr это одна из них.
-
пытаюсь создать таблицу MergeTree, из Log, и сталкиваюсь с такой ошибкой
-
Unknown identifier?
-
Joined. -
У нас сообщения хранятся в файликах. К каждому сообщению доклеивается имя файла, и номер строки в нём. Файл может быть безлимитного размера, но вставляем из него max 1M строк. При рестарте приложения смотрим max(position) where filename = $file, и скипаем всё, что меньше.
Вариант не очень быстрый, поэтому есть дополнительная оптимизация. Есть материализованная вьюха, в которой хранится select maxState(position) from events group by filename. При рестарте вычитываем из неё, а для файлов, которые не нашлись - из исходной таблицы с эвентами.
Имхо, такой подход работал бы даже при чтении, например, из Kafka. Вместо filename - имя топика, вместо position - Kafka offset. -
всем привет! подскажите плиз, а как правильно переезжать на новый зукипер в существующей инсталляции КХ? -
поделитесь потом пакетом) -
о, отлично, благодарю
-
Всем привет! Скажите, а есть где-нибудь детальное описание метрик, отправляемых инстансом кликхауса в графит? Метрики берутся из табличек в system, но их описания в документации нет. Спасибо!
-
https://packagecloud.io/altinity/clickhouse тут есть 310 под центос
-
а если самому собрать хочется то там теперь немного танцев с сабмодулями, но в целом ничего сложного
-
ха, они решили просто openssl пересобрать
-
но мне такая идея не нравится (
-
а никто не подскажет
23 треда для заливки в КХ эт нормально? или лучше использовать поменьше? -
Всем привет, меня тут попросили добавить поддержку Nested структур в гошный драйвер, но т.к. я достаточно ленив чтоб сразу ползти в код или пытаться разобраться спрошу тут. Что они из себя представляют в нативном протоколе ? Может ли быть массив nested-структур, а Nullable они могут быть ? Заранее спасибо )
-
в некоторых случаях можно считать что это просто набор массивов одинаковой длины с одинаковым префиксом до точки в имени.
-
Понятно, а по структуре они там как выглядят, т.е. как там имена/пипы столбцов и данные передаются ? Пойду исходники читать
-
Привет, отчего может быть так, что я в таблицу с движком JOIN добавляю записи, а в результате при джойне с другой таблицей строк становится меньше? Думала на подгрузку данных при старте сервера, но рестарт не помог -
Join у меня ALL, INNER
-
CREATE TABLE (
F Uint8
Nested (
ID Int8
Name String
)
)
передаем как блок
F,Nested.ID,Nested.Name <- названия
Uint8,Int8,String <- Типы
Количество колонок
Количество строк
данные Uint8 для F
Массив Int8 для Nested.ID
Массив String для Nested.Name
Как-то понедельник туго идет ) -
ОК, спасибо
-
Joined. -
Мужики, всем привет, пытаюсь побороть этого зверя :)
-
Вопрос в чем - можно ли импортить данные в tar.gz иили только в csv?
-
У меня есть таблички 2 одна 7ггб вторая 2 ггб хз как их загнать в кликхаус
-
что такое ггб
-
ГиГаБайт
-
просто гб
-
Я хз, мопед не мой :)
-
отвечая на вопрос
1) вместо tar.gz используй просто gz
2) да можно через HTTP интерфейс в clickhouse грузануть твой CSV
curl -H "Content-encoding:gzip" -XPOST "http://hostname:8123/?query=INSERT INTO table(field1,field2, ... field N) FORMAT CSV" --data-binary= @your_file.gz -
спасибо! я, в своё время, не нашёл в документации, как отправлять кликхаусу данные в HTTP gzip, буду знать
-
clickhouse post gzip
гуглится на раздва =) -
для построения ответа кликхаус выполняет запрос, когда вы от него это просите, и только по тем колонкам, которые скажете, которые он форматирует как скажете
-
> для построения ответа ему иногда нужно собирать набор > из N колонок (полученных из tcp) в tsv ?
а откуда такая мысль в голове?
данные по внутреннему протоколу между нодами... -
tsv это не протокол, а просто формат вывода =)
-
Native - именно этот формат используется в родном интерфейсе - при межсерверном взаимодействии, при использовании клиента командной строки, при работе клиентов, написанных на C++.
-
-
в смысле, вам интересно, какой формат лучше всех по соотношению удобство-скорость?
-
в чём вопрос?
-
как сделано форматирование в TSV?
-
если ещё любопытно, то я нашёл исходник https://github.com/yandex/ClickHouse/blob/v1.1.54310-stable/dbms/src/DataStreams/TabSeparatedRowOutputStream.cppyandex/ClickHouse
ClickHouse is a free analytic DBMS for big data.
-
Подскажите, пожалуйста. Поменял конфиг, пытаюсь запустить сервис сервера и получаю Job for clickhouse-server.service failed because the control process exited with error code. See "systemctl status clickhouse-server.service" and "journalctl -xe" for details. Куда копать?
-
Вот это и выводит(
-
-
Собственно systemctl status бы увидеть
-
А что же там в логе? -
-
Я написал вот так и проблема локализовалась!
-
Это был лишний, случайно поставленный символ в конфиге
-
А вот и лог
-
А вот где можно почитать про эти самые ручные действия? -
Ну это по прежнему жалоба на конфиг
-
Окей, спасибо)
-
Да, это после того, как я выполнил sudo /etc/init.d/clickhouse-server start увидел жалобу, поправил конфиг и запустил
-
Если просто sudo service clickhouse-server start - то не гооврит, что ошибка в конфиге
-
А это кстати бага, да
-
В смысле в случаи системд лог должен быть в стдаут
-
А стоп
-
Так ты статус так и не показал в момент когда сервис не запустился
-
В статусе должен быть текст ошибки
-
Или в крайнем случаи journalctl -u clickhouse-server -f
-
Сейчас попробую воспроизвести
-
привет, в документации написано:
Пользователь, который используется для обмена информацией между серверами, объединенными в кластер, не должен иметь существенных ограничений или квот - иначе распределённые запросы сломаются.
я могу разрешить этому пользователю только чтение? ничего не случится (писать я буду, конечно же, из-под запароленного пользователя)? -
Да, есть, но, конечно, было бы удобнее сразу его получать, но это уже придирки
-
-
Это системд так решил
-
В смысле Поттеринг
-
Увы
-
На уровне юнита поправить нельзя
-
Кстати это автосделанный юнит, а не родной
-
Joined. -
Более того, они рекомендованы официально: https://groups.google.com/forum/m/#!topic/clickhouse/DdaTsjjEneA -
Гошная нативная на чтение работает достаточно долго, отчасти это из за database/sql, но можно немножко попинать https://github.com/golang/go/issues/22544 и тогда, в 1.10 оно может стать значительно шустрее. Про то что ответы приходят блоками ниже уже написали, если делать просто SELECT * FROM table то, обычно, размер блока 65к строк, при группировках/сортировках он может быть больше (возможно хотелось бы иметь "ручку" на стороне сервера чтоб можно было управлять размером отсылаемого блока), с учетом буферизации как соединения, так и небольшой очереди из уже разобранных блоков можно расчитывать на то, что данные будут доступны для обработки (rows.Scan уже вернет значения) до того как от сервера придут все данные.proposal: database/sql: value converter interface for rows.Scan · Issue #22544 · golang/go
Starting with Go 1.8 database/sql have an interface driver.ColumnConverter for convert value. I think it will be better to provide the interface for Scan too. Currently, row.Scan using convertAssig...
-
/stat@combot
-
Joined. -
Всем добрый вчечер. Задам глупый вопрос про ORM.
infi.clickhouse_orm кто-нибудь уже использовал? Какие ощущения/впечетления? -
Видел обзорную статью
https://habrahabr.ru/company/itsumma/blog/341598/Кибер-оракул: поиск аномалий в данных мониторинга с помощью нейросетиКоличество данных, которые получает наш мониторинг выросло настолько, что для их обработки мощности только человеческого разума уже не хватает. Поэтому мы надрес...
-
не умеет распределенные таблицы, понадобилось допилить
- 14 November 2017 (159 messages)
-
ощущения неплохие, код написан понятно
автор активно отвечает на вопросы и принимает обоснованные пул реквесты -
65к вот отсюда https://clickhouse.yandex/docs/en/single/#max-block-size
-
Joined. -
@milovidov_an Доброе утро, тут уже кто-то жаловался на увеличение расхода памяти в 1.1.54310, у нас есть сервер с метриками, он тоже после обновления стал отъедать память , по идее он не особо нагружен идут insert запросы ~15к строк в секудну, есть пара материализованых вью и реплика
┌─metric────────────────────────────────────┬─value─────┐
│ tcmalloc.transfer_cache_free_bytes │ 5.34 MiB │
│ tcmalloc.central_cache_free_bytes │ 30.61 MiB │
│ tcmalloc.current_total_thread_cache_bytes │ 29.35 MiB │
│ generic.heap_size │ 45.18 GiB │
│ generic.current_allocated_bytes │ 41.27 GiB │
│ ReplicasMaxRelativeDelay │ 0 │
│ tcmalloc.pageheap_unmapped_bytes │ 1.90 GiB │
│ ReplicasMaxAbsoluteDelay │ 0 │
│ ReplicasSumMergesInQueue │ 0 │
│ MarkCacheFiles │ 567465 │
│ tcmalloc.thread_cache_free_bytes │ 29.35 MiB │
│ MaxPartCountForPartition │ 15 │
│ UncompressedCacheBytes │ 0 │
│ ReplicasMaxQueueSize │ 0 │
│ tcmalloc.pageheap_free_bytes │ 1.94 GiB │
│ UncompressedCacheCells │ 0 │
│ ReplicasMaxInsertsInQueue │ 0 │
│ ReplicasMaxMergesInQueue │ 0 │
│ Uptime │ 1034808 │
│ MarkCacheBytes │ 333743584 │
│ ReplicasSumInsertsInQueue │ 0 │
│ ReplicasSumQueueSize │ 0 │
└───────────────────────────────────────────┴───────────┘ -
SELECT
metric,
caseWithoutExpression((metric LIKE '%bytes') OR (metric LIKE '%heap%'), formatReadableSize(value), CAST(value AS String)) AS value
FROM system.asynchronous_metrics -
Т.к. памяти ему совсем маловато, он еще и в swap ушел
total used free shared buffers cached
Mem: 31G 30G 942M 1.8M 136M 3.0G
-/+ buffers/cache: 27G 4.1G
Swap: 31G 21G 10G -
Joined.
-
Ребят, подскажите, кто нибудь запускал КХ на проде в kubernates или хотя бы в docker? Как он себя чувствует в контейнере?
-
да вроде неплохо
-
А не проводили сравнение с голым железом? Большая просадка?
-
не должно быть просадки, не проводил
-
бОльшая просадка будет от плохих дисков или цпу
-
Стоит, но не применилась. Может не туда вписали, может не для того юзера вписали, что говорит select * from system.settings where name = 'max_bytes_before_external_group_by';
-
max_memory_usage поднимите
-
день добрый!
отчего запрос
SELECT
splitByChar('|', ifNull(stringField, '|||')) AS a,
arrayStringConcat([a[1], a[3], a[4]], ',') AS subString,
count() AS count
FROM Table
GROUP BY subString
даёт ошибку
Code: 215. DB::Exception: Received from xxx.xxx.xxx.xxx:9000. DB::Exception: Column stringField is not under aggregate function and not in GROUP BY..
?
как лечить?
добавление в селект any(stringField) не помогает -
если завернуть в ANY(splitByChar('|', ifNull(stringField, '|||')) AS a) — то ли это будет по смыслу?
-
нет, мне не нужно группинг по stringField :О)
мне нужна группировка по части этой строки -
Тогда вам нужно сделать подзапрос с разбивкой stringField в массив, а уже во внешнем взять части и сгруппировать только по ним
-
ясно. спасибо.
-
перед дропом партиций за октябрь и ноябрь сделал 200 инсертов рандомных мелких, чтобы избежать бага с последними 100 блоками, которые запоминаются, чтобы избежать дедупликации
-
заливается нормально
-
А что за баг с последними 100 блоками если не секрет? -
Пора выпускать книгу о костылях/бест практис для ClickHouse, вообще тема хорошая, т.к. многие напарываются )
-
не баг, а фича
-
именно баг
-
баг - это когда по ошибке что-то делаешь, а тут намеренное ограничение вроде как. И даже отраженное в документации
-
Если ты дропнул партицию, и пытаешься залить данные заново, то не все данные могут залиться обратно, поскольку кликхаус запоминает о последних 100 блоках вставленных. И хотя их в таблице уже нет, он все равно не дает их вставить.
-
не, это действительно баг
-
намеренное ограничение, очень полезное, но не когда дропаешь партицию =)
-
WITH splitByChar('|', ifNull(stringField, '|||')) AS a
SELECT
arrayStringConcat([a[1], a[3], a[4]], ',') AS subString,
count() AS count
FROM Table
GROUP BY subString -
Joined. -
Т.е. чтобы удалить допустим по крону какую-то партицию, нужно сделать 200 инцертов? Ну это ж фейковые данные будут, нет?
-
Святая корова! Спасибо за просветление в плане синтаксиса "WITH ..."
-
Нет, удалить её можно. Проблемы могут быть когда вы решили "пересчитать" партицию, соответственно вы её удаляете и заливаете снова, и вот то что вы льете может быть засчитано как дубли и не записаться
-
ох е, сложновато)
-
в sudo netstat -plnt | grep click что ?
-
ок, наверное и в ps aux | grep "clickhouse-server" тоже ?
-
Вот, нет у вас запущенного ClickHouse
-
Вот тут может быть разгадка /var/log/clickhouse-server/clickhouse-server.err.log
-
Joined. -
Joined.
-
Всем привет. Возникла сложность со словарем range_hashed. Подключаю его через ODBC из postgres, но запрос dictGetFloat64 всегда возвращает одно и то же значение (последнее вставленное в таблицу по данному id)
При этом я также подключил локально такой же словарь, подложил csv файлик и значение по диапазону возвращается верное. Может кто в курсе в чем может быть проблема?
Структура словаря такая:
<structure>
<id>
<name>access_id</name>
</id>
<range_min>
<name>date_from</name>
</range_min>
<range_max>
<name>date_to</name>
</range_max>
<attribute>
<name>value</name>
<type>Float64</type>
<null_value>0.0</null_value>
</attribute>
</structure>
есть 2 записи в таблице. Вот вывод psql
test_db=# select * from multiplier;
id | access_id | value | date_from | date_to
----+-----------+------------+------------+------------
3 | 1 | 6.0000000 | 2017-11-01 | 2017-12-01
5 | 1 | 11.0000000 | 2017-10-01 | 2017-10-31
clickhouse возвращает каждый раз 11:
"dictGetFloat64('multipliers', 'value', toUInt64(1), toDate('2017-10-02'))"
11
"dictGetFloat64('multipliers', 'value', toUInt64(1), toDate('2017-11-02'))"
11
а из локального файлика все норм:
"dictGetFloat64('multipliers_local', 'value', toUInt64(5), toDate('2017-10-02'))"
11
"dictGetFloat64('multipliers_local', 'value', toUInt64(5), toDate('2017-11-02'))"
6 -
Коллеги, всем привет! Может кто-то подскажет разгадку. Пробовал разные схемы кластера и движки (MergeTree с 4 шардам или ReplicatedMergeTree c 2 шардам, в каждом из котором 2 реплики). Разворачивал все в докер контейнерах (версия 1.1.54310). В чем принципиальное отличие использования схемы с zookeeper от фичи <internal_replication>false</internal_replication> (которая by default). К своему удивлению обнаружил, что при остановленной одной реплики в шарде (движок MergeTree) на нее прилетели новые данные после включения. Данные заливались в таблицу с движком Distributed
-
спасибо!
-
Syntax error: failed at position 1 (line 1, col 1): WITH splitByChar('|', ifNull(stringField, '|||')) AS a
-
ЧЯДНТ?
-
это добавили только в 1.1.54276 - может, у вас версия ниже?
-
1.1.54236
видимо, да -
привет, могут ли два разных кластера кликхауса беспроблемно использовать один и тот же кластер зукипера, если имена таблиц различаются?
-
а есть функции для сортировки массива? или только через подзапрос?
-
Могут
-
и можно ли в массив добавить элемент "на ходу"? или тоже через подзапросы/игру со строками?
-
@alexey_konkov поиск по чату творит чудеса:
-
Всем доброго времени суток) Нужно сравнить массивы, которые получаются после groupUniqArray. Но в них может быть разный порядок: [1,2,3] и [2,1,3], например, и такие массивы должны считаться одинаковыми. Как это лучше сделать? Есть какая-нибудь функция сортировки массива?)
-
может так?
arraySort(groupUniqArray()) -
Спасибо) Ох уж эти незадокументированные полезные функции
-
да уж :О)
спасибо! -
SELECT arrayPushFront([2, 3], 1)
-
видимо, тоже где-то в более свежих версиях...
но спасибо -
а куда можно посмотреть, чтобы выяснить, почему distributed ddl-запросы слишком долго выполняются? кластер 2 шарда по 2 реплики:
2017.11.14 14:33:12.647280 [ 26970 ] <Error> executeQuery: Code: 159, e.displayText() = DB::Exception: Watching task /clickhouse/task_queue/ddl/query-0000144261
is executing too long (120 sec.), e.what() = DB::Exception (from [2a02:6b8:b000:624:922b:34ff:fecf:4036]:20048) (in query: /*TABIX_QUERY_ID_AQ1KTlLL*/ CREATE
DATABASE IF NOT EXISTS `sandbox1` ON CLUSTER `sandbox`), Stack trace: -
Товарищи, не поделится ли кто собранным пэкеджем?
pip install clickhouse-driver[lz4] -
под винду
-
Неохота 10 Гб build tools вкорячивать
-
Joined. -
спасибо, попробую
-
Привет. Подскажите, пожалуйста, с проблемой.
2017.11.14 12:41:15.868537 [ 18 ] <Error> user_subscribes.Distributed.DirectoryMonitor: Code: 53, e.displayText() = DB::Exception: Received from %IP%:9000. DB::Exception: Type mismatch for column post_id. Column has type UInt32, got type Int64.
во всех таблицах (distributed и локальных) тип UInt32. Данные записываются в локальную таблицу только той ноды, где есть распределенная таблица. -
а в данных что
-
у этой колонки значение типа такого: 21823
-
Joined. -
мне жутко не удобно спрашивать, кажется, я начал изобретать велосипед, а в документации не нашел. в КХ чтобы найти записи за какой-то период следует использовать операторы ">=" или есть что-то более другое? -
спасибо! лучше было уточнить!
-
Что-то ничего не могу найти про сжатие хранящихся данных на диске.
Как понять включено ли сжатие вообще? Как точно понять что оно совсем выключено?
Какие они бывают, Какое дефолтное, как понять что включено дефолтное или выключено вообще всякое? -
Есть способ более-менее точно понять сколько байт на диске занимает такая-то таблица за такой-то период времени?
-
В кавычках надо ALTER table db.".inner.mytable_sharded" drop partition '201707';
-
Писать ее размер раз в n секунд в какие-либо метрики
-
SELECT
partition,
count() as number_of_parts,
formatReadableSize(sum(bytes)) as sum_size
FROM system.parts
WHERE
active
AND database = 'merge'
AND table = 'hits'
GROUP BY partition
ORDER BY partition; -
обычно, в таких случаях, поверяют журнал работы cron
-
И ещё вопрос по range_hashed словарям. Сейчас нет возможности сделать в этом словаре complex_key? Можно только id?
-
Я к тому, что у вас нет задач которые в фоне партиции чистят ?
-
Всем привет! Я тут написал небольшую инструкцию для аналитиков без глубоких технический знаний о том, как развернуть Clickhouse и залить туда логов Метрики. Возможно, кому-то здесь это будет полезно. Конструктивную критику тоже рад буду услышать.
https://www.etlforeveryone.ru/single-post/clickhouseeasystart -
сразу + в карму
-
»>У этой базы данных есть большое число как плюсов, так и минусов, которые в документации вежливо указываются, как особенности.
-
шикарно)
-
Joined. -
Не присоветуете как лучше подступиться к такой задачке:
Есть большая (неск. млрд записей) таблица BIGTABLE с данными (d Date, ip UInt32, bytes UInt64) и таблица RANGES с диапазонами адресов (ipStart UInt32, ipEnd UInt32) c порядка 200К записей.
Нужна sum(bytes) из BIGTABLE по всем ip, попадающим в один из диапазонов в RANGES.
Словари тут вроде не помогут, а с map-reduce и т.п. функционалом в кликхаусе пока не разобрался - насколько он тут применим. -
Для реплик не надо
-
может вам при вставке префиксы писать?
-
Да ip в BIGTABLE и есть в реале префиксы уже. А задача разовая возникла, ради неё менять структуру и код записи нет смысла.
-
Joined. -
решения так и не нашел, может у кого-нибудь есть предположения?
-
Надо обновить очередь репликации в КХ для таблицы. Detach/attach таблицы или перезапустить сервер
-
Joined. -
Joined. -
А можно из таблицы с двумя колонками чисел (a,b) селектом получить массив [(a1,b1), (a2,b2), ...] ? Что-то не вижу похожих примеров в доках.
-
Да, спасибо. Уже нашёл.
-
А в какой версии это исправлено? Сегодня нашли такое в кластере с 1.1.54292
-
А можно такое как-то побороть:
SELECT ip
FROM test
WHERE (d = today()) AND (dt = '2017-11-14 15:00:00') AND arrayExists(x -> ((ip >= x.s) AND (ip <= x.e)),
(
SELECT groupArray(a) AS r
FROM
(
SELECT (s, e) AS a
FROM ruip
LIMIT 5
)
))
LIMIT 10
Received exception from server:
Code: 43. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Type inference of array of tuples is not supported. -
x.s x.e?
-
правда без них работать все равно не будет.
-
Ну да. Из subselect через groupArray получаю массив туплов. пробовал s и e менять на x.1 x.2 - погоды не делает.
Пока выкрутился заменив subselect на примерно такой:(
SELECT groupArray(r) AS R
FROM
(
SELECT bitOr(bitShiftLeft(toUInt64(s), 32), e) AS r
FROM ruip
)
)
ну и, соответственно, в arrayExists тело лямбды
arrayExists(x -> ip between bitShiftRight(x,32) and bitAnd(x,pow(2,32)-1), <здесь массив UInt64 из subselect>)
Так завелось, хотя и изврат... -
Joined.
-
/stat@combot
-
/stat@combot
-
/stat@combot
-
Вопрос по ODBC драйверу. Tableau очень медленно тянет данные из КХ. Изменение таблошных CAP_ODBC_FETCH_BUFFERS_* на скорость и размер чанков никак не влияют, что наталкивает на мысль что где-то в драйвере стоит маленький размер буфера. - 15 November 2017 (257 messages)
-
Привет, где можно посмотреть зависимость clickhouse от оперативки и проца?
-
больше оперативки — или можно делать больше жирных запросов, или больше файлового кэша, и запросы будут быстрее выполняться
-
круче проц — можно делать больше запросов и, если частота выше, то запросы быстрее выполняются
всё довольно прозаично -
Это есть в документации https://clickhouse.yandex/docs/ru/operations/tips.html , если я вас правильно понял
-
Имеем проблему, при которой не получается вытащить значение из range_hashed словаря с помощью dictGetFloat64.
Словарь смотрит на таблицу в PG через ODBC. Таблица в постгресе имеет поля
access_id | integer
date_from | date
date_to | date
value | numeric(13,7)
Структура словаря
<structure>
<id>
<name>access_id</name>
</id>
<range_min>
<name>date_from</name>
</range_min>
<range_max>
<name>date_to</name>
</range_max>
<attribute>
<name>value</name>
<type>Float64</type>
<null_value>0.0</null_value>
</attribute>
</structure>
По совету @kochetovnicolai создали таблицу поверх range_hashed словаря:
(
access_id UInt64,
date_from Date,
date_to Date,
value Float64
)ENGINE = Dictionary(multipliers)
При создании получаем ошибку
Not found column date_from Date in dictionary multipliers. There are only columns access_id UInt64, date_from UInt16, date_to UInt16, value Float64.
Получается, что кликхаус мапит range_min/range_max в Timestamp. При этом метод dictGetFloat64 ожидает date, а не timestamp:
SELECT dictGetFloat64('multipliers', 'value', toUInt64(1), toTime(toDateTime('2017-10-15 00:00:00')))
DB::Exception: Illegal type DateTime of fourth argument of function dictGetFloat64, must be Date..
Как в итоге получить value? -
падала сеть в дц на Берзарина http://status.selectel.info/pages/incident/5980813dd537a2a7050004bd/5a0ad67247b56764de6c66edSelectel Status Panel
Current system status. View active incidents or upcoming maintenances. Subscribe to receive status notifications.
-
Мы на https://advancedhosters.com сидим, особых проблем с ними нет, это так, вдруг если что )Hosting - 99.99% Uptime For Last 18 Years | AdvancedHosting
We provide reliable dedicated hosting, cloud services, and CDN to online high-loaded projects. Try our unlimited customization and expert support today!
-
Еще по цена/качество сейчас у XBT есть https://www.servers.com/Dedicated servers in a cloud-like solution
We offer a full suite of hosting solutions, including dedicated servers using our innovative bare-metal in a cloud-like way.
-
кликхаус шустрый, можно на айпаде захостить ;)
-
там gcc практически неюзабельный, недавно snmp собирал, snmp-set`ом дверь в офис открывать)
(простите оффтоп) -
)))
-
SSE4.2 требование уже убрали?
-
Товарищи, на митапе мы затронули тему интеграций с BI, не напомните, какие точно работают ?
-
что-то ещё вроде было..
-
При этом словарь через локальный CSV файл работает правильно, возможно баг в парсинге дат через ODBC
-
Она из коробки умеет или надо как-то по-особенному к ней подходить ?
-
чё-т ни их сайт ни гугл не в курсе
-
tabix же не bi
-
Joined. -
Всем привет. Я вопрос задал в группе, заодно здесь продублирую, может кто подскажет с чего начать копать - https://groups.google.com/forum/#!topic/clickhouse/HrPzu2b-6OA
-
ник - 😂👍
-
ахаха
-
блин ((( перезагрузил все ноды - проблема ушла
-
а, не, все норм. Еще хуже стало 😂
-
жесть)
-
Чувакк, ты сделал мой день 😂😂😂
-
и всё-же, что делать с проблемой? )
-
увы, не могу. Мне метрики графита хранить. У меня сабмит по 250К штук в сек. Заббикс не справляется, рассматриваю КХ как замену.
-
оракл не предлагать, он тоже не справляется. У нас все DBA с этим натрахались и решили что они бессильны
-
/var/lib/clickhouse/flags/force_restore_data
оно? -
А как выглядит запись в логах про то, что он что-то восстановить не может?
-
Лет пять назад у меня жаббикс переваривал 120-140. На современном железе 250 не должно быть проблемой -
да заббиксу пофигу, а база не справляется. Особенно с массовыми запросами к истории
-
сейчас такой анальный огород накручен, что без слез смотреть нельзя.
-
Потому у вас такой ник?)
-
эпатаж - часть образа )
-
Может у вам данные побились в этой part? Попробуйте из нее поселектить
-
2017.11.15 08:56:55.562779 [ 32 ] <Error> InterserverIOHTTPHandler: Code: 232, e.displayText() = DB::Exception: No part 20171115_20171115_1368737_1368737_0 in table, e.what() = DB::Exception, Stack trace:
-
На 1м шарде где он не может read all data
-
да, не может, в логи пишеь лю этом
-
Уточните что вы считаете нормальной БД? -
Detach part и забыть?
-
У меня за год работы с кликхаусос было такое разок
-
а как его detach ?
-
detach partiton, удалить этот кусок, attach partition
-
detach attach реплицируются, должно быть все ок
-
ну может не удалить, а в сторонку просто
-
этот detach к чему вообще относится?
-
в диску, КХ, Зукиперу?
-
Дяденька, я не настоящий DBA, я кликхаус в интернете нашел.
-
К КХ, у вас партиция перенесется в папку detached, и там можно делать всё. убрать этот кусок, а потом attach эту partition
-
-
кажется понял. Detach - запрос в ch
-
спасибо, пойду курить доку
-
хмм.. сорри за назойливость, но в чем суть этой магии:
Удаляет из сервера информацию о таблице name. Сервер перестаёт знать о существовании таблицы, но ни данные, ни метаданные таблицы не удаляются. При следующем запуске сервера, сервер прочитает метаданные и снова узнает о таблице. -
Это detach table name если делать. До следующего рестарта CH будет вести себя так, будто таблицы нет.
А вам похоже нужен alter table name detach partition part_name -
-
Хочется сделать INSERT INTO foo (c1, c2, c3, c4) SELECT FROM bar
Но в bar есть только c2, c3, c4, а c1 константа и её знает только код, формирующий запрос.
Как? )
P.S. так взлетит SELECT "constant", c2, c3, c4 FROM bar? -
select 42 as c1,c2,c3,c4 from bar ?
-
Select 'глаз' as c1, c2,c3, c4 from bar
-
Гуд. Спасибо. Я дебила кусок кускующийся кускованский кускофентрально-кускизирующийся.
-
42 - смысл жизни, и всё такое?)
-
константа, и ее знает только код. и смысл жизни, конечно.
-
+1
-
Joined. -
а если написать where category_id in (select .. from dict.category ..) ?
-
только уже без groupArray внутри
-
т.е. один раз вычислить значения в подзапросе и дальше только in проверять, а не ходить на каждую строку в словарь.
-
есть столбец, где хранятся массивы строк. как можно склеить их все в один большой массив?
-
SELECT concat([1, 2], [3, 4])
┌─concat([1, 2], [3, 4])─┐
│ [1,2,3,4] │
└────────────────────────┘ -
спасибо!
-
а, столбец
-
SELECT groupArrayArray(x)
FROM
(
SELECT [1, 2] AS x
UNION ALL
SELECT [3, 4]
)
┌─groupArrayArray(x)─┐
│ [3,4,1,2] │
└────────────────────┘ -
премного благодарен
-
Ребят, че то мозг не хочет седня у меня работать, подскажите пожалуйста кому не сложно как правильно в CH сделать такое: with [1,2] as arr select * from foo where a in arr ???
-
has(arr, a)
-
но лучше написать a in (1,2)
-
А есть какая-то возможность узнать на каких шардах/партишенах лежат данные? Есть прерывистый график и хочется понять кто сачкует.
-
group by hostName()
-
Спасибо большое!
-
Спасибо, то что нужно
-
Joined. -
Можно как-то заставить таблицу принудительно скомпактиться в один блок?
-
OPTIMIZE TABLE [db.]name [PARTITION partition] [FINAL]
-
Но это не всегда сработает, осторожно!
-
У меня этот запрос через раз возвращает разные данные. По таймстампам создается впечатление, что CH не мёрджит данные. Почему так может быть?
select *, hostName() from carbon_metrics.graphite where Path = 'metric.xxx1' order by Timestamp desc limit 10 -
Прошу прощения за оффтоп. Интернет — место свободного волеизъявления, всё понимаю.
Но вот такие вещи в моём уютном телеграме уже немного за гранью приличия. Мнение личное, но вряд ли единственное. -
и аватарка что-то напоминает, да, @cebka ?
-
Joined. -
Всем привет!)
-
"Ускорена параллельная сборка с помощью ccache+distcc" заметил в чейнджесах.
-
А есть немного больше информации о эффекте от распределенной сборки?
-
она быстрее.
а на сколько - зависит от того насколько распределено и что за железки и какая сеть между ними -
ещё один мелкий вопрос про массивы: можно проверить, что a является подмножеством b, умнее, чем так?
arrayAll(
elem -> has(b, elem),
a
) -
а как с Кликхаусом вышло? какие-то изменения в системе сборки делали, чтобы использовать максималньо эффективно?
-
основные изменения в cmake - использовать ccache когда он есть,
https://github.com/yandex/ClickHouse/blob/master/CMakeLists.txt#L30 https://github.com/yandex/ClickHouse/blob/master/cmake/find_ccache.cmake
потом у каждого кому это нужно - export CCACHE_PREFIX=distcc (можно в ~/.bashrc)
и настройка хостов distcc или zeroconf если в одной сетиyandex/ClickHouseClickHouse is a free analytic DBMS for big data. Contribute to yandex/ClickHouse development by creating an account on GitHub.
-
можно так - http://paste.org.ru/?hixlra
- запускать вместо make -
если собирать на ноуте и в distcc -j больше сотни ядер - разница очень хорошая, а для разработки с постоянными пересборками очень сам ccache помогает, но ему нужно сделать ccache -M 32G
-
Свободу выбора никто не отменял. Телеграм позволяет на выбор либо забанить, либо переименовать собеседника.
-
но сейчас cmake ждет завершения сборки всех зависимостей для каждой либы, поэтому загрузка не все время 100% всех ядер, да и в сеть может упираться
-
еще были .cpp с шаблонами которые могли компилироваться по 20 минут и жрать 4G памяти. они почти все попилены на кусочки и теперь все вместе параллельно компилируются за десяток секунд ( dbms/src/Functions/GatherUtils_* ) и немного магии в dbms/src/Functions/CMakeLists.txt (generate_function_register)
-
-
@proller спасибо!! А как отлаживали сколько времени тратится на компиляцию какого файла? Для большого проекта это сложно =(
-
то что десятки минут - и отлаживать не нужно, в конце их ждут, а если хочется поглубже - у gcc есть опции отладки времени проведенные в разных стадиях, их можно собирать, парсить и складывать в кликхаус ;)
-
спасибо, попробую! 🙂 Очень ценная информация!
-
а еще вспомнил, нужно уменьшать количество include в .h, везде где можно forward declaration, все либы стараться только из .cpp инклюдить.
вот микро дулза специально для .h: https://github.com/yandex/ClickHouse/blob/master/utils/check_include.shyandex/ClickHouseClickHouse is a free analytic DBMS for big data.
-
всем привет! а никто не знает, можно ли приаттачить партиции в цикле или на уровне запросов (аля alter table table_name attach partition in (select partition from system.parts))?
-
интересуюсь для смены движка MergeTree -> ReplicatedMergeTree
-
@proller в смысле их число или просто убирать те, которые по факту не испольовались?
-
-
хы
-
имя партии указывается в одинарных кавычках- соответственно запросы с циклом из баша не сработают
-
и число и ненужные убирать, например у нас были (а может быть и есть) .h которые сами отдельно могли компилироваться секунд 5, соответственно когда их инклюдили другие .h - общее время росло на десятки секунд.
ну и код выносить из .h , особенно из тех что много где используются -
В С++ это задница =(
-
кстати, а в сторону модулей еще не смотрели? в clang вроде добавили, поидее должно как раз помочь от этого ада с инклудами избавится
-
поэтому айда писать на всяком го... -
все используют CH =)
-
</сарказм>
-
ну на данный момент все почти терпимо, а использовать фичи которые поддерживаются только в каком-нибудь clang-devel который нигде кроме freebsd еще не появился - вредновато
-
сейчас хоть на последних убунтах можно не собирать руками компиляторы или не ставить совсяких подозрительных левых репозиториев
-
это да, это боль =( я для своего проекта до сих пор C++ 98 поддерживаю из-за центос 6 =(
-
хотя можно собирать clickhouse clang'ом из самого clickhouse ;)
-
у вас он для пре-компиляции запросов?
-
да, но не всех и это надо включать опцией
-
круто 🙂 А как загрузка? Генерите а-ля so в /tmp и потом dyload?
-
да
-
в чем отличие потоков из 11 от того же буста?
-
один фиг внутри pthreads.
-
Добрый вечер!
Как у кх дела с deb9_64? Есть откровенные проблемы? -
блин, страшный баг в логе :/
-
2017.11.15 09:42:19.507023 [ 2 ] <Warning> ConfigProcessor: Include not found: clickhouse_compression
2017.11.15 09:42:23.400907 [ 4 ] <Error> BaseDaemon: ########################################
2017.11.15 09:42:23.400942 [ 4 ] <Error> BaseDaemon: (from thread 3) Received signal Illegal instruction (4).
2017.11.15 09:42:23.427634 [ 4 ] <Error> BaseDaemon: 0. clickhouse-server() [0x341de90]
2017.11.15 09:42:23.427694 [ 4 ] <Error> BaseDaemon: 1. clickhouse-server(DB::ITableDeclaration::check(std::vector<std::string, std::allocator<std::string> > const&) const+0x47) [0x341f2f7]
2017.11.15 09:42:23.427740 [ 4 ] <Error> BaseDaemon: 2. clickhouse-server(DB::StorageSystemTables::read(std::vector<std::string, std::allocator<std::string> > const&, DB::SelectQueryInfo const&, DB::Context const&, DB::QueryProcessingStage::Enum&, unsigned long, unsigned int)+0x42) [0x2c3a672]
2017.11.15 09:42:23.427757 [ 4 ] <Error> BaseDaemon: 3. clickhouse-server(DB::InterpreterSelectQuery::executeFetchColumns()+0xe81) [0x3610481]
2017.11.15 09:42:23.427772 [ 4 ] <Error> BaseDaemon: 4. clickhouse-server(DB::InterpreterSelectQuery::executeSingleQuery()+0x23) [0x360c953]
2017.11.15 09:42:23.427786 [ 4 ] <Error> BaseDaemon: 5. clickhouse-server(DB::InterpreterSelectQuery::executeWithoutUnion()+0x16d) [0x360ee4d]
2017.11.15 09:42:23.427800 [ 4 ] <Error> BaseDaemon: 6. clickhouse-server(DB::InterpreterSelectQuery::execute()+0x31) [0x360eea1]
2017.11.15 09:42:23.427811 [ 4 ] <Error> BaseDaemon: 7. clickhouse-server() [0x329045b]
2017.11.15 09:42:23.427828 [ 4 ] <Error> BaseDaemon: 8. clickhouse-server(DB::executeQuery(std::string const&, DB::Context&, bool, DB::QueryProcessingStage::Enum)+0x135) [0x3291575]
2017.11.15 09:42:23.427842 [ 4 ] <Error> BaseDaemon: 9. clickhouse-server(DB::InterpreterShowTablesQuery::execute()+0x35) [0x3600465]
2017.11.15 09:42:23.427854 [ 4 ] <Error> BaseDaemon: 10. clickhouse-server() [0x329045b]
2017.11.15 09:42:23.427869 [ 4 ] <Error> BaseDaemon: 11. clickhouse-server(DB::executeQuery(std::string const&, DB::Context&, bool, DB::QueryProcessingStage::Enum)+0x135) [0x3291575]
2017.11.15 09:42:23.427884 [ 4 ] <Error> BaseDaemon: 12. clickhouse-server(DB::TCPHandler::runImpl()+0x58c) [0x147aa6c]
2017.11.15 09:42:23.427898 [ 4 ] <Error> BaseDaemon: 13. clickhouse-server(DB::TCPHandler::run()+0x1c) [0x147b71c]
2017.11.15 09:42:23.427912 [ 4 ] <Error> BaseDaemon: 14. clickhouse-server(Poco::Net::TCPServerConnection::start()+0xf) [0x39ab75f]
2017.11.15 09:42:23.427925 [ 4 ] <Error> BaseDaemon: 15. clickhouse-server(Poco::Net::TCPServerDispatcher::run()+0xad) [0x39c9b5d]
2017.11.15 09:42:23.427938 [ 4 ] <Error> BaseDaemon: 16. clickhouse-server(Poco::PooledThread::run()+0x86) [0x38ed396]
2017.11.15 09:42:23.427952 [ 4 ] <Error> BaseDaemon: 17. clickhouse-server(Poco::ThreadImpl::runnableEntry(void*)+0x38) [0x38c0aa8]
2017.11.15 09:42:23.427976 [ 4 ] <Error> BaseDaemon: 18. clickhouse-server() [0x40f595f]
2017.11.15 09:42:23.427989 [ 4 ] <Error> BaseDaemon: 19. /lib/x86_64-linux-gnu/libpthread.so.0(+0x8184) [0x7f21ffb78184] -
Кратко: "BaseDaemon: (from thread 3) Received signal Illegal instruction (4)."
-
это известная проблема?
-
вот да, не понятно что это
-
такое ощущение, что на машине без SSE запустили или чего-то подобного. Сейчас посмотрю cpuinfo
-
А что за конфиг?
-
Машины, всмысле
-
конфиг стандартный, ничего не меняли, версия: 1.1.54310.
-
конфиг запросил, жду
-
cat /proc/cpuinfo
processor : 0
vendor_id : GenuineIntel
cpu family : 6
model : 23
model name : Intel(R) Xeon(R) CPU E5430 @ 2.66GHz
stepping : 6
microcode : 0x60f
cpu MHz : 2659.923
cache size : 6144 KB
physical id : 0
siblings : 4
core id : 0
cpu cores : 4
apicid : 0
initial apicid : 0
fpu : yes
fpu_exception : yes
cpuid level : 10
wp : yes
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx lm constant_tsc arch_perfmon pebs bts rep_good nopl aperfmperf pni dtes64 monitor ds_cpl vmx est tm2 ssse3 cx16 xtpr pdcm dca sse4_1 lahf_lm tpr_shadow vnmi flexpriority dtherm
bugs :
bogomips : 5319.84
clflush size : 64
cache_alignment : 64
address sizes : 38 bits physical, 48 bits virtual
power management:
processor : 1
vendor_id : GenuineIntel
cpu family : 6
model : 23
model name : Intel(R) Xeon(R) CPU E5430 @ 2.66GHz
stepping : 6
microcode : 0x60f
cpu MHz : 2659.923
cache size : 6144 KB
physical id : 1
siblings : 4
core id : 0
cpu cores : 4
apicid : 4
initial apicid : 4
fpu : yes
fpu_exception : yes
cpuid level : 10
wp : yes
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx lm constant_tsc arch_perfmon pebs bts rep_good nopl aperfmperf pni dtes64 monitor ds_cpl vmx est tm2 ssse3 cx16 xtpr pdcm dca sse4_1 lahf_lm tpr_shadow vnmi flexpriority dtherm
bugs :
bogomips : 5320.07
clflush size : 64
cache_alignment : 64
address sizes : 38 bits physical, 48 bits virtual
power management: -
@pavel_odintsov кликхаус же хочет sse4_2 вроде бы, если запускать на серваке без него (E54xx/55xx) то будет SIGILL
-
надо пересобирать
-
Как-то сурово это что ли...
-
угу, вижу требования :( слона не заметил, спасибо!
-
но все равно странно, взял тест машину тоже без sse 4.2
-
grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"
SSE 4.2 not supported -
ps aux|grep clickhouse
clickho+ 9911 0.0 0.6 273352 27696 ? Ssl 22:19 0:00 clickhouse-server —daemon —pid-file=/var/run/clickhouse-server/clickhouse-server.pid —config-file=/etc/clickhouse-server/config.xml -
поставился и запустился сходу
-
а проц какой именно?
-
модель
-
odintsov@fastlab1:~$ cat /proc/cpuinfo
processor : 0
vendor_id : GenuineIntel
cpu family : 6
model : 23
model name : Intel(R) Core(TM)2 Quad CPU Q8200 @ 2.33GHz
stepping : 10
microcode : 0xa07
cpu MHz : 2003.000
cache size : 2048 KB
physical id : 0
siblings : 4
core id : 0
cpu cores : 4
apicid : 0
initial apicid : 0
fpu : yes
fpu_exception : yes
cpuid level : 13
wp : yes
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx lm constant_tsc arch_perfmon pebs bts rep_good nopl aperfmperf pni dtes64 monitor ds_cpl est tm2 ssse3 cx16 xtpr pdcm sse4_1 xsave lahf_lm dtherm
bugs :
bogomips : 4666.12
clflush size : 64
cache_alignment : 64
address sizes : 36 bits physical, 48 bits virtual
power management: -
не все операции вызывают sigill :)
-
возможно на c2q твоем ты такого не делал еще
-
все равно это как-то странно... хочется сообщение в логе что ли - нет поддрежки, извините
-
SIGILL вещь редкая и от нее пугаешься :)
-
Местами sigill даже законодательно запрещен)
-
и не зря, неплохая идея
-
да, коллега красивую фигню отковырял :(
-
"фича" с AVX вообще кошмар
-
там фич больше
-
вы возьмтие Xeon Silver и Xeon Gold
-
у них будет поведение в avx512 отличаться
-
если судить по тому что интел говорил
-
говорят еще косяков в них немеряно в этих голдах и силверах
-
сугубо даже с сборочной стороны
-
каждый errata на цпу состоит из 100+ пунктов
- 16 November 2017 (225 messages)
-
Всем привет!
Ребят, не проконсультируете по поводу Kafka-движка https://github.com/yandex/ClickHouse/blob/master/docs/en/table_engines/kafka.rst ?
Выглядит очень интересно, основной вопрос, можно ли читать Avro-сообщения, указав в schema путь к Авро-схеме?yandex/ClickHouseClickHouse is a free analytic DBMS for big data.
-
а есть ли у кликхауса дебаггер? -
есть, GDB
-
Еще можно уровень логирования на trace поменять
-
Joined. -
Может в шардах данные более однородные? Или. Остались неактивные партиции?
-
Но на диске расположены по разному же
-
Joined. -
Всем привет!
Хотелось узнать, как кликхаус будет себя вести с большим количеством джойнов?
Есть идея хранить данные в куче таблиц и делать джоин по какому-то идентификатору.
Предположим таблиц будет 5-6 и генерироваться будет в среднем 150кк эвентов в сутки, которые будут записываться в эти таблицы. -
Плохо, поскольку:
- будет много уровней вложености - неудобно
- сначала будет вся строиться "правая" часть в памяти и только потом идти джоин и фильтрация - с фильтрами будет аццки медлено работать -
Спасибо
-
Вызывается эвент типа А, через n времени происходит эвент типа B, но который порожден эвентом A, как-то так.
-
Денормализация, mergе движки
-
Звезду не построить в CH
-
Или будет очень медленно
-
Добрый день , влияет ли настройка сжатия данных на уже записанные данные ? -
Поищите в истории чата, но насколько помню - нет, только на новые
-
добрый день
есть такая ситуация
SELECT uniqExact(affid)
FROM affid
WHERE (date >= '2017-01-10') AND (date <= '2017-01-25')
┌─uniqExact(affid)─┐
│ 22499975 │
└─────────┘
1 rows in set. Elapsed: 3.280 sec. Processed 43.00 million rows,
как понять откуда взялось 43млн строк если в результате всего 22млн? -
и есть ли в КХ какой-то анализатор запросов вроде EXPLAIN?
-
43 млн было прочитано с диска. КХ читает данные блоками, в блоке может быть чуть больше строк чем нужно для запроса.
-
Нет EXPLAIN, но если открыть лог сервера когда выполняется запрос, там будут некие стадии выполнения запроса
-
ага
то есть можно предположить что прочитана была вся партиция
спасибо -
спасибо
-
а нет ли доки как читать этот лог? )
-
Откройте лог через tail
tail -f /path_to_clickhouse-server.log
Там примерно понятно что происходит -
это-то понятно :)
-
например он пишет
Selected 5 parts by date, 5 parts by key, 1384 marks to read from 5 ranges
как бы знать хорошо это или плохо?
может я запрос коряво написал?
или типа КХ вообще не про это и лишь бы в память влезало -
Оптимизации запросов в КХ обычно начинаются с show create table 'name'. Скорее всего у вас произошло чтение всей партиции. Я так понимаю, вы хотите уменьшить время выполнения за счет ограничения выборки по диапазону дат? Проверьте, есть ли помимо партиционирования по Date еще и индекс по этому же Date[Time].
-
system.parts показывает партишены которые содержат месячные данные? или это какие-то другие parts? У меня из за 3 дня 6800 штук накопилось, это нормально?
-
https://clickhouse.yandex/docs/ru/single/#alter
ctrl+f "Куском (part) в таблице называется" -
там про все написано
-
спасибо
-
спасибо, оно.
-
повторю свой вопрос вчерашний:
У меня select на Distibuted таблицу выдает через раз разные(всего 2) наборы данных. По графику видно, что это разные части одного графика с "дырками". Создается впечаление, что merge не проходит или не рандомно не доезжают данные с какой-то из нод. С чего можно начать дебаг проблемы? -
-
А нет ли планов реализовать вот это https://github.com/yandex/ClickHouse/issues/838 ? Уж очень хочется хранить скорости изменения величин в CH, но получается это совершенно неоптимально =(Feature request: add ability to apply delta or delta-of-delta encoding to numeric columns before compression · Issue #838 · yandex/ClickHouse
Clickhouse fits well for time-series DB from the performance point of view. But the compression ratio for the data stored in such databases may be further improved. Tables in time-series DBs usuall...
-
Joined. -
что именно?
-
у нас метрики - это десятки миллионов "скоростей" изменения различных величин, их считает наш софт и отправляет в CH уже посчитанные результаты
-
у вас там был очень большой поток на запись, может просто репликация не успевает? остановите запись, сравните таблицы на репликах, по count(), например. Ну или сравнить данные, которые уже заведомо доехали, вчерашние, или за час назад
-
@solhov это делает наш софт неимоверно сложным.
-
ну и вообще это стандартная тема для TSDB, Influx/Graphite справляются с этим, но у них с масштабированием не все хорошо. CH отлично справляется, если бы можно было укзаать тип сжатия для таблицы 🙂
-
вам не кажется, что это странно, переписывать всю логику приложения и делать поспешные выводы?
-
но это офтоп, мне интересен ответ разработчиков, а не как я должен нанимать своих программистов 🙂
-
-
увы, 2 часа назад та-же картина
-
Прошу прощения, а напомните, как, не зная вашего номера телефона, забанить ваш ник?
-
Андрей, плюсую)
-
contact info -> block user
-
отлично
-
какое там. carbon метрики собираю
-
и сразу банят -
Мистер глаз, а почему бы вам не сменить ник?
-
я за нормы приличия, мы все же не в чате Тарантула, где можно материться 🙂
-
Раз части сообщества неприятно)
-
не помогло
-
Кажется, надо делать это на уровне чата
-
Ты заблочил для себя
-
Кросс-репликация)
-
?
-
да
-
В кликхаусе это больно)
-
моралфагам как вариант - замена через tampermonkey
-
а как-же быть?
-
Отказаться от кросс-репликации?)
-
так чем ее заменить?
-
как HA организовать без репликации?
-
я сижу не через веб-версию, и хотел бы кросс-платформенное решение
-
а между тем это хитрый способ атаки на чаты, в ирц времена было такое 🙂 Ник флуд называлось, но оно было немного иначе
-
сорян, к Дурову предложения
-
Использовать две машины. один шард + две реплики. а как создаются таблицы и описание кластеров можно посмотреть?
-
не надо искать черную кошку. Мне просто нравится ник
-
Добавить в контакты и переименовать
-
-
смотри выше, я не знаю мобильного телефона этого молодого человека
-
@dimcha
-
можно добавить ник
-
добавив ник нельзя редактировать имя
-
думаю стоит написать в суппорт телеги. Без шуток.
-
напишите?
-
да, напишу. Только бы найти их адрес
-
-
написал. Буду держать в курсе )
-
Пожалуйста, не надо. И так оффтопа много.
-
Речь не о чувствительности, а о комьюнити конкретно в этом чате. Люди, появившиеся здесь с самого открытия КХ в опенсорс, привыкли к адекватности. А адекватность, а данном случае, это серьзеное восприятие собеседника, шаринг бест практисес и опыта использования данного продукта. Воспринимать серьзено человека с вызывающим ником не то чтобы трудно, но требует дополнительных усилий. И прилагать их вот просто так, мне лично, не хочется. К тому же, такое поведение вызывает явное неодобрение со стороны других участников чата и они не могут с этим ничего сделать, кроме как высказывать его. Ситуация похожа на курение. Вы имеете право курить, но, пожалуйста, не мешайте этим другим людям. Они ведь не мешают вам тем, что не курят? Давайте не скатываться
-
Не прилагайте. От вас, по-существу моих вопросов, ответов не наблюдается.
Если тут профессионалы собрались, так и ведите себя как профессионалы - концентрируйтесь на проблеме, а не окружении.
@clickhouse_ru / Public archive of Telegram messages.
- 01 Nov 2017 (144)
- 02 Nov 2017 (274)
- 03 Nov 2017 (154)
- 04 Nov 2017 (22)
- 05 Nov 2017 (9)
- 06 Nov 2017 (79)
- 07 Nov 2017 (101)
- 08 Nov 2017 (160)
- 09 Nov 2017 (203)
- 10 Nov 2017 (68)
- 11 Nov 2017 (25)
- 12 Nov 2017 (75)
- 13 Nov 2017 (161)
- 14 Nov 2017 (159)
- 15 Nov 2017 (257)
- 16 Nov 2017 (225)
- 17 Nov 2017 (83)
- 18 Nov 2017 (36)
- 19 Nov 2017 (45)
- 20 Nov 2017 (252)
- 21 Nov 2017 (89)
- 22 Nov 2017 (76)
- 23 Nov 2017 (193)
- 24 Nov 2017 (341)
- 25 Nov 2017 (16)
- 26 Nov 2017 (54)
- 27 Nov 2017 (163)
- 28 Nov 2017 (118)
- 29 Nov 2017 (217)
- 30 Nov 2017 (143)