当前位置：首页 > backend >正文

clickhouse - 重新建表覆盖旧表-解决分区时间错误问题-197001

backend 2025/7/3 17:38:31

由于上传时间戳为毫秒级，建表sql的分区按照 PARTITION BY toYYYYMM(toDate(ts)) 秒级划分，导致所有的数据计算后超出范围全部标注在了 1970-01的分区上面。

尝试修改表的配置分区无效。
创建新表更新分区的配置 PARTITION BY toYYYYMM(toDate(ts/1000)) ，抽取数据到新表。再依次验证后还原表名字。

验证函数中的数据，toDate转换的情况

SELECT toYYYYMM(toDate(ts / 1000)) FROM ts_kv_cluster Query id: efa8f8b1-cb92-4344-b39e-bf18f3c00ff1┌─toYYYYMM(toDate(divide(ts, 1000)))─┐
│                             202504 │
│                             202504 │
│                             202504 │
│                             202504 │SELECT toYYYYMM(toDate(ts)) FROM ts_kv_cluster Query id: 92620905-0add-4c91-8b3a-2065fe67d7b3┌─toYYYYMM(toDate(ts))─┐
│               197001 │
│               197001 │
│               197001 │

解决分区的时间错误

# 创建新表CREATE TABLE iot.ts_kv_cluster_new
(`entity_id` String,`key` Int32,`ts` Int64,`bool_v` Nullable(UInt8),`str_v` Nullable(String),`long_v` Nullable(Int64),`dbl_v` Nullable(Float64),`json_v` Nullable(String)
)
ENGINE = ReplicatedMergeTree('/clickhouse/table/{shard}/ts_kv_cluster_new', '{replica}')
PARTITION BY toYYYYMM(toDate(ts / 1000))
PRIMARY KEY (entity_id, key, ts)
ORDER BY (entity_id, key, ts)
SETTINGS index_granularity = 8192;# 复制数据到新表中
INSERT INTO iot.ts_kv_cluster_new SELECT * FROM iot.ts_kv_cluster;# 对比数量
SELECT COUNT(*) FROM iot.ts_kv_cluster;
SELECT COUNT(*) FROM iot.ts_kv_cluster_old;# 重命名 原有的表名  到 旧表
RENAME TABLE iot.ts_kv_cluster TO iot.ts_kv_cluster_old;# 重命名 新表 到原有的表名
RENAME TABLE iot.ts_kv_cluster_new TO iot.ts_kv_cluster;# 查看分区的分布
SELECT partition, count() FROM system.parts WHERE table = 'ts_kv_cluster' GROUP BY partition;# 删除 旧表
DROP TABLE iot.ts_kv_cluster_old;

查看全文

http://www.xdnf.cn/news/4273.html