IoTDB端边云同步技术的五大常见场景及简便使用方式
IoTDB端边云同步技术提供了一种高效、可靠的数据同步解决方案,通过简洁灵活的SQL操作和直观的配置方式,实现了数据在端、边、云之间的无缝流动。以下是IoTDB端边云同步的五大常见场景及其简便的使用方式。
一、基础数据同步
基础数据同步包括全量数据同步和范围数据同步两种模式。
- 全量数据同步:将一个IoTDB实例中的所有数据完整地同步到另一个IoTDB实例,常用于数据备份、灾难恢复和数据迁移等场景。通过执行简单的SQL命令,如
CREATE PIPE A2B WITH SINK ('node-urls' = '目标节点地址')
,即可实现全量数据同步,无需借助第三方组件或工具。 - 范围数据同步:将一个IoTDB实例中指定时间范围、指定测点的数据同步到另一个IoTDB实例,常用于关键数据备份与恢复场景。SQL命令示例为
CREATE PIPE A2B WITH SOURCE ('path'= '测点路径','start-time' = '开始时间','end-time' = '结束时间')WITH SINK ('node-urls'='目标节点地址')
。
二、数据降采样同步
数据降采样同步在将数据从一个IoTDB实例同步到另一个实例的同时,将高频率采集的数据转换为较低频率的数据,有助于减少上级数据管理数据存储压力并提高数据处理效率。通过创建带有降采样规则的数据同步任务,如CREATE PIPE a2b WITH PROCESSOR ('processor' = '数据降采样处理插件')WITH SINK ('node-urls' = '目标节点地址')
,即可实现这一功能。企业版可直接使用内置插件,开源版可自行实现逻辑并导入插件。
三、级联数据同步
级联数据同步通过在多个数据库之间创建链式的数据流动,确保数据的连贯性和一致性,常用于多个场站间数据联动汇聚的场景。通过在每个节点上执行创建同步任务的SQL命令,如create pipe A2B with sink ('node-urls'='下一个节点地址')
,并在链路上设置多个同步任务,即可实现级联数据同步。
四、双向数据同步
双向数据同步在两个IoTDB实例之间实现数据的实时镜像,确保数据的一致性和最新状态,为多数据双活、灾备和数据备份提供支持。通过在两个实例中分别执行创建双向同步任务的SQL命令,如CREATE PIPE A2B WITH SOURCE ('forwarding-pipe-requests' = 'false',)WITH SINK ('node-urls'='对方实例地址')
,并设置forwarding-pipe-requests
为false以防止数据无限循环(此配置为企业版功能),即可实现双向数据同步。
五、跨网闸数据同步
在电力等行业,跨网闸数据同步面临网络安全挑战。IoTDB通过内置的跨网闸同步插件支持适配数据在特定型号下的数据同步。通过执行创建跨网闸同步任务的SQL命令,如create pipe A2B with sink ('sink'='网闸专用处理插件','sink.node-urls'='目标节点地址')
,并使用企业版内置插件或自行实现的插件,即可实现跨网闸数据同步,确保数据传输的安全性和合规性。
IoTDB端边云同步技术以灵活和简单为设计出发点,上述所有操作仅需执行一句SQL即可完成。同时,支持同步过程中的加密传输、压缩传输等高级功能,用户可在数据同步框架上继续探索更高阶的使用方法。