首页
>
资源
>
用户案例

从海量数据存储到实时分析:国家光储实证平台的 IoTDB 应用实践

编者按:
本文来自国家电投集团青海光伏产业创新中心有限公司副总经理、青海黄河智慧能源科技有限公司副总经理李江在 2026 时序数据技术创新大会上的报告。

在光伏与储能行业,一座实证基地每天会产生多少数据?

来自组件、逆变器、支架、储能系统和气象传感器的数据持续汇入平台。当多个基地横跨不同气候区域,设备来自不同厂商,数据结构和采样频率各不相同时,挑战便不只是“把数据存下来”,而是如何让这些数据长期可追溯、能够快速查询,并进一步服务科研分析与智能应用。

本文以国家光储实证实验平台为背景,分享大数据平台的架构演进,以及 IoTDB 在时序数据存储、查询、降采样和实时分析中的实践。

一、多基地、多设备、多时间尺度:实证数据的复杂性从何而来

据演讲介绍,光储实证实验平台(以下简称“平台”)目前已建成大庆、共和、甘孜三个基地,另有一个基地正在筹建。

01-20261019.png

不同基地覆盖不同气候区域,也承载着不同阶段的光伏和储能产品。平台采集的数据来自组件、支架、逆变器、储能系统以及辐照、风速、温度、倾角等传感器。由于设备厂商和产品类型较多,数据定义、测点结构和采样频率并不完全一致,新的设备与试验方案也在持续接入。

02-20261019.png

这使平台的数据同时具备来源多、结构复杂、时间跨度长、采样频率高,使用方式多样等特点。平台既要保留秒级原始数据,又要形成分钟级、小时级业务指标;既要支持单设备查询,也要满足跨设备、跨年度的数据分析。

李江在演讲中提到,四大实证基地部署超 2500 套高精度传感设备,平台测点规模约 60 万,每日入库数据超过 100 亿条,当前库存数据约 280 TB。李江认为,对国家级实证平台而言,秒级数据是否应该长期保存,是一个不能只看当下应用的问题。当前很多分析可能以分钟级数据为主,但随着时序模型和工业 AI 的发展,秒级原始数据可能产生新的研究价值。因此,平台需要同时保留可追溯的原始数据和不同粒度的业务指标。因此,他将时序数据库底座的核心要求概括为四个方面:存得下、查得快、算得动、用得好。

03-20261019.png

而团队之所以选用 IoTDB,一个重要原因是平台的数据以秒级时序数据为主,而 IoTDB 在长期存储和查询等时序场景进行了优化。在实际测试和使用过程中,团队重点关注了 IoTDB 的压缩比、跨年度查询、大批量数据抽取以及降采样等能力,并认为 IoTDB 这些能力与光储实证平台的使用需求都很匹配。

二、架构演进的关键,不是简单更换数据库

平台的数据架构并非一步到位。

早期方案采用分布式关系数据库与多种大数据组件组合。随着数据持续增长,原有架构逐渐暴露出稳定性、查询效率、压缩存储和运维复杂度等方面的挑战。随后,团队又引入商业化大数据体系,但在跨年度查询、大批量数据抽取和长期存储方面,仍需要进一步优化。

这段实践让团队逐渐形成一个判断:面对复杂工业数据,不必要求单一数据库承担全部任务,而应根据数据和查询特点进行专业分工。

在当前实践中,平台以 IoTDB 承担时序数据存储、查询和降采样,以 Doris 等分析数据库支撑复杂关联分析。目前,平台已将分钟级数据迁移至 IoTDB,并持续运行半年以上,随着方案的进一步验证,团队计划逐步将更多秒级数据纳入 IoTDB,形成以 IoTDB 为主要时序数据底座的数据架构。

04-20261019.png

三、一年多数据、近 2000 台设备:平台测试看到了什么?

为了验证新架构在真实数据下的表现,团队将平台数据导入后开展了多组测试。据李江介绍,测试使用了约一年的完整数据,覆盖近 2000 台设备,涉及设备维度明细查询、批量数据抽取、最新值查询、翻页及不同粒度的降采样等任务。其中,部分基准测试采用 200 台设备抽样,扩展测试则进一步覆盖全部设备,以比较不同数据库在实际业务负载下的表现。

05-20261019.png

测试结果显示,IoTDB 在多类数据访问任务中表现出明显优势。在单设备明细查询、最新值查询和降采样等典型场景下,多项任务的响应时间达到亚秒级;在50台设备、3小时明细查询测试中,IoTDB用时约0.30秒,比原有时序库快51倍。

06-20261019.jpg

在大批量明细数据读取方面,IoTDB 的测试吞吐率达到约 15.5 万点/秒,与原有时序库约 600 点/秒的性能相比,性能差距超过两个数量级。测试还覆盖了正向明细查询、倒序翻页和任意粒度降采样等不同访问方式。李江特别提到,并非所有数据库都能够直接支持灵活的降采样,而这项能力对于长时间范围的数据查看和在线曲线分析十分重要。

除了查询和降采样,IoTDB 还支持缺失值填补(FILL)等时序处理能力,可在查询过程中对缺失数据进行填补,为数据治理和后续分析提供支持。

四、树模型的价值,在于贴合工业设备的真实结构

在数据库选型中,查询和存储性能固然重要,但数据模型是否符合业务结构,同样会影响平台的长期使用成本。

在演讲中,李江还重点分享了平台在数据模型方面的考虑。

过去,平台需要在其他系统中维护设备关系,再为设备生成内部编码,将编码与时序数据进行关联。这种方式能够工作,却增加了模型维护以及内码、外码转换的复杂度。

结合实际使用体会,李江认为,IoTDB 的树模型对工业设备数据采集和管理非常友好。平台可以按照“基地—区域—设备—测点”等层级组织数据,这种结构与光伏、储能实证场景中的设备关系较为接近。而面对不同厂商的设备和持续增加的测点问题,树模型也能够根据业务需要扩展节点,并支持不同采样频率的数据管理。

07-20261019.png

在他看来,树模型的价值不只在于数据“怎么存”,也在于减少额外的数据关系维护,让数据组织方式更贴近设备现场。对于设备结构会持续变化的工业场景,这种灵活性能够降低数据接入和管理的复杂度。

08-20261019.png

李江同时提到,数据模型与数据库选型仍然需要结合行业特点和实际业务需求。在光伏、储能等工业现场,设备厂商众多、测点结构复杂且持续变化,IoTDB 树模型能够提供更加灵活的数据组织方式。而对于复杂多表关联分析、全场聚合统计等任务,Doris、StarRocks 等分析型数据库也有各自的优势。平台最终采用的不是非此即彼的选择,而是让不同系统承担各自擅长的任务。

五、从历史查询到在线实时分析

基于新的数据底座,团队构建了一套高性能在线实时分析系统,李江形象地称其为“高速示波器”。

09高速示波器1-20261019.png

高速示波器真实界面:DWD 层·周档

(含 3 条逆变器有功曲线)


在这一系统中,用户可以从复杂的设备目录中定位设备和测点,选择不同时间范围和采样粒度,查看多条数据曲线。演讲中提到,系统可以在约 50 万测点中进行检索和选择,并支持从分钟级数据切换到年度范围的数据展示;在同时加载约 30 条曲线的情况下,仍可实现秒级加载。

李江提到,平台对数据库的关注不只是写入速度,也包括数据访问和降采样效率。对于科研和运维人员来说,能否快速获得合适粒度的数据,直接影响分析效率。基于 IoTDB 的查询和降采样能力,使平台可以减少对固定粒度中间数据的依赖,并重新评估数仓中部分数据加工层的必要性。

010高速示波器1-20261019.png

高速示波器真实界面:D 库·月档

(含 3 条逆变器有功曲线)


在李江看来,这项应用对两类性能提出了直接要求:一是数据访问速度,二是降采样速度。代码优化和并发处理固然重要,但 IoTDB 对降采样的支持,是这套“高速示波器”能够落地的重要基础。

从实际使用体验看,同一台设备、同一时间窗口下,IoTDB 的加载速度约为 Doris 的 2~3 倍,窗口放大到年度后差距更明显:首次打开年度窗口,IoTDB 约 0.6~0.8 秒出图,Doris 约需 2 秒;若该测点此前从未被访问过(两侧缓存均为空),Doris 需要 7~8 秒,差距可拉大到 10 倍左右。这也说明时序场景下“按设备路径直达序列”的访问方式,比宽表按时间切片更省一次定位成本。

这并不意味着传统数据仓库分层失去价值,而是说明当底层数据能够按需查询和处理时,数据链路可以根据真实业务需求进一步简化,减少不必要的数据复制和加工。

六、高质量时序数据,为工业 AI 提供真实基础

在完成存储与查询架构优化后,平台也开始探索数据的进一步应用。

一方面,团队尝试使用无监督学习方法对波形进行分类,辅助识别不同天气或运行状态下的数据特征;另一方面,平台建设了实时数据质量监控能力,对设备接入、数据入库和异常状态进行持续观察。此外,团队还在探索利用神经网络分析气象数据与设备出力之间的关系。

011-20261019.png012-20261019.png013-20261019.png

这些探索说明,工业 AI 的起点并不只是模型。模型能否发挥价值,很大程度上取决于底层数据是否连续、可追溯,能否高效提取,以及数据质量问题能否被及时发现。

对光储实证平台而言,从秒级原始数据到分钟级、小时级指标,从长期存储到实时分析,再到预测和智能应用,这些任务需要的是一条完整的数据链路。

七、让数据底座适应持续演进的业务

随着实证基地继续建设,设备类型、测点规模和历史数据还会持续增长。平台下一阶段的重点,是让 IoTDB 从当前的分钟级数据处理进一步向秒级数据扩展,并继续优化与分析数据库之间的协同方式。

014-20261019.png

演讲中,李江还特别提到了TsFile这一开放时序数据文件格式。在实际测试中,团队对 TsFile 的高压缩比印象深刻。对于需要长期保存海量历史数据的实证平台而言,更高的存储效率意味着更低的长期数据管理成本。

此外,李江尤其看重 TsFile 带来的数据开放性与迁移便利性。由于 TsFile 采用开放的文件格式,并支持通过独立接口访问数据,历史数据不必完全依赖特定数据库系统才能读取。这种文件格式与数据库系统之间的相对独立性,也为后续数据迁移、架构调整和长期数据管理提供了更多选择。

从这次实践可以看到,工业数据平台的优化不是简单追求某项性能指标,而是要同时考虑数据规模、设备结构、查询方式、长期运维和未来应用。只有让数据真正做到存得下、查得快、算得动、用得好,持续积累的时序数据才能从历史记录转化为科研、运行和智能决策的基础。