时序数据库怎么选?别只看每秒写入多少点

时序数据库怎么选?别只看每秒写入多少点

天谋科技 ·
IoT Benchmark——让选型判断有明确输入、有执行过程,也有复查依据。

物联网、工业互联网、能源、交通和医疗等场景中,数据正在以前所未有的速度增长。

做物联网和工业数字化的朋友,这两年应该都有一个共同的纠结点:时序数据库越来越多,每家都说自己“写入快、查询强、性能好”。可真到选型那天,光看参数表和宣传语,往往很难判断谁更适合自己的业务。

  • 一座风场有多少台风机?

  • 每台风机挂载多少个传感器?

  • 数据多久上报一次?

  • 网络抖动造成的乱序数据占比是多少?

  • 日常是看最新点位,还是长期范围聚合分析?

选时序数据库时,这些业务问题的答案,比单看“每秒能写多少点”更有参考价值。

同一款时序数据库,面对不同设备规模、采集频率、乱序比例和查询方式,表现可能完全不同。如果测试负载与生产业务脱节,即使得到一个很高的吞吐数字,也很难直接指导架构决策。

为了让选型测试更贴近实际业务,我们推荐一个开源工具——IoT Benchmark。你可以根据设备规模、采样间隔、乱序比例和常用查询来配置测试负载,看看不同数据库在这些条件下表现如何。

一、IoT Benchmark 是什么

IoT Benchmark 是一款面向时序数据库的开源基准测试工具,它围绕数据集、数据库适配、负载执行、正确性检查和结果记录,串起了一套时序数据库基准测试流程。项目开源地址为 github.com/thulab/iot-benchmark。

二、IoT Benchmark 能做什么

1.按业务场景配置测试负载

用户给出业务条件后,IoT Benchmark 首先将其组织成测试模型。设备数量、单设备测点数和数据类型描述数据模型;采集间隔和时间精度决定数据的时间戳,写入批次和客户端并发数用于配置写入负载;查询类型和操作比例则描述数据如何被访问。

例如,一座风场有 100 台风机,每台 300 个测点,常规测点每秒采集一次,测试中可将乱序比例设为 5%,模拟补传造成的乱序写入;业务既要查看最新状态,也要按小时统计功率和温度。这些条件映射为配置后,测试便成为一份可以检查和复用的业务负载。

随后,Benchmark 按设备、测点、数据类型和时间戳规则生成数据,也可以加载已经落盘的数据集。固定数据集尤其重要:比较不同数据库、版本或接口时,它能尽量保持输入一致,避免每轮数据变化干扰判断。

2.测试写入、查询和读写混合负载

数据准备完成后,Benchmark 通过数据库适配层连接目标系统。适配器把统一测试动作转换成数据库实际支持的 API,并处理建模、数据类型转换、批次提交、结果读取和异常反馈。它不是简单的连接器,而是统一测试动作落到具体数据库的关键。

测试开始后,Benchmark 按配置启动并发客户端。写入侧可以调整批次、并发和时间顺序;查询侧可以组合点查询、范围查询、值过滤、聚合和分组聚合;混合负载则按设定比例让写入和查询同时发生。

乱序同样是负载的一部分。IoT Benchmark 可以生成迟到数据,模拟设备离线补传、边缘缓存、网络延迟或消息重试。测试者由此观察乱序比例变化后,写入吞吐、延迟和查询表现如何变化,而不是用理想顺序写入推断现场表现。

3.查看测试指标和验证数据正确性

IoT Benchmark 不只统计请求完成得多快,还提供正确性写入和查询验证模式。典型做法是固定一份标准数据集,执行写入,再按预期查询并核对结果,同时记录成功、失败及相关点数。这对于数据库版本升级、驱动适配、迁移验证和新架构上线尤其重要——比如 IoTDB 从 1.x 升级到 2.x 时,就可以先用同一份落盘数据集完成跨版本正确性回归,再比较性能。

 

测试结束后,Benchmark 汇总耗时、吞吐、延迟分布以及成功和失败情况。平均延迟之外,中位数反映典型耗时,P95、P99 用于观察尾部延迟;失败请求数、写入失败点数用于判断高吞吐是否建立在大量失败之上。实际指标应以对应测试模式的输出为准。

空间消耗可以辅助观察,但需要说明缓存、刷盘、副本、压缩和统计时机。工具还可以把结果写入文件、CSV、MySQL 或 IoTDB 等目标。把配置、日志、数据库版本、硬件环境和多轮结果一起归档,测试才具备复查基础。

三、以 IoTDB 为例:测试不同版本、数据模型和接口

IoT Benchmark 支持多种数据库。以 IoTDB 2.x 为例,测试时可以根据业务选择树模型或表模型,并按所用模型和适配配置选择 JDBC、REST 或 Session 等访问方式。使用 Session 写入时,还可以选择按单条记录、多条记录或 Tablet 批量提交。

 

这些配置可以用来回答几个具体问题:

  • 使用同一份测试数据时,不同 IoTDB 版本的查询结果是否一致?

  • 在相同负载和并发条件下,JDBC 和 Session Tablet 的写入吞吐、延迟有何差异?

  • 对于业务常用的查询,树模型和表模型各自的表现如何?

  • 加入乱序写入和并发查询后,系统能否达到业务要求的吞吐和延迟?

IoTDB 用户文档提供 Benchmark 的配置与运行说明,方便用户完成环境准备和测试执行。

因此,更准确的说法是:IoTDB 社区持续完善版本、模型、客户端接口和使用路径的适配,让 IoTDB 能在公开配置、明确环境和可重复负载中接受验证,而不是预先用 Benchmark 证明某个普遍性能结论。

四、做一次可信的基准测试,要注意哪些事?

IoT Benchmark 可以生成数据、执行负载、验证结果并记录指标,但它不能自动保证一次测试公平可信。数据库部署、资源分配、预热方式和结果解释,仍需要测试团队主动控制。正式执行前,至少应确认以下六件事。

第一,固定软硬件环境。记录数据库和驱动版本、部署拓扑、CPU、内存、磁盘、网络与操作系统;比较不同数据库时,资源条件应尽量等价,避免把硬件差异误认为软件差异。

第二,先定义业务负载,再填写参数。先明确设备规模、测点数量、采集周期、数据类型、乱序比例和主要查询,再映射为 Benchmark 配置。不要先运行默认配置,再设法解释结果。

第三,分开测试单项能力和混合负载。纯写入用于观察写入路径,单类查询用于定位访问模式差异,混合负载用于模拟日常运行。三类结果回答的问题不同,不宜合并成一个简单排名。

第四,设置预热并重复测试。JVM、操作系统缓存和数据库后台任务都会影响短时结果。正式采样前应预热,并在相同条件下执行多轮;除了均值,还要记录波动范围。

第五,同时观察吞吐、延迟、失败和正确性。高吞吐不等于稳定。应同时检查平均延迟、P95、P99、失败请求、失败点数和正确性结果。空间占用如需比较,也应明确刷盘、副本和统计口径。

第六,保存配置和环境,确保结果可复现。每份结果都应与 Benchmark 配置、数据库版本、环境记录和日志绑定。只有其他人能够按相同条件复现的结果,才适合进入选型报告或容量规划。

即使控制了以上条件,也不能把单次结果扩展成普遍结论。如“数据库 A 在某轮顺序写入中吞吐更高”,只说明它在当时的版本、硬件、参数和负载下表现更高,不能证明它在乱序写入、复杂查询、长期运行或不同集群规模下仍然领先。

同样,测试用例中的目标值也不能在缺少完整环境说明时直接当作产品实测数据。更稳妥的做法,是将其作为测试计划中的验收阈值,再在自己的环境和业务负载下验证。

五、IoT Benchmark 的适用场景

  • 对研发团队,IoT Benchmark 可用于定位性能瓶颈、做版本回归测试;

  • 对架构团队,可用于比较候选数据库、验证部署方案;

  • 对企业用户,可以根据实际的设备规模、采集频率和常用查询制定测试方案,看看不同数据库在相同业务负载下表现如何。

IoT Benchmark 不替用户寻找脱离条件的“最快产品”。它所做的,是让选型判断有明确输入、有执行过程,也有复查依据。