Kettle

1. 概述

Kettle（全称 Pentaho Data Integration，简称 PDI）是一款开源的 ETL（Extract, Transform, Load）工具，专为数据集成、数据清洗、数据迁移和数据分析设计。它通过可视化界面简化了复杂的数据处理流程，被广泛用于数据仓库构建、业务智能（BI）和大数据场景。

2. 前置条件

要想连接 IoTDB 与 PDI 需要以下几方面的准备工作。

• IoTDB >=V2.0.5.1，已经部署并且能够正常运行。

• PDI 已经下载安装，并且能够正常运行 。

3. 连接 IoTDB 与 PDI

1. 启动 IoTDB 服务

2. 下载 JDBC 驱动并添加至 PDI 所在文件夹下的 lib 目录

   • 点击下列网址 下载地址1 或 下载地址2，选择对应版本的 Jar 包，下载后缀 jar-with-dependencies.jar 的包

3. 启动 PDI 服务，配置数据库连接

   • 新建转换

     

   • 新建数据库连接

     

   • 编辑数据库连接

     

   • 测试连接

     

4. 可以开始通过 PDI 使用 IoTDB

4. 使用步骤

插入数据需使用执行 SQL 脚本，下面将使用 JSON input 模拟使用 PDI 向 IoTDB 插入数据。

1. 添加 JSON input，点击左侧核心对象中的输入，选中 JSON input 拖入右侧转换中。

2. 双击拖入的 JSON input 并添加 JSON 文件，在文件选项卡 - 文件或路径 一栏中填入 JSON 文件的路径，并点击增加。

3. 在字段选项卡里点击 Select fields，选中需要导入的行。

4. 根据目标数据库的字段要求，适当调整数据类型。例如将类型为 Boolean 的类型替换为 Binary，类型为 Float 的类型替换为 Number。

5. 添加执行 SQL 脚本，点击左侧核心对象中的脚本，选中执行 SQL 脚本拖入右侧转换中。

6. 鼠标悬停在 JSON input 上，选中第四个图标点击并指向执行 SQL 脚本并选择主输出步骤。

7. 双击执行 SQL 脚本并添加 SQL 语句，勾选执行每一行，并点击获取字段。

8. 选中 JSON input 和执行 SQL 脚本并点击运行或按快捷键 F9。

9. 通过 IoTDB Cli 验证写入结果

IoTDB:database1> select * from table1
+-----------------------------+------+--------+---------+--------+-----------+-----------+--------+------+------------+
|                         time|region|plant_id|device_id|model_id|maintenance|temperature|humidity|status|arrival_time|
+-----------------------------+------+--------+---------+--------+-----------+-----------+--------+------+------------+
|1970-01-01T08:00:01.000+08:00|  null|    null|      100|    null|       null|       31.8|    null| false|        null|
+-----------------------------+------+--------+---------+--------+-----------+-----------+--------+------+------------+
Total line number = 1
It costs 0.189s