Telegraf直接写入

Telegraf是一流行的IT运维数据采集开源工具，TDengine提供一个小工具Bailongma，只需在Telegraf做简单配置，无需任何代码，就可将Telegraf采集的数据直接写入TDengine，并按规则在TDengine自动创建库和相关表项。博文用Docker容器快速搭建一个Devops监控Demo即是采用bailongma将Prometheus和Telegraf的数据写入TDengine中的示例，可以参考。

从源代码编译blm_telegraf

用户需要从github下载Bailongma的源码，使用Golang语言编译器编译生成可执行文件。在开始编译前，需要准备好以下条件：

  • Linux操作系统的服务器
  • 安装好Golang, 1.10版本以上
  • 对应的TDengine版本。因为用到了TDengine的客户端动态链接库，因此需要安装好和服务端相同版本的TDengine程序；比如服务端版本是TDengine 2.0.0, 则在bailongma所在的linux服务器（可以与TDengine在同一台服务器，或者不同服务器）

Bailongma项目中有一个文件夹blm_telegraf，存放了Telegraf的写入API程序。编译过程如下：

  1. cd blm_telegraf
  2. go build

一切正常的情况下，就会在对应的目录下生成一个blm_telegraf的可执行程序。

安装Telegraf

目前TDengine支持Telegraf 1.7.4以上的版本。用户可以根据当前的操作系统，到Telegraf官网下载安装包，并执行安装。下载地址如下：https://portal.influxdata.com/downloads

配置Telegraf

修改Telegraf配置文件/etc/telegraf/telegraf.conf中与TDengine有关的配置项。

在output plugins部分，增加[[outputs.http]]配置项：

  • url： bailongma API服务提供的URL, 参考下面的启动示例章节
  • data_format: “json”
  • json_timestamp_units: “1ms”

在agent部分：

  • hostname: 区分不同采集设备的机器名称，需确保其唯一性
  • metric_batch_size: 100，允许Telegraf每批次写入记录最大数量，增大其数量可以降低Telegraf的请求发送频率。

关于如何使用Telegraf采集数据以及更多有关使用Telegraf的信息，请参考Telegraf官方的文档。

启动blm_telegraf程序

blm_telegraf程序有以下选项，在启动blm_telegraf程序时可以通过设定这些选项来设定blm_telegraf的配置。

  1. --host
  2. TDengine服务端的IP地址，缺省值为空
  4. --batch-size
  5. blm_telegraf会将收到的telegraf的数据拼装成TDengine的写入请求，这个参数控制一次发给TDengine的写入请求中携带的数据条数。
  7. --dbname
  8. 设置在TDengine中创建的数据库名称，blm_telegraf会自动在TDengine中创建一个以dbname为名称的数据库，缺省值是prometheus。
  10. --dbuser
  11. 设置访问TDengine的用户名，缺省值是'root'
  13. --dbpassword
  14. 设置访问TDengine的密码，缺省值是'taosdata'
  16. --port
  17. blm_telegraf对telegraf提供服务的端口号。

启动示例

通过以下命令启动一个blm_telegraf的API服务

  1. ./blm_telegraf -host 127.0.0.1 -port 8089

假设blm_telegraf所在服务器的IP地址为”10.1.2.3”，则在telegraf的配置文件中, 在output plugins部分，增加[[outputs.http]]配置项：

  1. url = "http://10.1.2.3:8089/telegraf"

查询telegraf写入数据

telegraf产生的数据格式如下：

  1. {
  2.   "fields": {
  3.     "usage_guest": 0, 
  4.     "usage_guest_nice": 0,
  5.     "usage_idle": 89.7897897897898, 
  6.     "usage_iowait": 0,
  7.     "usage_irq": 0,
  8.     "usage_nice": 0,
  9.     "usage_softirq": 0,
  10.     "usage_steal": 0,
  11.     "usage_system": 5.405405405405405, 
  12.     "usage_user": 4.804804804804805
  13.   },
  15.   "name": "cpu", 
  16.   "tags": {
  17.     "cpu": "cpu2",
  18.     "host": "bogon" 
  19.   },
  20.   "timestamp": 1576464360 
  21. }

其中，name字段为telegraf采集的时序数据的名称，tags字段为该时序数据的标签。blm_telegraf会以时序数据的名称在TDengine中自动创建一个超级表，并将tags字段中的标签转换成TDengine的tag值，Timestamp作为时间戳，fields字段中的值作为该时序数据的值。因此在TDengine的客户端中，可以通过以下指令查到这个数据是否成功写入。

  1. use telegraf;
  2. select * from cpu;

MQTT是一流行的物联网数据传输协议，TDengine 可以很方便的接入 MQTT Broker 接受的数据并写入到 TDengine。