6 Elasticsearch 配置

对 Elasticsearch 的支持仍在试验阶段!

Zabbix支持Elasticsearch代替数据库存储历史数据。用户可以在兼容的数据库和 Elasticsearch 之间选择存储历史数据的位置。本章节描述的设置适用于 Elasticsearch version 7.X。如果使用早期或更高版本的 Elasticsearch,某些功能可能无法使用。

如果所有历史数据都存储在 Elasticsearch 中,则不会计算趋势,也不会将其存储在数据库中。由于没有计算和存储任何趋势,则可能需要延长历史记录存储期。

配置

为确保所涉及的所有元素之间的正确通信,请确保服务器配置文件和前端配置文件参数正确。

Zabbix 服务端 和 前端

Zabbix 服务器配置文件模板,其中包含要更新的参数:

  1. ### Option: HistoryStorageURL
  2. # History storage HTTP[S] URL.
  3. #
  4. # Mandatory: no
  5. # Default:
  6. # HistoryStorageURL=
  7. ### Option: HistoryStorageTypes
  8. # Comma separated list of value types to be sent to the history storage.
  9. #
  10. # Mandatory: no
  11. # Default:
  12. # HistoryStorageTypes=uint,dbl,str,log,text

用于 Zabbix 服务端配置文件示例的参数值

  1. HistoryStorageURL=http://test.elasticsearch.lan:9200
  2. HistoryStorageTypes=str,log,text

此配置强制 Zabbix Server 在相应的数据库中存储数字类型的历史值,并在Elasticsearch中存储文本历史数据。

Elasticsearch 支持以下 item 类型:

  1. uint,dbl,str,log,text

支持的 item 类型说明:

Item 类型数据库表Elasticsearch 类型
Numeric (unsigned)history_uintuint
Numeric (float)historydbl
Characterhistory_strstr
Loghistory_loglog
Texthistory_texttext

Zabbix 前端配置文件 (conf/zabbix.conf.php) 参数待更新:

  1. // Elasticsearch url (can be string if same url is used for all types).
  2. $HISTORY['url'] = [
  3. 'uint' => 'http://localhost:9200',
  4. 'text' => 'http://localhost:9200'
  5. ];
  6. // Value types stored in Elasticsearch.
  7. $HISTORY['types'] = ['uint', 'text'];

用于 Zabbix 前端配置文件示例的参数值 :

  1. $HISTORY['url'] = 'http://test.elasticsearch.lan:9200';
  2. $HISTORY['types'] = ['str', 'text', 'log'];

此配置强制在Elasticsearch种存储 Text, CharacterLog 的历史值. 还需要在conf/zabbix.conf.php中使用全局变量 $HISTORY,以确保一切正常 (有关如何执行此操作,请参阅conf/zabbix.conf.php.example ):

  1. // Zabbix GUI configuration file.
  2. global $DB, $HISTORY;
安装 Elasticsearch 并创建映射

安装Elasticsearchit及创建映射是整个安装过程的最后两步了。

如何安装 Elasticsearch,请参阅Elasticsearch installation guide.

映射是 Elasticsearch 中的一种数据结构(类似于数据库中的表)。所有历史数据类型的映射都可用: database/elasticsearch/elasticsearch.map.

创建映射是必需的。如未根据指令创建映射,某些功能将不可用。

要为text类型创建映射,请将以下请求发送到Elasticsearch

  1. curl -X PUT \
  2. http://your-elasticsearch.here:9200/text \
  3. -H 'content-type:application/json' \
  4. -d '{
  5. "settings": {
  6. "index": {
  7. "number_of_replicas": 1,
  8. "number_of_shards": 5
  9. }
  10. },
  11. "mappings": {
  12. "properties": {
  13. "itemid": {
  14. "type": "long"
  15. },
  16. "clock": {
  17. "format": "epoch_second",
  18. "type": "date"
  19. },
  20. "value": {
  21. "fields": {
  22. "analyzed": {
  23. "index": true,
  24. "type": "text",
  25. "analyzer": "standard"
  26. }
  27. },
  28. "index": false,
  29. "type": "text"
  30. }
  31. }
  32. }
  33. }'

对于 CharacterLog历史值映射创建,需要执行类似的请求,并将相应的类型进行修改

要使用Elasticsearch,请参阅Requirement page 以获取更多信息.

Housekeeper不会从 Elasticsearch 中删除任何数据。

将历史数据存储在多个基于日期的索引中

本节介绍使用管道和引入节点所需的其他步骤。 首先,必须为索引创建模板。 以下示例为创建 uint 模板的请求:

  1. curl -X PUT \
  2. http://your-elasticsearch.here:9200/_template/uint_template \
  3. -H 'content-type:application/json' \
  4. -d '{
  5. "index_patterns": [
  6. "uint*"
  7. ],
  8. "settings": {
  9. "index": {
  10. "number_of_replicas": 1,
  11. "number_of_shards": 5
  12. }
  13. },
  14. "mappings": {
  15. "properties": {
  16. "itemid": {
  17. "type": "long"
  18. },
  19. "clock": {
  20. "format": "epoch_second",
  21. "type": "date"
  22. },
  23. "value": {
  24. "type": "long"
  25. }
  26. }
  27. }
  28. }'

要创建其他模板,用户应更改URL(最后一部分是模板的名称),更改"index_patterns"字段以匹配索引名称并设置有效的映射,这可以在database/elasticsearch/elasticsearch.map获取。 以下命令可用于为文本索引创建模板,例如:

  1. curl -X PUT \
  2. http://your-elasticsearch.here:9200/_template/text_template \
  3. -H 'content-type:application/json' \
  4. -d '{
  5. "index_patterns": [
  6. "text*"
  7. ],
  8. "settings": {
  9. "index": {
  10. "number_of_replicas": 1,
  11. "number_of_shards": 5
  12. }
  13. },
  14. "mappings": {
  15. "properties": {
  16. "itemid": {
  17. "type": "long"
  18. },
  19. "clock": {
  20. "format": "epoch_second",
  21. "type": "date"
  22. },
  23. "value": {
  24. "fields": {
  25. "analyzed": {
  26. "index": true,
  27. "type": "text",
  28. "analyzer": "standard"
  29. }
  30. },
  31. "index": false,
  32. "type": "text"
  33. }
  34. }
  35. }
  36. }'

这是允许 Elasticsearch 为自动创建的索引设置有效的映射所必需做的。然后需要创建pipeline定义。pipeline是在将数据放入索引之前对数据的某种预处理。以下命令可用于为 uint 索引创建pipeline:

  1. curl -X PUT \
  2. http://your-elasticsearch.here:9200/_ingest/pipeline/uint-pipeline \
  3. -H 'content-type:application/json' \
  4. -d '{
  5. "description": "daily uint index naming",
  6. "processors": [
  7. {
  8. "date_index_name": {
  9. "field": "clock",
  10. "date_formats": [
  11. "UNIX"
  12. ],
  13. "index_name_prefix": "uint-",
  14. "date_rounding": "d"
  15. }
  16. }
  17. ]
  18. }'

用户可以更改参数(“date_rounding”)以设置特定的索引轮换周期。要创建其他pipelines,用户应更改 URL(最后一部分是pipelines的名称)并更改”index_name_prefix”字段以匹配索引名称 另见 Elasticsearch documentation. 此外,在Zabbix服务器新的配置参数中,还应启用将历史数据存储在多个基于日期的索引中:

  1. ### Option: HistoryStorageDateIndex
  2. # Enable preprocessing of history values in history storage to store values in different indices based on date.
  3. # 0 - disable
  4. # 1 - enable
  5. #
  6. # Mandatory: no
  7. # Default:
  8. # HistoryStorageDateIndex=0

故障排除

以下步骤可以帮助您解决Elasticsearch设置问题:

  1. 检查映射是否正确 (通过URL的发送GET请求获取索引信息,例如: http://localhost:9200/uint)
  2. 检查shards状态是否正常 (不正常时重启Elasticsearch可能解决问题)
  3. 检查Elasticsearch配置文件,配置文件应允许从Zabbix前端及Zabbix server主机访问。
  4. 检查Elasticsearch日志

如果您仍然遇到安装问题,请创建一个错误报告,包含此列表中的所有信息(映射,错误日志,配置,版本等信息)