如何针对 Python 运行时编写 Python 脚本

声明

  • 本文测试所用设备系统为 Ubuntu16.04
  • python 版本为 3.6,2.7 版本配置流程相同,但需要在 python 脚本中注意语言差异
  • 模拟 MQTT client 行为的客户端为 MQTTBox
  • 本文中基于 Hub 模块创建的服务名称为 localhub 服务。并且针对本文的测试案例中,对应的 localhub 服务、函数计算服务以及其他服务的配置统一如下:
  1. # 本地 Hub 配置
  2. # 配置文件位置: var/db/baetyl/localhub-conf/service.yml
  3. listen:
  4. - tcp://0.0.0.0:1883
  5. principals:
  6. - username: 'test'
  7. password: 'hahaha'
  8. permissions:
  9. - action: 'pub'
  10. permit: ['#']
  11. - action: 'sub'
  12. permit: ['#']
  13.  
  14. # 本地 baetyl-function-manager 配置
  15. # 配置文件位置: var/db/baetyl/function-manager-conf/service.yml
  16. hub:
  17. address: tcp://localhub:1883
  18. username: test
  19. password: hahaha
  20. rules:
  21. - clientid: localfunc-1
  22. subscribe:
  23. topic: py
  24. function:
  25. name: sayhi3
  26. publish:
  27. topic: py/hi
  28. functions:
  29. - name: sayhi3
  30. service: function-sayhi3
  31. instance:
  32. min: 0
  33. max: 10
  34. idletime: 1m
  35.  
  36. # python function 配置
  37. # 配置文件位置: var/db/baetyl/function-sayhi-conf/service.yml
  38. functions:
  39. - name: 'sayhi3'
  40. handler: 'sayhi.handler'
  41. codedir: 'var/db/baetyl/function-sayhi'
  42.  
  43. # application.yml配置
  44. # 配置文件位置: var/db/baetyl/application.yml
  45. version: v0
  46. services:
  47. - name: localhub
  48. image: hub.baidubce.com/baetyl/baetyl-hub
  49. replica: 1
  50. ports:
  51. - 1883:1883
  52. mounts:
  53. - name: localhub-conf
  54. path: etc/baetyl
  55. readonly: true
  56. - name: localhub-data
  57. path: var/db/baetyl/data
  58. - name: localhub-log
  59. path: var/log/baetyl
  60. - name: function-manager
  61. image: hub.baidubce.com/baetyl/baetyl-function-manager
  62. replica: 1
  63. mounts:
  64. - name: function-manager-conf
  65. path: etc/baetyl
  66. readonly: true
  67. - name: function-manager-log
  68. path: var/log/baetyl
  69. - name: function-sayhi3
  70. image: hub.baidubce.com/baetyl/baetyl-function-python36
  71. replica: 0
  72. mounts:
  73. - name: function-sayhi-conf
  74. path: etc/baetyl
  75. readonly: true
  76. - name: function-sayhi-code
  77. path: var/db/baetyl/function-sayhi
  78. readonly: true
  79. volumes:
  80. # hub
  81. - name: localhub-conf
  82. path: var/db/baetyl/localhub-conf
  83. - name: localhub-data
  84. path: var/db/baetyl/localhub-data
  85. - name: localhub-log
  86. path: var/db/baetyl/localhub-log
  87. # function manager
  88. - name: function-manager-conf
  89. path: var/db/baetyl/function-manager-conf
  90. - name: function-manager-log
  91. path: var/db/baetyl/function-manager-log
  92. # function python runtime sayhi
  93. - name: function-sayhi-conf
  94. path: var/db/baetyl/function-sayhi-conf
  95. - name: function-sayhi-code
  96. path: var/db/baetyl/function-sayhi-code

Baetyl 官方提供了 Python 运行时,可以加载用户所编写的 Python 脚本。下文将针对 Python 脚本的名称,执行函数名称,输入,输出参数等内容分别进行说明。

函数名约定

Python 脚本的名称可以参照 Python 的通用命名规范,Baetyl 并未对此做特别限制。如果要应用某 Python 脚本对某条 MQTT 消息做处理,则相应的函数运行时服务的配置如下:

  1. functions:
  2. - name: 'sayhi3'
  3. handler: 'sayhi.handler'
  4. codedir: 'var/db/baetyl/function-sayhi'

这里,我们关注 handler 这一属性,其中 sayhi 代表脚本名称,后面的 handler 代表该文件中被调用的入口函数。

  1. function-sayhi-code/
  2. ├── __init__.py
  3. └── sayhi.py

更多函数运行时服务配置请查看 函数运行时服务配置释义

参数约定

  1. def handler(event, context):
  2. # do something
  3. return event

Baetyl 官方提供的 Python 运行时支持 2 个参数: event 和 context,下面将分别介绍其用法。

  • event:根据 MQTT 报文中的 Payload 传入不同参数
    • 若原始 Payload 为一个 Json 数据,则传入经过 json.loads(Payload) 处理后的数据;
    • 若原始 Payload 为字节流、字符串(非 Json),则传入原 Payload 数据。
  • context:MQTT 消息上下文
    • context.messageQOS // MQTT QoS
    • context.messageTopic // MQTT Topic
    • context.functionName // MQTT functionName
    • context.functionInvokeID //MQTT function invokeID
    • context.invokeid // 同上,用于兼容 CFC提示:在云端 CFC 测试时,请注意不要直接使用 Baetyl 定义的上下文信息。推荐做法是先判断字段是否在 context 中存在,如果存在再读取。

Hello World!

下面我们实现一个简单的 Python 函数,目标是为每一条流经需要用该 Python 脚本进行处理的 MQTT 消息附加一条 hello world 信息。对于字典类消息,将其直接返回即可,对于非字典类消息,则将之转换为字符串后返回。

  1. #!/usr/bin/env python3
  2. # -*- coding: utf-8 -*-
  3.  
  4. def handler(event, context):
  5. result = {}
  6. if isinstance(event, dict):
  7. result['msg'] = event
  8. result['type'] = 'dict'
  9. result['say'] = 'hello world'
  10. else:
  11. result['msg'] = event.decode("utf-8")
  12. result['type'] = 'non-dict'
  13. result['say'] = 'hello world'
  14.  
  15. return result
  • 发送字典类数据:../_images/write-python-script-dict.png发送字典类数据

  • 发送非字典类数据:../_images/write-python-script-none-dict.png发送非字典类数据

如上,对于一些常规的需求,我们通过系统 Python 环境的标准库就可以完成。但是,对于一些较为复杂的需求,往往需要引入第三方库来完成。如何解决这个问题?我们将在 如何针对 Python 运行时引入第三方包 小节详述。