URL(URL,格式)

用于管理远程 HTTP/HTTPS 服务器上的数据。该引擎类似
文件 引擎。

在 ClickHouse 服务器中使用引擎

Format 必须是 ClickHouse 可以用于
SELECT 查询的一种格式,若有必要,还要可用于 INSERT 。有关支持格式的完整列表,请查看
格式

URL 必须符合统一资源定位符的结构。指定的URL必须指向一个
HTTP 或 HTTPS 服务器。对于服务端响应,
不需要任何额外的 HTTP 头标记。

INSERTSELECT 查询会分别转换为 POSTGET 请求。
对于 POST 请求的处理,远程服务器必须支持
分块传输编码

示例:

1. 在 Clickhouse 服务上创建一个 url_engine_table 表:

  1. CREATE TABLE url_engine_table (word String, value UInt64)
  2. ENGINE=URL('http://127.0.0.1:12345/', CSV)

2. 用标准的 Python 3 工具库创建一个基本的 HTTP 服务并
启动它:

  1. from http.server import BaseHTTPRequestHandler, HTTPServer
  2. class CSVHTTPServer(BaseHTTPRequestHandler):
  3. def do_GET(self):
  4. self.send_response(200)
  5. self.send_header('Content-type', 'text/csv')
  6. self.end_headers()
  7. self.wfile.write(bytes('Hello,1\nWorld,2\n', "utf-8"))
  8. if __name__ == "__main__":
  9. server_address = ('127.0.0.1', 12345)
  10. HTTPServer(server_address, CSVHTTPServer).serve_forever()
  1. python3 server.py

3. 查询请求:

  1. SELECT * FROM url_engine_table
  1. ┌─word──┬─value─┐
  2. Hello 1
  3. World 2
  4. └───────┴───────┘

功能实现

  • 读写操作都支持并发
  • 不支持:
    • ALTERSELECT...SAMPLE 操作。
    • 索引。
    • 副本。

来源文章