type
status
date
slug
summary
tags
category
icon
password
😀
记录一些关于Doris数据库的使用
 

📝 数据导入

Stream Load导入

💡
在使用 Stream Load 时，需要通过 HTTP 协议发起导入作业给 FE 节点，FE 会以轮询方式，重定向（redirect）请求给一个 BE 节点以达到负载均衡的效果。也可以直接发送 HTTP 请求作业给指定的 BE 节点。在 Stream Load 中，Doris 会选定一个节点作为 Coordinator 节点。Coordinator 节点负责接受数据并分发数据到其他节点上。
Stream Load 主要流程
notion image
  1. Client 向 FE 提交 Stream Load 导入作业请求
  1. FE 会轮询选择一台 BE 作为 Coordinator 节点，负责导入作业调度，然后返回给 Client 一个 HTTP 重定向
  1. Client 连接 Coordinator BE 节点，提交导入请求
  1. Coordinator BE 会分发数据给相应 BE 节点，导入完成后会返回导入结果给 Client
  1. Client 也可以直接通过指定 BE 节点作为 Coordinator，直接分发导入作业

Java（Spring）封装实现

相关文章
TDengine时序数据库数据批量导入
Lazy loaded image
minio数据同步的shell脚本
Lazy loaded image
启动Jar包的Shell脚本
Lazy loaded image
Logback整合RabbitMQ实现统一日志输出
Lazy loaded image
Redisson分布式锁
Lazy loaded image
[电影][中国台湾][阳光普照]基于taosdump实现TDengine数据备份以及导入
Loading...
十十乙
十十乙
我来问道无余说,云在青天水在瓶
公告
欢迎来到我的博客
目录
0%