Yi 的博客 https://shishiyi.cc/ 盈盈秋水,淡淡春山 Thu, 19 Feb 2026 00:37:31 GMT https://validator.w3.org/feed/docs/rss2.html https://github.com/jpmonette/feed zh-CN All rights reserved 2026, 十十乙 <![CDATA[Doris数据库之使用记录]]> https://shishiyi.cc/article/2ba05292-33af-80e5-ae06-c23517d9c59e https://shishiyi.cc/article/2ba05292-33af-80e5-ae06-c23517d9c59e Mon, 26 Jan 2026 00:00:00 GMT
😀
记录一些关于Doris数据库的使用
 

📝 数据导入

Stream Load导入

💡
在使用 Stream Load 时，需要通过 HTTP 协议发起导入作业给 FE 节点，FE 会以轮询方式，重定向（redirect）请求给一个 BE 节点以达到负载均衡的效果。也可以直接发送 HTTP 请求作业给指定的 BE 节点。在 Stream Load 中，Doris 会选定一个节点作为 Coordinator 节点。Coordinator 节点负责接受数据并分发数据到其他节点上。
Stream Load 主要流程
notion image
  1. Client 向 FE 提交 Stream Load 导入作业请求
  1. FE 会轮询选择一台 BE 作为 Coordinator 节点，负责导入作业调度，然后返回给 Client 一个 HTTP 重定向
  1. Client 连接 Coordinator BE 节点，提交导入请求
  1. Coordinator BE 会分发数据给相应 BE 节点，导入完成后会返回导入结果给 Client
  1. Client 也可以直接通过指定 BE 节点作为 Coordinator，直接分发导入作业

Java（Spring）封装实现

将对象转换为下划线命名的 Map
DORIS Stream Load 工具类（JDK17）

🐒 Doris 异步批量分发器

💡
1. 接收任意表名、任意结构的 Map 数据。
2. 内部通过内存队列缓冲。
3. 按照“表名”进行分组聚合。
4. 满足阈值（数量或时间）后，批量调用 Stream Load 入库。
分发器-核心代码实现
RabbitMQ配置(nacos)
RabbitMQ-消费例子
以下是处理sl651协议解析日志数据的例子
 
]]> <![CDATA[启动Jar包的Shell脚本]]> https://shishiyi.cc/article/5a9a8b61-f585-4dd1-8974-9967b7ab0518 https://shishiyi.cc/article/5a9a8b61-f585-4dd1-8974-9967b7ab0518 Fri, 30 Aug 2024 00:00:00 GMT
📢
背景：需要启动多个jar服务，且相关存在一定的启动顺序，同时启动会影响liquibase冲突造成数据库锁住

✍️ 服务器环境

JDK安装目录
/data/jdk-11.0.22/bin
 
Jar包存放目录
根路径：/data/fusion/kingbase8
存放目录
jar包名称
web端口
/data/fusion/kingbase8
fusion-reservoir-matrix-start-kingbase8.jar
9601
/data/fusion/kingbase8
fusion-reservoir-matrix-menu-record-kingbase8.jar
9602
/data/fusion/kingbase8
fusion-reservoir-matrix-mid-message-kingbase8.jar
9603
/data/fusion/kingbase8
fusion-reservoir-matrix-protocol-message-kingbase8.jar
9604

💯 shell脚本

]]> <![CDATA[基于taosdump实现TDengine数据备份以及导入]]> https://shishiyi.cc/article/1d305292-33af-80f7-9cf3-e39c14f018ba https://shishiyi.cc/article/1d305292-33af-80f7-9cf3-e39c14f018ba Sat, 12 Apr 2025 00:00:00 GMT
😀
实现 Docker 部署的 TDengine 数据库的备份和迁移导入，满足每次备份路径唯一以及备份多个指定数据库的要求
基于taosdump 命令实现

1️⃣ 数据备份

👉
备份脚本执行步骤：
  1. 初始化默认值
  1. 解析命令行参数
      • 读取参数（-c 容器名称、-u 用户名、-p 密码、-D 数据库列表、-b 容器备份根目录、-o 宿主机备份根目录、-r 保留天数)。
  1. 检查必要参数
      • 确认 DATABASES 是否提供(通过 -D 或环境变量)。
  1. 验证容器运行
  1. 生成备份路径
      • 创建时间戳（格式 YYYYMMDD_HHMMSS）
      • 设置容器内备份目录（如/var/lib/taos/backup/backup_20250412_151622）
      • 设置宿主机备份文件路径（全量备份如/data/tdengine_3/data/backup/backup_full_20250412_151622.tar.gz）
  1. 创建宿主机目录
      • 在宿主机创建备份目录（如/data/tdengine_3/data/backup/backup_20250412_151622）
  1. 创建容器内目录
      • 在容器内创建备份目录并设置写权限（chmod 777）。
      • 验证目录存在并可访问
  1. 执行 taosdump 备份
      • 使用 taosdump -o 备份指定数据库到容器内目录
      • 通过管道（echo '$PASSWORD' | ...）传递密码
  1. 清理临时文件
      • 删除容器内错误日志（/tmp/taosdump_err.log）
  1. 压缩备份目录
      • 将备份目录压缩为 .tar.gz 文件
      • 如果压缩成功：
        • 删除宿主机临时目录，打印删除结果（成功或警告）
        • 删除容器内备份目录，打印删除结果（成功或警告）
  1. 清理旧备份：
      • 删除超过保留天数（如 5 天）的 .tar.gz 文件。
      • 打印清理结果（成功或警告）
  1. 输出完成信息

🟣 Shell脚本内容

🟣 使用方法

  1. 保存为 backup_tdengine_docker.sh。
  1. 添加执行权限：chmod +x backup_tdengine_docker.sh
  1. 使用默认值：
      • 备份iot_reservoir_matrix到 /data/tdengine_3/data/backup/backup_YYYYMMDD_HHMMSS.tar.gz
  1. 指定数据库：
    1. 多容器：

      🟣 关于多容器支持

      脚本已通过 -c 参数很好地支持多容器，添加默认数据库后不会影响隔离性。可以进行以下进一步优化建议：
      1. 独立脚本：
          • 为每个容器复制脚本，设置不同默认值：
          • 运行：
      1. 配置文件（可选）：
          • 创建 tdengine_3.conf 和 tdengine_4.conf：
          • 修改脚本支持：
          • 运行：
      1. Cron 任务：：
          • 为每个容器设置独立定时任务：

      2️⃣ 数据导入

      👉
      导入脚本执行步骤：
      1. 输出完成信息
      1. 清理临时目录
          • 删除容器内错误日志（/tmp/taosdump_err.log）。
          • 删除宿主机解压目录
          • 删除容器内备份目录
          • 对清理失败的情况打印警告
      1. 执行 taosdump 导入
          • 使用 taosdump-i 从容器内备份路径导入数据
          • 通过管道（echo‘$PASSWORD＇丨...）传递密码
      1. 创建容器内目录
          • 在容器内创建备份目录并设置写权限（chmod777）
          • 验证目录存在并可访问
      1. 解压备份文件
          • 创建宿主机解压目录（如/data/tdengine_3/data/backup/backup_20250412_151622）
          • tar.gz 文件解压到宿主机备份根目录
          • 如果解压失败，清理临时目录并退出
      1. 生成备份路径
          • 从备份文件名提取子路径（如 backup_20250412_151622）
          • 计算容器内备份路径（如/var/lib/taos/backup/backup_20250412_151622）
      1. 验证容器运行
      1. 检查备份文件
          • 验证备份文件是否存在
          • 确认文件为·tar.gz 格式
      1. 检查必要参数
          • 确认－i 参数（备份文件）是否提供）。
      1. 解析命令行参数
          • 读取参数（-c 容器名称、-u 用户名、-p 密码、-i 备份文件、-b 容器备份根目录、-o 宿主机备份根目录）
          • 优先级：命令行>环境变量>默认值
      1. 初始化默认值

      🟣 Shell脚本内容

      🟣 使用方法

      1. 保存为 restore_tdengine_docker.sh
      1. 添加执行权限：chmod +x restore_tdengine_docker.sh
      1. 使用默认值
          • 导入到容器 tdengine_3
      1. 多容器：
          • 容器 tdengine_3：
          • 容器 tdengine_4：
      1. 覆盖用户名和密码：
        1. 环境变量：

          🟣 多容器支持

          导入脚本通过 -c 参数支持多容器，与备份脚本一致。以下是建议：
          1. 独立脚本：
              • 为每个容器复制脚本，设置不同默认值：
              • 运行：
          1. 配置文件：
              • 创建 tdengine_3.conf：
              • 修改脚本支持：
              • 运行：
           
          ]]>                     <![CDATA[CertBot申请证书]]> https://shishiyi.cc/article/e38580e8-281a-440d-a537-f30c8c3f41fa https://shishiyi.cc/article/e38580e8-281a-440d-a537-f30c8c3f41fa Mon, 07 Aug 2023 00:00:00 GMT
          🤧
          在使用let's encrypt获取免费的HTTPS证书的时候，let's encrypt需要对域名进行验证，以确保域名是你自己的。
          let's encrypt的免费证书有3个月的时间，到期前需要续期。 第一次使用certbot签证书时如果输入了邮箱地址，证书快到期前是会发邮件提醒你的。

          下载Certbot

          申请证书

          签发证书（standalone）

          说明
          • —config-dir
              • 证书生成的路径
          • -email
              • 通知的邮箱地址
          • -cert-name
              • 证书文件夹名称
          • -d
              • 要签的域名，-d后面跟着一个域名，如果有多个域名要签的话记得每一个单独的域名前都要写-d。certbot的泛域名其实只支持诸如*.example.com，如要直接使用example.com，就得为其单独也签发一条

          泛域名DNS-TXT签发证书

          服务器不开通80/443端口，通过DNS-TXT的方式申请证书
          说明
          • -config-dir
              • 证书生成的路径
          • -email
              • 通知的邮箱地址
          • -cert-name
              • 证书文件夹名称
          • -d
              • 要签的域名，-d后面跟着一个域名，如果有多个域名要签的话记得每一个单独的域名前都要写-d。certbot的泛域名其实只支持诸如*.example.com，如要直接使用example.com，就得为其单独也签发一条
          • -manual
              • 手动模式
          回车后，最后会要求在DNS控制界面增加一条TXT记录用于，域名验证
          notion image
          添加TXT示例如下
          notion image
          添加完记录保存之后，最好要检查一下解析记录
          dig网址 https://toolbox.googleapps.com/apps/dig
          输入【主机记录】如出现的TXT值与certbot提供的值相同，则表示添加记录成功

          生成证书

          最后回车确认，证书便在/usr/local/nginx/cert/zhsk_fjwanfu_com/live中，若没有指定路径，默认则在/etc/letsencrypt/live/{域名} 下
          这个目录下一般会有四个文件：
          文件
          描述
          cert.pem
          服务器证书
          chain.pem
          包含Web浏览器为验证服务器而需要的证书或附加中间证书
          fullchain.pem
          cert.pem+chain.pem
          privkey.pem
          证书的私钥
          一般用fullchain.pem和privkey.pem就可以了

          Nginx配置使用证书

          自动续签证书

          签发证书（standalone）

          使用下面的命令续期
          设置自动续期的话，只需要写脚本放在Cron中定时运行即可，crontab -e打开crontab脚本，添加如下的脚本
          这个脚本表示每隔 7 天，夜里 3 点整自动执行检查续期命令一次。续期完成后，重启 nginx 服务
           

          泛域名DNS-TXT签发证书

          虽然 certbot 提供了自动续期命令，但是当我们把自动续期命令配置为定时任务时，我们无法手动添加新的 TXT 记录用于 certbot 验证。
          好在 certbot 提供了一个 hook，可以编写一个 Shell 脚本。在续期的时候让脚本调用 DNS 服务商的 API 接口动态添加 TXT 记录，验证完成后再删除此记录
          这里以阿里云为例

          安装 aliyun cli 工具

          设置凭证信息

          安装 certbot-dns-aliyun 插件

          申请证书

          1. 测试是否能正确申请：
              2. 正式申请时去掉 --dry-run 参数：
          1. 证书续期
              2. 如果以上命令没有错误，把 --dry-run 参数去掉。
          1. 自动续期
              2. 添加定时任务 crontab。
              输入
              这是每个月1号3点29分执行一次强制证书更新后重启nginx
              脚本中的 --deploy-hook "nginx -s reload" 表示在续期成功后自动重启 nginx。
               
          ]]>                     <![CDATA[[电影][中国台湾][阳光普照]]]> https://shishiyi.cc/article/1b2da8b6-f9a9-48bb-a7df-5564a2ca9c72 https://shishiyi.cc/article/1b2da8b6-f9a9-48bb-a7df-5564a2ca9c72 Fri, 20 Mar 2020 00:00:00 GMT

          📺 豆瓣评分

          notion image
          🌵
          我的工作经常会遇到一些八婆 碎嘴的女人， 她们常常问我 “陈教练 你结婚了吗？有几个小孩啊？” 每次我都只回答“一个” 你知道我为什么说“一个”吗？ 因为在我心里 我从来不承认有过阿和 但这些年， 不同的八婆， 不同的碎嘴女人 还是会问 “陈教练.... 你有几个小孩啊？” 我还是只回答：“一个” 因为我现在真的只有“一个”

          🎞️ 影片片段

           
           
          ]]>                     <![CDATA[[电影][中国大陆][邪不压正]]]> https://shishiyi.cc/article/17debe06-72b3-42d7-ba53-2ad0f1b3ae1a https://shishiyi.cc/article/17debe06-72b3-42d7-ba53-2ad0f1b3ae1a Fri, 20 Mar 2020 00:00:00 GMT

          📺 豆瓣评分

          notion image

          🎬 影片截图

          notion image
          ]]>