datacored
本站致力于IT相关技术的分享
  文章分类
分布式架构 5 分布式系统 2 架构设计 4 平台工程 1 后端开发 1 DevOps 2 架构与设计 4 可观测性 2 全栈架构 1 DevSecOps 2 后端架构 2 云原生 2 数据工程 1
构建具备动态背压与批量处理能力的 Kafka 至 OpenSearch 高性能索引器 构建具备动态背压与批量处理能力的 Kafka 至 OpenSearch 高性能索引器
面临的技术问题非常具体：一个每日产生数十亿条日志的系统，其数据通过 Kafka 集群进行汇聚，峰值流量可达每秒 10 万条消息。下游需要一个稳定可靠的索引服务，将这些数据实时地写入 OpenSearch 集群，以供即时查询与分析。这里的核心
2023-10-27 后端架构
Go OpenSearch Kafka 高性能 数据管道
构建基于 Webhook 的增量数据管道驱动 Gatsby 站点实时更新 构建基于 Webhook 的增量数据管道驱动 Gatsby 站点实时更新
静态站点生成器（SSG）如 Gatsby 的核心优势在于其预构建带来的极致性能和安全性。然而，这也带来了其固有的痛点：数据源的任何微小变动都可能需要触发一次完整的、耗时的全站构建。在一个内容更新频率较高的真实项目中，等待数分钟的构建流程是无
2023-10-27 后端架构
SQLite Express.js Gatsby Webhook 增量构建