归档: 2023/10 | datacored

2023

10

27

排查一次生产环境的分布式事务失败，根因可能散落在多个微服务的日志、不同的网络链路，甚至操作系统层面。当一个使用两阶段提交（2PC）协议的事务在 COMMIT 阶段卡住时，确定是哪个参与者未能正确响应 PREPARE 请求，或者网络分区导致了

2023-10-27 架构设计

eBPF Two-Phase Commit (2PC) Flask CircleCI 架构设计

27

一个成熟的Ruby on Rails应用，承载着数年的核心业务逻辑，在面对TB级用户行为数据聚合分析的新需求时，其固有的技术栈瓶颈暴露无遗。单纯依赖Active Record和Sidekiq进行数据分块处理，不仅会因Ruby的全局解释器锁（

2023-10-27 架构与设计

gRPC Ruby SQL Dask 分布式计算

27

面临的技术问题非常具体：一个每日产生数十亿条日志的系统，其数据通过 Kafka 集群进行汇聚，峰值流量可达每秒 10 万条消息。下游需要一个稳定可靠的索引服务，将这些数据实时地写入 OpenSearch 集群，以供即时查询与分析。这里的核心

2023-10-27 后端架构

Go OpenSearch Kafka 高性能数据管道

27

CI流水线里一个端到端测试失败了，日志只留下一行冰冷的 500 Internal Server Error。前端开发者认为是后端的锅，后端开发者检查日志发现并无可疑之处，而AI模型的工程师则表示模型服务的心跳正常。皮球被踢了一圈，数小时后问

2023-10-27 可观测性

Jaeger CI/CD 与 GitOps Cypress AI、数据科学与大数据 Svelte

27

我们团队维护的一个高流量Ruby on Rails应用，每天会产生数千万级别的特定领域事件——比如功能开关的评估、搜索查询的详细参数、用户关键行为路径节点等。这些数据对于理解用户行为和驱动业务决策至关重要。最初，我们尝试将这些事件作为自定义

2023-10-27 数据工程

ClickHouse Ruby PostCSS Datadog

27

在处理一个拥有数百个微服务的分布式系统时，日志聚合与搜索是可观测性的基石，但传统的基于关键词的搜索范式正在迅速失效。当服务A的日志记录“database connection pool exhausted”而服务B记录“timeout wa

2023-10-27 架构与设计

分布式系统 ELK Stack Pinecone WebSockets AIOps