datacored
本站致力于IT相关技术的分享
在GKE上构建基于Workload Identity与最小权限原则的多租户BASE搜索服务 在GKE上构建基于Workload Identity与最小权限原则的多租户BASE搜索服务
我们面临一个棘手的多租户数据隔离问题。团队负责维护一个中心化的搜索服务，后端是Elasticsearch集群，为公司内部数十个应用提供日志、指标和业务数据的检索能力。最初的架构简单粗暴：一个巨大的ES集群，通过不同的index前缀区分租户，
2023-10-27 云原生
GCP GKE BASE IAM 搜索
基于 eBPF 与 Flask 实现两阶段提交协议的无侵入式可观测性架构 基于 eBPF 与 Flask 实现两阶段提交协议的无侵入式可观测性架构
排查一次生产环境的分布式事务失败，根因可能散落在多个微服务的日志、不同的网络链路，甚至操作系统层面。当一个使用两阶段提交（2PC）协议的事务在 COMMIT 阶段卡住时，确定是哪个参与者未能正确响应 PREPARE 请求，或者网络分区导致了
2023-10-27 架构设计
eBPF Two-Phase Commit (2PC) Flask CircleCI 架构设计
集成 Python Dask 集群与 Ruby Monolith 用于大规模 SQL 分析卸载 集成 Python Dask 集群与 Ruby Monolith 用于大规模 SQL 分析卸载
一个成熟的Ruby on Rails应用，承载着数年的核心业务逻辑，在面对TB级用户行为数据聚合分析的新需求时，其固有的技术栈瓶颈暴露无遗。单纯依赖Active Record和Sidekiq进行数据分块处理，不仅会因Ruby的全局解释器锁（
2023-10-27 架构与设计
gRPC Ruby SQL Dask 分布式计算
构建具备动态背压与批量处理能力的 Kafka 至 OpenSearch 高性能索引器 构建具备动态背压与批量处理能力的 Kafka 至 OpenSearch 高性能索引器
面临的技术问题非常具体：一个每日产生数十亿条日志的系统，其数据通过 Kafka 集群进行汇聚，峰值流量可达每秒 10 万条消息。下游需要一个稳定可靠的索引服务，将这些数据实时地写入 OpenSearch 集群，以供即时查询与分析。这里的核心
2023-10-27 后端架构
Go OpenSearch Kafka 高性能 数据管道
构建从CI到生产的全链路可观测性：整合Cypress、Jaeger与Svelte的GitOps实践 构建从CI到生产的全链路可观测性：整合Cypress、Jaeger与Svelte的GitOps实践
CI流水线里一个端到端测试失败了，日志只留下一行冰冷的 500 Internal Server Error。前端开发者认为是后端的锅，后端开发者检查日志发现并无可疑之处，而AI模型的工程师则表示模型服务的心跳正常。皮球被踢了一圈，数小时后问
2023-10-27 可观测性
Jaeger CI/CD 与 GitOps Cypress AI、数据科学与大数据 Svelte
基于Ruby与ClickHouse构建高吞吐量可观测性管道并集成Datadog与PostCSS前端 基于Ruby与ClickHouse构建高吞吐量可观测性管道并集成Datadog与PostCSS前端
我们团队维护的一个高流量Ruby on Rails应用，每天会产生数千万级别的特定领域事件——比如功能开关的评估、搜索查询的详细参数、用户关键行为路径节点等。这些数据对于理解用户行为和驱动业务决策至关重要。最初，我们尝试将这些事件作为自定义
2023-10-27 数据工程
ClickHouse Ruby PostCSS Datadog
4 / 5