datacored
本站致力于IT相关技术的分享
利用 etcd 为 Clojure 和 Node.js 异构 Serverless 架构提供统一动态配置 利用 etcd 为 Clojure 和 Node.js 异构 Serverless 架构提供统一动态配置
在维护一个由 Google Cloud Functions 上的 Node.js 服务（负责前端 BFF 和轻量级 API）与一个独立的 Clojure 服务（处理核心数据转换与计算密集型任务）组成的异构系统时，我们面临一个棘手的运维挑战：
2023-10-27 分布式系统
Clojure Node.js etcd Google Cloud Functions Serverless 动态配置
构建从 GKE 上的 Spark 到浏览器 WASM 的大规模数据交互式分析架构 构建从 GKE 上的 Spark 到浏览器 WASM 的大规模数据交互式分析架构
我们需要为业务团队构建一个工具，允许他们对一个规模达数百GB的金融时间序列数据集进行高频次的交互式探索分析。用户的操作模式是：加载一个特定市场在某个时间窗口的完整数据集，然后通过调整多个复杂参数（例如波动率阈值、移动平均窗口、相关性因子），
2023-10-27 架构设计
CSS Modules Spring Framework WebAssembly (WASM) Apache Spark GCP GKE
基于Knative构建异构函数计算引擎的架构权衡与实现 基于Knative构建异构函数计算引擎的架构权衡与实现
我们面临一个棘手的现实：一个核心的、高度复杂的金融衍生品定价模型，其算法实现散落在两个独立的、庞大的单体应用中。一个基于Spring Boot，另一个是ASP.NET Core。两个团队独立维护着几乎相同的、用各自语言编写的复杂计算逻辑。代
2023-10-27 分布式架构
Spring Boot ASP.NET Core Haskell Knative gRPC
基于eBPF与Haskell构建零侵入的多协议数据库可观测性代理 基于eBPF与Haskell构建零侵入的多协议数据库可观测性代理
我们面临的第一个问题不是技术选型，而是组织惯性。一个拥有数百个微服务的庞大系统，技术栈横跨十年，从老旧的Java Monolith到现代的Go服务，底层依赖着MySQL集群、Elasticsearch和一套用于实时分析的ClickHouse
2023-10-27 可观测性
Haskell MySQL ClickHouse Elasticsearch Jaeger eBPF
基于DynamoDB Streams构建事件驱动管道 C#与Go的并发模型与容错机制剖析 基于DynamoDB Streams构建事件驱动管道 C#与Go的并发模型与容错机制剖析
我们面临一个具体的工程挑战：一个核心业务的DynamoDB表承载着每秒数万次的写入和更新操作。下游多个系统，包括Elasticsearch集群、物化视图聚合服务以及缓存失效广播器，都依赖于对这些数据变更的近实时响应。直接轮询数据库是不可行的
2023-10-27 分布式架构
C# Go DynamoDB 分布式系统 事件驱动
基于 ZooKeeper 实现对分布式 OpenCV 服务的状态感知路由网关 基于 ZooKeeper 实现对分布式 OpenCV 服务的状态感知路由网关
我们面临一个棘手的场景：一个用于实时视频流分析的微服务集群。每个服务实例都内嵌了OpenCV，负责从接收到的视频流中加载特定的机器学习模型，然后进行逐帧分析。这里的核心痛点在于，模型加载是一个极其昂贵的操作，可能需要数十秒并消耗大量内存。一
2023-10-27 分布式架构
OpenCV 网关与代理 Jib Zookeeper
2 / 5