归档: 2023/10 | datacored

2023

10

27

我们需要为业务团队构建一个工具，允许他们对一个规模达数百GB的金融时间序列数据集进行高频次的交互式探索分析。用户的操作模式是：加载一个特定市场在某个时间窗口的完整数据集，然后通过调整多个复杂参数（例如波动率阈值、移动平均窗口、相关性因子），

2023-10-27 架构设计

CSS Modules Spring Framework WebAssembly (WASM) Apache Spark GCP GKE

27

我们面临一个棘手的现实：一个核心的、高度复杂的金融衍生品定价模型，其算法实现散落在两个独立的、庞大的单体应用中。一个基于Spring Boot，另一个是ASP.NET Core。两个团队独立维护着几乎相同的、用各自语言编写的复杂计算逻辑。代

2023-10-27 分布式架构

Spring Boot ASP.NET Core Haskell Knative gRPC

27

我们面临的第一个问题不是技术选型，而是组织惯性。一个拥有数百个微服务的庞大系统，技术栈横跨十年，从老旧的Java Monolith到现代的Go服务，底层依赖着MySQL集群、Elasticsearch和一套用于实时分析的ClickHouse

2023-10-27 可观测性

Haskell MySQL ClickHouse Elasticsearch Jaeger eBPF

27

我们面临一个具体的工程挑战：一个核心业务的DynamoDB表承载着每秒数万次的写入和更新操作。下游多个系统，包括Elasticsearch集群、物化视图聚合服务以及缓存失效广播器，都依赖于对这些数据变更的近实时响应。直接轮询数据库是不可行的

2023-10-27 分布式架构

C# Go DynamoDB 分布式系统事件驱动

27

我们面临一个棘手的场景：一个用于实时视频流分析的微服务集群。每个服务实例都内嵌了OpenCV，负责从接收到的视频流中加载特定的机器学习模型，然后进行逐帧分析。这里的核心痛点在于，模型加载是一个极其昂贵的操作，可能需要数十秒并消耗大量内存。一

2023-10-27 分布式架构

OpenCV 网关与代理 Jib Zookeeper

27

定义问题：耦合的UI与滞后的数据在构建一个高频交互、多模块协作的前端应用时，例如一个实时监控面板或一个金融交易系统，我们面临一个核心的技术矛盾：一方面，UI的各个组件需要展示高度一致、实时更新的数据；另一方面，工程上我们追求团队自治和独立部

2023-10-27 架构与设计

Spinnaker Angular Webpack Event Sourcing Pulsar