datacored
本站致力于IT相关技术的分享
为高安全性实时AI应用构建tRPC、WebAuthn与TensorFlow.js的全栈技术栈选型与实现 为高安全性实时AI应用构建tRPC、WebAuthn与TensorFlow.js的全栈技术栈选型与实现
定义问题：一个无法妥协的安全与实时性需求我们需要构建一个内部专家审查系统。场景是金融风控，专家需要实时审查并标注由机器学习模型标记的可疑交易。该系统的技术要求极为苛刻： 顶级安全性: 鉴于数据的敏感性，认证过程必须能抵御网络钓鱼和中间人
2023-10-27 全栈架构
tRPC TensorFlow Valtio WebAuthn 全栈开发 类型安全
基于 eBPF 与 Flask 实现两阶段提交协议的无侵入式可观测性架构 基于 eBPF 与 Flask 实现两阶段提交协议的无侵入式可观测性架构
排查一次生产环境的分布式事务失败，根因可能散落在多个微服务的日志、不同的网络链路，甚至操作系统层面。当一个使用两阶段提交（2PC）协议的事务在 COMMIT 阶段卡住时，确定是哪个参与者未能正确响应 PREPARE 请求，或者网络分区导致了
2023-10-27 架构设计
eBPF Two-Phase Commit (2PC) Flask CircleCI 架构设计
构建具备动态背压与批量处理能力的 Kafka 至 OpenSearch 高性能索引器 构建具备动态背压与批量处理能力的 Kafka 至 OpenSearch 高性能索引器
面临的技术问题非常具体：一个每日产生数十亿条日志的系统，其数据通过 Kafka 集群进行汇聚，峰值流量可达每秒 10 万条消息。下游需要一个稳定可靠的索引服务，将这些数据实时地写入 OpenSearch 集群，以供即时查询与分析。这里的核心
2023-10-27 后端架构
Go OpenSearch Kafka 高性能 数据管道
构建基于ELK与Pinecone的实时语义日志关联分析引擎 构建基于ELK与Pinecone的实时语义日志关联分析引擎
在处理一个拥有数百个微服务的分布式系统时，日志聚合与搜索是可观测性的基石，但传统的基于关键词的搜索范式正在迅速失效。当服务A的日志记录“database connection pool exhausted”而服务B记录“timeout wa
2023-10-27 架构与设计
分布式系统 ELK Stack Pinecone WebSockets AIOps
利用 Linkerd 和嵌入式 Lua 为 Azure Service Bus 构建动态消息路由网关 利用 Linkerd 和嵌入式 Lua 为 Azure Service Bus 构建动态消息路由网关
系统中有超过三十个微服务在持续不断地产生各类业务事件。最初的设计是在每个服务内部硬编码逻辑，将事件推送到特定的 Azure Service Bus 主题。随着业务规则的迭代，比如需要根据用户等级、事件类型、甚至请求体中的某个特定字段，将同一
2023-10-27 云原生
Kubernetes Go Azure Service Bus Linkerd Lua
构建从CI到生产的全链路可观测性：整合Cypress、Jaeger与Svelte的GitOps实践 构建从CI到生产的全链路可观测性：整合Cypress、Jaeger与Svelte的GitOps实践
CI流水线里一个端到端测试失败了，日志只留下一行冰冷的 500 Internal Server Error。前端开发者认为是后端的锅，后端开发者检查日志发现并无可疑之处，而AI模型的工程师则表示模型服务的心跳正常。皮球被踢了一圈，数小时后问
2023-10-27 可观测性
Jaeger CI/CD 与 GitOps Cypress AI、数据科学与大数据 Svelte
4 / 5