归档: 2023/10 | ecogofit

2023

10

27

在构建复杂的业务系统时，一个常见的技术挑战是数据需要以多种形式被消费。例如，核心业务数据存储在PostgreSQL或MySQL这类关系型数据库中，以保证事务的ACID特性；同时，运营和分析团队需要对这些数据进行高性能的即席SQL查询，这正是

2023-10-27 数据工程

Kafka 搜索 SQL ClickHouse Solr CDC

27

在真实的业务场景中，将关系型数据库（如PostgreSQL）作为核心交易系统（OLTP）的黄金标准，而使用图数据库（如Neo4j）进行深度关系分析、欺诈检测或实时推荐，是一种常见的异构持久化架构。这里的核心挑战在于如何维持两者之间的数据同步

2023-10-27 数据工程与存储

CDC Neo4j Pulsar Debezium 框架与工具

27

我们的内部技术知识库积累了数千个Jupyter Notebook，这些文件通过一个定制的SSG（静态站点生成器）流程发布为内部静态网站。然而，随着内容量的激增，基于JavaScript的客户端搜索方案已经完全失效——浏览器在加载庞大的索引文

2023-10-27 系统设计

Solr SSG Jupyter Elasticsearch 设计模式

27

一个典型的技术挑战摆在面前：我们的核心业务系统构建在 CockroachDB 之上，其 geo-partitioned 特性完美支撑了全球用户的低延迟读写。然而，分析团队需要对这些遍布全球的交易数据进行近实时的复杂查询，直接在生产 OLTP

2023-10-27 数据工程

CockroachDB 分布式系统 ClickHouse Dask ETL

27

一个看似简单的业务需求，往往是检验架构选型是否合理的试金石。例如，允许用户上传个人简历（CV），系统在后台进行深度解析（如技能提取、格式转换、AI评估），这个过程可能耗时30秒到数分钟。用户提交后，我们期望页面能立即响应，并最终在一个高性能

2023-10-27 后端架构

AWS SQS ISR Vercel Functions CQRS Serverless

27

我们的变更失败率（Change Failure Rate, CFR）一度高达23%。这意味着每四次生产部署，就有一次会触发P0或P1级别的告警。在Scrum的回顾会议上，气氛总是很沉重，话题从技术债转向了发布流程，最终往往演变成毫无结果的讨

2023-10-27 云原生与运维

Scrum 云原生与运维 Linkerd Ansible DevOps DORA