ecogofit
本站致力于IT相关技术的分享
使用Packer构建集成了Cypress与两阶段提交协议的不可变容器化测试环境 使用Packer构建集成了Cypress与两阶段提交协议的不可变容器化测试环境
E2E测试套件的稳定性是我们支付核心模块的阿喀琉斯之踵。这个模块依赖一个经典的分布式事务协议——两阶段提交（2PC）来确保订单、库存和账单服务的数据一致性。问题在于，CI流水线中的测试环境极其脆弱。服务启动顺序、网络延迟、甚至是不同CI节点
2023-10-27 DevOps
Cypress 容器化 Two-Phase Commit (2PC) Packer
基于CDC实现单一数据源到ClickHouse与Solr的近实时双写架构权衡 基于CDC实现单一数据源到ClickHouse与Solr的近实时双写架构权衡
在构建复杂的业务系统时，一个常见的技术挑战是数据需要以多种形式被消费。例如，核心业务数据存储在PostgreSQL或MySQL这类关系型数据库中，以保证事务的ACID特性；同时，运营和分析团队需要对这些数据进行高性能的即席SQL查询，这正是
2023-10-27 数据工程
Kafka 搜索 SQL ClickHouse Solr CDC
利用CDC、Pulsar与Neo4j构建事务一致的实时图数据管道 利用CDC、Pulsar与Neo4j构建事务一致的实时图数据管道
在真实的业务场景中，将关系型数据库（如PostgreSQL）作为核心交易系统（OLTP）的黄金标准，而使用图数据库（如Neo4j）进行深度关系分析、欺诈检测或实时推荐，是一种常见的异构持久化架构。这里的核心挑战在于如何维持两者之间的数据同步
2023-10-27 数据工程与存储
CDC Neo4j Pulsar Debezium 框架与工具
构建基于Jupyter Notebook的静态站点搜索引擎：Solr与Elasticsearch的架构权衡与插件化实现 构建基于Jupyter Notebook的静态站点搜索引擎：Solr与Elasticsearch的架构权衡与插件化实现
我们的内部技术知识库积累了数千个Jupyter Notebook，这些文件通过一个定制的SSG（静态站点生成器）流程发布为内部静态网站。然而，随着内容量的激增，基于JavaScript的客户端搜索方案已经完全失效——浏览器在加载庞大的索引文
2023-10-27 系统设计
Solr SSG Jupyter Elasticsearch 设计模式
利用 Dask 构建从 geo-distributed CockroachDB 到 ClickHouse 的弹性数据同步架构 利用 Dask 构建从 geo-distributed CockroachDB 到 ClickHouse 的弹性数据同步架构
一个典型的技术挑战摆在面前：我们的核心业务系统构建在 CockroachDB 之上，其 geo-partitioned 特性完美支撑了全球用户的低延迟读写。然而，分析团队需要对这些遍布全球的交易数据进行近实时的复杂查询，直接在生产 OLTP
2023-10-27 数据工程
CockroachDB 分布式系统 ClickHouse Dask ETL
在Vercel平台利用AWS SQS与ISR构建处理长时任务的CQRS架构 在Vercel平台利用AWS SQS与ISR构建处理长时任务的CQRS架构
一个看似简单的业务需求，往往是检验架构选型是否合理的试金石。例如，允许用户上传个人简历（CV），系统在后台进行深度解析（如技能提取、格式转换、AI评估），这个过程可能耗时30秒到数分钟。用户提交后，我们期望页面能立即响应，并最终在一个高性能
2023-10-27 后端架构
AWS SQS ISR Vercel Functions CQRS Serverless
4 / 5