ecogofit
本站致力于IT相关技术的分享
  文章分类
分布式架构 8 数据工程 4 可观测性 2 平台工程 1 软件工程与架构 1 架构设计 3 前端架构 1 MLOps 2 全栈开发 3 DevOps 6 架构与设计 2 后端架构 6 分布式系统 3 安全架构 1 云原生与运维 1 云原生与DevOps 1 数据工程与存储 1 系统设计 1
基于CDC实现单一数据源到ClickHouse与Solr的近实时双写架构权衡 基于CDC实现单一数据源到ClickHouse与Solr的近实时双写架构权衡
在构建复杂的业务系统时，一个常见的技术挑战是数据需要以多种形式被消费。例如，核心业务数据存储在PostgreSQL或MySQL这类关系型数据库中，以保证事务的ACID特性；同时，运营和分析团队需要对这些数据进行高性能的即席SQL查询，这正是
2023-10-27 数据工程
ClickHouse Solr SQL 搜索 Kafka CDC
基于 GitHub Actions 构建从 SQL 到 NoSQL 的双写数据一致性校验管道 基于 GitHub Actions 构建从 SQL 到 NoSQL 的双写数据一致性校验管道
我们的用户中心服务，其核心数据模型一直存在于一个 PostgreSQL 数据库的 users 和 user_profiles 表中。随着业务迭代，profile 表的字段变得越来越臃肿，频繁的 ALTER TABLE 操作不仅在生产环境风险
2023-10-27 数据工程
GitHub Actions SQL NoSQL PostgreSQL MongoDB CI/CD
基于IaC与GraphQL构建从Apache Iceberg元数据到Gatsby静态站点的自动化同步管道 基于IaC与GraphQL构建从Apache Iceberg元数据到Gatsby静态站点的自动化同步管道
团队内部的数据平台围绕 Apache Iceberg 构建，数据分析师和业务方需要一个轻量、快速且始终保持最新的数据目录来查询表的结构、分区信息和提交历史。现有的商业工具过于笨重，而自建的动态Web应用又带来了不必要的运维开销。痛点很明确：
2023-10-27 数据工程
Apache Iceberg 基础设施即代码 (IaC) Gatsby Node.js GraphQL Client
利用 Dask 构建从 geo-distributed CockroachDB 到 ClickHouse 的弹性数据同步架构 利用 Dask 构建从 geo-distributed CockroachDB 到 ClickHouse 的弹性数据同步架构
一个典型的技术挑战摆在面前：我们的核心业务系统构建在 CockroachDB 之上，其 geo-partitioned 特性完美支撑了全球用户的低延迟读写。然而，分析团队需要对这些遍布全球的交易数据进行近实时的复杂查询，直接在生产 OLTP
2023-10-27 数据工程
CockroachDB Dask ClickHouse ETL 分布式系统