ecogofit
本站致力于IT相关技术的分享
  文章分类
分布式架构 8 数据工程 4 可观测性 2 平台工程 1 软件工程与架构 1 架构设计 3 前端架构 1 MLOps 2 全栈开发 3 DevOps 6 架构与设计 2 后端架构 6 分布式系统 3 安全架构 1 云原生与运维 1 云原生与DevOps 1 数据工程与存储 1 系统设计 1
集成列式存储与动态密钥管理构建企业级RAG数据管道 集成列式存储与动态密钥管理构建企业级RAG数据管道
一、 定义问题：超越原型，构建生产级RAG构建一个检索增强生成（RAG）系统，挑战不在于实现概念验证。真正的难点在于将其置于一个要求严苛的企业环境中：数据量动辄TB级，安全合规是铁律，且必须无缝融入现有的Java技术栈和CI/CD流程。一个
2023-11-15 分布式架构
NoSQL (列式) LlamaIndex Jib 密钥管理
Pulsar 对比 Redis Streams 在大规模 WebRTC 状态同步架构中的实现 Pulsar 对比 Redis Streams 在大规模 WebRTC 状态同步架构中的实现
一个常见的误区是认为 WebRTC 应用的瓶颈在于信令服务器的并发连接数或媒体服务器的带宽。在真实项目中，当交互复杂度提升时，真正的技术壁垒会迅速转移到分布式实时状态管理上。设想一个上千人参与的在线协作白板或一个大型互动教学场景，单纯的信令
2023-10-27 分布式架构
状态管理 Redis Streams WebRTC Pulsar
实现 Pub/Sub 事务性消费的 Outbox 模式：Fastify, JPA 与 Go 的横向对比 实现 Pub/Sub 事务性消费的 Outbox 模式：Fastify, JPA 与 Go 的横向对比
处理来自消息队列的事件并原子性地更新数据库状态，是构建可靠分布式系统时无法回避的挑战。一个经典的问题是“双重写入”：你成功处理了消息，更新了数据库，但在确认（ack）消息之前服务崩溃了。消息被重新投递，导致重复处理。反之，如果先确认消息再更
2023-10-27 分布式架构
Go Google Cloud Pub/Sub Fastify JPA/Hibernate
构建基于CQRS与Puppeteer的弹性图数据ETL管道及死信队列实践 构建基于CQRS与Puppeteer的弹性图数据ETL管道及死信队列实践
最初的需求听起来并不复杂：从十几个合作方的旧版门户网站上抓取供应链的上下游依赖数据，并构建一个可视化的依赖关系图。然而，现实很快给了我们沉重一击。这些门户网站的稳定性极差，网页结构频繁变更，时不时还会弹出无法预测的验证码。一个简单的定时任务
2023-10-27 分布式架构
CQRS Puppeteer Dead Letter Queue Neo4j RabbitMQ 事件驱动架构
基于 Pulsar 事件流与 Spark 构建 BDD 驱动的 Solr 查询投影架构 基于 Pulsar 事件流与 Spark 构建 BDD 驱动的 Solr 查询投影架构
1. 技术问题的定义：读写模型分离的必然性与数据一致性挑战在一个典型的复杂业务系统中，事务性操作（写入）和分析性查询（读取）对数据模型的要求截然不同。写入模型需要高度规范化以保证数据完整性和事务原子性，而读取模型，尤其是支撑复杂搜索、聚合和
2023-10-27 分布式架构
数据工程 CQRS Solr BDD Apache Spark Apache Pulsar
实现 Ruby on Rails 到 Python 基于 SQS 的高可靠事件管道 实现 Ruby on Rails 到 Python 基于 SQS 的高可靠事件管道
我们团队维护着一个庞大的 Ruby on Rails 单体应用，它承载了公司近十年的核心业务逻辑。最近，产品侧提出了一个需求：在用户完成某些核心操作（例如创建订单、更新资料）后，触发一系列复杂的、计算密集型的数据分析和机器学习模型预测。将这
2023-10-27 分布式架构
Python AWS SQS Ruby on Rails 异步处理 系统解耦
1 / 2