归档: 2023/10 | ecogofit

2023

10

27

在管理一个共享的、多租户的 Apache Spark 集群时，数据访问的权限控制是一个无法回避的核心挑战。当不同的租户作业需要在隔离的 S3 存储桶中读写数据时，如何安全、动态地为其授予最小权限，同时避免凭证泄露，成为架构设计的关键。一个常

2023-10-27 分布式系统

IAM gRPC Rust Apache Spark Tonic

27

我们面临的挑战并非简单的信息检索。用户提交的查询是模糊的、上下文相关的，而知识库则分裂为两部分：一部分是存储在关系型数据库中高度结构化的实体数据，另一部分是散落在文档、报告和笔记中的海量非结构化文本。单纯的关键字匹配或全文搜索早已失效，而单

2023-10-27 架构与设计

Solid.js Java spaCy Weaviate GraphQL

27

最初的需求听起来并不复杂：从十几个合作方的旧版门户网站上抓取供应链的上下游依赖数据，并构建一个可视化的依赖关系图。然而，现实很快给了我们沉重一击。这些门户网站的稳定性极差，网页结构频繁变更，时不时还会弹出无法预测的验证码。一个简单的定时任务

2023-10-27 分布式架构

CQRS Puppeteer Dead Letter Queue Neo4j RabbitMQ 事件驱动架构

27

团队内部的前端开发环境一致性一直是个隐蔽的痛点。不同开发者机器上的 Node.js 版本、npm 包依赖、全局安装的 CLI 工具链差异，时常导致“在我这儿能跑”的经典问题。CI/CD 流水线需要为每次构建重新 npm install，耗时

2023-10-27 后端架构

Go WebSockets RESTful API PostCSS DevOps

27

在规模化场景下运行无头浏览器（Headless Browser）任务，尤其是像 Puppeteer 这样的资源密集型应用，从来都不是一件简单的事。内存泄漏、僵尸进程、环境依赖地狱，这些问题在并发量上来之后会变得极其尖锐。最初的方案往往是一个

2023-10-27 分布式系统

CockroachDB Puppeteer 网关与代理搜索 OCI

27

最初的需求是在一个迭代周期（我们遵循Scrum）中提出的：我们需要一个高可用的特性开关（Feature Flag）系统。团队厌倦了依赖配置文件和复杂的部署流程来切换功能。市面上的商业方案因数据隐私和成本问题被否决，而基于Redis的简单方案

2023-10-27 分布式系统

Raft 协议 AWS SNS Caddy Qwik Scrum