归档 | datakfy

2023

11

20

将大语言模型（LLM）的推理端点部署在Azure Functions这类Serverless平台上，初看起来是一个完美的组合：按需扩展、无服务器运维负担、与云生态系统无缝集成。但在真实的项目中，这种看似简单的架构背后隐藏着巨大的成本和稳定性

2023-11-20 架构设计

APISIX Azure Functions LLM Serverless API网关

10

27

当用户反馈“文本实体识别功能有时很慢”时，一个横跨前端、BFF（Backend for Frontend）和Python机器学习服务的三层架构，瞬间变成了一个调试黑洞。问题出在哪里？是用户网络到CDN的延迟，是React应用自身的计算，是N

2023-10-27 可观测性

前端 spaCy OpenTelemetry 分布式追踪 Node.js

27

我们的核心计算服务，出于成本和历史原因，部署在DigitalOcean的Droplets上。然而，对于事件驱动和异步任务处理，我们选择了Google Cloud Pub/Sub，因为它具备出色的可扩展性和托管便利性。这就产生了一个直接的技术

2023-10-27 后端架构

Google Cloud Pub/Sub React C# DigitalOcean WebSocket 多云架构

27

团队规模扩大后，代码审查（Code Review）流程的效率开始变得模糊不清。我们能感觉到合并请求（Pull Request）的周期在变长，但具体瓶颈在哪里，没人能用数据说清楚。是评审响应太慢？是修改的轮次太多？还是单纯因为某些项目的 CI

2023-10-27 DevOps

CircleCI Grafana Code Review 可观测性

27

项目的需求演进往往会把一个干净的单体应用拖入泥潭。最初，我们只是需要一个核心的HTTP服务，但很快，各种定制化的数据处理逻辑开始涌入：一个需要调用Python脚本，一个需要执行计算密集的算法，另一个则需要连接一个特殊的硬件设备。把这些功能全

2023-10-27 后端架构

Actix-web ZeroMQ GitHub Actions Rust 微内核架构

27

在一个典型的多租户AI服务中，我们使用Milvus作为核心的向量检索引擎。为了隔离租户数据并优化资源利用，我们采用了动态加载和卸载Partition的策略。应用服务是无状态、可水平扩展的，这意味着任何一个服务实例都可能接收到来自某个租户的请

2023-10-27 分布式系统

Milvus 分布式锁架构设计 Zookeeper Redis