OpenAI存储平台Habitat转向Rust：CPU效率提升6倍，支撑每秒7000万请求

从Python库到独立服务：Habitat的架构演进

OpenAI近期披露了其在线存储平台Habitat的工程实践，该平台最初只是一个与ChatGPT主服务器交互的Python客户端库，底层连接Azure Cosmos DB。其设计目标是让产品工程师无需直接管理数据库，即可完成数据存取，系统负责数据类型识别、路由、授权、加密、序列化及连接池管理等工作。随着产品数量和数据需求增长，Habitat在2025年年中逐渐暴露出客户端架构的局限——每次修改共享库都需要协调数十个服务进行部署，增加了发布复杂度和故障风险。为此，OpenAI决定将其改造为独立服务，集中管理部署、监控和平台功能，同时为数据安全提供统一控制点，集中执行访问控制、审计日志及底层存储资源权限管理。

Python的性能瓶颈与优化尝试

OpenAI最初选择用Python开发高吞吐服务，以优先解决平台稳定性和产品开发效率问题。然而，Python服务在高并发场景下仍面临CPU开销、内存开销和网络延迟等挑战，尤其需要控制请求尾延迟。团队通过限制并发请求数量、增加Python工作进程以及优化异步任务调度来改善性能，还调整了功能开关配置的刷新策略，减少大规模JSON解析对请求处理的影响。在连接池方面，OpenAI发现Python的aiohttp默认采用LIFO连接复用策略，可能导致流量持续集中到响应较慢的服务进程，改用FIFO连接复用后降低了负载不均衡问题。

Habitat采用受限的NoSQL API，避免客户端执行不可控的SQL查询、复杂联表或大范围数据扫描。对于需要复杂查询的场景，OpenAI通过变更数据捕获（CDC）将数据实时或近实时同步至Rockset，提供离线分析和搜索能力。

Rust重写带来显著性能提升

在2026年第二季度，OpenAI调用2名工程师，再加上Codex和GPT-5.5，将Habitat服务整体用Rust重写。官方数据显示，新的Rust服务目前已处理95%的生产请求，CPU效率提升6倍，内存效率提升15倍，平均延迟和尾延迟也有所降低。OpenAI计划在未来几周内完全弃用Habitat的Python实现。

目前，Habitat每秒处理超过7000万次请求，每周服务超10亿用户，管理的数据规模超过500PB。OpenAI还表示，后续文章将介绍Habitat如何扩展Azure Cosmos DB存储层，以及在超过500PB数据和每秒7000万次请求规模下的多租户可靠性与读性能优化。

行业视角：高并发场景下的语言选择趋势

Habitat的迁移案例反映了高并发基础设施领域的一个明显趋势：Python在快速原型开发和业务逻辑实现上具有优势，但在极端性能要求下，Rust等系统级语言正成为重写关键路径的选项。OpenAI借助AI编程助手完成大规模代码迁移，也展示了内部工具链对工程效率的放大作用。对于面临类似规模挑战的云服务提供商而言，这一实践提供了关于架构拆分、连接池策略和语言选型的参考样本。