二、Memory & KV Cache

• KV Cache 分配、复用与生命周期管理
• Prefix / KV Cache Sharing 与缓存策略
• GPU/NPU、CPU 及分布式异构内存管理
• KV Cache Offloading、Transfer 与 Memory Pooling
• 长上下文场景下的内存及推理性能优化

你将有机会完整参与从 系统架构、算法设计、原型开发、性能 Profiling 到工程实现和实际部署 的全过程。

我们希望你

• 具备较好的 C/C++ 和/或 Python 编程能力
• 有 Computer Systems、Distributed Systems、OS、HPC 或 AI Infrastructure 相关背景
• 熟悉或使用过 vLLM、SGLang、TensorRT-LLM 等 LLM Serving 系统优先
• 有 CUDA、GPU/NPU Computing、PyTorch 经验优先
• 对 Scheduling、Load Balancing、Memory Management、Caching、KV Cache 等方向有经验或兴趣
• 能够进行系统性能分析、定位 Bottleneck 并完成性能优化

本科、硕士、博士均欢迎申请。 我们更关注 Systems 能力、工程能力和解决实际问题的能力，而不是局限在学历和Paper。

需要具备良好的英文沟通能力；由于需要与中国研发团队进行高频技术协作，中文流利者优先。

Why Join Us?

• 做真正处于前沿的 AI Infra / LLM Serving 核心技术
• 不止做 Prototype，让技术真正进入系统并产生可量化的性能收益
• 有机会 End-to-End Owner 一个技术方向，从设计做到落地
• 与英国及欧洲高校和研究团队保持紧密技术合作
• 团队拥有较强的 Systems 技术积累，过往培养的工程师后续进入 OpenAI、AMD 等全球领先 AI / 芯片公司

如果你不满足于“使用”LLM Framework，而希望深入它的底层，真正参与构建下一代 LLM Serving Infrastructure，如果你想参与顶尖技术突破专利和领先业界的论文等的撰写，欢迎加入我们。