趋境科技&英特尔生态沙龙举办，硬件、推理引擎、上层应用生态融合，打通大模型私有化“最后一公里”

衡宇
2025-06-11
11:38:03

来源：量子位

近日，由趋境科技和英特尔联合主办的“智启AI 效能跃迁——趋境科技生态沙龙”成功举行。

顶级投资人，行业领先的应用企业、技术企业及全球硬件巨头等行业嘉宾，深度碰撞大模型私有化部署的技术突破与产业实践。活动吸引百余位行业合作伙伴到场参与，共谋合作落地新机遇，交流氛围热烈。

会议首先由趋境科技CEO艾智远与技术负责人陈祥麟发布公司最新产品与技术成果：
趋境软硬一体服务器8卡方案发布：高效运行 DeepSeek-R1/V3-671B 大模型，性能对比单卡最高提升7倍。

自研推理引擎KLLM、自研大模型管理平台AMaaS、自研办公应用套件趋境 · 智问均迎来重大升级，在模型推理、模型管理与运维、算力资源管理与调度、应用能力等功能全面提升，体验升级。

此外，水木清华校友基金、图灵法思、北京未来式智能、长亭科技、英特尔等企业代表嘉宾从硬件、Infra、应用、行业观察等各个视角做了深入分享。

最后，来自启迪亦庄人工智能联合创新中心、市场监管总局认研中心、方寸智能、法国电信、中建材信云智联、趋境科技等嘉宾在圆桌环节共同探讨了在私有化场景中从技术适配到商业落地的可复用产业级解决方案。

技术革新大模型推理私有化范式

趋境科技CEO艾智远在演讲中提出当前的私有化AI基础设施建设的5大挑战：“大模型私有化部署面临启动门槛高、模型运行性能不够、硬件适配难、未来弹性扩展难、多模型调度复杂等五大挑战。”

对此，趋境科技推出软硬一体全场景产品，提供硬件、推理引擎KLLM（包括KTransformers、Mooncake能力）、模型管理平台AMaaS、应用对接支持等一站式解决方案，针对性地解决当前的行业问题：

• 业界首创「异构协同」技术，大模型部署降低10倍，从万级到数十万级，在中低并发场景均能满足千亿大模型使用需求。
• 业界首创「以存换算」技术，采用Prefix Cache、RAG Cache等降低计算量，避免重复计算，数倍提升性能。
• 软硬件深度协同优化，屏蔽硬件底层问题，解决硬件计算效率、多并发调度、算子库、带宽瓶颈、卡间通信等问题，平衡硬件的兼容性和性能。
  产品采用多模型的计算调度，在本地享受云上 MaaS 体验，兼容适配数十种主流大语言模型、多模态模型、Embedding&Rerank模型、音频模型、文生图模型等等，支持上层AI搜索、AI问答、文件解析、AI Agent、语音助手、AI写作等全场景功能。
• 支持节点弹性扩展，提供分布式大模型管理与推理引擎，满足未来AI规模升级。
  此外，趋境科技始终坚持开源开放技术，趋境科技与清华 KVCache.AI 团队共同开源异构协同推理框架 KTransformers ，利用单张消费级 GPU+CPU 推理运行千亿大模型，开源即引爆个人用户使用；同时，趋境科技还参与开源共建以 KVCache 为中心的推理架构 Mooncake。

趋境科技技术负责人陈祥麟进一步发布趋境科技技术新进展及未来展望：

• 推理引擎 KLLM 的能力升级：AMX+CPU 的深度优化，Prefill 性能提升5倍；采用 Expert Overlap，Decode 性能提升30%；采用 MTP 优化，Decode 性能再提升 30%；完成国产化兼容；加入 KVCache 多级缓存，大并发场景大幅提升性能。‘

• 新技术方案发布：8 GPU 卡+ 2 CPU 异构推理方案：在运行 DeepSeek-R1/V3 671B FP8 混合精度的测试下，并发最高能达到 30+，相比单 GPU 性能提升 7 倍，能够支撑百人团队使用，实现从小规模验证向企业级部署的跨越。
• 大模型管理平台 AMaaS 能力升级：KVCache 自动计算，模型稳定运行；数十种 API 接口开放，满足应用各项需求；高并发访问优化，接近于模型直连的高并发访问。
• 上层应用套件「智问」能力升级：新增深度问答能力，提升问答准确度；自研重排能力，知识库1秒完成百条搜索重排，准确度大幅超过通用检索；文件解析速度提升6倍，数十页PDF秒级解析。

后续将在 KLLM 推理引擎和 AMaaS 模型管理平台与智问上持续优化。

产业协同：从硬件到场景落地的闭环

水木清华校友基金合伙人丁昳婷首先分享了AI大模型落地的趋势观察：DeepSeek 的出现打破了传统“堆算力、拼资本”的发展路径，而在产业侧算法进步将大幅加快硬件升级节奏，在硬件需求和国内外局势的情形下，Infra 迎来长期机遇。

英特尔数据中心与人工智能技术专案经理刘阳，展示了灵活强大的硬件算力底座：

Xeon 6处理器+MRDIMM内存+AMX指令集：更高性能、更高内存带宽的配置，与趋境科技的异构协同计算架构深度契合，在单GPU推理千亿大模型方案下获得 40 tokens/s 的总生成速度。
英特尔的 ARC 系列，拥有优秀的 TCO，搭配灵活，应用广泛。

在应用层，趋境科技的合作伙伴图灵法思、未来式智能、长亭科技均分享了应用方面的成果与展望：

图灵法思创始人&CEO强锋提到，图灵法思基于行业领先的知识库、独创的原子智能体技术优势，以及服务司法场景后提炼出强大的法律思维链能力，将人工智能与法律领域深度结合，与趋境科技共同构建了软硬件协同的法律AI一体机方案，为律师律所及企业用户提供更低成本、更高推理性能、更安全便捷，真正能开箱即用的一站式全场景的智能法律服务。

未来式智能商业化合伙人高乐奇分享了在 AI Agent 方面的应用落地，未来式智能的灵搭 Agent 平台从能源电力、金融、政务、教育、医疗、制造、泛互联网领域均能助力企业打造知识流水线、办公自动化，基于趋境科技的一体机未来式智能将 Agent 搭建能力转移到企业私有化部署上，提供开箱即用、一站式完成的AI解决方案。

长亭科技联合创始人&副总裁龚杰则分享了 AI 在网络安全攻防的应用实践，长亭科技从攻-防-运营-安全开发-日常工作的全应用场景接入安全大模型，在自动化漏洞挖掘、智能化攻击手段、优化攻击策略、威胁情报分析、自动化安全监测、智能安全策略方面进行了实践探索。长亭科技与趋境科技合作实现千亿问津大模型私有化部署，全方位提升安全能力。

圆桌环节由启迪亦庄人工智能联合创新中心总经理王雷主持，法国电信生态总监侯维、市场监管总局认研中心AI技术负责人戴群特、方寸智能 CTO 杨之光、中建材信云智联技术总监刘虎、趋境科技 CEO 艾智远等嘉宾，作为人工智能产、研、用多方代表，共同剖析行业真实痛点，探讨在私有化场景中从技术适配到商业落地的全链条挑战，探索可复用的产业级解决方案。

本次生态沙龙呈现了AI私有化部署从技术突破到产业协同的完整路径。趋境科技通过重构推理架构，正推动大模型从“云端奢侈品”蜕变为“企业日用品”，与产业生态上下游的共同协作，也逐渐让大模型真正走入千行百业。

Read More