
9月11日,作为 NVIDIA 全球精英合作伙伴,图为科技受邀出席2026 NVIDIA 渠道技术训练营,并凭借《NAS AI+个人数据中心解决方案》从众多参评案例中脱颖而出,荣获「精选案例奖」。

直面痛点:数据主权时代的“不可能三角”
在金融、政企及工业制造等数据敏感行业,AI代码助手正面临一个严峻的“不可能三角”:数据安全、推理速度与部署成本。传统公有云方案虽算力充沛,却让企业核心源代码暴露于“黑盒”风险之中;而本地化部署又往往受限于边缘设备的显存墙与算力瓶颈,难以支撑27B级大模型的流畅运行。

图为科技精准捕捉这一行业断层,联合生态伙伴打造了《NAS AI+个人数据中心解决方案》。该方案以NVIDIA Jetson AGX Thor Developer Kit为算力底座,构建了“控制端统一部署+边缘端本地推理+业务端标准接口接入”的三层协同架构,彻底打破了上述僵局。
技术破局: Jetson AGX Thor上的性能跃升
方案的核心在于对 NVIDIA软硬件生态的深度挖掘与极致调优。在硬件层面,Jetson AGX Thor提供的128GB统一内存与2070 TFLOPS算力,为27B级模型、长上下文缓存及系统服务提供了宝贵的统一资源池,使得单节点运行大模型成为现实。

在软件层面,团队依托vLLM推理框架与FlashInfer高性能内核,创新性地引入了DFlash2推测解码技术。通过“草稿模型快速生成+目标模型精准校验”的机制,方案实现了高达92.99%的候选接受率,将代码编辑吞吐率推升至130 tokens/秒以上,通用代码生成达到43.50 tokens/秒,彻底告别了传统边缘设备“逐字蹦”的卡顿体验。
尤为值得一提的是,该方案支持高达900,000 tokens的极限上下文窗口,配合231 TPS的8并发解码速度,足以轻松处理整个代码库级别的长文本理解任务。在功耗控制上,生成阶段GPU峰值功耗仅52.31W,峰值温度65.03℃,展现了卓越的能效比。
落地价值:从“可用”到“好用”的跨越
目前,该方案已在实际部署中验证了其工程稳定性。通过容器化封装与自动化部署工具,新算力舱的上线时间大幅缩短。模型输入、源代码、推理结果与日志全程保留在本地,实现了真正的数据不出域闭环,完美满足GDPR及《个人信息保护法》等严苛合规要求。

图为科技CEO苏世鹏表示:“我们致力于将大模型能力下沉到边缘,让企业在享受AI效率红利的同时,牢牢握住数据的‘金库钥匙’。”
(免责声明:此文内容为本网站刊发或转载企业宣传资讯,仅代表作者个人观点,与本网无关。仅供读者参考,并请自行核实相关内容。)