发生了什么
编辑 | 泽南 如今大家常用的 Harness，通常都默认你接的是一线大模型 API，比如 Fable 5、Sol、Kimi K3…… Perplexity 推出的 Portable Computer 却在想办法利用 Qwen 3.8 27B 这样可以本地部署的模型，实现接近的效果。 默认情况下， Portable Computer 的整个技术栈在本地运行 。模型、框架、对话和轨迹都位于用户的计算机上。需要外部访问的功能如网络搜索、连接器或升级到云端更强大的顾问模型，仅在必要时才会调用，并且始终由用户控制。因此，敏感数据未经许可绝不会离开设备，本地模型也不产生推理费用。 一个高效的局部优先智能体需要模型和框架协同设计。通用框架假定模型具有前沿能力，能够理解长上下文、驾驭大量工具并进行长链规划。本地模型在这些要求下可靠性较低。Perplexity 没有让小模型管理为大模型设计的框架，而是让两者相互配合：框架根据模型的能力特性量身定制，模型经过后训练以有效使用框架。 近几个月来，智能体在各种知识工作任务中迅速发展。虽然这些进步带来了生产力和效率的大幅提升，但也带来了新的挑战。 Token 消耗量正迅速增长，整体支出也随之攀升。当通过运行在服务器集群上的闭源模型 API 访问数据时，每次请求都会将用户的私有信息和知识产权带离设备。随着智能体程序扩展到各个工作流程乃至整个组织，Token 消耗和数据流动的管控难度也日益增加。 与此同时，开源模型的发展速度甚至更快。进步在 NVIDIA Nemotron 3.5 Lightning（总参数 300 亿）、Qwen 3.6（350 亿）和 Qwen 3.8（270 亿）等小模型中尤为显著。小模型性能越来越好，如今已能处理复杂的智能体工作流程。本地推理硬件也在同步发展：NVIDIA DGX Spark、M5 Ultra 的 Mac Studio 等系统现在可以在本地运行这些模型。这些趋势共同促成了完全在设备端运行的可行性。 当然，你在需要时也可以选择使用外部功能，例如网络搜索、连接器或云模型升级。 这种本地优先的方法能够显著降低成本，它还能自然地解决隐私和知识产权问题，私有 token 无需传输到远程集群，始终安全地保留在本地设备的边界内。 今年六月，Perplexity 推出了首个混合本地 - 服务器推理编排器，它可以决定哪些任务应该在设备端运行，哪些任务应该交给云端的智能体执行。本文将详细介绍 Perplexity 如何构建这样一个本地优先的智能体，包括框架以及相互优化的模型。 Perplexity 概述了关键的设计选择，并在三个公开基准测试和 Perplexity 内部的本地知识工作台 (Local Knowledge Work Bench) 上，将 Portable Computer 与
编辑 | 泽南 如今大家常用的 Harness，通常都默认你接的是一线大模型 API，比如 Fable 5、Sol、Kimi K3…… Perplexity 推出的 Portable Computer 却在想办法利用 Qwen 3.8 27B 这样可以本地部署的模型，实现接近的效果。 默认情况下， Portable Computer 的整个技术栈在本地运行 。模型、框架、对话和轨迹都位于用户的计算机上。需要外部访问的功能如网络搜索、连接器或升级到云端更强大的顾问模型，仅在必要时才会调用，并且始终由用户控制。因此，敏感数据未经许可绝不会离开设备，本地模型也不产生推理费用。 一个高效的局部优先智能体需要模型和框架协同设计。通用框架假定模型具有前沿能力，能够理解长上下文、驾驭大量工具并进行长链规划。本地模型在这些要求下可靠性较低。Perplexity 没有让小模型管理为大模型设计的框架，而是让两者相互配合：框架根据模型的能力特性量身定制，模型经过后训练以有效使用框架。 近几个月来，智能体在各种知识工作任务中迅速发展。虽然这些进步带来了生产力和效率的大幅提升，但也带来了新的挑战。 Token 消耗量正迅速增长，整体支出也随之攀升。当通过运行在服务器集群上的闭源模型 API 访问数据时，每次请求都会将用户的私有信息和知识产权带离设备。随着智能体程序扩展到各个工作流程乃至整个组织，Token 消耗和数据流动的管控难度也日益增加。 与此同时，开源模型的发展速度甚至更快。进步在 NVIDIA Nemotron 3.5 Lightning（总参数 300 亿）、Qwen 3.6（350 亿）和 Qwen 3.8（270 亿）等小模型中尤为显著。小模型性能越来越好，如今已能处理复杂的智能体工作流程。本地推理硬件也在同步发展：NVIDIA DGX Spark、M5 Ultra 的 Mac Studio 等系统现在可以在本地运行这些模型。这些趋势共同促成了完全在设备端运行的可行性。 当然，你在需要时也可以选择使用外部功能，例如网络搜索、连接器或云模型升级。 这种本地优先的方法能够显著降低成本，它还能自然地解决隐私和知识产权问题，私有 token 无需传输到远程集群，始终安全地保留在本地设备的边界内。 今年六月，Perplexity 推出了首个混合本地 - 服务器推理编排器，它可以决定哪些任务应该在设备端运行，哪些任务应该交给云端的智能体执行。本文将详细介绍 Perplexity 如何构建这样一个本地优先的智能体，包括框架以及相互优化的模型。 Perplexity 概述了关键的设计选择，并在三个公开基准测试和 Perplexity 内部的本地知识工作台 (Local Knowledge Work Bench) 上，将 Portable Computer 与
为什么重要
需要你自己点开原文确认一次，这里给的是摘要与判断。
需要你自己点开原文确认一次，这里给的是摘要与判断。
跟你有什么关系
能转：做内容的话，这条多半能直接变成一个选题或一段工作流。
能转：做内容的话，这条多半能直接变成一个选题或一段工作流。
以上判断为规则生成的初稿，发布前请润色。
判定理由
评分 0 / 100