在自己的设备上运行 AI、无需把任何东西发到云端，这个想法对新加坡的用户来说确实很有吸引力，而且它已经从发烧友的新奇玩意，变成普通人在一台像样的笔记本电脑或较新的手机上就能一试的东西。你不再是把内容打进一个托管在海外的聊天机器人，而是下载一个住在你自己机器上的模型，让它在本地完成思考。你的提示词和文件从不离开设备，这是实打实的隐私优势。代价在于，本地模型比大型云端服务更小、更慢、能力也更弱，而且让它跑起来需要一点耐心。本文将说明本地 AI 擅长做什么、对硬件有什么要求，以及它的局限在哪里。
这个词涵盖的不止一种东西。其中一部分早已内置在你手上的设备里：较新的手机和笔记本电脑会在本地完成语音转文字、照片标签、背景虚化和简单的文字建议。更需要动手的版本，是你自己通过桌面应用或为此打造的手机应用去运行一个可下载的语言模型。这些应用让你挑一个模型、下载一次，然后就能离线和它对话。没有订阅，也不用账号，一旦文件存到你的机器上，它在完全没有网络的情况下也照样能用。
为什么要在本地运行 AI，又要付出什么
最有力的理由是隐私。当模型在你自己的设备上运行，你的问题、文件和数据都留在你手里。什么都不上传，什么都不会记录在遥远的服务器上，也不会被拿去训练别人的产品。对于要处理敏感草稿、私人笔记或机密工作的人来说，这和云端聊天机器人有着实实在在的区别。第二个理由是独立：本地模型在飞机上、在没信号的电梯厅里、在服务中断时都能用，而且一旦拥有，每次使用都不再花钱。
这些好处也伴随着诚实的代价。本地模型受制于你的硬件，其中最大的因素是内存。模型必须装进设备的内存里，或者最好是装进显卡芯片的显存里，才能以可用的速度运行。较小的模型能在一般机器上跑，但没那么聪明；更大、更聪明的模型需要的内存，超过许多笔记本电脑所拥有的。存储也很重要，因为模型文件很大，你可能会保留好几个。而且运算会产生热量，所以在我们这样的气候里，一台轻薄本卖力跑模型时会发烫，风扇也会转起来。手机能运行小模型，但这么做时电量会掉得更快。
速度是另一个取舍。在配置好的机器上，本地模型可以感觉很跟手；在一般的机器上，它可能吐字很慢，一次只蹦几个词。这对私人草稿或一个小问题来说没问题，但如果你期待云端服务那种即时回复，就会让人着急。合理的预期是：把它当成一个能应付日常任务的得力助手，而不是在艰深推理、长文档或最新资讯上去和最大的托管模型一较高下。
上手，并保持现实的期待
要试这个，你不必是程序员。最友好的路径，是用一个专为运行模型而做的桌面应用，它给你一个聊天窗口、一份可下载的模型清单和合理的默认设置。先从一个小模型开始，看看它在你机器上的表现，只有当硬件从容应付时，再往更大的尺寸上加。在手机上，找一个信誉良好、专为本地运行模型设计的应用，并预料那些更小、更轻的选项表现最好。无论走哪条路，都从应用自带的目录或知名来源下载模型，而不是从开放网络上随便抓来的文件。
让模型对得上任务。小型本地模型擅长改写文字、给你粘贴进去的内容做摘要、起草一条简单的消息、头脑风暴、回答一般性问题，以及帮忙处理代码片段。它们在需要广博、最新或专业知识的任务、长链条的推理，或对事实和数字的准确回忆上，就比较弱。和每一种 AI 工具一样，它们也会出现“幻觉”，一本正经地说错话，所以任何要紧的内容都必须对照可靠来源核实。在本地运行模型保护的是你的隐私，并不会让模型更诚实。
| 因素 | 本地 AI | 云端 AI |
|---|---|---|
| 隐私 | 数据留在你的设备上 | 数据发送给服务商 |
| 能力 | 模型更小、更受限 | 可用上最大的模型 |
| 速度 | 取决于你的硬件 | 通常快而稳定 |
| 离线可用 | 是，下载之后即可 | 否，需要联网 |
| 持续成本 | 下载后无需再付费 | 往往是订阅或按次收费 |
把期待放在现实的位置上，这种体验就很值得。一个切合实际的方案，是在一台内存足够的笔记本电脑上跑一个中小型模型，离线处理私密的日常文字任务，同时对于繁重或需要大量知识的活儿，你依然转向云端服务。留意你的存储，预料轻薄机器会有些发热和风扇声，并把你试的第一个模型当成一次实验，而不是最终的选择。
还有一个值得了解的折中地带。如今许多主流应用会把工作拆分，快速的任务在你的设备上完成，只有更难的请求才发往云端。这能让简单的事既快又私密地处理好，又不必在你需要时放弃大模型的强大。无论你选择哪种平衡，核心原则都成立：本地 AI 是一件强大的隐私工具，但有着实实在在的硬件局限，所以在隐私和离线访问最重要的地方使用它，任何要紧的内容都要核实，也别指望笔记本上的一个小模型能做到最大的托管系统所能做的一切。