大多数人是通过一个网站或应用初次接触AI，而这些应用会与某个远方强大的计算机对话。但还有另一种使用这些工具的方式正在悄然吸引拥趸：让AI在你自己的设备上运行，完全不需要联网。对于新加坡任何重视隐私的人，或想要一个在飞机上、在没有信号的电梯里也能用的聊天机器人的人来说，本地AI聊天机器人的这套做法值得了解。本指南用平实的语言解释「本地」和「离线」究竟是什么意思、你为什么可能想要它、你需要什么，以及它的局限在哪里。
本地 AI 聊天机器人到底是什么
当你使用一款典型的AI聊天机器人时，你的问题会经由互联网传到某家公司的服务器，由它们完成繁重的「思考」，再把答案送回来。本地AI聊天机器人则不同：AI模型被下载到你自己的笔记本电脑、手机或台式机上，所有的「思考」都在那里就地完成。一旦装好，即使完全关掉网络，它也能回答你。
代价在于规模与算力。运行在云端的版本极其庞大，跑在专门的硬件上。而能装进个人设备的版本更小、更轻，所以能力较弱，但它们也私密、随时可用。如果你想全面了解这个概念，我们的姊妹篇在自己的设备上运行 AI 模型讲得更深入。
你会遇到几个大白话术语：
- 模型。AI 的「大脑」，一个只需下载一次的大文件。
- 离线。在没有互联网连接的情况下工作。
- 本地。在你自己的硬件上运行，而不是在某家公司的服务器上。
你为什么可能想要它，又为什么可能不想
总体而言，本地AI并不比云端AI更好或更差；它是一套不同的取舍。诚实地看待两面会有帮助。
吸引人的理由：
- 隐私。因为没有任何东西离开你的设备，你的问题以及你粘进去的任何文字都留在你手里。如果你想起草一些私人的东西又不希望它进到某家公司的服务器，这确实很有用。我们的AI 与你的隐私指南解释了为什么这很重要。
- 随处可用。在飞行途中、在地下停车场，或在宽带断线时，本地聊天机器人照样能用。
- 没有用量计。装好之后，就没有来自服务商的按条数限制，不过你设备的电量和速度才是真正的上限。
- 学习。亲手搭建一套，会让你对AI究竟如何运作了解很多。
要三思的理由：
- 能力较弱。较小的本地模型更容易出错、在长对话中跟丢思路，或给出比大型云端工具更浅显的答案。
- 它照样会产生幻觉。离线并不意味着准确。本地模型也可能一样自信地出错，所以任何重要的东西都要核实，正如我们关于AI 幻觉与事实核查的说明所强调的。
- 没有实时信息。它无法上网查东西，所以它不会知道今天的新闻、价格或巴士到站时间。
- 它会占用你的资源。在本地运行AI，会让一台较旧或较低配的设备变得迟缓，并很快耗尽电量。
你需要什么，以及如何安全地试用
你不必是技术高手也能尝试，但你确实需要一台性能过得去的设备。本地AI很吃硬件，所以一台内存和存储都充裕的较新笔记本或台式机，会比一台老旧的低配机器应付得好得多。有些手机现在也能跑小型模型，不过它们在较新的高端机型上运行得最好。
通常的路径是这样的。你安装一款专门用来运行本地模型的友好应用，通过它下载一个模型，然后在一个感觉和其他聊天机器人差不多的窗口里聊天。这类知名的免费应用有好几款，它们把技术细节藏在简单的界面背后，所以你很少需要碰任何复杂的东西。由于这类工具变化很快，请按应用自己最新的安装指南来做，而不要照搬任何固定步骤。
几个明智的习惯：
- 从小的开始。先挑一个较小的模型，看看你的设备是否应付得来，运行顺畅后再尝试更大的。
- 留意存储空间。模型都是大文件，所以下载前请确保你有充足的可用空间。
- 只从应用可信的来源下载。坚持使用可靠应用内提供的模型，而不要从开放网络上随便找来的文件，以免中招恶意软件。
- 保持合理的期望。把本地聊天机器人当作用来起草和头脑风暴的私密离线帮手，而不是无所不知的神谕。
与任何AI一样的安全规则同样适用。不要依赖它做法律、医疗、税务或财务方面的决定；把它的答案当作起点，任何有真实利害关系的事都应咨询合格的专业人士。在工作中，请遵守雇主的AI政策，因为在本地运行AI并不会自动让公司数据的处理方式变得妥当。
对你来说值不值得
如果你充满好奇、重视隐私，又有一台性能不错的设备，那么本地AI聊天机器人是一次值得的周末实验，也是一件顺手的离线工具。如果你主要想要尽可能聪明的答案、而且总是有网络，那么主流的云端聊天机器人通常会更好地服务你；我们对主流 AI 聊天机器人的概览可以帮你选择。
许多人最后两者都用：用云端工具做要求高的活儿，用本地工具处理私密的草稿和离线的时刻。从小处开始，把期望放平实，任何要紧的东西都要核实，然后享受拥有一个完全住在你自己设备上的得力助手。