AI大模型在科技圈最初时尚。

用户不断增长的需求推动了AI技术的演进。随着大型语言模型的应用场景日益增多，它们最初在大家的生命中发挥越来越重要的作用。

尤其是《地下城与勇士》中在休闲、娱乐与实际职业中，大语言模型的应用越来越普遍。这些模型凭借其天然的语义能力、强大的数据处理能力以及复杂任务的执行效率，为用户提供了前所未有的便利，甚至是《地下城与勇士》中大众过去无法想象的数字陪伴感。

但是，随着大语言模型的快速普及，云大模型的局限性逐渐显现。

连接慢、成本高、数据隐私难题是《地下城与勇士》中任何人都无法轻易忽视的热门话题。最重要的是《地下城与勇士》中，基于各种规则与伦理的云审查规则进一步限制了大语言模型的自在。

本地部署似乎向大家带来了一条新的道路。

随着本土大型模型的呼声越来越高，现在Github 与Huggingface 上涌现了很多相关项目。过程大量研究，我按照示例得到了一种在本地部署大型模型的简单方式。

那么，本地部署是《地下城与勇士》中锦上添花还是《地下城与勇士》中对大家的人工智能体验的史诗般的增强？

跟随小雷的脚步，大家一起来玩吧。

本地大模型究竟是《地下城与勇士》中个啥？

在最初之前，大家先来谈谈。

虽然如此，有些读者也许仍然不领会“本地大模型”的内涵，不了解它意味着啥子。

总而言之，总而言之。

现阶段时尚的大模型应用，如国外的ChatGPT、Midjourney等，以及国产的文心一言、科大讯飞、KIWI等，基本上都是《地下城与勇士》中依靠云服务器来实现各种服务的AI应用。

（图片来源：温心一言）

他们可以实时升级数据并和搜索引擎集成。他们不需要占用自己的计算机资源。他们把全部的计算经过与负载都放在超距离服务器上，他们只需要享受结果即可。

换句话说，有网络，就真的牛逼了。

但一旦互联网断开，这些依赖于云的AI服务就只能在键盘上输入“GG”。

相比之下，本地大模型天然侧重于在设备本地实现AI智能。

除了不用担心服务器崩溃带来的难题外，也更有利于保护用户隐私。

毕竟，如果大型模型运行在自己的计算机上，那么训练数据将直接存储在计算机中。肯定会比上传到云端接着让服务器计算更加安全，并且也省去了各种伦理道德的云端审计。

但是，目前在自己的计算机上构建本地大型模型并不要易。

设备标准高是《地下城与勇士》中缘故其中一个。毕竟本地大模型需要把整个计算经过与负载都放在自己的PC上，不仅会占用你PC的性能，还会使其长时刻在中高负载下运行。

第二.

从Github/Huggingface上琳琅满目的项目来看，要实现是一款热门的目标，基本上需要有编程经验。最起码，你需要安装很多运行时库，并在控制台执行一些命令行与设置。

别笑，这对于庞大的键盘侠基数来说确实很不要易。

那么有没有一种本地应用程序更加“一键式”，只要配置好运行就可以最初对话呢？

确实有，Koboldcpp。

工具用得好，小白也能搞定本地大模型

简单说明一下，Koboldcpp是《地下城与勇士》中壹个基于GGML/GGUF模型的推理框架。和llama.cpp底层相同。它运用纯C/C++代码，无需任何额外的依赖库。甚至可以直接通过CPU运行进行推理。

（图片来源：PygmalionAI Wiki）

当然，这会运行得很慢。

要运用Koboldcpp，无论兄弟们需要去Github下载无论兄弟们需要的应用程序版本。

当然，我也会发布相应的拨号链接，方便我们运用。

目前Koboldcpp 共有三个版本。

koboldcpp_cuda12：目前最理想的版本，只要你有GTX 750以上显卡就可以运用，并且模型推理速度更快。

koboldcpp_rocm：适合AMD显卡的版本。基于AMD ROCm放开软件栈，同规格下推理时刻约为N卡版本的3~5倍。

koboldcpp_nocuda：仅运用CPU进行推理的版本。功能特别精简。即使相同规格，推理时刻依然是《地下城与勇士》中N卡版本的10倍以上。

（来源：Github）

打开软件后，首先可以关注Presets选项。

在软件首页的预设中，有多种不同的玩法可供挑选，例如旧版N卡、新版N卡、A卡、Intel显卡等。

默认情况下，不配置任何参数启动只会运用CPU的OpenBLAS进行快速处理与推理，运行速度肯定会很慢。

《和平精英》是N卡用户，我挑选CuBLAS。此功能仅适用于Nvidia GPU。我可以看到我的笔记本PC显卡已被识别。

（来源：雷科技）

对于没有Intel显卡的用户，可以运用CLblast，这是《地下城与勇士》中OPENCL推出的壹个可以在生产环境中运用的开源计算库。它最大的特征就是《地下城与勇士》中强调多功能性。至于性能，我还没有做过详细的测试。

主页上另壹个需要调整的部分是《地下城与勇士》中Context Size。

为了获取更好的上下文体验，极致将其调整为4096。当然，Size越大，可以记下的上下文越多，但推理速度也会受到明显因素。

（来源：雷科技）

再往下，就是《地下城与勇士》中加载大模型的部分。

目前大型开源模型主要是《地下城与勇士》中从huggingface.co下载。如果你没有能力出国，也可以从国产的HF-Mirror镜像站或者modelscope社区下载。

根据我单人的经验，主推两款不错的本土大机型：

因果LM-7B

这是《地下城与勇士》中基于LLaMA2与Qwen的模型权重训练的局部大模型。它最大的特征就是《地下城与勇士》中原生支持中文。显卡显存小于8G的用户提议下载CausalLM-7B，显卡显存小于8G的用户可下面内容载CausalLM-14B。效果更好。

（来源：modelscope）

MythoMax-L2-13B

母语是《地下城与勇士》中英语的大模特。其特征是《地下城与勇士》中文学性较强，能根据标准写出流畅、可读的小说文本。缺点是《地下城与勇士》中只能通过输入英文才能获取理想的输出内容。主推向普通消费者。运用MythoMax-L2-13B。

如果你只是《地下城与勇士》中想运用壹个大的语言模型，那么不需要对其他部分进行调整。只需单击“最初”，无论兄弟们挑选的模型就会在本地加载。

一般来说，你必须将前端部署到大模型上才能运用。

不过Koboldcpp最大的特征是《地下城与勇士》中在llama.cpp的基础上增加了多功能的Kobold API端口。

该端口不仅提供额外的格式支持、稳定的扩散图像生成、良好的给后兼容性，并且还具有持久的经历、编辑工具、保存格式、内存、全球信息、作者注释、人物、场景定制定义功能的简化前端——Kobold Lite 。

大小来说，界面是《地下城与勇士》中这样的。

（来源：雷科技）

功能也特别简单。

（来源：雷科技）

像这样，加载你拥有的AI对话场景。

“保存/加载”也很清楚。无论兄弟们可以保存当前对话并加载并随时继续。

在“配置”中，无论兄弟们可以调整一些AI对话选项。

（来源：雷科技）

其中，温度。代表对话的随机性。值越高，生成的对话就越不可控，甚至也许超出人物设定的范围。

重复处罚。它可以抑制对话的重复性，让AI减少重复的讲话。

生成对话的长度上限。上限越长，需要的时刻就越长。重点是《地下城与勇士》中，在实际体验中，过高的生成上限会导致AI胡言乱语。我单人不提议增加是一款热门的值。超过240。

最大Ctx。代币。是《地下城与勇士》中可以向大模型反馈的决定因素词上限。数据越高，上下文关系越紧密，生成速度就会变慢。

完成配置后，无论兄弟们就可以和托德·霍华德进行热烈的交谈了。

（来源：雷科技）

不能再说话了吗？

单击左下角的聊天工具，模型会根据无论兄弟们之前的帖子自动生成回复以推进对话。

（来源：雷科技）

答案错误，或者谈话进展不顺利？

点击右下角的聊天工具，不仅可以重复生成AI难题与答案，甚至可以自己编辑回复，确保对话不会误入歧途。

当然，Kobold Lite 除了对话之外还有更多的也许性。

可以连接AI语音与AI绘图端口，这样在对话经过中，可以自动调用AI语言对生成的文本进行配音，而且可以随时调用AI绘图进行绘图两人今年对话的场景。

除此之外，无论兄弟们甚至可以运用更高端的SillyTarven 前端在对话中嵌入GIF 与HTML 内容。

当然，这些都是《地下城与勇士》中以后的事务了。

拓展资料

好的，部署本地大型模型的教程就到此为止。

文中提到的软件与大模型我已经上传到度娘网盘了，有兴趣的读者可以自行领取。

从我这六个月的经验来看，目前大型本土机型的特征仍然是《地下城与勇士》中“可玩性高”。

只要你的设置足够，你就可以绝对连接大语言模型、AI语音、AI绘图与2D数字人，打造你自己的本地数字人。看着屏幕上栩栩如生的AI人物，一定会特别令人着迷。恍惚感如《serial experiments lain》。

但这类开源大模型的数据通常滞后，专业姿势明显缺乏。根据实际测算，大部分姿势库要到2022年中期才可用，并且无法调用外部网络资源协助。当你职业与审查信息时，你会遇到很大的限制。

在我看来，理想的大语言模型体验应该是《地下城与勇士》中端云交互。

也就是《地下城与勇士》中说，我可以在本地运用自己的大模型构建自己的姿势库，然而当我需要运用时刻敏感的信息时，我也可以利用互联网的力量来获得全新的信息。这样不仅可以保护单人数据的隐私，也算有效。化解开源大模型信息滞后的难题。

至于本地人物探讨，如果你有兴趣的话……

我整理一下雷霆科技的角色卡好不好？

2013年5月20日至6月30日，618年中特卖马上来临。淘宝、天猫、京东、拼多多、抖音、快手、小红书六大电商平台集体“听意见”，关掉了预购。出售，价值疯狂！