0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

部署基于 LLM 的私有知识库系统 AnythingLLM

jf_94205927 来源:jf_94205927 作者:jf_94205927 2024-12-27 13:44 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

一、Flexus 云服务器 X 实例介绍

云服务器,如同虚拟的超级计算机,是云计算技术的核心组成部分。它通过网络提供计算资源,包括处理器、内存、存储和操作系统等,用户可以根据需求灵活配置和扩展。云服务器具备高可用性、弹性伸缩和快速部署等特点,适用于各种规模的企业和开发者,无论是网站托管、数据分析还是应用开发,都能提供稳定、高效的支持。

华为云下一代云服务器 Flexus X 实例焕新上线,新产品搭配弹性伸缩服务 AS 及负载均衡服务 ELB,可以实现基于业务负载的快速弹缩,从容应对多变的市场业务压力,覆盖高科技、零售、金融、游戏等行业大多数通用工作负载场景。

wKgZO2duPsaAU8AeAAKFUe3KKt0777.png

Flexus X 实例通过和其他服务组合,具备计算、镜像安装、网络、存储、安全等能力,您可根据业务需要灵活配置各资源。

wKgZO2duPsyAYkywAAvyr-51fqA462.gif

本次测评使用的规格是:4 核 12G-100G-3M 规格的 Flexus X 实例基础模式

wKgZO2duPs2AWVkiAAHXWmcDvoA232.png

二、Flexus 云服务器 X 实例配置

2.1 重置密码

购买服务器的时候可以提前设置用户名和密码,因为我这里跳过了,所以购买完成后需要重置密码,会短信或站内消息通过你的云服务器信息,重点是公网 IP 地址和用户名,首先打开你的服务器控制台,选择重置密码

wKgZPGduPs2AUB2iAAJxDfXk-p8031.png

勾选自动重启,点击确定即可

wKgZO2duPs2AbnJtAADmtG_r2Mc652.png

2.2 服务器连接

华为云服务器提供了多种链接方式,如使用控制台提供的 VNC 方式登录、使用 Linux/Mac OS 系统主机登录 Linux 弹性云服务器(即 ssh root@192.168.48.78 命令)或者使用 Putty、Xshell 等工具登录 Linux 弹性云服务器。

我个人习惯使用 MobaXterm这款软件,添加 SSH 连接,输出公网 IP、用户名和端口(默认 22),连接即可。

wKgZPGduPs6AOlcwAAB35aqd5VA036.png

2.3 安全组配置

安全组是一个逻辑上的分组,为同一个 VPC 内的云服务器提供访问策略。用户可以在安全组中定义各种访问规则,当云服务器加入该安全组后,即受到这些访问规则的保护。

系统为每个网卡默认创建一个默认安全组,默认安全组的规则是对出方向上的数据报文全部放行,入方向访问受限。您可以使用默认安全组,也可以根据需要创建自定义的安全组。

wKgZO2duPs6AX6b1AAJtUulR8LY910.png

主要需要填写优先级(默认填 1 即可)、协议端口(协议一般为 TCP 或 UDP,端口一般选择你项目需要暴露的端口即可),描述(选填,一般会填写此端口的用途以免忘记了),其他默认点击确定即可。安全组配置主要是暴露端口可以给外网访问。

wKgZPGduPs6ANv_BAAHf3yU1SGg476.png

如果还不清楚可以参考文档:安全组配置示例

总结

AnythingLLM 是一款多功能人工智能应用,旨在为用户提供一个统一的平台来处理多种类型的文档和模型。无论是在 Windows、MacOS,还是 Linux 系统上,用户都可以通过简单的“一键安装”来获取完整的工具套件。它支持包括 PDF、Word 文档等多种格式的文件处理,并允许用户连接各种自定义或开源的语言模型,如 GPT-4、Llama、Mistral 等,因此用户不再受到单一模型的约束。此外,AnythingLLM 能够完全在本地运行,只与用户明确连接的服务进行交互,这大大增强了数据的隐私保护。此次使用的 Flexus X 实例配置还是很高的 4 核 12G-100G-3M 规格的基础模式,尽管本地运行 ollama 模型,也能在推理过程中抗住压力,稳定输出,尽管输出缓慢,CPU 和内存占用也没有超过 60%,整体体验很好。

喜欢用 Docker 部署有趣项目?华为云服务器助你轻松实现!高性能、高可靠,支持一键部署 Docker 环境,快速启动你的创意项目。现在华为云服务器正进行 828 B2B 企业节,限时优惠,立即抢购,让你的项目飞速上线!

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 云服务器
    +关注

    关注

    0

    文章

    840

    浏览量

    14747
  • 华为云
    +关注

    关注

    3

    文章

    2836

    浏览量

    19372
  • LLM
    LLM
    +关注

    关注

    1

    文章

    350

    浏览量

    1394
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    HPM知识库 | [EtherCAT] 从站运行过程中报错(错误码:0x1A\\0x1B\\0x2C)的代码分析

    HPM知识库先楫半导体官方公众号全新上线「HPM知识库」专栏。我们将在这里不定期更新技术文档、开发指南与实战教程,打造先楫MCU开发的“一站式技术参考指南”!了解更多,欢迎访问https
    的头像 发表于 03-13 08:34 281次阅读
    HPM<b class='flag-5'>知识库</b> | [EtherCAT] 从站运行过程中报错(错误码:0x1A\\0x1B\\0x2C)的代码分析

    开发知识库测试添加知识库

    文档类型的知识要等待数据校验完成后才能上架 可以点击知识名称查看知识详情 等待后端处理完成可以点击知识列表的上架 在智能体中知识库的位置点
    发表于 03-06 15:07

    鸿蒙智能体开发知识库---创建知识库

    在小艺智能体平台页面,通过【工作空间】-【知识库】-【新建知识库】,进入新建知识库流程。 若勾选【授权知识库用于知识问答,授权后该
    发表于 03-06 10:18

    设备维修总踩坑?故障知识库 + AI 诊断,新手也能修复杂机

    设备维修的核心痛点,本质是知识难沉淀、故障难预判。知识库解决经验传承问题,AI诊断实现精准高效,二者结合让维修从“经验依赖”转向“标准化+智能辅助”。
    的头像 发表于 01-08 14:04 531次阅读
    设备维修总踩坑?故障<b class='flag-5'>知识库</b> + AI 诊断,新手也能修复杂机

    【CIE全国RISC-V创新应用大赛】+ 一种基于LLM的可通过图像语音控制的元件管理工具

    ,在LLM阶段后直接进行播报,用户可直接进行语音确认。 2.出库阶段 ​ 在用户将bom表输入系统后,系统进行数据预处理,自动查找数据进行出库,如用户启用了ASR则可由用户使用语言描
    发表于 11-12 19:32

    工业物联网平台适合私有本地部署还是云端部署

    工业物联网平台的部署方式需根据企业核心需求选择, 私有本地部署适合数据安全要求极高、需深度定制且具备技术实力的企业;云端部署则更适合追求成本效益、灵活扩展及快速上线的中小型企业或实时性
    的头像 发表于 11-12 11:42 537次阅读
    工业物联网平台适合<b class='flag-5'>私有</b>本地<b class='flag-5'>部署</b>还是云端<b class='flag-5'>部署</b>?

    RAG实践:一文掌握大模型RAG过程

    依赖LLM训练时的固有知识,而是在回答问题前,先从外部资料中"翻书"找资料,基于这些资料生成更准确的答案。
    的头像 发表于 10-27 18:23 1715次阅读
    RAG实践:一文掌握大模型RAG过程

    NVIDIA TensorRT LLM 1.0推理框架正式上线

    ,TensorRT LLM 还承担着推理领域新技术载体的角色,通过将前沿创新引入 LLM 推理生态,持续提升整个生态系统合作伙伴的技术能力。
    的头像 发表于 10-21 11:04 1426次阅读

    DeepSeek模型如何在云服务器上部署

    随着大型语言模型(LLM)的应用日益普及,许多开发者和企业希望将像DeepSeek这样的优秀模型部署到自己的云服务器上,以实现私有化、定制化服务并保障数据安全。本文将详细阐述部署Dee
    的头像 发表于 10-13 16:52 1147次阅读

    本地部署openWebUI + ollama+DeepSeek 打造智能知识库并实现远程访问

    。 DeepSeek 作为一个开源的大语言模型,我们可以通过 ZeroNews + openWebUI + ollama的方式,轻松的在本地私有部署 DeepSeek,不受网络攻击影响,满足不同用户的需求场景。 下面
    的头像 发表于 09-10 16:41 5523次阅读
    本地<b class='flag-5'>部署</b>openWebUI + ollama+DeepSeek 打造智能<b class='flag-5'>知识库</b>并实现远程访问

    米尔RK3576部署端侧多模态多轮对话,6TOPS算力驱动30亿参数LLM

    话:基于历史回答图中女孩头发和衣服分别是什么颜色 上一次我们详细讲解在RK3576上部署多模态模型的案例,这次将继续讲解多轮对话的部署流程。整体流程基于 rknn-llm 里的多轮对话案例[1
    发表于 09-05 17:25

    零基础在智能硬件上克隆原神可莉实现桌面陪伴(提供人设提示词、知识库、固件下载)

    方式后点击保存,系统自动处理片刻后便可看到文件处于启用状态。 3、角色模板关联人设知识库回到角色模板,下拉至【角色知识库】部分,点击【关联知识库】,选择我们创建的【原神可莉人设
    发表于 08-22 19:51

    如何在魔搭社区使用TensorRT-LLM加速优化Qwen3系列模型推理部署

    TensorRT-LLM 作为 NVIDIA 专为 LLM 推理部署加速优化的开源,可帮助开发者快速利用最新 LLM 完成应用原型验证与产
    的头像 发表于 07-04 14:38 2429次阅读

    使用NVIDIA Triton和TensorRT-LLM部署TTS应用的最佳实践

    针对基于 Diffusion 和 LLM 类别的 TTS 模型,NVIDIA Triton 和 TensorRT-LLM 方案能显著提升推理速度。在单张 NVIDIA Ada Lovelace
    的头像 发表于 06-12 15:37 2079次阅读
    使用NVIDIA Triton和TensorRT-<b class='flag-5'>LLM</b><b class='flag-5'>部署</b>TTS应用的最佳实践

    在Cherry Studio中快速使用markitdown MCP Server?

    。 在使用RAG技术配置私有知识库的过程中,由于RAG技术不能直接处理PDF这样的非结构化数据,所以,必须使用转换工具把PDF文档转换为RAG技术可以使用的结构化数据文档,例如:Markdown或JSON
    的头像 发表于 05-15 10:39 1694次阅读
    在Cherry Studio中快速使用markitdown MCP Server?