0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

部署基于 LLM 的私有知识库系统 AnythingLLM

jf_94205927 来源:jf_94205927 作者:jf_94205927 2024-12-27 13:44 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

一、Flexus 云服务器 X 实例介绍

云服务器,如同虚拟的超级计算机,是云计算技术的核心组成部分。它通过网络提供计算资源,包括处理器、内存、存储和操作系统等,用户可以根据需求灵活配置和扩展。云服务器具备高可用性、弹性伸缩和快速部署等特点,适用于各种规模的企业和开发者,无论是网站托管、数据分析还是应用开发,都能提供稳定、高效的支持。

华为云下一代云服务器 Flexus X 实例焕新上线,新产品搭配弹性伸缩服务 AS 及负载均衡服务 ELB,可以实现基于业务负载的快速弹缩,从容应对多变的市场业务压力,覆盖高科技、零售、金融、游戏等行业大多数通用工作负载场景。

wKgZO2duPsaAU8AeAAKFUe3KKt0777.png

Flexus X 实例通过和其他服务组合,具备计算、镜像安装、网络、存储、安全等能力,您可根据业务需要灵活配置各资源。

wKgZO2duPsyAYkywAAvyr-51fqA462.gif

本次测评使用的规格是:4 核 12G-100G-3M 规格的 Flexus X 实例基础模式

wKgZO2duPs2AWVkiAAHXWmcDvoA232.png

二、Flexus 云服务器 X 实例配置

2.1 重置密码

购买服务器的时候可以提前设置用户名和密码,因为我这里跳过了,所以购买完成后需要重置密码,会短信或站内消息通过你的云服务器信息,重点是公网 IP 地址和用户名,首先打开你的服务器控制台,选择重置密码

wKgZPGduPs2AUB2iAAJxDfXk-p8031.png

勾选自动重启,点击确定即可

wKgZO2duPs2AbnJtAADmtG_r2Mc652.png

2.2 服务器连接

华为云服务器提供了多种链接方式,如使用控制台提供的 VNC 方式登录、使用 Linux/Mac OS 系统主机登录 Linux 弹性云服务器(即 ssh root@192.168.48.78 命令)或者使用 Putty、Xshell 等工具登录 Linux 弹性云服务器。

我个人习惯使用 MobaXterm这款软件,添加 SSH 连接,输出公网 IP、用户名和端口(默认 22),连接即可。

wKgZPGduPs6AOlcwAAB35aqd5VA036.png

2.3 安全组配置

安全组是一个逻辑上的分组,为同一个 VPC 内的云服务器提供访问策略。用户可以在安全组中定义各种访问规则,当云服务器加入该安全组后,即受到这些访问规则的保护。

系统为每个网卡默认创建一个默认安全组,默认安全组的规则是对出方向上的数据报文全部放行,入方向访问受限。您可以使用默认安全组,也可以根据需要创建自定义的安全组。

wKgZO2duPs6AX6b1AAJtUulR8LY910.png

主要需要填写优先级(默认填 1 即可)、协议端口(协议一般为 TCP 或 UDP,端口一般选择你项目需要暴露的端口即可),描述(选填,一般会填写此端口的用途以免忘记了),其他默认点击确定即可。安全组配置主要是暴露端口可以给外网访问。

wKgZPGduPs6ANv_BAAHf3yU1SGg476.png

如果还不清楚可以参考文档:安全组配置示例

总结

AnythingLLM 是一款多功能人工智能应用,旨在为用户提供一个统一的平台来处理多种类型的文档和模型。无论是在 Windows、MacOS,还是 Linux 系统上,用户都可以通过简单的“一键安装”来获取完整的工具套件。它支持包括 PDF、Word 文档等多种格式的文件处理,并允许用户连接各种自定义或开源的语言模型,如 GPT-4、Llama、Mistral 等,因此用户不再受到单一模型的约束。此外,AnythingLLM 能够完全在本地运行,只与用户明确连接的服务进行交互,这大大增强了数据的隐私保护。此次使用的 Flexus X 实例配置还是很高的 4 核 12G-100G-3M 规格的基础模式,尽管本地运行 ollama 模型,也能在推理过程中抗住压力,稳定输出,尽管输出缓慢,CPU 和内存占用也没有超过 60%,整体体验很好。

喜欢用 Docker 部署有趣项目?华为云服务器助你轻松实现!高性能、高可靠,支持一键部署 Docker 环境,快速启动你的创意项目。现在华为云服务器正进行 828 B2B 企业节,限时优惠,立即抢购,让你的项目飞速上线!

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 云服务器
    +关注

    关注

    0

    文章

    830

    浏览量

    14084
  • 华为云
    +关注

    关注

    3

    文章

    2805

    浏览量

    19092
  • LLM
    LLM
    +关注

    关注

    1

    文章

    340

    浏览量

    1257
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    工业物联网平台适合私有本地部署还是云端部署

    工业物联网平台的部署方式需根据企业核心需求选择, 私有本地部署适合数据安全要求极高、需深度定制且具备技术实力的企业;云端部署则更适合追求成本效益、灵活扩展及快速上线的中小型企业或实时性
    的头像 发表于 11-12 11:42 280次阅读
    工业物联网平台适合<b class='flag-5'>私有</b>本地<b class='flag-5'>部署</b>还是云端<b class='flag-5'>部署</b>?

    本地部署openWebUI + ollama+DeepSeek 打造智能知识库并实现远程访问

    。 DeepSeek 作为一个开源的大语言模型,我们可以通过 ZeroNews + openWebUI + ollama的方式,轻松的在本地私有部署 DeepSeek,不受网络攻击影响,满足不同用户的需求场景。 下面
    的头像 发表于 09-10 16:41 4969次阅读
    本地<b class='flag-5'>部署</b>openWebUI + ollama+DeepSeek 打造智能<b class='flag-5'>知识库</b>并实现远程访问

    米尔RK3576部署端侧多模态多轮对话,6TOPS算力驱动30亿参数LLM

    话:基于历史回答图中女孩头发和衣服分别是什么颜色 上一次我们详细讲解在RK3576上部署多模态模型的案例,这次将继续讲解多轮对话的部署流程。整体流程基于 rknn-llm 里的多轮对话案例[1
    发表于 09-05 17:25

    零基础在智能硬件上克隆原神可莉实现桌面陪伴(提供人设提示词、知识库、固件下载)

    方式后点击保存,系统自动处理片刻后便可看到文件处于启用状态。 3、角色模板关联人设知识库回到角色模板,下拉至【角色知识库】部分,点击【关联知识库】,选择我们创建的【原神可莉人设
    发表于 08-22 19:51

    如何在魔搭社区使用TensorRT-LLM加速优化Qwen3系列模型推理部署

    TensorRT-LLM 作为 NVIDIA 专为 LLM 推理部署加速优化的开源,可帮助开发者快速利用最新 LLM 完成应用原型验证与产
    的头像 发表于 07-04 14:38 1757次阅读

    AI知识库的搭建与应用:企业数字化转型的关键步骤

    随着数字化转型的加速,AI技术已经成为提升企业运营效率、优化客户体验、推动业务创新的重要工具。而AI知识库作为企业智能化的基础,发挥着至关重要的作用。通过构建高质量的知识库,企业能够更好地组织、管理
    的头像 发表于 03-27 15:18 1081次阅读

    【幸狐Omni3576边缘计算套件试用体验】DeepSeek 部署及测试

    、RKLLM 、编译和运行、效果演示等。 简介 介绍了板端部署的 DeepSeek 模型及其部署方案。 DeepSeek DeepSeek 是由杭州深度求索公司自主研发的高性能大语言模型,以其开源、轻量化
    发表于 03-21 19:31

    《AI Agent 应用与项目实战》阅读心得3——RAG架构与部署本地知识库

    系统架构设计上,采用了前后端分离的模式:前端使用Streamlit构建交互界面,后端集成了向量数据LLM部署环境的准备工作包括创建虚拟环境、安装必要的Python包、配置向量数据
    发表于 03-07 19:49

    技术融合实战!Ollama携手Deepseek搭建知识库,Continue入驻VScode

    Ollama、Deepseek-R1、AnythingLLM 搭建强大的本地个人知识库,并详细介绍 Continue 在 VScode 中的本地集成,带你解锁全新的技术应用体验,开启高效知识管理与开发
    的头像 发表于 03-04 14:47 1013次阅读
    技术融合实战!Ollama携手Deepseek搭建<b class='flag-5'>知识库</b>,Continue入驻VScode

    如何从零开始搭建企业AI知识库

    在数字化转型的浪潮中,企业逐渐意识到数据不仅是资源,更是驱动业务增长的“燃料”。然而,分散在邮件、文档系统、本地硬盘甚至员工脑海中的知识,往往如同孤岛般难以串联。AI知识库的出现,正试图将这些碎片化
    的头像 发表于 02-28 14:35 1752次阅读

    用腾讯ima和Deepseek建立个人微信知识库

    ---基于腾讯混元大模型或Deepseek-r推理模型的个人知识库。大模型是通才,知识库是专家大模型的训练数据无法实时更新,而你的知识库可以动态补充最新信息。大模型对细分领
    的头像 发表于 02-25 17:33 2025次阅读
    用腾讯ima和Deepseek建立个人微信<b class='flag-5'>知识库</b>

    DeepSeek从入门到精通(2):0成本用DeepSeek(满血版)搭建本地知识库

    我们身处数字化浪潮中,知识管理和利用的重要性与日俱增。拥有一个专属的本地知识库,能极大提升工作效率,满足个性化需求。但对于技术小白来说,搭建这样的知识库不仅存在技术门槛,同时也意味着需要一定的成本投入。
    的头像 发表于 02-23 15:34 1575次阅读
    DeepSeek从入门到精通(2):0成本用DeepSeek(满血版)搭建本地<b class='flag-5'>知识库</b>

    基于华为云 Flexus 云服务器 X 搭建部署——AI 知识库问答系统(使用 1panel 面板安装)

    ���对于企业来讲为什么需要华为云 Flexus X 来搭建自己的知识库问答系统??? 【重塑知识边界,华为云 Flexus 云服务器 X 引领开源问答新纪元!】 ���解锁知识新动力
    的头像 发表于 01-17 09:45 3650次阅读
    基于华为云 Flexus 云服务器 X 搭建<b class='flag-5'>部署</b>——AI <b class='flag-5'>知识库</b>问答<b class='flag-5'>系统</b>(使用 1panel 面板安装)

    华为云 Flexus 云服务器 X 实例之 openEuler 系统下搭建 MaxKB 开源知识库问答系统

    及个人开发者快速构建高效、灵活的应用环境。本文将详细介绍如何利用华为云 Flexus 云服务器 X 实例搭建基于 openEuler 系统的 MaxKB 开源知识库问答系统,为企业内部的知识
    的头像 发表于 01-17 09:44 1816次阅读
    华为云 Flexus 云服务器 X 实例之 openEuler <b class='flag-5'>系统</b>下搭建 MaxKB 开源<b class='flag-5'>知识库</b>问答<b class='flag-5'>系统</b>

    腾讯ima升级知识库功能,上线小程序实现共享与便捷问答

    近日,腾讯旗下的AI智能工作台ima.copilot(简称ima)迎来了知识库功能的重大升级。此次升级不仅增加了“共享知识库”的新能力,还正式上线了“ima知识库”小程序,为用户带来了更加便捷和高效
    的头像 发表于 12-31 15:32 2622次阅读