milvus向量数据库的主要特性和应用场景

milvus 向量数据库安装

milvus 简介

Milvus 是一个开源的向量数据库，专门为处理和分析大规模向量数据而设计。它适用于需要高效存储、检索和管理向量数据的应用场景，如机器学习、人工智能、计算机视觉和自然语言处理等。以下是 Milvus 的一些关键特性和功能：
官方文档：https://milvus.io/docs/zh

主要特性

1.高效的向量检索：

• Milvus 支持多种高效的向量检索算法，包括基于内存的和基于磁盘的索引，能够快速处理大规模向量数据。

2.灵活的数据模型：

• Milvus 允许用户存储和管理不同类型的数据，包括结构化数据和非结构化数据，支持多种数据格式。

3.高并发处理：

• Milvus 能够支持高并发的查询请求，适合实时应用场景。

4.可扩展性：

• Milvus 支持水平扩展，可以根据需求增加节点，以处理更大的数据集和更多的查询请求。

5.多种编程语言支持：

• Milvus 提供多种语言的 SDK，包括 Python、Java、Go 和 C++，方便开发者在不同的应用程序中集成。

6.集成机器学习框架：

• Milvus 可以与主流的机器学习和深度学习框架（如 TensorFlow 和 PyTorch）集成，便于处理和分析向量数据。

7.支持多种索引类型：

• Milvus 提供多种索引类型（如 IVF、HNSW 和 ANNOY），用户可以根据具体需求选择合适的索引方式，以优化检索性能。

8.多种存储后端：

• Milvus 支持多种存储后端，包括本地存储和云存储，用户可以根据需要选择合适的存储方案。

应用场景

•图像和视频检索：在计算机视觉应用中，Milvus 可以用于图像和视频的相似性检索。

•自然语言处理：在 NLP 应用中，Milvus 可以用于文本向量的检索和分析。

•推荐系统：Milvus 可以帮助构建个性化推荐系统，通过用户行为数据进行向量检索。

•生物信息学：在生物信息学领域，Milvus 可以用于基因数据和蛋白质数据的分析和检索。

总结

Milvus 是一个强大的向量数据库，适合需要高性能向量检索和分析的各种应用场景。它的设计使得数据存储和检索变得高效且灵活，能够满足现代数据驱动应用的需求。

milvus 安装

初始化主机挂载目录

mkdir-p /zpaas/volumes/etcd
mkdir-p /zpaas/volumes/milvus
mkdir-p /zpaas/volumes/minio
chmod700 /zpaas/volumes/etcd

docker-compose-milvus.yml

version:'3.5'
services:
etcd:
 container_name:milvus-etcd
 image:hub-nj.iwhalecloud.com/zcm_k8s/etcd:3.5.6-0
 environment:
  -ETCD_AUTO_COMPACTION_MODE=revision
  -ETCD_AUTO_COMPACTION_RETENTION=1000
  -ETCD_QUOTA_BACKEND_BYTES=4294967296
  -ETCD_SNAPSHOT_COUNT=50000
 volumes:
  -/zpaas/volumes/etcd:/etcd
 ports:
  -"3379:3379"
 command:etcd-advertise-client-urls=http://127.0.0.1:3379-listen-client-urlshttp://0.0.0.0:3379--data-dir/etcd
 healthcheck:
  test:["CMD","etcdctl","endpoint","health"]
  interval:5s
  timeout:3s
  retries:10

minio:
 container_name:milvus-minio
 image:hub-nj.iwhalecloud.com/public/minio:RELEASE.2023-03-20T20-16-18Z
 environment:
  MINIO_ACCESS_KEY:minioadmin
  MINIO_SECRET_KEY:minioadmin
 ports:
  -"9001:9001"
  -"9000:9000"
 volumes:
  -/zpaas/volumes/minio:/minio_data
 command:minioserver/minio_data--console-address":9001"
 healthcheck:
  test:["CMD","curl","-f","http://localhost:9000/minio/health/live"]
  interval:5s
  timeout:3s
  retries:10

standalone:
 container_name:milvus-standalone
 image:hub-nj.iwhalecloud.com/public/milvus:v2.4.5
 command:["milvus","run","standalone"]
 security_opt:
  -seccomp:unconfined
 environment:
  ETCD_ENDPOINTS:etcd:3379
  MINIO_ADDRESS:minio:9000
 volumes:
  -/zpaas/volumes/milvus:/var/lib/milvus
 healthcheck:
  test:["CMD","curl","-f","http://localhost:9091/healthz"]
  interval:30s
  start_period:90s
  timeout:20s
  retries:3
 ports:
  -"19530:19530"
  -"9091:9091"
 depends_on:
  -"etcd"
  -"minio"

networks:
default:
 name:milvus

启动

`docker-compose -f docker-compose-milvus.yml up -d`

查看

root@10.10.194.210[/zpaas/volumes]# docker ps -a | grep milvus
df9f6e31a2f6  hub-nj.iwhalecloud.com/public/milvus:v2.4.5            "/tini -- milvus run…" 33 minutes ago    Up 33 minutes (healthy)   0.0.0.0:9091->9091/tcp, :::9091->9091/tcp, 0.0.0.0:19530->19530/tcp, :::19530->19530/tcp  milvus-standalone
3e4c32da554c  hub-nj.iwhalecloud.com/public/minio:RELEASE.2023-03-20T20-16-18Z "/usr/bin/docker-ent…" 33 minutes ago    Up 33 minutes (healthy)   0.0.0.0:9000-9001->9000-9001/tcp, :::9000-9001->9000-9001/tcp               milvus-minio
be224b2f19d7  hub-nj.iwhalecloud.com/zcm_k8s/etcd:3.5.6-0            "etcd -advertise-cli…" 33 minutes ago    Up 33 minutes (unhealthy)  2379-2380/tcp, 4001/tcp, 7001/tcp, 0.0.0.0:3379->3379/tcp, :::3379->3379/tcp        milvus-etcd
root@10.10.194.210[/zpaas/volumes]# dockerexec-it milvus-etcd etcdctl --endpoints=http://127.0.0.1:3379 endpoint health
http://127.0.0.1:3379 is healthy: successfully committed proposal: took = 9.597225ms

attu 安装

attu 为 milvus 的一款图形化管理工具，非常方便对 milvus 的一些管理

docker run -d 
--name=attu 
-p 8000:3000 
-e MILVUS_URL=10.10.194.210:19530 
hub-nj.iwhalecloud.com/public/attu:v2.3.9

访问
http://x.x.x.x:8000

minio 访问

minioadmin / minioadmin
http://x.x.x.x:9001

链接:https://blog.csdn.net/shenyuanhaojie/article/details/146561917