0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

DMicro框架的应用开发

电子工程师 来源:OSCHINA 社区 作者:ClownFish 2022-08-08 15:18 次阅读

概述

DMicro中的drpc组件的思想是参考erpc实现,甚至可以说是它的继承者。

drpc组件是DMicro框架的一部分,为了适配DMicro框架,在erpc的基础上做了深入的扩展开发。

整个DMicro大量使用goframe中的组件,如果业务使用goframe框架,可以无缝接入。

DRpc特性列表:

对等通信,对等Api

高性能,非阻塞异步IO

自定义Proto,,兼容http协议,自定义Codec

Hook点,插件系统,

Push消息,session管理,Socket抽象,

断线重连,过载保护,负载均衡,心跳机制,

平滑重启...

DServer特性列表:

快速构建,平滑重启,多进程支持,单/多进程一致

预定义命令行,ctrl命令管理服务

可观测,可控制,应用沙盒

DMicro已经内置组件:

[x]Registry服务注册

[x]Selector服务发现

[x]Eventbus事件总线

[x]Supervisor进程管理

[ ]Code gen代码生成

[ ]Tracing链路追踪

[ ]Metrics统计告警

[ ]Broker限流熔断

[ ]OpenAPI文档自动生成

架构

bace98a4-16c5-11ed-ba43-dac502259ad0.png

设计理念

对DMicro框架的设计,从设计之初就是在追求灵活性,适应性。在保证微服务的稳定性前提下,追求项目的开发效率。

面向接口设计,保证代码稳定,提供灵活定制。

抽象各组件的接口,高内聚,低耦合

分层设计,自上而下逐层封装,利于稳定和维护。

高性能,高可用,低消耗。

对开发友好,封装复杂度。

提供丰富的组件及功能,让开发专注业务。

无数个写DMicro的日夜,我都谨记开发三原则:

Clarity(清晰)

Simplicity(简单)

Productivity(生产力)

无论工作,还是做开源项目,都应该保持这三个原则,养成良好的习惯。

面向接口设计

DMicro秉承着万物皆接口的原则,提供框架无与伦比的扩展性.

下图展示的是消息的发送的流转流程,可以看到,所有的功能点都被抽象成了接口,每个功能点都提供了不同的实现.

baf85414-16c5-11ed-ba43-dac502259ad0.png

会话 Session

大多数的Rpc框架并不强调会话 (session) 的概念,因其应用场景不需要用到会话 (session). 那么drpc为什么需要抽象出会话 (session) 呢?

Endpoint融合了Client和Server, 需要提供相同的Api.

服务端需要主动向客户端发送消息,并且获取客户端的响应.

服务端支持对多个客户端批量发送消息.

异步主动断开一个或多个会话.

获取会话底层的文件描述符, 对其进行性能调优.

可以为每个会话绑定特殊的数据/属性.

Session抽象了整个drpc框架的会话,把Socket,Message,Context都融合到一起。开发者只需要对session进行操作,就能实现大多数需求.

获取连接信息

控制连接的生命周期 (超时时间)

控制单次请求的生命周期 (超时时间)

接收消息

发送消息

创建消息的上下文

绑定会话的相关信息 (如用户信息)

断线重连

主动断开会话.

健康检查

获取连接关闭事件

为会话设置单独的 id

Session接口可以细分为 4 个interface{}, 分别是EarlySession,BaseSession,CtxSession,Session. 对应的是应用的不同生命阶段会话 (Session) 拥有的不同属性.

EarlySession表示刚生成会话,尚未启动 goroutine 读取数据的阶段.

BaseSession只有最基础的方法,用于关闭连接时候的插件参数.

CtxSession在处理程序上下文中传递的会话对象.

Session全功能的会话对象.

正常情况下,开发者用到的都是Session,CtxSession这两个接口,其他 2 个接口是在插件中使用.

消息Message

消息Message包含消息头Header, 消息体Body, 是客户端与服务端之间通信的实体.

Message interface{}抽象了对通信实体的操作.

Size消息的长度

Transfer-Filter-Pipeline报文数据过滤处理管道

Seq序列号

MType消息类型

ServiceMethod资源标识符

Meta消息的元数据

BodyCodec消息体编码格式

Body消息体

bb16b72e-16c5-11ed-ba43-dac502259ad0.png

协议 Proto

协议是对消息Message对象的序列化和反向序列化,框架提供Proto接口。只需要实现该接口,开发者就能定制符合业务需求的自定义协议,从而提升了框架的灵活性.

接口的定义如下:

type Proto interface { Version() (byte, string) Pack(Message) error Unpack(Message) error}

Version()返回该协议的 id 和名字,两个组成唯一的版本号.

Pack对消息Message对象进行序列化.

Unpack对字节流反序列化,生成一个消息Message对象.

目前框架已支持Http,Json,Raw,Protobuf,JsonRpc这 5 个协议.

RAW协议组成如下:

bb34d1c8-16c5-11ed-ba43-dac502259ad0.png

其他协议可以参考代码.

编码 Codec

作为一个通用性的框架,支持的协议可以有多种,消息体的编解码也可以有多少种.drpc使用Codec接口对消息体 Body 进行编解码.

接口的定义如下:

type Codec interface { ID() byte Name() string Marshal(interface{}) ([]byte, error) Unmarshal([]byte, interface{}) error }

ID返回编 Codec 的 id

Name返回编 Codec 的名字,名字是为了开发者更容易识别.

Marshal对消息内容进行编码

Unmarshal对消息内容进行解码

目前框架已支持Form,Json,plain,Protobuf,XML这 5 个编解码.

连接 Socket

Socket扩展了net.Conn, 并且抽象出接口,方便框架对底层网络协议的集成.

Socket接口实现了一部分Session接口的功能,Session接口调用的一些方法,实际上是转发调用了Socket中的方法.

这样的分层实现,让Socket拥有的集成其他协议的能力.

TCP V4,TCP V6

Unix Socket

KCP

QUIC

支持对连接的性能调优.

SetKeepAlive开启链接保活

SetKeepAlivePeriod链接保活间隔时间

SetReadBuffer设置链接读缓冲区 size

SetWriteBuffer获取链接写缓冲区 size

SetNoDelay开启关闭 no delay 算法

ControlFD支持操作链接的原始句柄

有机的组合

前面讲到,DMicro框架万物皆接口,分层 + 接口的设计,让DMicro有了灵活的组成高效且符合业务实际情况的能力.

接下来我们要讲到实现这些能力的基础。插件系统.

插件 Plugin

插件系统给框架带来了极大的扩展性和灵活性,是整个框架的一个灵魂模块,有了它,框架就有了无限可能。

什么样的插件系统才能算是优雅呢?我能想到的有以下几点:

合理且丰富的hook位置,能够覆盖整个框架的生命周期,贯穿通讯的各个环节。

每个hook位置的入参和出参都是经过精心设计。

每个插件都能够使用多个hook位置,每个hook位置都能被多个插件使用。

设计的足够简洁,优雅。能方便的进行二次开发定制。

在drpc中,钩子贯穿与整个Endpoint的生命周期,是它不可或缺的重要一环。

bb6862a4-16c5-11ed-ba43-dac502259ad0.png

通过这些钩子 Hook点,赋予了插件无限可能.

组件

有了插件,就能通过插件的组合,编写综合功能的组件,目前框架提供一些内置的组件,

服务端 Rpc Server

客户端 Rpc Client

服务注册 Registry

服务发现 Selector

事件总线 EventBus

进程管理 Supervisor

即将提供:

链路追踪 Tracing

统计告警 Metrics

限流熔断 Broker.

限于篇幅的原因,具体组件的实现,这里就不深入讲解,请关注后续的文章.

未来展望

如果把DMicro比作人生,现在成长的阶段还处在少年时期,只完成了基础的架构设计和一部分组件的开发.

接下来的方向主要是往易用性和可靠性方向发展.

易用性:

项目效能工具dmctl工具的开发,包括代码生成,项目结构生成,打包,编译等等功能.

符合 openapi 定义的文档组件的开发.

更加完善的文档和使用示例.

可靠性:

可观测性

链路追踪

指标信息

日志流

生产可用

测试用例的完善

代码覆盖率

性能调优

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 接口
    +关注

    关注

    33

    文章

    7574

    浏览量

    148209
  • 封装
    +关注

    关注

    123

    文章

    7108

    浏览量

    140900
收藏 人收藏

    评论

    相关推荐

    谷歌模型框架是什么软件?谷歌模型框架怎么用?

    谷歌模型框架通常指的是谷歌开发的用于机器学习和人工智能的软件框架,其中最著名的是TensorFlow。TensorFlow是一个开源的机器学习框架,由谷歌的机器学习团队
    的头像 发表于 03-01 16:25 173次阅读

    谷歌模型框架是什么?有哪些功能和应用?

    谷歌模型框架(Google Model Framework)并不是一个特定的框架,而是指谷歌开发的一系列软件框架,用于支持机器学习和人工智能的应用。以下是一些与谷歌模型
    的头像 发表于 02-29 18:11 565次阅读

    基于springboot和vue框架的Java

    本文将详细介绍基于Spring Boot和Vue框架进行Java应用开发的实践。首先,将介绍Spring Boot和Vue框架的基本概念及其优点。然后,将详细介绍如何搭建Spring Boot
    的头像 发表于 12-03 15:15 425次阅读

    搭建ssm框架的详细流程

    随着互联网的快速发展,Web应用程序的开发越来越受到重视。而在Java开发领域,SSM框架(Spring + SpringMVC + MyBatis)已经成为非常流行的一种开发架构。S
    的头像 发表于 12-03 14:52 864次阅读

    javaweb的三大框架有哪些

    在JavaWeb开发中,有许多流行的框架可供选择。这些框架旨在提高开发效率、简化开发过程,并为开发
    的头像 发表于 12-03 11:47 649次阅读

    springboot框架介绍

    Spring Boot 是一个开源的、用于开发微服务的框架,它基于 Java 平台。它提供了一种快速、敏捷的方式来构建独立的、可部署的、生产级别的 Spring 应用程序。Spring Boot框架
    的头像 发表于 11-22 15:53 457次阅读

    深度学习框架是什么?深度学习框架有哪些?

    深度学习框架是什么?深度学习框架有哪些?  深度学习框架是一种软件工具,它可以帮助开发者轻松快速地构建和训练深度神经网络模型。与手动编写代码相比,深度学习
    的头像 发表于 08-17 16:03 1613次阅读

    面向万物智联的应用框架的思考与探索

    ,OpenHarmony技术指导委员会跨平台应用开发框架TSG负责人,华为终端软件部应用程序框架首席架构师,华为Web技术C-TMG主任。主导 OpenHarmony / HarmonyOS UI
    发表于 08-08 17:04

    labview通用视觉框架参考

    labview通用视觉软件框架,机器视觉通用框架 通用视觉框架源代码。可以参考用于开发常规案例。里面有部分函数,用户也可随意编辑函数,开发
    发表于 08-04 15:58 33次下载

    labview视觉通用平台框架源代码

    labview通用视觉软件框架,机器视觉通用框架 通用视觉框架源代码。可以参考用于开发常规案例。里面有部分函数,用户也可随意编辑函数,开发
    发表于 08-03 16:57

    基于Java的接口快速开发框架——magic-api

    magic-api 是一个基于Java的接口快速开发框架,编写接口将通过magic-api提供的UI界面完成,自动映射为HTTP接口,无需定义Controller、Service、Dao、Mapper、XML、VO等Java对象即可完成常见的HTTP API接口
    发表于 07-19 11:42 406次阅读
    基于Java的接口快速<b class='flag-5'>开发</b><b class='flag-5'>框架</b>——magic-api

    OpenHarmony自动化测试框架开发指南

    OpenHarmony 自动化测试框架是 OpenHarmony 提供的支持 JS/TS 语言的单元及 UI 测试框架,支持开发者针对应用接口或系统接口进行单元测试,并且可基于 UI 操作进行 UI 自动化脚本的编写。
    的头像 发表于 05-15 09:35 699次阅读
    OpenHarmony自动化测试<b class='flag-5'>框架开发</b>指南

    智能上位机框架

    ,还包括ORM、图表制作、WebGis等等,使用过框架的小伙伴都知道,框架最大的好处在于快 速、高效。 但是很多时候,我们都处于一个框架使用者的角色,很少去真正地开发
    发表于 05-08 11:02 1次下载
    智能上位机<b class='flag-5'>框架</b>

    C#|上位机开发新手指南(三)框架

    在上位机开发中,Windows Forms是使用最广泛的C#框架之一。Windows Forms是.NET Framework中的一个GUI框架,提供了丰富的GUI控件和易于使用的编程 模型,可以
    发表于 05-08 10:27 3次下载
    C#|上位机<b class='flag-5'>开发</b>新手指南(三)<b class='flag-5'>框架</b>

    OpenHarmony应用开发-ArkUI方舟开发框架简析

    方舟开发框架(简称ArkUI)为OpenHarmony应用的UI开发提供了完整的基础设施,包括简洁的UI语法、丰富的UI功能(组件、布局、动画以及交互事件),以及实时界面预览工具等,可以支持
    发表于 04-23 09:35