0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

企业中的推荐系统包括哪几个部分

Tensorflowers 来源:TensorFlow 作者:黄鸿波 2021-09-24 14:49 次阅读

随着互联网的发展和人工智能的进步,各个厂家都开始针对性的向用户推荐自己的内容,这些内容包括了文章、视频商品以及一些其他的希望被用户看到的内容了,能够让用户有好的内容的体验,更好的捕捉到用户所需要的内容,这背后的成功都归功于推荐系统。

企业中的推荐系统包括哪几个部分

上面是企业中一个常见的推荐系统的架构图,一般来讲,一个完整的推荐系统企业级的架构应该包括数据的存储、业务模型、服务层以及上层对于用户来讲可见的 App 或者一些其他可视化是产品

数据存储

对于数据存储来讲,几乎是每一个完整的推荐系统必不可少的一个部分,所有的用户数据、候选内容的所有的信息、日志系统以及缓存等,全都属于数据存储的一部分,后续我们要做的与用户相关的画像、内容画像以及其他需要提取的特征信息也全都来自于数据系统。

一般来讲,数据系统是一个很大的概念,它不仅限于某一个数据库,或者某一个数据处理逻辑,而是一整套与数据相关的系统,用于存储用户信息的关系型数据库、用户存储商品信息的数据模型、用于进行大数据运算的数据湖和数据集群等,我们把这些处理数据的系统整合,形成了推荐系统的数据存储部分。

业务模型

业务模型是推荐系统的核心。推荐系统的效果好坏可以说 90% 以上是由于业务模型决定的。在一个推荐系统中,数据系统一般包含三个部分,数据逻辑层、召回层和排序层。

一般来讲,我们当从用户进入到我们的系统的时候,推荐系统就已经在发挥作用了。首先,我们会将用户的数据通过各种数据处理、深度学习或者机器学习的方法进行数据的处理,这一部分的处理一般包括类似于用户日志采集,分词、内容画像、用户画像等,这里可用使用大量的深度学习方式来做。

接下来,我们可以使用这些画像和特征来进行针对于特定用户的内容召回,这里的召回实际上就是通过各种方法来找到用户可能感兴趣的内容。

当找到用户可能感兴趣的内容之后,我们一般会对这些内容进行进一步的筛选和排序,找到在这些内容中,用户最感兴趣的前面的几个或者几十个内容分别是什么,这一步,一般我们称之为排序层。

最后,我们可以将排序后的结果输出给用户进行界面的展示,从而达到最后的推荐效果。

使用 TensorFlow Serving 赋能

目前来讲,无论是数据逻辑、召回层还是排序层,都可以使用很多深度学习的方法来做。例如数据逻辑中有关命名实体识别的部分可以使用 TensorFlow 来实现,召回层可以使用 TensorFlow 来实现 YoutubeDNN 模型并部署到生产环境中,在排序层我们也可以使用 xDeepFM 等深度学习方法来实现。

那么对于这些深度学习模型来讲,最好的模型上线和部署方式莫过于使用 TensorFlow Serving 进行部署了。

由于 TensorFlow Serving 本身就是 Google 自家的产品,也是 TensorFlow 大家族的一部分,因此,使用 TensorFlow Serving 对 TensorFlow 的模型进行部署无疑是最好的选择。

在我所在的企业中,几乎所有的深度学习所涉及到的模型都会被转换成 TensorFlow Serving 的模式进行部署。在使用 TensorFlow Serving 进行模型部署的时候,实际上会有很多个 tricks。

例如,在实际的操作当中,很多人会发现,自己也把模型转换成了 PB 模型,也能自己使用代码的方式加载这个 pb 模型进行推理,但是,放到 TensorFlow Serving 上之后就无法进行推理,然后还会报各种各样莫名其妙的错误。一般来讲,造成这个问题的原因有以下几种。

1. pb 模型转换的类型错误

pb 模型转换的类型错误是大部分 TensorFlow 开发人员常见的错误之一,一般来讲,TensorFlow 可以转换的 pb 文件大致可以分成两种,一种是直接转换成一个 pb 文件,这种文件只是一个以模型名称命名,以 .pb 为格式的单个文件,这个文件一般使用在终端的推理中,比如移动端的推理,或者是给到 C++ 等语言进行模型的调用,但是如果把它直接使用 TensorFlow Serving 进行部署的话,往往就会出错。

实际上,如果想使用 TensorFlow Serving 进行部署,那么我们就需要将我们的模型转换成 Saved Model 格式的 pb 文件。Saved Model 格式的 pb 文件与一般的 pb 文件相比不同之处在于,Saved Model 格式的 pb 文件一般是冻结图文件,它可以更方便的部署。一般来讲,使用 Saved Model 格式进行打包之后,除了模型文件本身,会生成 variables 目录,其中 pb 文件是模型的定义文件,variables 目录下存放的是模型的各个推理所需要的参数

因此,如果你生成了一个 pb 文件在本地可以推理,但是放在 TensorFlow Serving 中部署的时候不能推理的话,首先看看是不是这里的问题。

2. 在 TensorFlow Serving 中推理的时候没有加入版本标识

有些同学在使用 TensorFlow Serving 的时候,也能够转换成 Saved Model 格式的 pb 文件了,而且在本地验证也没有问题了,但是放到 TensorFlow Serving 的相关服务上就会报错,总是提示找不到版本,一般来讲,这种问题是你导出的模型中没有添加模型的版本号所导致的,我们在 TensorFlow Serving 中进行模型部署的时候,往往都需要在最外层定义一个模型的版本号,而 TensorFlow Serving 也会通过判断模型的版本号来进行模型的更新。

3. 模型没有标明正确的输入输出

有些同学在模型转换完之后,发现无法在推理环境中运行,一直提示输入的 tensor 不正确,这种情况下一般来讲是在对模型进行导出时,没有对输入输出的参数进行命名,从而使得模型使用了标准的命名,导致无法进行推理。

TensorFlow Serving 的性能优化

之前很多人在使用 TensorFlow Serving 在做模型部署的时候,都跟我说它的性能不好,部署 Albert tiny 模型的 QPS 连 50 都不到,还不如使用传统的部署方法,当我跟大家说,我使用 TensorFlow Serving 部署时,在 CPU 服务器上 QPS 能上到 2000 多,在 GPU 服务器上 QPS 甚至能达到 5000 以上,那么,为什么差异会这么大呢?

实际上,如果按照正常的部署方式,没有带任何参数的话,它的并发确实会很低,但是实际上,TensorFlow Serving 给我们提供了针对于高并发的部署方案,在 http://tensorflow.google.cn/tfx/serving/serving_config 中,有一个叫做 Batching Configuration 的配置的示例:

max_batch_size { value: 128 }

batch_timeout_micros { value: 0 }

max_enqueued_batches { value: 1000000 }

num_batch_threads { value: 8 }

这个示例,很大程度上决定了并发的性能。一般来讲,在使用 CPU 部署的时候,我们可以将 num_batch_threads 设置为 CPU 核数的 2 倍加 1,例如我们的 CPU 是 48 核,这里可以设置为 97;当我们使用 GPU 进行部署的时候,这里面的 num_batch_threads 最好设置为 GPU 的个数。这样的设置,能够最大的程度上利用到我们的 CPU 和 GPU,使得并发提高。

在部署方面,TensorFlow Serving 给我们提供了 2 种大类别的 docker,一个是 GPU 的一个是 CPU 的,这个在做 docker 部署的时候一定要注意区分,否则很容易导致部署之后的性能低;另外,在 TensorFlow Serving 所提供的 docker 中,又可以分为 devel 版本和正常版本,其中 devel 里面带有一些内置的开发环境,一般用于调试用,在正式环境中,我们更建议使用正常的 docker 版本。

实际上,在工业界,将 TensorFlow 与推荐系统结合的例子很多,我们可以利用好 TensorFlow Serving 做好模型的推理,从而更好的提供相关的服务。

责任编辑:haq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    6504

    浏览量

    87444
  • 人工智能
    +关注

    关注

    1773

    文章

    43356

    浏览量

    230126
  • 模型
    +关注

    关注

    1

    文章

    2671

    浏览量

    47571
收藏 人收藏

    评论

    相关推荐

    汽车蓄电池正极几条线都是接哪几个地方的?

    汽车蓄电池正极几条线都是接哪几个地方的? 汽车蓄电池正极连接的地方有几个,下面将逐一进行详细介绍。 1. 车辆电气系统:首先,汽车蓄电池的正极线会连接到车辆的电气系统。这个
    的头像 发表于 02-06 10:34 2882次阅读

    ADE7753功率因数是由哪几个寄存器运算得到的?

    电压使用1M:1K的电阻分压后送入芯片,电流使用锰铜片采样送入芯片。负载1000W的用电设备,ADE7753的哪几个或哪一个寄存器地址是读取后经过运算得到这个1000W的值的。功率因数是由哪几个寄存器运算得到的。 能不能详细的解释ADE7753的各寄存器。
    发表于 12-27 08:16

    PLC的基本单元由哪几个部份组成?各起什么作用?

    PLC 的基本单元由哪几个部份组成?各起什么作用? (1) CPU :PLC 的核心部件,指挥 PLC 进行各种工作。如接受用户程序和数 据、诊断、执行执行程序等; (2)存储器:存储系统和用户的程序和数据;
    发表于 12-07 14:05 441次阅读

    无功补偿怎么设置参数?设置无功补偿参数要考虑哪几个关键因素?

    无功补偿怎么设置参数?设置无功补偿参数时需要考虑哪几个关键因素? 无功补偿是电力系统中的一种重要技术措施,用来对无功功率进行补偿,以优化电力系统的功率因数和电压质量。在设置无功补偿参数时,我们需要
    的头像 发表于 11-06 11:10 1721次阅读

    请问51单片机有哪几个中断源?

    51单片机有哪几个中断源?
    发表于 11-01 08:05

    求助,在51单片机哪几个特殊功能寄存器是16位的?

    哪几个才是16位的呢
    发表于 11-01 06:30

    高低温试验箱的性能差距主要表现在哪几个方面

    高低温试验箱的性能差距主要表现在哪几个方面
    的头像 发表于 09-13 15:02 446次阅读
    高低温试验箱的性能差距主要表现在<b class='flag-5'>哪几个</b>方面

    电阻应变仪主要由哪几个部分组成?

    电阻应变仪主要由哪几个部分组成? 电阻应变仪是一种专门用来检测和测量材料应变变化的仪器。它可以精确地测量物体的应变变化,并将这些变化转化为电阻值的变化。电阻应变仪通常由下面这几个部分
    的头像 发表于 08-24 14:26 1241次阅读

    sd卡的四个引脚分别对应板子的哪几个io口?

    各位大佬,我们想知道sd卡的四个引脚,分别对应板子的哪几个io口啊,找了半天没找到。
    发表于 08-16 07:18

    pcba加工的一个完整报价需用多长时间呢?从哪几个环节来核算呢?

    pcba加工的一个完整报价需用多长时间呢?这些需要从pcba生产制造包括哪几个环节来核算呢?或许大家都知道PCBA在国内是一个电路板焊接的统称,其中包括PCB板打样、smt贴片、以及DIP元器件插件
    的头像 发表于 08-11 10:18 772次阅读

    fpga设计流程包含哪几个部分

    FPGA是一种可编程芯片,因此FPGA的设计方法包括硬件设计和软件设计两部分。硬件包括FPGA芯片电路、存储器、输入输出接口电路等器件。软件是对应的VHDL程序和VerilogHDL程序。FPGA
    的头像 发表于 07-03 14:35 1129次阅读
    fpga设计流程包含<b class='flag-5'>哪几个</b><b class='flag-5'>部分</b>

    无线网络一般由哪几个部分组成?

    无线网络一般由哪几个部分组成?无线网络和蜂窝网络的区别有哪些?
    发表于 05-09 16:16

    通信过程分为哪几个环节?通信系统的基本组成包括哪几部分

    通信协议有许多种,包括以太网、Modbus、CAN、USB、TCP/IP、HTTP、SMTP等等。通信协议是计算机网络中非常重要的一部分,它使不同的设备或系统在不同的网络环境下能够进行通信,实现数据的传输和共享。
    发表于 05-08 16:54 3910次阅读

    伺服设备包含哪几部分

    是使输出的机械位移(或转角)准确地跟踪输入的位移(或转角)。伺服系统的结构组成和其他形式的反馈控制系统没有原则上的区别。下面小编给大家介绍一下“伺服系统哪几个
    发表于 04-19 10:50 644次阅读

    基于PCB的SMT工艺要素包括哪几个方面呢?

    基于PCB的SMT工艺要素包括哪几个方面呢?
    发表于 04-14 14:42