如何使用Vector工具对海量数据进行高效管理和分析

您是否曾经为了查找一个测试文件，用软件一个个打开数据文件查看信号？

您是否曾经面对动辄几百GB的测试数据，电脑却总是报警磁盘空间不足？

您是否曾经想要将一批特定数据快速分享给同事，不得不准备移动硬盘？

您是否曾经想要将视频文件或者其他格式文件和某一天测试数据关联，而不得不手动记录？

今天为大家介绍如何使用Vector工具对海量数据进行高效管理和分析。

1

Part.1

什么是vMDM

vMDM（Vector Measurement Data Management）是端到端数据分析和管理的解决方案：

安全高效地对海量数据进行集中化管理；

根据用户自定义的筛选条件在大数据中快速地提取特定数据；

不占用本地计算机资源进行复杂的计算和分析，实现自动化报告生成；

工程师可以根据授权级别来访问指定测试数据，可以安全地与团队成员进行数据分享，并且支持线上数据和线下分析软件交互式分析；

良好的可扩展性，支持分布式计算。

vMDM以ASAM MDF4作为存储格式。MDF格式已作为汽车测量标定的实际行业标准被广泛使用，主流工具软件均支持该格式。

2

Part.2

如何上传数据

vMDM提供多种方式来上传数据，用户可以手动或者利用脚本（批处理、PowerShell等）实现自动化上传。

场景一：从试验车或台架上采集的数据存储到本地电脑指定目录中，通过脚本不断扫描目录并自动上传数据至vMDM服务器；

场景二：使用支持无线传输功能的数据记录仪将数据直接上传至vMDM服务器。

vMDM同时支持存储附件文件，比如视频文件、DBC文件、照片等和测量数据进行关联，统一由vMDM进行管理。

测量数据根据用户需求存入到指定的一个或多个集合中（Collection），集合可以近似理解为文件夹，用户可根据具体需求创建集合来进行数据分类，例如根据测试项目、用户、部门等。

3

Part.3

如何访问数据

vMDM利用Elasticsearch高性能检索功能，实现基于元数据的全文检索。用户可以在vSignalyzer/CANape客户端，直接通过图行用户窗口自定义筛选规则，实现数据分类和浏览操作。例如用户需要在数十万的数据文件中，找到所有前驱和四驱车，并满足EU5和EU6标准的测试数据，vMDM会在一两秒内将满足筛选条件的数据反馈给用户，同时这个筛选的规则可以直接分享给其他用户，实现团队协作分析。

在用户有授权的情况下，通过简单地拖动、框选操作就能将数据从服务器直接缓存到本地进行分析。同时vMDM支持将MDF数据格式转成ASCII、Excel和MATLAB数据格式以满足用户其他分析需求。

4

Part.4

如何分析数据

vSignalyzer/CANape提供类C的脚本语言CASL（Calculation And Scripting Language）用以编写分析脚本，并上传至服务器运行，同时支持加载Simulink、C++的动态链接库。

场景一：自动分析前一天采集的数据文件，得到可视化分析报告，推送到邮箱；

场景二：自动推送统计性报告，比如耐久测试中用户可以通过电子邮件迅速了解到车队的路试进展，行驶了多少里程或者某特定车辆进行了多少次档位切换等信息。

5

Part.5

支持交互式分析

利用vSignalyzer/CANape软件，用户除了直接浏览数据之外，也可以利用自定义筛选规则从服务器上抓取数据在本地计算机上进行分析。

6

Part.6

产品变体

vMDM Cloud

Vector直接为用户提供SaaS服务，用户不需要关心硬件资源、系统安装维护等问题，安装vSignalyzer/CANape option vMDM软件后就可以直接使用。

vMDM Enterprise

企业若对数据安全和带宽限制等有顾虑，可以选择在公司内部服务器上安装和使用vMDM系统。

vMDM Local

数据进行管理和分析，仅限于个人电脑上使用。

7

Part.7

应用案例

场景一：

用户通过测量数据文件来监控关键传感器信号的有效性，反馈传感器信号是否出现缺失、漂移等异常状态。

场景二：

用户将分布在各个国家地区的测试台架上获取的二进制文件转为MDF格式的数据文件，并上传到vMDM服务器，高效地实现数据异地共享及分析。

场景三：

车队在各个国家地区进行耐久性测试，测试员将采集的数据和测试数据相关的视频、音频文件以及数据描述信息（比如测试天气、测试车辆排放等）上传到vMDM。vMDM定时将统计性和功能验证性报告推送到工程师，使工程师迅速地掌握耐久测试进展和测试数据质量。

8

Part.8

总结

vMDM为用户提供了一套标准化的数据管理和分析流程，能高效地对海量数据进行管理、分类和评估，进行复杂地分析计算，最终为用户提供有技术洞察价值的报告。

审核编辑：彭静