0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于时空大数据分析、挖掘与可视化高性能计算解决方案

GPU视觉识别 来源: GPU视觉识别 作者: GPU视觉识别 2022-09-29 10:36 次阅读

poYBAGM1BJeAfFX8AAAcCLdNAvA868.png

高维数据 | 时空数据

地震预警 |地质勘探

遥感测绘|TransBigData

随着地质勘探、遥感测绘、地震预警、卫星遥感、疫情管控等的快速发展,自然资源领域的时空数据具有传统管理数据与大数据交织、内向型管理数据与外向型公共服务数据叠加、数据开放与数据安全责任兼重的特点,包含了海量的信息和丰富的应用场景。

国家领导人曾指出,要从推动数字经济发展、利用数据提升自然资源管理和国土空间治理水平两个角度出发全面规划和推进自然资源时空数据治理,充分发挥数据驱动力改造现有自然资源业务体系,推动自然资源数据成为重要生产要素。

国际时空数据治理发展形势

一、时空信息获取成为各种经济社会发展的助推力

在世界主要国家的政府治理体系中,围绕自然资源领域的时空信息获取已经成为非常重要的组成部分并在经济社会发展中发挥着越来越重要的基础支撑作用。特别是在疫情管控、改善政府数据治理和应对气候变化方面发挥了关键作用。时空信息用户尤其是政府和军事部门对准确、详细、全面的时空信息的需求越来越大。

据GW Consulting(地理信息世界咨询公司)估计,2021年全球地理信息市场价值已达3950亿美元,较2020年增长8.2%。预计2021-2025年,国际地理信息产业产值将以14.61%的年复合增长率增长,到2025年将达到6800亿美元。在战略性公共政策改革、行业加速战略以及数字孪生和元宇宙创新的驱动下,预计地理信息产业将在2025年后以更快的速度增长,到2030年达到1.44万亿美元。

地理信息技术对全球经济的影响目前估计在2.2万亿至5.4万亿美元之间,到2025年将扩大到5.4万亿至10.2万亿美元。随着传感器融合、元宇宙等新概念与时空信息的相互赋能,时空信息实际上已经成为整合分析各类数据的最佳载体和表达方式。

在政府和企业数字化转型的背景下,时空信息成为各国公认的重要数据资产,被广泛获取、挖掘和共享。世界主要国家纷纷启动空间数据基础设施建设。例如,美国时空信息生产和使用部门组成联邦地理数据委员会,以建立国家空间数据基础设施(NSDI),欧洲于2007年开始建立欧洲空间数据基础设施,以支持欧洲的环境政策。

Google、微软、苹果、Here等公司在自有生态下进行时空信息的获取,并以此作为公司掌握垄断资源分配、获取用户依赖的重要环节。OpenstreetMap等众包地理信息数据的数量和质量也在不断提升,部分地区的精度和数据鲜活度堪比官方权威数据。除了这些基本的时空信息获取系统之外,一些国家获取的时空信息也开始呈现出高精度、高投入、高回报的特点。

二、围绕时空信息获取的基础设施加快建设

随着时空信息作为国家重要战略资产的意识日益增强,围绕时空信息获取的天空地传感网以及数据中心和数据平台建设正在加速。在遥感卫星建设方面,目前世界主要国家都在继续部署高分辨率的光学和雷达卫星,各类卫星协同工作,使全天候成像的能力进一步增强,遥感影像的获取成本大大降低。

2020年,全球航天产业共研制发射了1277颗航天器,其中遥感卫星146颗,约占11.4%,其中分辨率优于1米的卫星超过50颗。目前,美国国家航空航天局、地质调查局和欧洲航空局通过陆地卫星体系和各类情报卫星系统收集了全球地表覆盖数据、数字高程模型和大量时间跨度超过30年的地理信息。

其中,美国地质调查局的陆地卫星项目和欧洲联盟的哥白尼项目提供了长长时序中高分辨率的图像,这些图像已用于各种灾害模型建立、海洋预测系统以及环境和气候监测。麦克萨、空客防务、Planet、L3哈里斯等公司提供分辨率高于1m的商业遥感影像、合成孔径雷达和微小卫星星座影像遥感影像长期占据全球影像市场主导地位。至于导航定位系统方面,GPS系统现代化进程加快,美国发布了《7号太空政策指令》,强调GPS及其增强系统更好地服务于美国国家和国土安全、民用、商业和科学目的。GLONASS全球补网推进,2025年将采用新一代卫星。欧洲Galileo也完成了全球系统建设,具备了全球服务的能力。印度、韩国、澳大利亚和新西兰近年来也建立了区域导航增强系统。

为构建时空基准和提供时空动态感知提供支持。导航地面增强系统方面,海克斯康、天宝、Geo++、SapCorda等传统强势企业凭借在芯片研发、基准站建设等领域的长期积累,在全球主要国家和地区建设了HxGN SmartNET、VRS NOW等导航定位基准站网。仅海克斯康和Geo++两家在全球建立了近8000个GNSS基准站网,并在精准农业、建筑施工、商业位置服务等应用领域实现了垄断。关于时空公共服务平台,美国、日本等主要国家都在其法律体系中明确了国家地理信息公共服务平台的法律地位,并在地理信息公共服务平台建设方面取得了良好的成绩。

三、时空信息获取及治理成为推动数字经济发展的重要力量

数字经济正在改写和重构世界经济版图,成为重组全球要素资源、重塑全球经济格局、改变全球竞争格局的关键力量。在此背景下,各国和各地区纷纷发布国家数字战略,以促进社会经济发展和政府治理。

在时空信息领域,政府部门获取和生成的时空信息的高效利用,空间数据基础设施的优化建设,政府和商业部门之间时空数据的流动和共享,成为政府数字治理体系建设中非常重要的环节。各国纷纷将地理信息作为重要的国家战略资产并把地理信息的流动、利用和安全监管作为非常重要的工作方向。近年来,美国、欧盟和日本发布了关于数据治理的法案和行动计划。

其中,美国将地理信息数据治理作为国家数据治理体系的重要一环写入《联邦数据战略》及其相关行动计划。《联邦数据战略》发布的2020年和2021年行动计划中对地理信息数据治理做出了详细、明确的部署,部署层级与人工智能在数据治理方面相同,可见美国政府对地理信息的高度重视。具体来说,2020年行动计划指出,负责地理信息数据协调的美国联邦地理数据委员会(FGDC)需要通过落实《地理信息数据法案(2018年)》增强部门和公众使用地理信息数据的价值和访问权限,并制定国家空间数据基础设施(NSDI)战略计划,确保联邦和各州地理信息数据能够轻松集成。

与此同时,2020年行动计划明确指出,白宫行政管理和预算办公室的高级地理信息官员(SAOGI)将帮助确保FGDC官员在相关数据监管机构任职,并促进地理信息数据向联邦部门的授权。同时,2020行动计划规定,国家地理信息平台(GeoPlatform)必须在确保国家利益和安全不受损害的前提下,提供国家地理信息资产数据和相关元数据,并将数据和相关接口连接到美国国家数据平台Data.gov。

2021年行动计划继承了2020年的思路,提出FGDC应确定与联邦政府首席数据官委员会(CDO Council)的联络员,以促进地理信息数据在全国的综合使用。与此同时,FGDC显然应当完成一份关于地理信息在国家空间基础设施中的高价值投资领域的分析报告。

国内开展时空数据治理的若干建议

一、用数赋智,提升“以数据为中心”的数据治理意识

机构改革以来,在自然资源领域开展了信息化建设工作的顶层设计,形成了相对稳定的技术体系和信息基础设施。但必须看到,自然资源时空数据不同主体、不同地域之间的数字鸿沟尚未得到有效弥合,数据资源规模巨大,但价值潜力尚未充分释放,整个系统对如何真正管理和利用数据还没有形成系统认知。

与此同时,数据安全也成为一个越来越值得关注的话题。目前自然资源有统一调查监测数据、规划权属数据、各类时空数据等蓝海资源。在信息化建设全面铺开、各项业务系统逐步落地的阶段,需要在国家自然资源领域形成数据治理意识,并据此规划数据治理的顶层设计非常有必要。

二、建立实体机构开展数据治理

数据不仅是一种狭义的治理对象,更是广义的治理手段和工具。进行全周期的数据管理和治理,其背后本质是协调和平衡数据挖掘和转化后形成的所有数据权力,并在此过程中维护所有数据权利,如财产权和人格权。

美国的实践表明,为了监督和保护数据权利,需要拥有一个集中而强有力的数据领导核心和一支具有数据素养、数据视野和大数据分析能力的数据团队,并赋予相应的行政职责和财政资金保障。首席数据官和数据治理委员会不仅承担着开展数据质量评估、数据分析、数据管理以及系统和数据安全和隐私保护等职能,也是未来根据党中央的要求开展数据安全监管的重要实体支撑机构。

三、开展具体工作进行时空数据治理

在顶层设计和实体机构的牵引下,美国各部门在自然资源的数据治理方面开展了多项具体工作,如建立数据治理委员会和空间数据协调委员会,根据《联邦数据战略成熟度评估指南》评估数据成熟度,梳理数据清单和优先级,以多种方式改善联邦—州、政府—商业数协同等。国内外领先企业在数据治理方面形成了一些先进的做法(如监管数据全过程、建设数据中心、建立企业级元数据管理机制等)。自然资源部应及时对这些具体工作进行技术跟踪和研判,在确保数据安全的前提下,选择符合自然资源领域数据特点的做法开展前期研究和试点,及时有效地管理自然资源数据。

蓝海大脑时空数据解决方案

观测卫星监测地球表面的变化,为土地利用规划、灾害支持、气候变化监测等方面的数据。深度学习用于检测图像中的对象,这是一项复杂的视觉任务。蓝海大脑面向时空领域大数据智能分析解决方案提供最新深度学习算法和方法所需的计算性能。

对于城市建筑、交通汽车、船泊港口、机场物流、森林植被、水体大坝等信息,使用地理空间对象检测。与决定图像主题的图像分类不同,物体检测不仅描述图片中的内容,还描述那些物体在哪里以及能看到多少。图像中的对象通常包含不同的边界,并且独立于图像的背景环境和景观对象。

poYBAGM1BJuADqiHAAZJEXnE3nM531.png

航空和卫星图像提供可以使用机器学习技术处理的数据,用于地理空间目标检测。这将数据转化为可以在广泛的现实应用程序中使用的洞察力,包括:

环境监测

地质灾害检测

土地利用规划和土地覆盖测绘

地理信息系统(GIS)更新

精准农业

城市规划

地理空间目标检测并不容易。这是一个复杂的问题,需要复杂的人工智能和机器学习方法。其复杂性的原因包括物体视觉外观的巨大变化、在弱光照下拍摄的航空图像的低分辨率以及树木或建筑物对物体的阻碍。即使如果一个物体没有被阻挡,可能会被图像视点、背景杂波、照明或阴影的变化所掩盖。所有这些因素使这个问题更加困难。

图像中物体的计算检测有三种方法:

模板匹配方法

基于知识的方法

基于对象的图像分析(OBIA)

这三种方法可以单独使用,也可以一起使用,构成了最常用的目标检测系统的基础。

pYYBAGM1BJuALhqyAAO7uc-eVcE485.png

一、行业所面临的挑战

模型通用性弱

遥感图像具有星多、地广、时相多等特点,解译模型的泛化能力和鲁棒性不足

AI人才不足

遥感解译应用场景日益丰富,AI人才相对缺乏。亟需针对业务人员的培训和与之配套的遥感解译训练平台作为支撑。

分析维度单一

纯粹依据遥感影像的分析,无法全面反映城市发展变化的全貌,尤其是背后的人口、产业、环境以及大众关注情感等时空变化信息。

二、功能要求

支持对时空环境数据的知识建模、知识抽取、知识融合、知识推理等功能,能够对知识进行三元组形式表示。

支持对时空环境数据的实体抽取、关系抽取、属性抽取等功能,实现单目标或多目标的知识关联,能够进行知识聚合和知识修正。

支持对时空环境数据知识的实体匹配、关系匹配、属性匹配等归一化、标准化功能。

支持基于时空环境数据知识的学习、实体推理、关系推理、模式归纳等分析挖掘隐含的知识功能。

poYBAGM1BJyAVoOFAAKyfOxI39U466.png

三、产品特点

时空数据柔性生产

基于深度学习的时空数据水冷工作站调度能力实现光学遥感、实景三维柔性数据,使得生产效率提升100%以上

高质量时空数据

全球影像100ms调用时延,保障影像访问极致体验;全球基准特征库,保障影像高质量

应用服务化加速

时空数据液冷服务器技术助力构建以SAAS和API为主的空间信息新产品、新服务,加速应用功能持续迭代增强

高可靠保障

专业的深度学习的时空数据库、中间件层、应用层多级高可靠设计,提供业务高可用保障

pYYBAGM1BJyAUg1yAAEMnohJQg0855.jpg

四、时空数据平台架构图

poYBAGM1BJ2AHhFsAAK5eocFacg990.png

五、客户收益

宏观与微观综合分析

遥感解译提供城市宏观布局分析,时空大数据分析提供区域微观人群、交通、产业等分析。

多模特征融合

遥感影像融合时空数据特征,提升模型精度和泛化能力。

自主可控

基于海光、龙芯、英伟达NVIDIA、英特尔IntelAMD高性能服务器和蓝海大脑深度学习框架构建,具有自主可控、安全可靠的优势。

审核编辑 黄昊宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 大数据分析
    +关注

    关注

    1

    文章

    129

    浏览量

    16782
  • 深度学习
    +关注

    关注

    73

    文章

    5200

    浏览量

    119803
收藏 人收藏

    评论

    相关推荐

    Get职场新知识:做分析,用大数据分析工具

    综合分析。但现在有了大数据分析工具,一切问题都可迎刃而解。 大数据分析工具,顾名思义就是专门为分析海量数据而开发的一类工具。这类工具具有极强
    发表于 12-05 09:36

    数据可视化大数据时代有哪些挑战?#可视化 #光点科技

    数据可视化
    光点科技
    发布于 :2023年10月17日 17:02:01

    别再埋头苦干了,标准财务数据分析方案开箱即用!

    进行经营决策和问题诊断。 奥威BI财务数据分析方案是一套以丰富经验打磨而成的标准、系统财务数据分析
    发表于 09-05 10:06

    千人千面的数据分析有没可能?奥威BI数据可视化工具告诉你

    可视化分析技术的发展,奥威BI数据可视化工具已可做到分析千人千面、亿级数据秒响应。 奥威BI数据
    发表于 08-29 14:45

    财务数据分析?奥威BI数据可视化工具很擅长

    的智能财务指标计算功能,还拥有一套标准、系统的财务数据分析方案,无需测试,下载即可用! 奥威BI工具+智能财务
    发表于 08-29 09:44

    紧跟老板思维,这款数据可视化工具神了

    多维度自助分析;可无边界钻取分析,帮助商品/运营部门以数据驱动运营,实现数字运营管理。 在奥威BI数据
    发表于 08-22 13:46

    SpeedBI数据可视化工具:浏览器上做分析

    SpeedBI数据分析云是一种在浏览器上进行数据可视化分析的工具,它能够将数据可视化的形式呈现出来,并支持多种
    发表于 08-22 10:55

    分享一套财务数据分析模板,零开发,更好用

    财务数据分析是很麻烦,数据量大且牵扯到多个业务数据来源、分析指标计算组合多变,换作一般的数据分析
    发表于 08-15 10:47

    易上手的数据报表工具有哪些?奥威BI零编程

    ,同时也将极大地降低试错风险。 由于整个流程都可以通过点击、拖拉拽(导入数据源、报表布局)来完成,因此普遍适用于业务部门,能辅助业务部门通过灵活自主的BI智能数据可视化分析挖掘
    发表于 08-01 15:58

    奥威软件SaaS BI系统:一站式数据可视化解决方案

    发展趋势。 一、介绍 奥威软件SaaS BI系统是一种基于云计算的商业智能平台,它集成了数据存储、数据分析数据可视化等功能,使用户能够轻松
    发表于 08-01 10:21

    可视化案例(2)#大数据分析

    大数据分析
    学习硬声知识
    发布于 :2023年07月12日 23:58:18

    可视化案例(1)#大数据分析

    大数据分析
    学习硬声知识
    发布于 :2023年07月12日 23:57:32

    电商数据分析攻略,让你轻松搞定数据分析

    在当今的数字经济时代,运用大数据分析来促进业务增长已然成为一种普遍行为,拥有一套系统数据分析方案尤为重要。奥威BI电商数据分析
    发表于 06-27 09:22

    事实证明,国产BI软件的财务数据分析性价比极高!

    威BI软件和财务数据分析方案的组合,即可在短时间内实现企业智能财务数据可视化分析,搭建属于企业自用的财务大数据分析平台。项目周期短、风险低、
    发表于 05-16 11:06

    奥威BI数据可视化软件|让业务独立自主分析

    增加。怎么才能提高分析效率?BI数据可视化软件的零编程构建分析模型,让业务独立自助分析的做法也就应运而生了。零编程构建
    发表于 04-11 10:29