地图数据库预处理:地图数据库发展的挑战与机遇

2020-10-15 08:20 YWYF

根据现有图形数据治理框架的接口要求,编写图形数据差异查询脚本是图形数据查询和分析的主流方式。系统不提供相对高级的图形操作API,而是提供相对低级的编程接口。如Mapreduce框架接口、点(边)中心计算接口等。用户凭据查询过程编写适合该接口的查询脚本。这种方法足够灵活,可以支持巨大的图形查询操作。但是这种方式需要用户掌握脚本语言,下大力气开发脚本编写、调试、优化等用户应用。

随着应用的逐步深入,对图形数据治理的研究将会不断增长。我们将图形数据治理的增长趋势总结为以下几点。

基于关系数据库治理图的数据库是另一种可选的技术方案。关系数据库在网上交易处理和惩罚领域取得了巨大的成就,已经成为市场份额巨大的企业信息基础设施不可或缺的组成部分。图形数据治理和关系数据治理也有很多相似之处,比如数据存储、数据缓存、索引、查询优化、并发控制等等。关系数据库可以快速实现图形数据库的治理,如索引、更新、并发操作等。关系数据库治理图数据面临的问题是关系数据库善于一次性处置,惩罚一次性聚合,而图数据操作、思维和优化策略往往接受一次一个节点的操作模式,直接使用关系数据库治理图数据库效率不高。

2.其次,图形数据库表现出灵活性,不同的类型,异构的节点结构,每个节点和边的属性模式信息不同,很难抽象出一个相对立体的模式。例如,在客户购物关系图中,每一个具有不同属性的客户或商品之间都存在关联关系。

查询脚本级优化是优化大规模查询的有效手段。图形数据操作通常涉及循环迭代,在扩散系统中,每个循环都有额外的代价,比如BSP模型中的同步代价,Mapreduce框架中图形数据的扫描和传输等等。此外,在某些周期中,活跃节点太少的周期在扩散情况下带来的相对收入差异。消除扩散情况下的循环数是图形数据查询的重要优化策略。

1.图形数据库治理面临的挑战不同的底层架构、底层系统软硬件城市对图形数据库治理有影响。

基于BSP计算模型的图形数据库治理方案具有更好的可扩展性和更高的效率。谷歌借鉴BSP计算模型设计Pregel框架,是为了克服Mapreduce治理带来的各种问题。Pregel框架在扩散情况下将图形数据存储在差分计算节点的内存中,支持点中心计算模式,通过内存中的随机相遇直接修改节点的状态,停止磁盘读写的I/O价格。谷歌的Pregel系统已经在Web层面使用。此外,排序大规模节点的重要性等操作显示出很强的可扩展性。Giraph是Apache社区中Pregel的开源版本,也在Facebook中使用,在社区发现和子图聚类方面取得了不错的效果。

分享到: QQ空间 新浪微博 腾讯微博 人人网 微信

亚博正式官网  亚博正式官网  亚博正式官网  亚博正式官网  亚博足彩app-官方下载搜狗