股权网络92毫秒穿透一百层测试后续，例如业务价值是什么？

2022-07-04 14:47:54 浏览数 (1)

@TOC[1] Here's the table of contents:

•一、关于业务价值

•二、超级节点的规模

•三、一百层穿透其它性能指标

•3.1 数据规模

•3.2 测试结果

•3.3 相关查询

•四、超千万的联通图内穿透测试

•4.1 数据规模

4.2 弱连通图分析方法

•4.2.1 最小团分析

•4.2.2 最大团分析

•4.2.3 从最大团找到一个节点供后续分析使用

•4.2.4 并发分析最大团测试报告

•4.3 测试结果

•4.4 相关查询

股权网络92毫秒穿透一百层测试后续

【图数据】股权网络穿透一千层需要多久？[2]上一篇测试结果出来之后，基于ONgDB搭建的图数据库集群性能得到验证。有朋友对其它测试细节比较感兴趣，关于其它的性能指标分析在这里做一下总结。另外ONgDB图数据库的连通图分析与并发计算性能测试也在本文中。

一、关于业务价值

上一篇的测试结果出来以后，看到社区有人提问，股权网络穿透一百层的意义是什么？业务价值是什么？这个问题回答我截图记录了一下，不同的场景不同的需求，仅仅代表个人观点，仅供参考。

Neo4j研发团队目前发力的重点是人工智能领域，相关生态发展的也更快，说明了类似的图数据库架构在人工智能模型训练上的优势是的确存在的。人工智能模型的最关键指标是准和快，数据系统和计算系统是支持模型训练的两个关键基础设施，其性能是非常重要的。感兴趣的话可以去Neo4j官网查看一下关于未来的发展规划的介绍，挺有意思的！:)

二、超级节点的规模

关于超级节点的规模，在本次测试的股权网络中为5939。如有规模更大的超级节点，也可以优化数据模型来实现，可以参考下面的文章。 针对图谱超级节点的一种优化解决方案[3]

•查询语句

代码语言：javascript复制
MATCH (n:HORGShareHoldV002) RETURN n, SIZE((n)--()) ORDER BY SIZE((n)--()) DESC LIMIT 1

•结果

三、一百层穿透其它性能指标

3.1 数据规模

【图数据】股权网络穿透一千层需要多久？[4]这篇文章有数据规模的统计数据，在此不再赘述。

3.2 测试结果

从测试结果可以看到，返回路径全部数据会对性能有一定影响；一百层路径加SKIP参数为一千万的时候查询时间基本都是分钟级，SKIP参数为一百万的时候查询时间大概在10秒左右。

测试编号

SKIP与LIMIT参数

是否返回路径全部数据

耗时结果

Result-1

SKIP 10000000 LIMIT 1【SKIP一千万，限制拿一条路径】

是(RETURN p)

1：2 m 30.01 s2：1 m 45.72 s3：1 m 44.82 s

Result-2

SKIP 10000000 LIMIT 1【SKIP一千万，限制拿一条路径】

否(RETURN n,m)

1：1 m 42.78 s2：1 m 51.48 s3：1 m 51.18 s

Result-3

SKIP 1000000 LIMIT 1【SKIP一百万，限制拿一条路径】

是(RETURN p)

1：13.31 s2：10.75 s3：12.22 s

Result-4

SKIP 1000000 LIMIT 1【SKIP一百万，限制拿一条路径】

否(RETURN n,m)

1：10.65 s2：10.65 s3：10.95 s

Result-5

SKIP 1000000 LIMIT 100【SKIP一百万，限制拿一百条路径】

是(RETURN p)

1：13.08 s2：12.55 s3：12.69 s

Result-6

SKIP 1000000 LIMIT 100【SKIP一百万，限制拿一百条路径】

否(RETURN n,m)

1：10.62 s2：11.29 s3：10.62 s

3.3 相关查询

代码语言：javascript复制
CYPHER语句

•使用HTTP接口查询方式

四、超千万的联通图内穿透测试

在本次测试中，使用了弱连通图WCC进行分析。本节中查询测试都是在此最大弱联通图分析的结果之上进行性能测试。并一同测试了ONgDB的并发计算的性能。基础数据规模、ONgDB集群部署方式以及服务器性能在上一篇文章中已有说明。【图数据】股权网络穿透一千层需要多久？[5]

4.1 数据规模

最大弱连通图规模，节点与关系数均超过1198万。

4.2 弱连通图分析方法

代码语言：javascript复制
CALL algo.unionFind.stream(label:String, relationship:String, {weightProperty:'propertyName', threshold:0.42, defaultValue:1.0,concurrency:4)
YIELD nodeId, setId - yields a setId to each node id

4.2.1 最小团分析

代码语言：javascript复制
CALL algo.unionFind.stream('HORGShareHoldV002','持股',{concurrency:8}) YIELD nodeId,setId
WITH nodeId,algo.asNode(nodeId).name AS name,setId
WITH COLLECT(setId) AS setIdList
WITH apoc.coll.sortMaps(apoc.coll.frequencies(setIdList),'^count') AS sortMaps
WITH FILTER(map IN sortMaps WHERE map.count>1) AS reSortMaps
RETURN reSortMaps[0] AS minClique
代码语言：javascript复制
// 运行结果：最小团包含1189万节点；耗时67478毫秒，67.478秒
{
  "count": 2,
  "item": 133559
}

4.2.2 最大团分析

代码语言：javascript复制
CALL algo.unionFind.stream('HORGShareHoldV002','持股',{concurrency:8}) YIELD nodeId,setId
WITH nodeId,algo.asNode(nodeId).name AS name,setId
WITH COLLECT(setId) AS setIdList
WITH apoc.coll.sortMaps(apoc.coll.frequencies(setIdList),'count') AS sortMaps
RETURN sortMaps[0] AS maxClique
代码语言：javascript复制
// 运行结果：最大团包含1189万节点；耗时228823毫秒，228.823秒
{
  "count": 11891440,
  "item": 14739839
}

4.2.3 从最大团找到一个节点供后续分析使用

代码语言：javascript复制
CALL algo.unionFind.stream('HORGShareHoldV002','持股',{concurrency:8}) YIELD nodeId,setId
WITH nodeId,setId
WITH COLLECT(nodeId) AS nodeIdList,setId
WITH SIZE(nodeIdList) AS size,nodeIdList[0] AS oneId,setId
RETURN size,oneId,setId ORDER BY size DESC LIMIT 1
代码语言：javascript复制
// 运行结果：耗时29682毫秒，29.682秒
╒════════╤═════════╤═══════╕
│"size"  │"oneId"  │"setId"│
╞════════╪═════════╪═══════╡
│11891440│396614326│6022290│
└────────┴─────────┴───────┘

4.2.4 并发分析最大团测试报告

关于并发参数的设置：并发数concurrency通常设置成分配给数据库服务运行的CPU内核数的整数倍。例如，图数据库服务运行在8个CPU内核的虚拟或物理主机上，那么concurrency可以是8、16、24等值。 从测试结果可以看到，根据目前的服务器资源四核八线程，设置为8线程时性能最佳，大于8线程性能并没有提升，因为服务器只能支持到8线程的并发。 该分析过程想要进一步提速，可以将数据导入到spark等分布式计算系统进行计算，性能也许会更好。

查询编号

并发数

查询耗时

Result-1

2

68652毫秒，68.652秒

Result-2

4

68186毫秒，68.186秒

Result-3

8

66595毫秒，64.595秒

Result-4

16

64600毫秒，64.600秒

Result-5

32

67082毫秒，67.082秒

Result-6

40

65864毫秒，65.864秒

Result-7

48

65807毫秒，65.807秒

Result-8

56

66567毫秒，66.567秒

Result-9

160

67828毫秒，67.828秒

4.3 测试结果

在本节分析的最大团上执行数据穿透测试。穿透起点为国资委国务院国有资产监督管理委员会，向下穿透100层。可以看到SKIP参数设置为10万时，查询进入了秒级别；SKIP参数超过一千万时，查询接近一分钟；SKIP参数设置为一亿时，查询已经在17分钟左右。

测试编号

SKIP与LIMIT参数

是否返回路径全部数据

耗时结果

Result-1

SKIP 0 LIMIT 1

否(RETURN n,m)

1：58ms2：60ms3：60ms

Result-2

SKIP 0 LIMIT 1

是(RETURN p)

1：90ms2：90ms3：86ms

Result-3

SKIP 100 LIMIT 1

否(RETURN n,m)

66ms

Result-4

SKIP 1000 LIMIT 1

否(RETURN n,m)

72ms

Result-5

SKIP 10000 LIMIT 1

否(RETURN n,m)

160ms

Result-6

SKIP 100000 LIMIT 1

否(RETURN n,m)

1.098s

Result-7

SKIP 1000000 LIMIT 1

否(RETURN n,m)

10.50s

Result-8

SKIP 10000000 LIMIT 1

否(RETURN n,m)

50.64s

Result-9

SKIP 100000000 LIMIT 1

否(RETURN n,m)

17m40.74s

4.4 相关查询

代码语言：javascript复制
CYPHER语句

References

[1] TOC: 股权网络92毫秒穿透一百层测试后续，例如业务价值是什么？ [2] 【图数据】股权网络穿透一千层需要多久？: https://blog.csdn.net/superman_xxx/article/details/117339393 [3] 针对图谱超级节点的一种优化解决方案: https://blog.csdn.net/superman_xxx/article/details/104906383 [4] 【图数据】股权网络穿透一千层需要多久？: https://blog.csdn.net/superman_xxx/article/details/117339393 [5] 【图数据】股权网络穿透一千层需要多久？: https://blog.csdn.net/superman_xxx/article/details/117339393

tcp/ip 腾讯云测试服务 性能测试 https

0 人点赞