加入收藏 | 设为首页 | 会员中心 | 我要投稿 威海站长网 (https://www.0631zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 站长资讯 > 评论 > 正文

应该了解的所有有关计算机网络的知识

发布时间:2021-02-02 11:43:38 所属栏目:评论 来源:互联网
导读:在通过一系列单点查看的交互式查询后,用户通过以上语句开始做图分析任务。 首先它通过一个subgraph的操作子从原图中根据筛选条件抽取了一个子图。这个操作子的背后,是交互式引擎 GIE 执行了一个查询,再将结果图写入了 vineyard。 然后用户在这个新图上抽

在通过一系列单点查看的交互式查询后,用户通过以上语句开始做图分析任务。

首先它通过一个 subgraph 的操作子从原图中根据筛选条件抽取了一个子图。这个操作子的背后,是交互式引擎 GIE 执行了一个查询,再将结果图写入了 vineyard。

然后用户在这个新图上抽取了 label 为论文的点和他们之间关系为引用(cites)的边,产出了一张同构图,并在上面调用了 GAE 的内置算法 k-core 和三角计数 triangles 在全图做了分析型计算。产出结果后,这两个结果被作为点上的属性加回了原图。这里,借助于 vineyard 元数据管理和高层数据抽象,新的 sub_graph 是通过原图上新增一列的变换来生成的,不需要重建整张图的全部数据。

GAE 引擎核心继承了曾获得 SIGMOD2017 最佳论文奖的 GRAPE 系统[2]。它由高性能运行时、自动并行化组件、多语言支持的 SDK 等组件组成。上面的例子用到了 GAE 自带的算法,此外,GAE 也支持用户十分简单的编写自己的算法并在其上即插即用。用户以基于子图编程的 PIE 模型编写算法,或者重用已有图算法,而不用考虑分布式细节,由 GAE 来做自动并行化,大幅降低了分布式图计算对用户的高门槛。目前,GAE 支持用户通过C++、Python(后续将支持 Java)等多语言编写自己的算法逻辑,即插即用在分布式环境。GAE 的高性能运行时基于 MPI,对通讯、数据排布,硬件特征做了十分细致的优化,以达到极致性能。

首先我们在图 g 上建立了一个交互式查询对象 interactive 。这个对象在引擎 pod 中拉起了一组交互式查询引擎 GIE。接着下面是一个标准的 Gremlin 查询语句,用户想在这个数据中查看两个具体作者的合作论文。这个 Gremlin 语句会发送给 GIE 引擎进行拆解和执行。

GIE 引擎由并行化 Compiler、内存和调度管理、Operator 运行时、自适应的游历策略和分布式 Dataflow 引擎等核心组件组成。在收到交互式查询的语句后,该语句首先会被 Compiler 拆分,编译成多个运行算子。这些算子再以分布式数据流的模型被驱动和执行,在这个过程中,每一个持有分区数据的计算节点都跑一份该数据流的拷贝,并行处理本分区的数据,并在过程中按需进行数据交换,从而并行化的执行 Gremlin 查询。

Gremlin 复杂的语法下,游历策略至关重要并影响着查询的并行度,它的选择直接影响着资源的占用和查询的性能。只靠简单的 BFS 或是 DFS 在现实中并不能满足需求。最优的游历策略往往需要根据具体的数据和查询动态调整和选择。GIE 引擎提供了自适应的游历策略配置,根据查询数据、拆解的 Op 和 Cost 模型选择游历策略,以达到算子执行的高效性。
 

在上面的代码中,我们建立了一个 GraphScope 的 session,并载入了图数据。

GraphScope 面向云原生设计,一个 session 的背后对应了一组 k8s 的资源,该session 负责这个会话中所有资源的申请和管理。具体来说,在用户这行代码的背后,session首先会请求一个后端总入口 Coordinator 的 pod。Coordinator 负责跟 Python 客户端的所有通信,在完成自身的初始化后,它会拉起一组引擎 pod。这组 pod 中每一个 pod 都有一个 vineyard 实例,共同组成一个分布式内存管理层;同时,每一个 pod 中都有 GIE、GAE、GLE 三个引擎,它们的启停状态由 Coordinator 在后续按需管理。当这组 pod 拉起并与 Coordinator 建立稳定连接、完成健康检查后,Coordinator 会返回状态到客户端,告诉用户,session 已拉起成功,资源就绪可以开始载图或计算了。
 

根据NRLB的投诉,Google去年非法监视并解雇了两位参与工人活动的员工Laurence Berland和Kathryn Spiers。

同时,该公司还实施了禁止工人在没有“商业目的”的情况下访问彼此日历的权利。据了解,该诉讼案将在明年4月12日举行听证会。

此外,谷歌也正处于反垄断调查之中。上个月,美国司法部和德克萨斯州在内10个州正式向谷歌发起诉讼,指控其在搜索和搜索广告市场通过反竞争和排他性行为来非法维持垄断地位。

这次反垄断调查可以说是史上最为严苛的一次。除了谷歌之外,苹果、Facebook、亚马逊(简称“GAFA”)等科技巨头也全部在列。

多重夹击之下,谷歌会对此事做出怎样的回应,我们静观后续!

(编辑:威海站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读