时间设计 如何设计一个高性能的 schema 现在有个场景，有一堆发生过的事件，现在想查询在某个月，或者是某个时间段内，发生了哪些事件，我们该如何设计 Schema 呢？也许我们可以在时间属性上创建个索引，把这个时间当作索引来存储，但这样的话，

Schema 设计的三大基本原则： 尊重领域实体关系 以性能为目标 考虑可视化分析 而三者并不冲突，上面三点其中某一点做得很好，另外两点也会做的不错。 Talking is cheap，下面我们来结合具体的例子来了解下三大原则。 实体和关系的选择

当JanusGraph部署在具有多个存储后端实例的集群上时，图将被分区存储在这些后端实例上， 本文详解JanusGraph的图分区；

本文主要记录如何对neo4j源码编译并启动图库服务；将官方图数据导入，对导入的数据进行可视化数据处理

hugeGraph分布式存储

数据爬取网站: https://movie.douban .com/top250?start=0.1. 首先对网页数据进行分析，进而确定节点和关系我们直接分析电影点进去的详细页面，页面如下：（由于豆瓣在没有登录的情况下频繁对网站进行请求会被认为恶意攻击，导致自己的ip无法访问该网站，所以最好先下载下来）通过上图，我们选择4个结点和4种关系4个结点分别为：电影名称（film_name...

一、简介我也是刚接触Neo4j，学到这也有所感悟，记录一下。首先，说点自己的理解。Neo4j是一种图数据库，存储的是节点、节点之间的关系、节点的属性、关系的属性。实际上，其背后的数据模型就是概念图模型（学过知识图谱的应该知道），类似于关系数据库（如Oracle、Mysql等）中的关系数据模型（本质上就是行列表格，只是有一套严密的数学逻辑作支撑）。就像传统关系型数据库领域有结构化查询语言SQ...

目的：举例说明如何在Giraph中添加应用程序，以WCC（Weakly Connected Components）算法为例，描述怎么添加Vertex的子类，自定义输入输出格式和使用Combiner等。

[liuqiang2@mu02 bin]$ giraph ../giraph-core-1.1.0.jar org.apache.giraph.benchmark.PageRankComputation -vif org.apache.giraph.io.formats.IntFloatNullTextInputFormat -vip /test/youTube.txt -vof org.

一支Facebook 团队近期发表了一份比较报告，比较对象是他们当前的基于 Giraph的图处理系统和更新的 GraphX （它是流行的 Spark 框架的一部分）。他们的结论是，GraphX当前无法满足他们对扩展性和性能的需要，不足以支撑起他们图处理的负载。\\在Facebook，大规模图处理是数据设施服务的重要组成部分。他们的社会图有1.71十亿编辑顶点和数千亿的边，如果再把人们的爱好加进来那...

作者|白松关于Giraph 共有九个章节，本文第五个章节。环境：在单机上（机器名：giraphx）启动了2个workers。输入：SSSP文件夹，里面有1.txt和2.txt两个文件。1、在Worker向Master汇报健康状况后，就开始等待Master创建InputSplit。方法...

作者 | 白松【注：本文为原创，引用转载需与博主联系。】Giraph介绍：Apache Giraph is an iterative graph processing system built for high scalability. For example, it is curren...

package memory;import java.io.IOException;import org.apache.giraph.utils.ExtendedByteArrayDataOutput;import org.apache.giraph.utils.ExtendedDataOutput;import org.apache.hadoop.io.FloatWritable;

package org.apache.giraph.examples.lp;import java.io.IOException;import java.util.ArrayList;import java.util.Collections;import java.util.List;import org.apache.giraph.comm.WorkerClientRequestP

改进：采用分片聚集 (sharded aggregators) . 在每个超级步的最后，每个聚集器被派发给一个Worker，该Worker接受和聚集其他Workers发送给该聚集器的值。然后Workers把自己的所有的聚集器发送给Master，这样Master就无需执行任何聚集，只是接收每个聚集器的最终值。在MasterCompute.compute执行后，Master不是直接把所有的聚集器发送给所有的Workers，而是发送给聚集器所属的Worker，然后每个Worker再把其上的聚集器发送给所有的Wor

1. Could not find or load main class org.apache.giraph.yarn.GiraphApplicationMaster16/08/30 08:45:13 ERROR yarn.GiraphYarnClient: Giraph: org.apache.giraph.examples.SimpleShortestPathsComputation

这两天又重新看了一下Giraph源码，对整体架构的理解又有了新的认识和理解，下面逐点来说。一、Giraph本质的理解:大家都知道，Giraph对用户来讲可能是一个基于Pregel模型的图运算项目，但是对于Hadoop来讲，其实它是一个普通的MapReduce任务。因此我们在运行时可以把他看成是一个mapreduce任务，只是这个任务有点特殊和复杂。特殊在，它没有像普通mapreduce

1. 由前文知道每个BSPServiceWorker有一个WorkerServer对象，WorkerServer对象里面又有ServerData对象，作为数据实体。ServerData中包含该Worker的partitionStore、edgeStore、incomingMessageStore、currentMessageStore、聚集值等。   其中incomingMessageStor

前言本文主要总结了如何利用 Giraph 提供的 API 实现图计算编程，并说明了将 Giraph 源码导入 IDEA 进行调试的过程。编程实践本部分通过实现最短路径算法说明 Giraph 的编程流程创建 Maven 工程添加相关依赖<dependencies> <!--添加 Giraph 依赖-->> <dependenc...