图数据库Neo4J的使用

UB1010 2013-07-07 03:05:30

吴斌 2013.7.5
1，图数据库Neo4J的介绍：
http://www.neo4j.org/learn/neo4j
Neo4J是个开源的图数据，很好用，轻便灵活，嵌入式，功能强大，而且相关资料比较齐全。
按照Neo4J官方网站公布，该数据库可以支持数十亿的节点数：
massively scalable, up to several billion nodes/relationships/properties
而且支持分布式部署，Master,Slave。
对Neo4J的性能和可用性的介绍：http://video.neo4j.org/player/6qUmb/native/autoplay/
Neo4J的CEO有个视频简单介绍Neo4J：http://player.vimeo.com/video/56040747

2，安装：
Neo4J的安装使用非常简单。下载一个稳定版本，解压，运行Neo4j.bat（windows版本）即可。下载地址http://www.neo4j.org/download ，目前比较好用的稳定版本是1.9.1。
然后可以访问WEB管理界面，地址：http://localhost:7474/webadmin

3，Neo4J的使用方式包括：
1）可以写程序，添加，更新，用JAVA，Python，PHP, .NET等语言都可以实现。
2）可以用命令行，添加，更新，查看，Neo4J提供基于WEB的执行界面，提供类SQL语言执行，这些语言包括Cypher，Gremlin等。
如下图：

3）可以基于Neo4J提供的WEB UI界面添加，更新节点和关系，如下：

4) 可以使用附加工具（ETL）导入数据。也可以从关系数据库中导入数据。
http://www.neo4j.org/develop/import

4，使用JAVA访问Neo4J：
学习材料：http://www.neo4j.org/develop/java
http://docs.neo4j.org/chunked/stable/tutorials-java-embedded.html
Neo4J中节点，边，都可以任意添加属性，边（关系）的可以自定义，是个枚举值，举例：
firstNode = graphDb.createNode();
firstNode.setProperty( "message", "Hello, [Node A] , " );
secondNode = graphDb.createNode();
secondNode.setProperty( "message", " The Graph DB World! [Node B] " );
relationship = firstNode.createRelationshipTo( secondNode, RelTypes.KNOWS );
relationship.setProperty( "Reason", "Use Neo4j for testing [Edge] , " );

还有一点很重要，Neo4J可以支持自定义节点类，就是说你可以按照你的需要设计Class做节点，也就是说你可以给每个节点增加任意方法，实现任意功能，这个功能的扩展性非常强。
而且Neo4J提供嵌入式程序的能力，你可以把它当做一个Lib来使用，可以在保留其他应用开放方式的情况下，提供图数据库的强大能力。
其例子socnet可以在Neo4J的网站上查找。

5，Cypher介绍：
Cypher是Neo4J自己提供的一种高效类SQL语言，用于图数据和关系查询。关系查询采用一种模式匹配的方式，比较直观。
很好的学习材料：http://www.neo4j.org/learn/cypher
这个Video讲的很清楚：http://player.vimeo.com/video/50389825

创建节点：（每个Node，系统会自动建立一个唯一的id，不可修改。下面的ID是Node的属性。）
create n={name:'Motion',ID:'M001'} return n;
创建关系：
start n=node(14),m=node(20) create m-[r:KNOWS]-n return r;

查询：
按id查询(这里的id是系统自动创建的)：
start n=node(20) return m;

查询所有节点：
start n=node(*) return n;
查询属性，关系：
start n=node(9) return n,n.name,n.ID,n.level; //查看指定节点，返回需要的属性

start n=node(*) match (n)-[r:SubClassOf]->m return m,n,n.name,n.ID,r; //查找指定关系

按关系查询多个节点：
start a = node(14) match b-[r]<->a return r,b;

start a = node(0) match c-[:KNOWS]->b-[:KNOWS]->a return a,b,c; //查找两层KNOWS关系的节点

start a = node(21) match b-

->a return a,b; //查找所有与a节点有关系的节点

使用Where条件进行查询：（不用建立Index也可以使用）
start n=node
(*) where n.name="Activity" return n;
并且可以使用特定符号：
start n=node(*) where n.ID?="A*" return n;
start n=node(*) where HAS(n.type) return n,n.name,n.ID,n.type; //如果存在属性type，并且以A开头，就输出节点。

配置文件自动建立索引：
修改conf目录下的neo4j.properties文件内容如下，重启Neo4J，对重启后新建的Node生效。
# Enable auto-indexing for nodes, default is false
node_auto_indexing=true

# The node property keys to be auto-indexed, if enabled
node_keys_indexable=name,ID
# Enable auto-indexing for relationships, default is false
relationship_auto_indexing=true

# The relationship property keys to be auto-indexed, if enabled
relationship_keys_indexable=KNOWS,SubClassOf

建立索引后可以用node_auto_index按属性值查询：
start n=node:node_auto_index(name="C") return n,n.name;

修改属性值：
start a = node(*) where a.name="a" set a.name="A" return a,a.name ;
start n=node(0) set n.name="Root",n.ID="001" ; //给默认的根节点添加name,ID属性，便于查询。

删除：
删除所有节点和关系：
START n=node(*)
match n-[r]-()
delete n,r;

6，图形化显示数据：
Neo4J自身提供WEB界面的图数据图形化展现工具，很Cool。这个Video讲的具体：https://player.vimeo.com/video/58016492

在WEB管理http://localhost:7474/webadmin的“Data Browser”图形化显示区点Style，NewProfile，编辑自己的Profile，注意Add filter的 Nodes要放在前面，不然不生效，Rules是顺序执行的，显示多个属性可以用;号做换行符。

看我做的一个User Model Ontology 关系模型：

User Model 与数据源的Ontology关系，左边圆圈是UserModel，右边方框是数据源：

在Data Browser上直接输入节点编号，如10，点图形化显示，就可以图形化看到该节点和有关系的节点，点每个节点，就可以逐步显示所有节点和关系，非常方便：

7，备份Neo4j的数据:
1)停掉数据库.
2)备份D:\Neo4J\neo4j-enterprise-1.9.1\data目录下graph.db目录中的所有内容.
3)在服务器上拷贝graph.db目录中的内容到新的服务器的相同目录中,启动即可.

8，为什么使用图数据库？
这个问题，欢迎你跟我交流。图数据库的扩展性，灵活性非常好，适合用于复杂关系管理和关系查询推理，社交关系应用就是一个可选的应用场景。而我选择图数据库，起因是研究语义网和Ontology的应用，语义网和Ontology的数据结构（三元组）就是图结构数据，而基于RDF构建的语义网，过于复杂，效率很低，实际上不如基于图数据库的构建方便好用，而且Neo4J支持RDF，SPARQL等扩展。另外，我认为OWL，实用价值不大，OWL几乎就是用XML来描述一种面向对象的编程语言，而这种编程语言如果表示能力过强（OWL Full），根本无法实现，如果表示能力过弱（OWL Lite），其实没有多少实用意义。而且，我觉得Tim Berners-Lee的语义网，即基于RDF的语义WEB，用RDF描述语义的这种思路走向了以前基于规则的NLP的思路，虽然加上Human Computation 众包的模式，但还是很难走通。我更关注的是本体关系，知识库的构建，而且知识本体主要是Meta Data，不需要很多数据，尽量不要保存instance data，获取instance data可以关联其他数据库的数据源进行查询（这种数据Key-Value或Table保存即可）。
简单的关系推理，属性传递，其实就是查询，Neo4J中Cypher也可以完成。所以，我倾向于用图数据库来构建知识库knowledge base ("KB")，或knowledge graph ("KG")。知识库对于知识关联查询进行相关搜索或关联推荐，比较有价值。而且，从知识本体关系库中可以推理得到规则，比如，If Place is Meeting Room and Date is Workday and Than Activity is Meeting. 这样的规则是可以从本体关系中查询得到的，规则可以在很大程度上弥补基于统计的计算学习的许多不足。更大的作用，我觉得图数据库是一种 “合理的知识保存和描述的方式”，有利于知识的持续积累和不断演进。另外，在未来，知识本体，与模型算法建立关系，如果能在合适的关系条件下，使用正确的算法模型，那将发挥真正的巨大作用，那就离”智能“很近了。

带图片的全文，参看这里 http://blog.csdn.net/ub1010/article/details/9263325