hbase 自定义过滤器问题

2017-10-31 11:09:46 450 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

HBase过滤器原理与实战：服务端过滤机制与性能优化指南在分布式数据库系统中，数据查询优化是提升应用性能的关键环节。其核心原理在于减少不必要的数据传输与处理，通过服务端过滤机制，在数据读取源头完成筛选，从而显著降低网络开销与客户端计算压力。这一技术价值在于能够高效处理海量数据，避免全量扫描带来的资源浪费。在NoSQL数据库如HBase中，过滤器（Filter）正是实现这一目标的核心组件，它允许在RegionServer端对RowKey、列族、列限定符及单元格值进行条件判断。本文聚焦HBase过滤器的实际应用，深入解析PrefixFilter、SingleColu 阅读详情

hbase自带的原有过滤器，调用都没问题
但是自己写的过滤器却始终报错，显示找不到类
CLASSPATH已经设置，指向 hbase/lib 文件夹下，自定义过滤器也打包jar 拷贝到每台服务端 hbase/lib文件夹下
hbase也重新启动。
请问谁知道怎么回事？
报错日志：
Exception in thread "main" java.lang.NoClassDefFoundError: hadoop/FlowFilter
at hadoop.shellcom.filterHbase(shellcom.java:471)
at hadoop.shellcom.main(shellcom.java:511)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.main(RunJar.java:197)
Caused by: java.lang.ClassNotFoundException: hadoop.FlowFilter
at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)

自定义过滤器代码：（拷贝的RowFilter源码）
package hadoop;

import org.apache.hadoop.hbase.filter.*;
import org.apache.hadoop.hbase.KeyValue;
import org.apache.hadoop.hbase.client.Scan;

import java.util.List;

public class FlowFilter extends CompareFilter {

private boolean filterOutRow = false;

/**
* Writable constructor, do not use.
*/
public FlowFilter() {
super();
}

/**
* Constructor.
* @param rowCompareOp the compare op for row matching
* @param rowComparator the comparator for row matching
*/
public FlowFilter(final CompareOp rowCompareOp,
final WritableByteArrayComparable rowComparator) {
super(rowCompareOp, rowComparator);
}

@Override
public void reset() {
this.filterOutRow = false;
}

@Override
public ReturnCode filterKeyValue(KeyValue v) {
if(this.filterOutRow) {
return ReturnCode.NEXT_ROW;
}
return ReturnCode.INCLUDE;
}

@Override
public boolean filterRowKey(byte[] data, int offset, int length) {
if(doCompare(this.compareOp, this.comparator, data, offset, length)) {
this.filterOutRow = true;
}
return this.filterOutRow;
}

@Override
public boolean filterRow() {
return this.filterOutRow;
}
}

...全文