双11狂欢大促

盲盒赢 定制羽绒服

开启惊喜盲盒，抽取你的专属好礼

— 惊喜奖品抢先看 —

超级年卡50元券

周边70元券

手机支架

一拖三数据线

雨伞

运动毛巾

电动牙刷

VIP月卡

机械键盘

定制羽绒服

超级年卡50元券

周边70元券

手机支架

一拖三数据线

雨伞

运动毛巾

电动牙刷

VIP月卡

机械键盘

定制羽绒服

ValueFilter 的疑问，是bug？

2014-01-08 11:38:11 399 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

无边的绿波墨衍会员 · AI 创作全网分发关注 + 加入社区

在cadence中进行sdf文件的反标及并进行数模混仿 3.在Main-Include Option Settings-Libraries Files/Directories下面加载上面说到的两个.v文件（综合文件和工艺库器件文件），其他默认点击OK；最近在做一个数模混合电路的流片工作，数字部分综合后会生成一个.sdf（标准延时格式）文件，正常来说应该是要在vcs软件上进行电路延时的反标，但由于我的电路需要信号在数字模块和模拟模块中来回循环多次，因此，打算在cadence中完成sdf文件反标，进行数模混合仿真。1.综合生成的电路网表的.v文件；阅读详情

在使用ValueFilter过滤数据的时候会出现会把所有版本的符合过滤条件的结果都返回出来。
例如：

列名为：name
值为：limu

之后将 “limu” 改成“zhangsan”

使用
ValueFilter vf = new ValueFilter(CompareFilter.CompareOp.EQUAL,
new SubstringComparator("li"));
Get get = new Get(key.getBytes());
get.setFilter(vf);

最后的结果中有列名：name 值为：limu的数据

就是把之前版本的数据也过滤出来了。

像SingleColumnValueFilter 里面可以设置 setLatestVersionOnly(true); 来达到最后一个版本的过滤。

不知道ValueFilter 应该怎么过滤最后一个版本，希望知道的，不吝赐教，如果不能过滤，还有什么其他方式来实现我的需求吗？

...全文

时序数据库避坑指南：TDengine与IoTDB在车联网场景的7个关键对比本文对比了时序数据库TDengine与IoTDB在车联网场景下的7个关键差异，包括数据模型设计、边缘-云端协同能力、车规级函数库、存储压缩算法等。通过真实案例和性能测试，帮助企业在新能源汽车大数据处理中选择合适的时序数据库，优化存储成本和实时告警性能。阅读详情

无边的绿波

Hadoop生态社区 20,842 成员 4,695 内容

+ 关注 + 加入社区

切换为时间正序

无边的绿波 2014-01-21

打赏
举报

谢谢楼上了，现在使用的方法是每次修改某个数据的时候先把数据删除再进行修改，就可以使用valuefilter过滤了！

撸大湿 2014-01-08

打赏
举报

引用 2 楼 wubo2qml 的回复:

[quote=引用 1 楼 tntzbzc 的回复:] 直接设置get.setMaxVersions(1)不行吗
Get.setMaxVersions()//可以返回多个版本的数据。
Get.setTimeRange()//可以返回其他时间范围的版本。

设置这个也不行，不信你可以试试！[/quote] 我看错问题了，我这个是得到最后一个版本，不是过滤最简单的办法设置Get.setMaxVersions(2) 这样可以获取两个TS版本的数据，然后在Client实现最后一个TS版本过滤

无边的绿波 2014-01-08

打赏
举报

引用 1 楼 tntzbzc 的回复:

直接设置get.setMaxVersions(1)不行吗

Get.setMaxVersions()//可以返回多个版本的数据。
Get.setTimeRange()//可以返回其他时间范围的版本。

设置这个也不行，不信你可以试试！

撸大湿 2014-01-08

打赏
举报

直接设置get.setMaxVersions(1)不行吗

Get.setMaxVersions()//可以返回多个版本的数据。
Get.setTimeRange()//可以返回其他时间范围的版本。

撸大湿 2014-01-08

打赏
举报

引用 6 楼 wubo2qml 的回复:

[quote=引用 5 楼 tntzbzc 的回复:] [quote=引用 4 楼 wubo2qml 的回复:] 设置 Get.setMaxVersions(2) 根本达不到获取两个TS版本数据的效果，又怎么在client实现最后TS版本的过滤呢？

怎么可能刚刚测了下，全部贴出来先用hbase shell 测试


hbase(main):005:0> create 'test0001',{NAME=>'_0',VERSIONS=>3}
//建表

hbase(main):010:0> put 'test0001','111','_0:t1','111',111
hbase(main):013:0> put 'test0001','111','_0:t1','222',222
//对ROWKEY=111 插入两条数据 TS分别为 111 222


hbase(main):017:0> scan 'test0001',{VERSIONS=>1}
ROW                                                COLUMN+CELL                                                                                                                                      
 111                                               column=_0:t1, timestamp=222, value=222 
//这时只有timestamp=111的数据

hbase(main):016:0> scan 'test0001',{VERSIONS=>2}
ROW                                                COLUMN+CELL                                                                                                                                      
 111                                               column=_0:t1, timestamp=222, value=222                                                                                                           
 111                                               column=_0:t1, timestamp=111, value=111
//这时有timestamp=111和222两个version数据

再看java API 调用测试


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.KeyValue;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Result;

public class hbasetest {
	public static void main(String[] agrs) throws Exception {
		Configuration myConf;
		myConf = new Configuration();
		myConf.set("hbase.zookeeper.quorum", "10.128.24.200");
		myConf.set("hbase.zookeeper.property.clientPort", "2181");

		HTable tb = new HTable(myConf, "test0001");
		Get get = new Get("111".getBytes());
		get.setMaxVersions(2);
		Result rs = tb.get(get);

		for (KeyValue kv : rs.list())
		{
			System.out.println(new String(kv.getQualifier()) + ":" +
					new String(kv.getValue()) + "\t");
			System.out.println();
		}		
	}
}


//get.setMaxVersions(1);  结果看下方

t1:222	

//get.setMaxVersions(2);  结果看下方

t1:222	

t1:111

怎么过滤最后一个VERSION数据，不用我再写了吧[/quote] 你把get.setMaxVersions(2) 结合ValueFilter 使用的时候就达不到这个效果了，代码如下： ValueFilter vf = new ValueFilter(CompareFilter.CompareOp.EQUAL, new SubstringComparator("D_")); String key = "6745701"; Get get = new Get(key.getBytes()); get.setMaxVersions(1); get.setFilter(vf); Result re = table.get(get); List<KeyValue> list = re.list(); for (int i = 0; i < list.size(); i++) { System.out.println("列名：" + Bytes.toString(list.get(i).getQualifier())); System.out.println("列值：" + Bytes.toString(list.get(i).getValue())); System.out.println("时间戳：" + list.get(i).getTimestamp()); System.out.println(); } 结果如下：列名：h_8679935873_111031001706 列值：D_43610 时间戳：1388994473015 列名：h_8679935873_111031001708 列值：D_6001 时间戳：1388996755580 列名：h_8888dsahjdsa 列值：D_200 时间戳：1389166949242 控制台信息如下：

最新版本的数据中值以D_开头的只有一个列，其他的列如：h_8888dsahjdsa 这个过滤到的是D_200但是现在的数据是 H_200 ，如何一次查询取得两个的时间戳呢？[/quote] 不管怎么设置Version数量如果用filter 限制 “D_”开头，那永远都拿不到“H_”的数据除非有两个“D_”开头，不同版本的数据，才肯被搜索到要解决这个问题，LZ你只能放弃filter ，全部取下来让Client筛选要不就重新设计TS，用有规则的TS插入数据然后用TimestampsFilter判断筛选

无边的绿波 2014-01-08

打赏
举报

引用 5 楼 tntzbzc 的回复:

[quote=引用 4 楼 wubo2qml 的回复:]
设置 Get.setMaxVersions(2) 根本达不到获取两个TS版本数据的效果，又怎么在client实现最后TS版本的过滤呢？

怎么可能
刚刚测了下，全部贴出来

先用hbase shell 测试



hbase(main):005:0> create 'test0001',{NAME=>'_0',VERSIONS=>3}

//建表



hbase(main):010:0> put 'test0001','111','_0:t1','111',111

hbase(main):013:0> put 'test0001','111','_0:t1','222',222

//对ROWKEY=111 插入两条数据 TS分别为 111 222





hbase(main):017:0> scan 'test0001',{VERSIONS=>1}

ROW                                                COLUMN+CELL                                                                                                                                      

 111                                               column=_0:t1, timestamp=222, value=222 

//这时只有timestamp=111的数据



hbase(main):016:0> scan 'test0001',{VERSIONS=>2}

ROW                                                COLUMN+CELL                                                                                                                                      

 111                                               column=_0:t1, timestamp=222, value=222                                                                                                           

 111                                               column=_0:t1, timestamp=111, value=111

//这时有timestamp=111和222两个version数据

再看java API 调用测试



import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.hbase.KeyValue;

import org.apache.hadoop.hbase.client.Get;

import org.apache.hadoop.hbase.client.HTable;

import org.apache.hadoop.hbase.client.Result;



public class hbasetest {

	public static void main(String[] agrs) throws Exception {

		Configuration myConf;

		myConf = new Configuration();

		myConf.set("hbase.zookeeper.quorum", "10.128.24.200");

		myConf.set("hbase.zookeeper.property.clientPort", "2181");



		HTable tb = new HTable(myConf, "test0001");

		Get get = new Get("111".getBytes());

		get.setMaxVersions(2);

		Result rs = tb.get(get);



		for (KeyValue kv : rs.list())

		{

			System.out.println(new String(kv.getQualifier()) + ":" +

					new String(kv.getValue()) + "\t");

			System.out.println();

		}		

	}

}



//get.setMaxVersions(1);  结果看下方



t1:222	



//get.setMaxVersions(2);  结果看下方



t1:222	



t1:111

怎么过滤最后一个VERSION数据，不用我再写了吧[/quote]

你把get.setMaxVersions(2) 结合ValueFilter 使用的时候就达不到这个效果了，

代码如下：

ValueFilter vf = new ValueFilter(CompareFilter.CompareOp.EQUAL,
new SubstringComparator("D_"));
String key = "6745701";
Get get = new Get(key.getBytes());
get.setMaxVersions(1);
get.setFilter(vf);
Result re = table.get(get);
List<KeyValue> list = re.list();
for (int i = 0; i < list.size(); i++) {
System.out.println("列名：" + Bytes.toString(list.get(i).getQualifier()));
System.out.println("列值：" + Bytes.toString(list.get(i).getValue()));
System.out.println("时间戳：" + list.get(i).getTimestamp());
System.out.println();
}
结果如下：

列名：h_8679935873_111031001706
列值：D_43610
时间戳：1388994473015

列名：h_8679935873_111031001708
列值：D_6001
时间戳：1388996755580

列名：h_8888dsahjdsa
列值：D_200
时间戳：1389166949242

控制台信息如下：

最新版本的数据中值以D_开头的只有一个列，其他的列如：h_8888dsahjdsa 这个过滤到的是D_200但是现在的数据是 H_200 ，如何一次查询取得两个的时间戳呢？

撸大湿 2014-01-08

打赏
举报

引用 4 楼 wubo2qml 的回复:

设置 Get.setMaxVersions(2) 根本达不到获取两个TS版本数据的效果，又怎么在client实现最后TS版本的过滤呢？

怎么可能
刚刚测了下，全部贴出来

先用hbase shell 测试



hbase(main):005:0> create 'test0001',{NAME=>'_0',VERSIONS=>3}

//建表



hbase(main):010:0> put 'test0001','111','_0:t1','111',111

hbase(main):013:0> put 'test0001','111','_0:t1','222',222

//对ROWKEY=111 插入两条数据 TS分别为 111 222





hbase(main):017:0> scan 'test0001',{VERSIONS=>1}

ROW                                                COLUMN+CELL                                                                                                                                      

 111                                               column=_0:t1, timestamp=222, value=222 

//这时只有timestamp=111的数据



hbase(main):016:0> scan 'test0001',{VERSIONS=>2}

ROW                                                COLUMN+CELL                                                                                                                                      

 111                                               column=_0:t1, timestamp=222, value=222                                                                                                           

 111                                               column=_0:t1, timestamp=111, value=111

//这时有timestamp=111和222两个version数据

再看java API 调用测试



import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.hbase.KeyValue;

import org.apache.hadoop.hbase.client.Get;

import org.apache.hadoop.hbase.client.HTable;

import org.apache.hadoop.hbase.client.Result;



public class hbasetest {

	public static void main(String[] agrs) throws Exception {

		Configuration myConf;

		myConf = new Configuration();

		myConf.set("hbase.zookeeper.quorum", "10.128.24.200");

		myConf.set("hbase.zookeeper.property.clientPort", "2181");



		HTable tb = new HTable(myConf, "test0001");

		Get get = new Get("111".getBytes());

		get.setMaxVersions(2);

		Result rs = tb.get(get);



		for (KeyValue kv : rs.list())

		{

			System.out.println(new String(kv.getQualifier()) + ":" +

					new String(kv.getValue()) + "\t");

			System.out.println();

		}		

	}

}



//get.setMaxVersions(1);  结果看下方



t1:222	



//get.setMaxVersions(2);  结果看下方



t1:222	



t1:111

怎么过滤最后一个VERSION数据，不用我再写了吧

无边的绿波 2014-01-08

打赏
举报

引用 3 楼 tntzbzc 的回复:

[quote=引用 2 楼 wubo2qml 的回复:] [quote=引用 1 楼 tntzbzc 的回复:] 直接设置get.setMaxVersions(1)不行吗
Get.setMaxVersions()//可以返回多个版本的数据。
Get.setTimeRange()//可以返回其他时间范围的版本。

设置这个也不行，不信你可以试试！[/quote] 我看错问题了，我这个是得到最后一个版本，不是过滤最简单的办法设置Get.setMaxVersions(2) 这样可以获取两个TS版本的数据，然后在Client实现最后一个TS版本过滤 [/quote] 设置 Get.setMaxVersions(2) 根本达不到获取两个TS版本数据的效果，又怎么在client实现最后TS版本的过滤呢？

✦双11狂欢大促✦

ValueFilter 的疑问，是bug？

相关推荐

双11狂欢大促