HBase put数据丢失的问题

2014-12-03 10:45:54 1.3k 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

wangzhen199009 墨衍会员 · AI 创作全网分发关注 + 加入社区

HBase分布式数据库操作与编程——HBase 练习、HBase Shell数据库表创建、HBase Shell数据访问操作、HBase Java API编程 HBase分布式数据库操作与编程目录一、实验目的二、实验内容一、实验目的 1.掌握HBase操作常用Shell命令； 2.掌握HBase数据表的创建、添加数据、查看数据、删除数据、删除表、查询历史数据等操作； 3.掌握HBase APIs编程实践方法二、实验内容第1题 HBase 练习【实验内容】 1.实现HBase的配置并完成http://dblab.xmu.edu.cn/blog/in... 阅读详情

HBase下使用API数据写入，写完之后立刻scan，新写入的数据可用看到。但是当机器重启之后，再进行scan的化，就很不稳定，重启前写入到数据有的时候数据能看到，有的时候就看不到。autoflush和wal选项都设置了。代码如下：



import java.io.IOException;



import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.hbase.HBaseConfiguration;

import org.apache.hadoop.hbase.HBaseTestCase;

import org.apache.hadoop.hbase.HColumnDescriptor;

import org.apache.hadoop.hbase.HTableDescriptor;

import org.apache.hadoop.hbase.client.Get;

import org.apache.hadoop.hbase.client.HBaseAdmin;

import org.apache.hadoop.hbase.client.HTable;

import org.apache.hadoop.hbase.client.Put;

import org.apache.hadoop.hbase.client.Result;

import org.apache.hadoop.hbase.client.ResultScanner;

import org.apache.hadoop.hbase.client.Scan;

import org.apache.hadoop.hbase.util.Bytes;



import java.util.*;





public class HBaseTest {           

    //声明静态配置 HBaseConfiguration

    static Configuration cfg=HBaseConfiguration.create();



    //创建一张表，通过HBaseAdmin HTableDescriptor来创建

    public static void creat(String tablename,String columnFamily) throws Exception {

        HBaseAdmin admin = new HBaseAdmin(cfg);

        if (admin.tableExists(tablename)) {

            System.out.println("table Exists!");

            //System.exit(0);

        }

        else{

            HTableDescriptor tableDesc = new HTableDescriptor(tablename);

            tableDesc.addFamily(new HColumnDescriptor(columnFamily));

            admin.createTable(tableDesc);

            System.out.println("create table success!");

        }

    }

  

    //添加一条数据，通过HTable Put为已经存在的表来添加数据

    @SuppressWarnings("deprecation")

	public static void put(String tablename,String row, String columnFamily,String column,String data) throws Exception {

        HTable table = new HTable(cfg, tablename);

        table.setAutoFlush(true);

       

        

        Put p1=new Put(Bytes.toBytes(row));

       

        p1.add(Bytes.toBytes(columnFamily), Bytes.toBytes(column), Bytes.toBytes(data));

        p1.setWriteToWAL(true);

        table.put(p1);

        System.out.println("put '"+row+"','"+columnFamily+":"+column+"','"+data+"'");

    }

   

   public static void get(String tablename,String row) throws IOException{

            HTable table=new HTable(cfg,tablename);

            Get g=new Get(Bytes.toBytes(row));

                Result result=table.get(g);

                System.out.println("Get: "+result);

    }

    //显示所有数据，通过HTable Scan来获取已有表的信息

    public static void scan(String tablename) throws Exception{

         HTable table = new HTable(cfg, tablename);

         Scan s = new Scan();

         ResultScanner rs = table.getScanner(s);

         for(Result r:rs){

             System.out.println("Scan: "+r);

         }

    }

   

    public static boolean delete(String tablename) throws IOException{

            

            HBaseAdmin admin=new HBaseAdmin(cfg);

            if(admin.tableExists(tablename)){

                    try

                    {

                            admin.disableTable(tablename);

                            admin.deleteTable(tablename);

                    }catch(Exception ex){

                            ex.printStackTrace();

                            return false;

                    }

                    

            }

            return true;

    }

  

    public static void  main (String [] agrs) {

            String tablename="table1";

        String columnFamily="cf1";

         

            try {                     

            	HBaseTest.creat(tablename, columnFamily);

            	

            	for(int i=700;i<800;i++)

            	{

            		String rowID="row"+String.format("%03d", i);

            		

            		Random r=new Random();

            		

            		String columnName="";

            		

            		//col1--name

            		columnName="Name";

            		byte[] bytes=new byte[100];

            		r.nextBytes(bytes);

            		String name=bytes.toString();

            		HBaseTest.put(tablename, rowID, columnFamily, columnName, name);

            		

            		//col2--age

            		columnName="Age";

            		int age=r.nextInt(100);

            		HBaseTest.put(tablename, rowID, columnFamily, columnName, String.valueOf(age));

            		

            		//col3--height

            		columnName="Height";

            		double height=r.nextDouble()*100;

            		HBaseTest.put(tablename, rowID, columnFamily, columnName, String.format("%.2f", height) );

            		

            	}

            	//HBaseTest.put(tablename, "row1", columnFamily, "cl1", "data");

            	

            	

            	//HBaseTest.get(tablename, "row1");

            	//HBaseTest.scan(tablename);

/*           if(true==HBaseTestCase.delete(tablename))

                    System.out.println("Delete table:"+tablename+"success!");

*/           

        }

        catch (Exception e) {

            e.printStackTrace();

        }   

}

}