Apache HBase 外部 APIs

贡献者:xixici

本章将介绍通过非 Java 语言和自定义协议访问 Apache HBase。 有关使用本机 HBase API 的信息,请参阅User API Reference HBase APIs

97. REST

表述性状态转移 Representational State Transfer (REST)于 2000 年在 HTTP 规范的主要作者之一 Roy Fielding 的博士论文中引入。

REST 本身超出了本文档的范围,但通常,REST 允许通过与 URL 本身绑定的 API 进行客户端 - 服务器交互。 本节讨论如何配置和运行 HBase 附带的 REST 服务器,该服务器将 HBase 表,行,单元和元数据公开为 URL 指定的资源。 还有一系列关于如何使用 Jesse Anderson 的 Apache HBase REST 接口的博客 How-to: Use the Apache HBase REST Interface

97.1. 启动和停止 REST 服务

包含的 REST 服务器可以作为守护程序运行,该守护程序启动嵌入式 Jetty servlet 容器并将 servlet 部署到其中。 使用以下命令之一在前台或后台启动 REST 服务器。 端口是可选的,默认为 8080。

  1. # Foreground
  2. $ bin/hbase rest start -p <port>
  3. # Background, logging to a file in $HBASE_LOGS_DIR
  4. $ bin/hbase-daemon.sh start rest -p <port>

要停止 REST 服务器,请在前台运行时使用 Ctrl-C,如果在后台运行则使用以下命令。

  1. $ bin/hbase-daemon.sh stop rest

97.2. 配置 REST 服务器和客户端

有关为 SSL 配置 REST 服务器和客户端以及为 REST 服务器配置doAs 模拟的信息,请参阅配置 Thrift 网关以代表客户端进行身份验证以及 Securing Apache HBase

97.3. 使用 REST

以下示例使用占位符服务器 http://example.com:8000,并且可以使用`curl`或`wget`命令运行以下命令。您可以通过不为纯文本添加头信息来请求纯文本(默认),XML 或 JSON 输出,或者为 XML 添加头信息“Accept:text / xml”,为 JSON 添加“Accept:application / json”或为协议缓冲区添加“Accept: application/x-protobuf”。

>

除非指定,否则使用GET请求进行查询,PUTPOST请求进行创建或修改,DELETE用于删除。

端口 HTTP 名词 描述 示例
/version/cluster GET 集群上运行 HBase 版本 curl -vi -X GET \ -H "Accept: text/xml" \ "http://example.com:8000/version/cluster"
/status/cluster GET 集群状态 curl -vi -X GET \ -H "Accept: text/xml" \ "http://example.com:8000/status/cluster"
/ GET 列出所有非系统表格 curl -vi -X GET \ -H "Accept: text/xml" \ "http://example.com:8000/"
端口 HTTP 名词 描述 示例
/namespaces GET 列出所有命名空间 curl -vi -X GET \ -H "Accept: text/xml" \ "http://example.com:8000/namespaces/"
/namespaces/_namespace_ GET 描述指定命名空间 curl -vi -X GET \ -H "Accept: text/xml" \ "http://example.com:8000/namespaces/special_ns"
/namespaces/_namespace_ POST 创建命名空间 curl -vi -X POST \ -H "Accept: text/xml" \ "example.com:8000/namespaces/special_ns"
/namespaces/_namespace_/tables GET 列出指定命名空间内所有表 curl -vi -X GET \ -H "Accept: text/xml" \ "http://example.com:8000/namespaces/special_ns/tables"
/namespaces/_namespace_ PUT 更改现有命名空间,未使用 curl -vi -X PUT \ -H "Accept: text/xml" \ "http://example.com:8000/namespaces/special_ns
/namespaces/_namespace_ DELETE 删除命名空间.必须为空 curl -vi -X DELETE \ -H "Accept: text/xml" \ "example.com:8000/namespaces/special_ns"
端口 HTTP 名词 描述 示例
/_table_/schema GET 描述指定表结构 curl -vi -X GET \ -H "Accept: text/xml" \ "http://example.com:8000/users/schema"
/_table_/schema POST 更新表结构 curl -vi -X POST \ -H "Accept: text/xml" \ -H "Content-Type: text/xml" \ -d '<?xml version="1.0" encoding="UTF-8"?><TableSchema name="users"><ColumnSchema name="cf" KEEP_DELETED_CELLS="true" /></TableSchema>' \ "http://example.com:8000/users/schema"
/_table_/schema PUT 新建表, 更新已有表结构 curl -vi -X PUT \ -H "Accept: text/xml" \ -H "Content-Type: text/xml" \ -d '<?xml version="1.0" encoding="UTF-8"?><TableSchema name="users"><ColumnSchema name="cf" /></TableSchema>' \ "http://example.com:8000/users/schema"
/_table_/schema DELETE 删除表. 必须使用/_table_/schema 不仅仅 /_table_/. curl -vi -X DELETE \ -H "Accept: text/xml" \ "http://example.com:8000/users/schema"
/_table_/regions GET 列出表区域 curl -vi -X GET \ -H "Accept: text/xml" \ "http://example.com:8000/users/regions
端口 HTTP 名词 描述 示例
/_table_/_row_ GET 获取单行的所有列。值为 Base-64 编码。这需要“Accept”请求标头,其类型可以包含多个列 (like xml, json or protobuf). curl -vi -X GET \ -H "Accept: text/xml" \ "http://example.com:8000/users/row1"
/_table_/_row_/_column:qualifier_/_timestamp_ GET 获取单个列的值。值为 Base-64 编码。 curl -vi -X GET \ -H "Accept: text/xml" \ "http://example.com:8000/users/row1/cf:a/1458586888395"
/_table_/_row_/_column:qualifier_ GET 获取单个列的值。值为 Base-64 编码。 curl -vi -X GET \ -H "Accept: text/xml" \ "http://example.com:8000/users/row1/cf:a" 或者 curl -vi -X GET \ -H "Accept: text/xml" \ "http://example.com:8000/users/row1/cf:a/"
/_table_/_row_/_column:qualifier_/?v=_number_of_versions_ GET 获取指定单元格的指定版本数. 获取单个列的值。值为 Base-64 编码。 curl -vi -X GET \ -H "Accept: text/xml" \ "http://example.com:8000/users/row1/cf:a?v=2"
端口 HTTP 名词 描述 示例
/_table_/scanner/ PUT 获取 Scanner 对象。 所有其他扫描操作都需要。 将批处理参数调整为扫描应在批处理中返回的行数。 请参阅下一个向扫描仪添加过滤器的示例。 扫描程序端点 URL 作为 HTTP 响应中的 Location返回。 此表中的其他示例假定扫描仪端点为http://example.com:8000/users/scanner/145869072824375522207 curl -vi -X PUT \ -H "Accept: text/xml" \ -H "Content-Type: text/xml" \ -d '<Scanner batch="1"/>' \ "http://example.com:8000/users/scanner/"
/_table_/scanner/ PUT 要向扫描程序对象提供过滤器或以任何其他方式配置扫描程序,您可以创建文本文件并将过滤器添加到文件中。 例如,要仅返回以u123开头的行并使用批量大小为 100 的行,过滤器文件将如下所示:[source,xml] —— { “type”: “PrefixFilter”, “value”: “u123” } ——将文件传递给curl-d参数 请求。 curl -vi -X PUT \ -H "Accept: text/xml" \ -H "Content-Type:text/xml" \ -d @filter.txt \ "http://example.com:8000/users/scanner/"
/_table_/scanner/_scanner-id_ GET 从扫描仪获取下一批。 单元格值是字节编码的。 如果扫描仪已耗尽,则返回 HTTP 状态204 curl -vi -X GET \ -H "Accept: text/xml" \ "http://example.com:8000/users/scanner/145869072824375522207"
_table_/scanner/_scanner-id_ DELETE 删除所有扫描并释放资源 curl -vi -X DELETE \ -H "Accept: text/xml" \ "http://example.com:8000/users/scanner/145869072824375522207"
端口 HTTP 名词 描述 示例
/_table_/_row_key_ PUT 在表中写一行。 行,列限定符和值必须均为 Base-64 编码。 要编码字符串,请使用base64命令行实用程序。 要解码字符串,请使用base64 -d。 有效负载位于--data参数中,/ users / fakerow值是占位符。 通过将多行添加到<CellSet>元素来插入多行。 您还可以将要插入的数据保存到文件中,并使用-d @ filename.txt等语法将其传递给-d参数。 curl -vi -X PUT \ -H "Accept: text/xml" \ -H "Content-Type: text/xml" \ -d '<?xml version="1.0" encoding="UTF-8" standalone="yes"?><CellSet><Row key="cm93NQo="><Cell column="Y2Y6ZQo=">dmFsdWU1Cg==</Cell></Row></CellSet>' \ "http://example.com:8000/users/fakerow" 或者 curl -vi -X PUT \ -H "Accept: text/json" \ -H "Content-Type: text/json" \ -d '{"Row":[{"key":"cm93NQo=", "Cell": [{"column":"Y2Y6ZQo=", "$":"dmFsdWU1Cg=="}]}]}'' \ "example.com:8000/users/fakerow"

97.4. REST XML 结构

  1. <schema xmlns="http://www.w3.org/2001/XMLSchema" xmlns:tns="RESTSchema">
  2. <element name="Version" type="tns:Version"></element>
  3. <complexType name="Version">
  4. <attribute name="REST" type="string"></attribute>
  5. <attribute name="JVM" type="string"></attribute>
  6. <attribute name="OS" type="string"></attribute>
  7. <attribute name="Server" type="string"></attribute>
  8. <attribute name="Jersey" type="string"></attribute>
  9. </complexType>
  10. <element name="TableList" type="tns:TableList"></element>
  11. <complexType name="TableList">
  12. <sequence>
  13. <element name="table" type="tns:Table" maxOccurs="unbounded" minOccurs="1"></element>
  14. </sequence>
  15. </complexType>
  16. <complexType name="Table">
  17. <sequence>
  18. <element name="name" type="string"></element>
  19. </sequence>
  20. </complexType>
  21. <element name="TableInfo" type="tns:TableInfo"></element>
  22. <complexType name="TableInfo">
  23. <sequence>
  24. <element name="region" type="tns:TableRegion" maxOccurs="unbounded" minOccurs="1"></element>
  25. </sequence>
  26. <attribute name="name" type="string"></attribute>
  27. </complexType>
  28. <complexType name="TableRegion">
  29. <attribute name="name" type="string"></attribute>
  30. <attribute name="id" type="int"></attribute>
  31. <attribute name="startKey" type="base64Binary"></attribute>
  32. <attribute name="endKey" type="base64Binary"></attribute>
  33. <attribute name="location" type="string"></attribute>
  34. </complexType>
  35. <element name="TableSchema" type="tns:TableSchema"></element>
  36. <complexType name="TableSchema">
  37. <sequence>
  38. <element name="column" type="tns:ColumnSchema" maxOccurs="unbounded" minOccurs="1"></element>
  39. </sequence>
  40. <attribute name="name" type="string"></attribute>
  41. <anyAttribute></anyAttribute>
  42. </complexType>
  43. <complexType name="ColumnSchema">
  44. <attribute name="name" type="string"></attribute>
  45. <anyAttribute></anyAttribute>
  46. </complexType>
  47. <element name="CellSet" type="tns:CellSet"></element>
  48. <complexType name="CellSet">
  49. <sequence>
  50. <element name="row" type="tns:Row" maxOccurs="unbounded" minOccurs="1"></element>
  51. </sequence>
  52. </complexType>
  53. <element name="Row" type="tns:Row"></element>
  54. <complexType name="Row">
  55. <sequence>
  56. <element name="key" type="base64Binary"></element>
  57. <element name="cell" type="tns:Cell" maxOccurs="unbounded" minOccurs="1"></element>
  58. </sequence>
  59. </complexType>
  60. <element name="Cell" type="tns:Cell"></element>
  61. <complexType name="Cell">
  62. <sequence>
  63. <element name="value" maxOccurs="1" minOccurs="1">
  64. <simpleType><restriction base="base64Binary">
  65. </simpleType>
  66. </element>
  67. </sequence>
  68. <attribute name="column" type="base64Binary" />
  69. <attribute name="timestamp" type="int" />
  70. </complexType>
  71. <element name="Scanner" type="tns:Scanner"></element>
  72. <complexType name="Scanner">
  73. <sequence>
  74. <element name="column" type="base64Binary" minOccurs="0" maxOccurs="unbounded"></element>
  75. </sequence>
  76. <sequence>
  77. <element name="filter" type="string" minOccurs="0" maxOccurs="1"></element>
  78. </sequence>
  79. <attribute name="startRow" type="base64Binary"></attribute>
  80. <attribute name="endRow" type="base64Binary"></attribute>
  81. <attribute name="batch" type="int"></attribute>
  82. <attribute name="startTime" type="int"></attribute>
  83. <attribute name="endTime" type="int"></attribute>
  84. </complexType>
  85. <element name="StorageClusterVersion" type="tns:StorageClusterVersion" />
  86. <complexType name="StorageClusterVersion">
  87. <attribute name="version" type="string"></attribute>
  88. </complexType>
  89. <element name="StorageClusterStatus"
  90. type="tns:StorageClusterStatus">
  91. </element>
  92. <complexType name="StorageClusterStatus">
  93. <sequence>
  94. <element name="liveNode" type="tns:Node"
  95. maxOccurs="unbounded" minOccurs="0">
  96. </element>
  97. <element name="deadNode" type="string" maxOccurs="unbounded"
  98. minOccurs="0">
  99. </element>
  100. </sequence>
  101. <attribute name="regions" type="int"></attribute>
  102. <attribute name="requests" type="int"></attribute>
  103. <attribute name="averageLoad" type="float"></attribute>
  104. </complexType>
  105. <complexType name="Node">
  106. <sequence>
  107. <element name="region" type="tns:Region"
  108. maxOccurs="unbounded" minOccurs="0">
  109. </element>
  110. </sequence>
  111. <attribute name="name" type="string"></attribute>
  112. <attribute name="startCode" type="int"></attribute>
  113. <attribute name="requests" type="int"></attribute>
  114. <attribute name="heapSizeMB" type="int"></attribute>
  115. <attribute name="maxHeapSizeMB" type="int"></attribute>
  116. </complexType>
  117. <complexType name="Region">
  118. <attribute name="name" type="base64Binary"></attribute>
  119. <attribute name="stores" type="int"></attribute>
  120. <attribute name="storefiles" type="int"></attribute>
  121. <attribute name="storefileSizeMB" type="int"></attribute>
  122. <attribute name="memstoreSizeMB" type="int"></attribute>
  123. <attribute name="storefileIndexSizeMB" type="int"></attribute>
  124. </complexType>
  125. </schema>

97.5. REST Protobufs 结构

  1. message Version {
  2. optional string restVersion = 1;
  3. optional string jvmVersion = 2;
  4. optional string osVersion = 3;
  5. optional string serverVersion = 4;
  6. optional string jerseyVersion = 5;
  7. }
  8. message StorageClusterStatus {
  9. message Region {
  10. required bytes name = 1;
  11. optional int32 stores = 2;
  12. optional int32 storefiles = 3;
  13. optional int32 storefileSizeMB = 4;
  14. optional int32 memstoreSizeMB = 5;
  15. optional int32 storefileIndexSizeMB = 6;
  16. }
  17. message Node {
  18. required string name = 1; // name:port
  19. optional int64 startCode = 2;
  20. optional int32 requests = 3;
  21. optional int32 heapSizeMB = 4;
  22. optional int32 maxHeapSizeMB = 5;
  23. repeated Region regions = 6;
  24. }
  25. // node status
  26. repeated Node liveNodes = 1;
  27. repeated string deadNodes = 2;
  28. // summary statistics
  29. optional int32 regions = 3;
  30. optional int32 requests = 4;
  31. optional double averageLoad = 5;
  32. }
  33. message TableList {
  34. repeated string name = 1;
  35. }
  36. message TableInfo {
  37. required string name = 1;
  38. message Region {
  39. required string name = 1;
  40. optional bytes startKey = 2;
  41. optional bytes endKey = 3;
  42. optional int64 id = 4;
  43. optional string location = 5;
  44. }
  45. repeated Region regions = 2;
  46. }
  47. message TableSchema {
  48. optional string name = 1;
  49. message Attribute {
  50. required string name = 1;
  51. required string value = 2;
  52. }
  53. repeated Attribute attrs = 2;
  54. repeated ColumnSchema columns = 3;
  55. // optional helpful encodings of commonly used attributes
  56. optional bool inMemory = 4;
  57. optional bool readOnly = 5;
  58. }
  59. message ColumnSchema {
  60. optional string name = 1;
  61. message Attribute {
  62. required string name = 1;
  63. required string value = 2;
  64. }
  65. repeated Attribute attrs = 2;
  66. // optional helpful encodings of commonly used attributes
  67. optional int32 ttl = 3;
  68. optional int32 maxVersions = 4;
  69. optional string compression = 5;
  70. }
  71. message Cell {
  72. optional bytes row = 1; // unused if Cell is in a CellSet
  73. optional bytes column = 2;
  74. optional int64 timestamp = 3;
  75. optional bytes data = 4;
  76. }
  77. message CellSet {
  78. message Row {
  79. required bytes key = 1;
  80. repeated Cell values = 2;
  81. }
  82. repeated Row rows = 1;
  83. }
  84. message Scanner {
  85. optional bytes startRow = 1;
  86. optional bytes endRow = 2;
  87. repeated bytes columns = 3;
  88. optional int32 batch = 4;
  89. optional int64 startTime = 5;
  90. optional int64 endTime = 6;
  91. }

98. Thrift

相关文档已转移到 Thrift API and Filter Language.

99. C/C++ Apache HBase 客户端

FB’s Chip Turner 编写了纯正 C/C++ 客户端. Check it out.

C++ client 实现. 详见: HBASE-14850.

100. 将 Java Data Objects (JDO) 和 HBase 一起使用

Java 数据对象 Java Data Objects (JDO) 是一种访问数据库中持久数据的标准方法,使用普通的旧 Java 对象(POJO)来表示持久数据。

依赖

此代码示例具有以下依赖项:

  1. HBase 0.90.x 或更高版本

  2. commons-beanutils.jar (https://commons.apache.org/)

  3. commons-pool-1.5.5.jar (https://commons.apache.org/)

  4. transactional-tableindexed for HBase 0.90 (https://github.com/hbase-trx/hbase-transactional-tableindexed)

下载 hbase-jdo

下载源码 http://code.google.com/p/hbase-jdo/.

Example 26. JDO 示例

此示例使用 JDO 创建一个表和一个索引,在表中插入行,获取行,获取列值,执行查询以及执行一些其他 HBase 操作。

  1. package com.apache.hadoop.hbase.client.jdo.examples;
  2. import java.io.File;
  3. import java.io.FileInputStream;
  4. import java.io.InputStream;
  5. import java.util.Hashtable;
  6. import org.apache.hadoop.fs.Path;
  7. import org.apache.hadoop.hbase.client.tableindexed.IndexedTable;
  8. import com.apache.hadoop.hbase.client.jdo.AbstractHBaseDBO;
  9. import com.apache.hadoop.hbase.client.jdo.HBaseBigFile;
  10. import com.apache.hadoop.hbase.client.jdo.HBaseDBOImpl;
  11. import com.apache.hadoop.hbase.client.jdo.query.DeleteQuery;
  12. import com.apache.hadoop.hbase.client.jdo.query.HBaseOrder;
  13. import com.apache.hadoop.hbase.client.jdo.query.HBaseParam;
  14. import com.apache.hadoop.hbase.client.jdo.query.InsertQuery;
  15. import com.apache.hadoop.hbase.client.jdo.query.QSearch;
  16. import com.apache.hadoop.hbase.client.jdo.query.SelectQuery;
  17. import com.apache.hadoop.hbase.client.jdo.query.UpdateQuery;
  18. /**
  19. * Hbase JDO Example.
  20. *
  21. * dependency library.
  22. * - commons-beanutils.jar
  23. * - commons-pool-1.5.5.jar
  24. * - hbase0.90.0-transactionl.jar
  25. *
  26. * you can expand Delete,Select,Update,Insert Query classes.
  27. *
  28. */
  29. public class HBaseExample {
  30. public static void main(String[] args) throws Exception {
  31. AbstractHBaseDBO dbo = new HBaseDBOImpl();
  32. //*drop if table is already exist.*
  33. if(dbo.isTableExist("user")){
  34. dbo.deleteTable("user");
  35. }
  36. //*create table*
  37. dbo.createTableIfNotExist("user",HBaseOrder.DESC,"account");
  38. //dbo.createTableIfNotExist("user",HBaseOrder.ASC,"account");
  39. //create index.
  40. String[] cols={"id","name"};
  41. dbo.addIndexExistingTable("user","account",cols);
  42. //insert
  43. InsertQuery insert = dbo.createInsertQuery("user");
  44. UserBean bean = new UserBean();
  45. bean.setFamily("account");
  46. bean.setAge(20);
  47. bean.setEmail("ncanis@gmail.com");
  48. bean.setId("ncanis");
  49. bean.setName("ncanis");
  50. bean.setPassword("1111");
  51. insert.insert(bean);
  52. //select 1 row
  53. SelectQuery select = dbo.createSelectQuery("user");
  54. UserBean resultBean = (UserBean)select.select(bean.getRow(),UserBean.class);
  55. // select column value.
  56. String value = (String)select.selectColumn(bean.getRow(),"account","id",String.class);
  57. // search with option (QSearch has EQUAL, NOT_EQUAL, LIKE)
  58. // select id,password,name,email from account where id='ncanis' limit startRow,20
  59. HBaseParam param = new HBaseParam();
  60. param.setPage(bean.getRow(),20);
  61. param.addColumn("id","password","name","email");
  62. param.addSearchOption("id","ncanis",QSearch.EQUAL);
  63. select.search("account", param, UserBean.class);
  64. // search column value is existing.
  65. boolean isExist = select.existColumnValue("account","id","ncanis".getBytes());
  66. // update password.
  67. UpdateQuery update = dbo.createUpdateQuery("user");
  68. Hashtable<String, byte[]> colsTable = new Hashtable<String, byte[]>();
  69. colsTable.put("password","2222".getBytes());
  70. update.update(bean.getRow(),"account",colsTable);
  71. //delete
  72. DeleteQuery delete = dbo.createDeleteQuery("user");
  73. delete.deleteRow(resultBean.getRow());
  74. ////////////////////////////////////
  75. // etc
  76. // HTable pool with apache commons pool
  77. // borrow and release. HBasePoolManager(maxActive, minIdle etc..)
  78. IndexedTable table = dbo.getPool().borrow("user");
  79. dbo.getPool().release(table);
  80. // upload bigFile by hadoop directly.
  81. HBaseBigFile bigFile = new HBaseBigFile();
  82. File file = new File("doc/movie.avi");
  83. FileInputStream fis = new FileInputStream(file);
  84. Path rootPath = new Path("/files/");
  85. String filename = "movie.avi";
  86. bigFile.uploadFile(rootPath,filename,fis,true);
  87. // receive file stream from hadoop.
  88. Path p = new Path(rootPath,filename);
  89. InputStream is = bigFile.path2Stream(p,4096);
  90. }
  91. }

101. Scala

101.1. 设置类路径

要将 Scala 与 HBase 一起使用,您的 CLASSPATH 必须包含 HBase 的类路径以及代码所需的 Scala JAR。首先,在运行 HBase RegionServer 进程的服务器上使用以下命令,以获取 HBase 的类路径。

  1. $ ps aux |grep regionserver| awk -F 'java.library.path=' {'print $2'} | awk {'print $1'}
  2. /usr/lib/hadoop/lib/native:/usr/lib/hbase/lib/native/Linux-amd64-64

设置$CLASSPATH环境变量以包括您在上一步中找到的路径,以及项目所需的scala-library.jar路径和每个与 Scala 相关的其他 JAR。

  1. $ export CLASSPATH=$CLASSPATH:/usr/lib/hadoop/lib/native:/usr/lib/hbase/lib/native/Linux-amd64-64:/path/to/scala-library.jar

101.2. Scala SBT 文件

build.sbt 需要使用 resolverslibraryDependencies .

  1. resolvers += "Apache HBase" at "https://repository.apache.org/content/repositories/releases"
  2. resolvers += "Thrift" at "https://people.apache.org/~rawson/repo/"
  3. libraryDependencies ++= Seq(
  4. "org.apache.hadoop" % "hadoop-core" % "0.20.2",
  5. "org.apache.hbase" % "hbase" % "0.90.4"
  6. )

101.3. Scala 示例

此示例列出 HBase 表,创建新表并向其添加行:

  1. import org.apache.hadoop.hbase.HBaseConfiguration
  2. import org.apache.hadoop.hbase.client.{Connection,ConnectionFactory,HBaseAdmin,HTable,Put,Get}
  3. import org.apache.hadoop.hbase.util.Bytes
  4. val conf = new HBaseConfiguration()
  5. val connection = ConnectionFactory.createConnection(conf);
  6. val admin = connection.getAdmin();
  7. // list the tables
  8. val listtables=admin.listTables()
  9. listtables.foreach(println)
  10. // let's insert some data in 'mytable' and get the row
  11. val table = new HTable(conf, "mytable")
  12. val theput= new Put(Bytes.toBytes("rowkey1"))
  13. theput.add(Bytes.toBytes("ids"),Bytes.toBytes("id1"),Bytes.toBytes("one"))
  14. table.put(theput)
  15. val theget= new Get(Bytes.toBytes("rowkey1"))
  16. val result=table.get(theget)
  17. val value=result.value()
  18. println(Bytes.toString(value))

102. Jython

102.1. 设置类路径

要将 Jython 与 HBase 一起使用,您的 CLASSPATH 必须包含 HBase 的类路径以及代码所需的 Jython JAR。

将路径设置为包含Jython.jar的目录,以及每个项目需要的附加的 Jython 相关 JAR。然后将的 HBASE_CLASSPATH 指向$JYTHON_HOME 。

  1. $ export HBASE_CLASSPATH=/directory/jython.jar

在类路径中使用 HBase 和 Hadoop JAR 启动 Jython shell: $ bin/hbase org.python.util.jython

102.2. Jython 示例

Example 27. 使用 Jython 创建表,填充,获取和删除表

以下 Jython 代码示例检查表,如果存在,则删除它然后创建它。然后,它使用数据填充表并获取数据。

  1. import java.lang
  2. from org.apache.hadoop.hbase import HBaseConfiguration, HTableDescriptor, HColumnDescriptor, TableName
  3. from org.apache.hadoop.hbase.client import Admin, Connection, ConnectionFactory, Get, Put, Result, Table
  4. from org.apache.hadoop.conf import Configuration
  5. # First get a conf object. This will read in the configuration
  6. # that is out in your hbase-*.xml files such as location of the
  7. # hbase master node.
  8. conf = HBaseConfiguration.create()
  9. connection = ConnectionFactory.createConnection(conf)
  10. admin = connection.getAdmin()
  11. # Create a table named 'test' that has a column family
  12. # named 'content'.
  13. tableName = TableName.valueOf("test")
  14. table = connection.getTable(tableName)
  15. desc = HTableDescriptor(tableName)
  16. desc.addFamily(HColumnDescriptor("content"))
  17. # Drop and recreate if it exists
  18. if admin.tableExists(tableName):
  19. admin.disableTable(tableName)
  20. admin.deleteTable(tableName)
  21. admin.createTable(desc)
  22. # Add content to 'column:' on a row named 'row_x'
  23. row = 'row_x'
  24. put = Put(row)
  25. put.addColumn("content", "qual", "some content")
  26. table.put(put)
  27. # Now fetch the content just added, returns a byte[]
  28. get = Get(row)
  29. result = table.get(get)
  30. data = java.lang.String(result.getValue("content", "qual"), "UTF8")
  31. print "The fetched row contains the value '%s'" % data

Example 28. 使用 Jython 进行表扫描

此示例扫描表并返回与给定族限定符匹配的结果。

  1. import java.lang
  2. from org.apache.hadoop.hbase import TableName, HBaseConfiguration
  3. from org.apache.hadoop.hbase.client import Connection, ConnectionFactory, Result, ResultScanner, Table, Admin
  4. from org.apache.hadoop.conf import Configuration
  5. conf = HBaseConfiguration.create()
  6. connection = ConnectionFactory.createConnection(conf)
  7. admin = connection.getAdmin()
  8. tableName = TableName.valueOf('wiki')
  9. table = connection.getTable(tableName)
  10. cf = "title"
  11. attr = "attr"
  12. scanner = table.getScanner(cf)
  13. while 1:
  14. result = scanner.next()
  15. if not result:
  16. break
  17. print java.lang.String(result.row), java.lang.String(result.getValue(cf, attr))