HBase & thrift & C++编程

简介: 目录目录 11. 前言 12. 启动和停止thrift2 12.1. 启动thrift2 12.2. 停止thrift2 12.3. 启动参数 23. hbase.thrift 23.1. 编译hbase.thrift 24. thrift_helper.h 35. 示例代码 4 1. 前言本文目的是介绍使用C++如何操作HBase。

目录

目录 1

1. 前言 1

2. 启动和停止thrift2 1

2.1. 启动thrift2 1

2.2. 停止thrift2 1

2.3. 启动参数 2

3. hbase.thrift 2

3.1. 编译hbase.thrift 2

4. thrift_helper.h 3

5. 示例代码 4

 

1. 前言

本文目的是介绍使用C++如何操作HBase。从HBase 0.94开始,HBase新增thrift2,本文只介绍和讨论thrift2相关的。hbase-1.1.2使用的thrift估计是thrift-0.9.0版本

2. 启动和停止thrift2

2.1. 启动thrift2

登录HBase master机器,执行以下命令启动thrift2hbase-daemon.sh start thrift2。

thrift默认的监听端口是9090,可以通过参数“-p”指定其它端口。默认使用的ServerTThreadPoolServer。默认使用的ProtocolTBinaryProtocol

注意客户端使用的ProtocolTransport和服务端的要保持一致,否则客户端在调用时,可能遇到“EAGAIN (timed out)”等错误。

2.2. 停止thrift2

hbase-daemon.sh stop thrift2

2.3. 启动参数

使用“hbase-daemon.sh start thrift2”时,还可以带以下参数:

参数名

是否默认

参数说明

-h, --help

 

显示帮助信息

-b, --bind

 

绑定指定地址,但不支持TNonblockingServerTHsHaServer,两者总是使用“0.0.0.0

-p, --port

9090

绑室指定端口,默认为9090

-f, --framed

 

使用TFramedTransport

-c, --compact

 

使用TCompactProtocol,默认是TBinaryProtocol

-threadpool

使用TThreadPoolServer,为默认Server

-nonblocking

 

使用实现了FramedTransportTNonblockingServer

-hsha

 

使用实现了FramedTransportTHsHaServer

 

客户端和hbase thrift2TransportProtocol保持一致,比如客户端为FramedTransport,则也需以“-f”启动hbase thrift2

否则客户端在调用时,可能会遇到“EAGAIN (timed out)”等错误。

 

启动参数信息来源于官网的页面:

https://hbase.apache.org/devapidocs/org/apache/hadoop/hbase/thrift2/package-summary.html

 

以上参数不是给hbase-daemon.sh使用,而是被hbase thrift2使用,可以浏览相关源代码了解细节:

hbase-thrift\src\main\java\org\apache\hadoop\hbase\thrift2\ThriftServer.java

hbase-thrift\src\main\java\org\apache\hadoop\hbase\thrift2\ThriftHBaseServiceHandler.java

 

Ø 启动示例:

hbase-daemon.sh start thrift2 --framed -nonblocking

3. hbase.thrift

hbaser.thrift文件在hbase源代码包(以hbase-1.1.2为例)中的位置:

hbase-thrift\src\main\resources\org\apache\hadoop\hbase\thrift2\hbase.thrift

3.1. 编译hbase.thrift

保持机器上已安装好thrift(经测试hbase-1.1.2thrift-0.9.0兼容),然后使用下列命令编译:thrift --gen cpp -out . hbase.thrift,编译成功后,会在“-out”指定的目录下生成以下五个文件:

THBaseService.h

THBaseService.cpp

hbase_types.h

hbase_types.cpp

hbase_constants.h

hbase_constants.cpp

 

其中供客户端使用的是位于文件THBaseService.h中的类THBaseServiceClient

4. thrift_helper.h

为了简化C++客户端的编程,可以使用thrift_helper.h

https://github.com/eyjian/mooon/blob/master/common_library/include/mooon/net/thrift_helper.h,它可以帮助简化对HBase thrift2的调用:

// thrift客户端辅助类

//

// 使用示例:

// mooon::net::CThriftClientHelper<ExampleServiceClient> client(rpc_server_ip, rpc_server_port);

// try

// {

//     client.connect();

//     client->foo();

// }

// catch (apache::thrift::transport::TTransportException& ex)

// {

//     MYLOG_ERROR("thrift exception: (%d)%s\n", ex.getType(), ex.what());

// }

// catch (apache::thrift::transport::TApplicationException& ex)

// {

//     MYLOG_ERROR("thrift exception: %s\n", ex.what());

// }

// catch (apache::thrift::TException& ex)

// {

//     MYLOG_ERROR("thrift exception: %s\n", ex.what());

// }

// Transport除默认的TFramedTransport (TBufferTransports.h),还可选择:

// TBufferedTransport (TBufferTransports.h)

// THttpTransport

// TZlibTransport

// TFDTransport (TSimpleFileTransport)

//

// Protocol除默认的apache::thrift::protocol::TBinaryProtocol,还可选择:

// TCompactProtocol

// TJSONProtocol

// TDebugProtocol

template <class ThriftClient,

          class Protocol=apache::thrift::protocol::TBinaryProtocol,

          class Transport=apache::thrift::transport::TFramedTransport>

class CThriftClientHelper

5. 示例代码

// HBase thrift2 C++编程示例

#include "THBaseService.h"

#include <inttypes.h> // PRIu64

#include <mooon/net/thrift_helper.h>

#include <mooon/utils/args_parser.h>

#include <vector>

 

// 请注意客户端使用的thrift的Transport和Protocol要和hbase thrift2服务端保持一致,

// 否则调用时,可能总是报超时,或其它错误!!!

//

// 运行之前,请通过HBase shell创建好表:create 'test','cf1','cf2'

// 或指定版本数:create 'test',{NAME=>'cf1',VERSIONS=>2},{NAME=>'cf2',VERSIONS=>3}

// 删除表,按顺序执行以下两条HBase shell命令:

// disable 'test'

// drop 'test'

 

STRING_ARG_DEFINE(hbase_ip, "192.168.0.1", "hbase thrift ip");

INTEGER_ARG_DEFINE(uint16_t, hbase_port, 9090, 1000, 50000, "hbase thrift port");

 

int main(int argc, char* argv[])

{

    std::string errmsg;

    if (!mooon::utils::parse_arguments(argc, argv, &errmsg))

    {

        fprintf(stderr, "parameter error: %s\n", errmsg.c_str());

        exit(1);

    }

 

    using namespace apache;

    using namespace apache::hadoop;

 

    std::string hbase_ip = mooon::argument::hbase_ip->value();

    uint16_t hbase_port = mooon::argument::hbase_port->value();

    mooon::net::CThriftClientHelper<hbase::thrift2::THBaseServiceClient> hbase_client(hbase_ip, hbase_port);

 

    try

    {

        hbase_client.connect(); // 连接hbase thrift2 server

        fprintf(stdout, "connect %s:%d ok\n", hbase_ip.c_str(), hbase_port);

 

        std::string tablename = "test";     // 表名,确保运行之前已创建好

        std::string rowkey = "row1";        // 行Key

        std::string family = "cf1";         // 例族名

        std::string columnname = "f1";      // 例名

        std::string columnvalue = "value1"; // 例值

 

        // 插入参数设置

        std::vector<hbase::thrift2::TColumnValue> columns_value(1);

        columns_value[0].__set_family(family);

        columns_value[0].__set_qualifier(columnname);

        columns_value[0].__set_value(columnvalue);

 

        hbase::thrift2::TPut put;

        put.__set_row(rowkey);

        put.__set_columnValues(columns_value);

        hbase_client->put(tablename, put); // 插入,出错抛异常hbase::thrift2::TIOError

 

        // 查询参数设置

        hbase::thrift2::TGet input;

        input.__set_row(rowkey);

 

        hbase::thrift2::TResult result; // 查询结果存放在这里

        hbase_client->get(result, tablename, input); // 查询,出错抛异常hbase::thrift2::TIOError

 

        // 显示查询结果

        for (int i=0; i<static_cast<int>(result.columnValues.size()); ++i)

        {

            const hbase::thrift2::TColumnValue& column_value_ref = result.columnValues[i];

            fprintf(stdout, "family[%s]/qualifier[%s]/timestamp[%"PRIu64"]: %s\n", column_value_ref.family.c_str(),

                    column_value_ref.qualifier.c_str(),

                    column_value_ref.timestamp,

                    column_value_ref.value.c_str());

        }

    }

    catch (hbase::thrift2::TIOError& ex)

    {

        fprintf(stderr, "IOError: %s\n", ex.what());

    }

    catch (apache::thrift::transport::TTransportException& ex)

    {

        // 如果和服务端的Transport和Protocol不同,这里的错误是“EAGAIN (timed out)”

        fprintf(stderr, "(%d)%s\n", ex.getType(), ex.what());

    }

    catch (apache::thrift::TApplicationException& ex)

    {

        fprintf(stderr, "%s\n", ex.what());

    }

    catch (thrift::TException& ex)

    {

        fprintf(stderr, "%s\n", ex.what());

    }

 

    return 0;

}

 

如果thrift客户端报如下错误,有可能是因为一次写入的数据太多,导致包过大:

Thrift: Fri Apr 22 17:30:41 2016 TSocket::write_partial() send() <Host: 10.143.136.208 Port: 9090>Connection reset by peer

Thrift: Fri Apr 22 17:30:41 2016 TSocket::write_partial() send() <Host: 10.143.136.208 Port: 9090>Connection reset by peer

相关实践学习
云数据库HBase版使用教程
&nbsp; 相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情:&nbsp;https://cn.aliyun.com/product/hbase &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
23天前
|
安全 算法 C++
【C/C++ 泛型编程 应用篇】C++ 如何通过Type traits处理弱枚举和强枚举
【C/C++ 泛型编程 应用篇】C++ 如何通过Type traits处理弱枚举和强枚举
46 3
|
25天前
|
安全 算法 编译器
【C++ 泛型编程 进阶篇】深入探究C++模板参数推导:从基础到高级
【C++ 泛型编程 进阶篇】深入探究C++模板参数推导:从基础到高级
240 3
|
25天前
|
存储 算法 编译器
【C++ TypeName用法 】掌握C++中的TypeName:模板编程的瑞士军刀
【C++ TypeName用法 】掌握C++中的TypeName:模板编程的瑞士军刀
234 0
|
25天前
|
算法 编译器 数据库
【C++ 泛型编程 高级篇】使用SFINAE和if constexpr灵活处理类型进行条件编译
【C++ 泛型编程 高级篇】使用SFINAE和if constexpr灵活处理类型进行条件编译
243 0
|
25天前
|
设计模式 程序员 C++
【C++ 泛型编程 高级篇】C++模板元编程:使用模板特化 灵活提取嵌套类型与多容器兼容性
【C++ 泛型编程 高级篇】C++模板元编程:使用模板特化 灵活提取嵌套类型与多容器兼容性
241 2
|
2天前
|
编译器 C++
C++编程之美:探索初始化之源、静态之恒、友情之桥与匿名之韵
C++编程之美:探索初始化之源、静态之恒、友情之桥与匿名之韵
15 0
|
24天前
|
存储 移动开发 安全
【C/C++ 口语】C++ 编程常见接口发音一览(不断更新)
【C/C++ 口语】C++ 编程常见接口发音一览(不断更新)
21 0
|
24天前
|
算法 编译器 C++
【C++ 模板编程 基础知识】C++ 模板类部分特例化的参数顺序
【C++ 模板编程 基础知识】C++ 模板类部分特例化的参数顺序
21 0
|
24天前
|
机器学习/深度学习 人工智能 算法
【C++ 职业方向】C++ 职业方向探索:工作职责、编程技能与MBTI人格匹配
【C++ 职业方向】C++ 职业方向探索:工作职责、编程技能与MBTI人格匹配
157 1
|
24天前
|
安全 编译器 程序员
【C++ 泛型编程 高级篇】C++ 编程深掘:静态成员函数检查的艺术与实践
【C++ 泛型编程 高级篇】C++ 编程深掘:静态成员函数检查的艺术与实践
62 0