开发者社区> 问答> 正文

官方开源版本的hive能否使用oss作为数据源

使用官方开源版本的hive能否使用oss作为数据源,如果可以的话,具体需要引入什么包?

展开
收起
vivoreal 2017-01-26 11:04:20 4326 0
1 条回答
写回答
取消 提交回答
  • Hive使用OSS Partition
    CREATE EXTERNAL TABLE log_ship_oss_example (

    time STRING,
    ip STRING,
    url STRING,
    method STRING,
    status STRING,
    user-agent STRING,
    api-version STRING

    )
    PARTITIONED BY (

    year STRING,
    mon STRING,
    day STRING

    )
    ROW FORMAT serde 'org.apache.hive.hcatalog.data.JsonSerDe'
    STORED AS TEXTFILE
    LOCATION 'oss://${AccessKeyId}:${AccessKeySecret}@test-bucket.oss-cn-hangzhou.aliyuncs.com/log_ship_oss_example';
    如上即完成Hive外部表创建并加载OSS上的Partition。

    想了解如何通过LOG采集日志并投递到OSS的整个流程,可以参考这个用户案例:
    梨视频:基于阿里云E-MapReduce搭建视频推荐系统的实践
    https://yq.aliyun.com/articles/68805

    投递日志到 OSS:
    https://help.aliyun.com/document_detail/29002.html

    2019-07-17 20:44:52
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
OSS运维进阶实战手册 立即下载
《OSS运维基础实战手册》 立即下载
OSS运维基础实战手册 立即下载