开发者社区> 问答> 正文

flink写hive表有什么好的建议?

转自钉钉群21789141:flink 写 hive 表 有什么好的建议?

展开
收起
赵慧@ApacheFlink中文社区 2019-02-14 14:16:18 7041 0
1 条回答
写回答
取消 提交回答
  • 乔燃:目前还没有内置的flink 写hive表实现,需要自己开发。

    1. 实现一个 Output format, HiveTableOutputFormat, 与 CsvOutputFormat 类似,需要确认hive 表的outputformat class和相关的序列化的类
    2. 写入的时候如果使用dataStream可以用 boundedStream.writeUsingOutputFormat(HiveTableOutputFormat)这样来实现

    大概的思路是这样的

    2019-07-17 23:28:08
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hive Bucketing in Apache Spark 立即下载
spark替代HIVE实现ETL作业 立即下载
2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载