sqoop执行的脚本我是这样写的
sqoop export --connect jdbc:mysql://localhost:3306/movie --username root --password welcome1 --table movieRecommend --fields-terminated-by ',' --export-dir /recommendout
recommendout是我mapreduce程序处理后的输出目录,包括用户id,电影id,经mapreduce计算处理得出的该电影对该用户的推荐度。mysql中的表movieRecommend的字段包括user_id,movie_id,rating,没有设置主键。正常的结果是最终mysql中每个用户对每个商品有唯一的一个推荐度,即(用户id+电影id)字段应该是unique的。但mapreduce和sqoop的job是定时多次执行的,这样每次执行,recommendout目录中的数据都会导入到mysql中,造成重复。初次接触hadoop平台和其组件,请问这种问题是怎么解决的?
为什么不在mysql中设置主键呢?sqoop是多map task完成的,很难在sqoop端去重
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。