开发者社区> 问答> 正文

有这样一个场景:输入数据是在MaxCompute(原ODPS)上存储的一个表,数据格式是id, kv_string(k1:v1,k2:v2,k3:v3.....),在前端触会通过点击触发发工作流,完成计算输出结果返回,这里的第一步就是根据前端传入的key的列表,从这个kv表中把数据取出来变成一个宽表。 现在的思路是这样的: step1: 根据前端传入的参数名称列表以及服务器上的参数对照表,完成建表; step2: 把数据插入到表里

已解决

有这样一个场景:输入数据是在MaxCompute(原ODPS)上存储的一个表,数据格式是id, kv_string(k1:v1,k2:v2,k3:v3.....),在前端触会通过点击触发发工作流,完成计算输出结果返回,这里的第一步就是根据前端传入的key的列表,从这个kv表中把数据取出来变成一个宽表。
现在的思路是这样的: step1: 根据前端传入的参数名称列表以及服务器上的参数对照表,完成建表;

                                step2: 把数据插入到表里,这个是在服务器上读取kv表内容,把数据写入到宽表上更好还是通过一个mr任务完成这个
                                           操作;
                               step3:  用宽表进行其它计算,返回计算结果

请问,根据前端传入的列名创建宽表并往宽表写入数据还有其它更好的方法吗?

展开
收起
祁同伟 2017-07-18 13:56:25 5304 0
1 条回答
写回答
取消 提交回答
问答排行榜
最热
最新

相关电子书

更多
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载
大数据&AI实战派 第2期 立即下载