开发者社区> 问答> 正文

pyodps怎么分段下载数据,或者是说 差异下载备份?

t = odps.exist_table('table_test')
print(t)

from odps.tunnel import TableTunnel

tunnel = TableTunnel(odps)
download_session = tunnel.create_download_session('table_test')

with download_session.open_record_reader(0, download_session.count) as reader:
        for record in reader:
#                f=file('/opt/test,txt', 'a+')
#                f.wirtelines(record)
#                f.close()

不会python,只使用下载,其他功能很少使用,就是想利用python从特定位置下载数据,使用python可以做到吗?
比如,昨天库中文件有 10000 条,今天又加入了 1000 条,只下载今天的 1000 条。

展开
收起
无脚鸟坠落 2016-07-15 16:11:06 3083 0
1 条回答
写回答
取消 提交回答
  • MaxCompute 生态

    您需要知道,ODPS 是分布式的数据存储,表里的数据并没有顺序,期望通过 offset 来做增量下载是不可靠的。

    一个可以变通的方法是按照日期来做分区。每次下载新增的分区。

    2019-07-17 19:57:11
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
DataWorks全链路数据质量解决方案-2020飞天大数据平台实战应用第一季 立即下载
DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载