开发者社区 问答 正文

一个50G的数据文件,要在pai内频繁进行随机访问,采用什么方式读取比较好呢?

PAI是阿里云的机器学习产品,有tensorflow运行环境,可以运行python文件;
50G的数据文件时100w张图片的二进制打包,上传在oss;
我的模型是xception,每个batch的数据是从那个数据文件随机读取出来的;

问题来了:在pai内随机读取oss,什么方式比较好呢?

展开
收起
airxiechao2 2017-11-27 09:18:05 3620 分享
分享
版权
举报
1 条回答
写回答
取消 提交回答
  • 推荐算法,python算法 熟悉MaxCompute、DataWorks用法

    参考这个:https://help.aliyun.com/document_detail/154188.html

    2021-10-13 08:59:59 举报
    赞同 展开评论

    评论

    全部评论 (0)

    登录后可评论