使用Studio开发大数据应用

简介: 基于Studio操作MaxCompute。

MaxCompute Studio的一大核心功能是浏览MaxCompute项目空间(Project)的资源,包括Table、UDF、Resource等,要想实现这一功能,首先需要创建项目连接。
前提条件:
由于IntelliJ IDEA的Tool window要显示必须先打开某个IntelliJ project,而配置MaxCompute Project需要进入IntelliJ界面Tool Windows中的MaxCompute Project Explorer,所以在创建MaxCompute Project链接前,先添加或者导入一个IntelliJ Project。这里将以在Windows下新增Project为例。
运行IntelliJ IDEA后,单击 File,在下拉菜单中选择New,选择Project…,具体如下图所示:image
选择弹出页面中的 MaxCompute Studio,单击 “Next“按钮,具体如下图所示:
image

填写Project name,Project location保持默认即可,单击“ Finish“按钮。
image

创建MaxCompute项目链接:
建议您根据自己的Region配置MaxCompute项目连接,否则会出现无法访问等错误。
操作步骤
1、单击菜单中的View选项,选择Tool Windows,单击弹出页面中的Project Explorer,具体如下图所示:
image

2、单击左上角的“+”,添加一个MaxCompute Project,具体如下图所示。
image

3、在Add MaxCompute Project对话框中,填入相关配置选项。
配置项参数说明:
Properties File:使用odpscmd安装配置文件中的odps_config.ini文件来初始化AK/Endpoint等配置项;
AK Account: 用AK账号来初始化AK,可单击右侧“+“号按钮添加AK Account;
Access Id、Access Key:连接MaxCompute project时的AK/Endpoint等配置信息,必填。可手工填写,也可通过上述Properties File或AK Account来初始化配置;
Project Name: MaxCompute项目名称;
End Point:http://service.odps.aliyun.com/api,保持默认。
image

说明

    单击dialog左下角的?即可链接到在线文档。

若同步出现超时错误,可以在setting标签页酌情延长元数据同步到本地的超时时间。
4、配置完成后,单击“OK“按钮。看到左侧MaxCompute Project Explorer中会显示MaxCompute Project的信息,可以通过鼠标单击查看该project中的表、视图、函数以及资源等信息,具体如下图所示。
image

查看/修改MaxCompute项目链接:
在Project Explorer中,对需要修改的MaxCompupte项目右键选择 Show|Modify project properties。
image

在弹出框中可以查看或修改该MaxCompute project的Connection和Setting。
用过大数据开发套件的同学,对于本地数据上传下载,都会遇到这样的问题:
 导入本地数据 功能,限制本地数据文件大小最大为10MB;
 查询结果导出本地时,由于select语句返回结果最大为10000行的限制,最多只能导出1w数据;
 数据导出本地文件的功能只有‘查询结果导出本地’。
要解决以上问题,通常都是需要自己安装MaxCompute客户端odpscmd,通过tunnel命令进行导入导出。
现在来教大家使用MaxCompute Studio工具界面,可以更轻松完成Tunnel命令能完成的本地数据导入导出工作。
创建ods_test 表.
进入MaxCompute Studio的Project Explorer窗口,展开Table&View,鼠标单击Table&View选中,右键选择”Create new table”,具体如下图所示:image

在创建表/视图页面,将上面的建表SQL脚本复制到SQL DDL SCRIPT脚本开发中,单击“执行”按钮,具体如下图所示:

image
出现Script Result提示SUCCESS,表示ods_test表已经创建,单击右上角的“x”关闭窗口,具体如下图所示:
image

可以看到创建的ods_test股票基本信息表。

image

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
22天前
|
存储 消息中间件 监控
【Flume】Flume在大数据分析领域的应用
【4月更文挑战第4天】【Flume】Flume在大数据分析领域的应用
|
1月前
|
Cloud Native 数据处理 云计算
探索云原生技术在大数据分析中的应用
随着云计算技术的不断发展,云原生架构作为一种全新的软件开发和部署模式,正逐渐引起企业的广泛关注。本文将探讨云原生技术在大数据分析领域的应用,介绍其优势与挑战,并探讨如何利用云原生技术提升大数据分析的效率和可靠性。
|
1月前
|
存储 消息中间件 大数据
Go语言在大数据处理中的实际应用与案例分析
【2月更文挑战第22天】本文深入探讨了Go语言在大数据处理中的实际应用,通过案例分析展示了Go语言在处理大数据时的优势和实践效果。文章首先介绍了大数据处理的挑战与需求,然后详细分析了Go语言在大数据处理中的适用性和核心技术,最后通过具体案例展示了Go语言在大数据处理中的实际应用。
|
1月前
|
数据采集 分布式计算 大数据
Java语言在大数据处理中的应用
传统的大数据处理往往依赖于庞大的数据中心和高性能的服务器,然而随着大数据时代的到来,Java作为一种强大的编程语言正在被广泛应用于大数据处理领域。本文将探讨Java语言在大数据处理中的优势和应用,以及其在分布式计算、数据处理和系统集成等方面的重要作用。
|
1月前
|
存储 大数据 数据挖掘
云计算与大数据:从基础设施到实际应用
云计算与大数据:从基础设施到实际应用
134 0
|
24天前
|
NoSQL 大数据 数据挖掘
现代数据库技术与大数据应用
随着信息时代的到来,数据量呈指数级增长,对数据库技术提出了前所未有的挑战。本文将介绍现代数据库技术在处理大数据应用中的重要性,并探讨了一些流行的数据库解决方案及其在实际应用中的优势。
|
24天前
|
机器学习/深度学习 分布式计算 数据挖掘
阿里云 MaxCompute MaxFrame 开启免费邀测,统一 Python 开发生态
阿里云 MaxCompute MaxFrame 正式开启邀测,统一 Python 开发生态,打破大数据及 AI 开发使用边界。
307 1
|
29天前
|
机器学习/深度学习 人工智能 数据可视化
基于Python的数据可视化技术在大数据分析中的应用
传统的大数据分析往往注重数据处理和计算,然而数据可视化作为一种重要的技术手段,在大数据分析中扮演着至关重要的角色。本文将介绍如何利用Python语言中丰富的数据可视化工具,结合大数据分析,实现更直观、高效的数据展示与分析。
|
1月前
|
机器学习/深度学习 分布式计算 监控
大模型开发:你如何使用大数据进行模型训练?
在大数据模型训练中,关键步骤包括数据准备(收集、清洗、特征工程、划分),硬件准备(分布式计算、并行训练),模型选择与配置,训练与优化,监控评估,以及模型的持久化与部署。过程中要关注数据隐私、安全及法规遵循,利用技术进步提升效率和性能。
49 2
|
1月前
|
存储 NoSQL 大数据
新型数据库技术在大数据分析中的应用与优势探究
随着大数据时代的到来,传统数据库技术已经无法满足海量数据处理的需求。本文将探讨新型数据库技术在大数据分析中的应用情况及其所带来的优势,为读者解析数据库领域的最新发展趋势。

热门文章

最新文章