DataWorks
大数据开发治理平台 DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台。每天阿里巴巴集团内部有数万名数据/算法工程师正在使用DataWorks，承担集团99%数据业务构建。
全方位覆盖大数据平台的数据存储、数据集成、数据管理与治理、数据开发、数据处理及分析、数据服务、高可用、平台管理、系统运维、数据安全等能力.先进级！阿里云通过信通院数据平台整体解决方案最高等级评测.阿里云一体化大数据智能计算平台ODPS（Open Data Platform and Service）入选世界互联网领先科技成果，10余年来...
来自：
云产品
云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案，本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系，稳定性高，数据倾斜自动均衡。 2. 完善的数据同步链路，可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse，降低研发成本。 3. 平滑升级版本，业务中断小。 冷热分层后透明读取，帮客户节约整体数据存储成本。
类别 说明 副本配置 双副本版 规格 8核 32GB 节点数量 2 存储类型 ESSD PL1云盘（自建 ECS也选择该类型的云盘）加密类型 不加密 存储空间 500GB（后续存储空间可以在线扩展）说明：生产环境建议选择双副本、8核 32GB以上。5.单击立即购买。文档版本：20210416 10 云 ClickHouse冷热数据分层存储最佳实践 云资源创建和配置 6...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
自建 Hadoop数据迁移到阿里云 EMR 场景描述 解决的问题 场景1：自建 Hadoop集群数据（HDFS）迁移到阿 客户自建 Hadoop迁移到阿里云 EMR集群的技 里云EMR集群的 HDFS文件系统；术方案；场景2：自建 Hadoop集群数据（HDFS）迁移到计 基于 IPSec VPN隧道构建安全和低成本数据 算存储分离架构的阿里云 EMR集群，以 OSS 和 传输...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
mkdir-p/home/app1/log pythonapp1_log_gen.py 文档版本：20200331 36数据湖-在线学习场景数据分析 应用场景 运行一次会生成100万行日志数据，大小约为85M。这里可以根据情况多运行几次脚 本，以生成更多的数据量。3.5.数据投递 本场景中日志数据流向为：在WebServer上通过flumeagent 同步数据到EMRkafa 集群，再通过...
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
基于 MaxCompute的大数据 BI分析 最佳实践 场景描述 业务架构 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做 ETL之后，同步到 Hologres进行实时分 析，之后通过 Quick BI进行快速可视化展示。解决问题 1.互联网行业、电商、游戏行业等网站、App、小程 序应用内 BI分析场景。2.可扩展到各类网站 BI分析场景...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
CentOS 7.4 64位 存储 80GB 类别 配置项 说明 网络和安 网络 专有网络 全组 选择已创建的 VPC（客户 IDC-VPC）和交换机（vswitch-az-g）。公网带宽 勾选分配公网 IPv4地址。付费模式：按使用流量 带宽：100 Mbps 说明：（1）在您业务商用过程中，建议选用弹性公网 IP和共享带宽包、共享流量包的组合降低公网流量使 文档版本...
资源管理
阿里云资源管理，企业级资源管理服务，使用目录、资源夹、账号、资源组分层次组织与管理您的全部资源。资源管理（Resource Management）包括资源组（Resource Group）和资源目录（Resource Directory）。资源组是在阿里云账号下进行资源分组管理的一种机制，资源组能够帮助您解决单个云账号内的资源分组和授权管理的复杂性问题。资源目录（Resource Directory）是阿里云面向企业客户提供的一套多级资源(账号)关系管理服务。
阿里云资源管理服务包含一系列支持企业IT治理的资源管理产品集合。其中主要产品为资源组和资源目录。资源管理服务支持您按照业务需要搭建适合的资源组织关系，使用目录、资源夹、账号、资源组分层次组织与管理您的全部资源。
灵活调度，高效编排，容器化管理云上应用
本方案介绍如何快速地使用容器镜像服务ACR构建镜像，使用镜像在ACK中部署应用，使用ALB作为Ingress对外提供服务。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台容器化管理云上应用为什么选择ACK方案介绍应用场景方案部署方案权益灵活调度，高效编排，容器化管理云上应用在企业上云的过程中，容器化应用托管已经逐渐成为主流，其中以能够自动部署、扩展、管理容器化应用以及能实现应用的快速上线与...
来自：
解决方案
从HTTP到HTTPS让网站更安全
本方案介绍如何在ECS上搭建Web应用以及在Nginx服务器上部署SSL证书开启HTTPS安全访问。
本方案以ECS实例接入WAF为例，推荐您使用Web应用防火墙（WAF）开启应用防护，避免网站服务器被恶意入侵导致性能异常等问题，保障网站的业务安全和数据安全。同时，为您节约开发成本，满足行业合规要求。查看详情网站静态资源访问加速本方案使用阿里云CDN产品来分发OSS上的网站静态文件，不仅可以降低源站的负载压力，还能够...
来自：
解决方案
网站文本内容安全检测
通过内容安全API的形式，提供直播场景的文本检测能力。响应时间短、支持类型多、并且可从频次、上下文、内容重复等多维度判断风险行为。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台网站文本内容安全检测方案介绍方案优势应用场景方案部署方案权益网站文本内容安全检测社交媒体平台、电子商务网站、新闻门户和博客等平台每时每刻都会有大量的用户生成内容（UGC），可能会存在色情、暴力、惊悚、敏感、禁限、辱骂等风险...
来自：
解决方案
系统运维管理 OOS
阿里云系统运维管理（简称OOS）提供的云上自动化运维服务，通过执行模板来完成任务的自动化运行，可以使用OOS管理ECS、RDS、SLB、VPC等云产品，提升日常运维管理效率
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台系统运维管理产品简介产品优势产品功能入门与试用技术解决方案安全合规常见问题系统运维管理 OOS云上统一的自动化管理与运维平台，支持对ECS、RDS、SLB等多种云产品进行编排，提升日常运维管理效率。立即购买免费试用快捷入口控制台文档API...
来自：
云产品
云上公网架构设计和安全管理
云上公网的设计可以帮助企业更加统一、安全地管理自己的云上互联网出入口，同时可以实现统一监控运维和公网的成本优化。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台云上公网架构设计和安全管理方案介绍方案优势应用场景方案部署方案权益云上公网架构设计和安全管理随着企业业务云化进程逐渐进入深水区，简单地使用云上资源出入公网已经无法满足业务的诉求，安全、成本、权限、监控等诉求的迭代，需要企业...
来自：
解决方案
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
此时在 Flume的日志中可以查看到对应的报错 信息：日志路径为/opt/bigdata/flume/logs/flume.log 文档版本：20200330 48 EMR集群安全认证和授权管理 EMR Hadoop安全集群和网关集群 3.EMR Hadoop安全集群和网关集群 在上一章已经完成使用 Flume将日志信息发布到 Kafka安全集群的 Topic中，本章创建 EMR Hadoop高安全集群和...
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板，针对生物制药领域的药物筛选场景，提供开箱即用的整套解决方案工具包，整个云上环境仅需1个小时即可完成自动化部署搭建。
用户可以 方便的对云上架构方案的成本、部署、运维、回收进行全生命周期的管理。文档版本：20240204 3 基于云速搭 CADT部署药物筛选批量计算环境-Serverless版 前置条件 2.前置准备工作 执行本文操作之前，请完成以下准备工作：注册阿里云账号，并完成实名认证。您可以登录阿里云控制台，并前往实名认证页 面...
- 产品推荐
- 这些文档可能帮助您