基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
下载安装之后默认的目录为：/usr/lib/jvm/，查看目录：根据实际情况来配置环境变量，如下示例(注意先查看自己当前的版本替换 java home路径，下面实例的版本可能和你安装的不一致)：JAVA_HOME=usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.262.b10-0.el7_8.x86_64 PATH=$PATH:$JAVA_HOME/bin CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$...
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
如何下载源码和脚本文件 使用浏览器访问：https://code.aliyun.com/best-practice/106/repository/archive.zip?ref=master，下载源 码和脚本文件。1.3.配置账号 AK、SK 说明：本文为演示方便使用了主账号 AK、SK，实际生产环境请使用子账号 AK、SK。步骤1 后面配置需要用到 AK/SK，我们在这里首先配置 AK/SK备用，如下图...
资源管理
阿里云资源管理，企业级资源管理服务，使用目录、资源夹、账号、资源组分层次组织与管理您的全部资源。资源管理（Resource Management）包括资源组（Resource Group）和资源目录（Resource Directory）。资源组是在阿里云账号下进行资源分组管理的一种机制，资源组能够帮助您解决单个云账号内的资源分组和授权管理的复杂性问题。资源目录（Resource Directory）是阿里云面向企业客户提供的一套多级资源(账号)关系管理服务。
阿里云资源管理服务包含一系列支持企业IT治理的资源管理产品集合。其中主要产品为资源组和资源目录。资源管理服务支持您按照业务需要搭建适合的资源组织关系，使用目录、资源夹、账号、资源组分层次组织与管理您的全部资源。
系统运维管理 OOS
阿里云系统运维管理（简称OOS）提供的云上自动化运维服务，通过执行模板来完成任务的自动化运行，可以使用OOS管理ECS、RDS、SLB、VPC等云产品，提升日常运维管理效率
分类管理实例资源批量对ECS实例进行分类标签资源管理，标签可按照OSType、AppVersion、Env等不同用途进行分类批量操作的风险控制通过运维编排分批执行云助手命令，验证内容符合预期后再进行后续批次相关产品系统运维管理OOS本产品云服务器ECS云助手在线咨询管理抢占式实例抢占式实例适用于无状态的应用场景，比如可弹性伸缩...
来自：
云产品
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板，针对生物制药领域的药物筛选场景，提供开箱即用的整套解决方案工具包，整个云上环境仅需1个小时即可完成自动化部署搭建。
(代码源可以根据实际项目情况自行决定，本方案示例采用本地仓库模式)文档版本：20240204 21 基于云速搭 CADT部署药物筛选批量计算环境-Serverless版 CADT部署环境 拷贝上述命令，为后续上传镜像做准备。3.5.4.环境变量设置 步骤24 维护环境变量信息。打开文件/mnt/bio-projects/env.sh 修改下面红色框选的配置信息，下列...
企业级云灾备与数据管理
本方案以备份 ECS 文件为例，介绍如何部署一个简单的云灾备环境，以满足常见的数据保护需求。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台企业级云灾备与数据管理方案介绍方案优势应用场景方案部署方案权益企业级云灾备与数据管理云备份 Cloud Backup 为企业数据安全提供了全方位的云灾备、冷热数据统一管理能力，全面覆盖公共云、混合云以及本地 IDC 生产环境，帮助用户减少因...
来自：
解决方案
云防火墙企业多账号统一管理
为了解决多账号资源安全管控和降低安全运维成本，云防火墙结合资源目录服务，为用户提供了多账号统一管理方案。
查看详情企业上云框架 Landing Zone基于大量企业的上云实践验证，帮助企业规划云上资源结构、访问控制、网络架构、安全合规体系，搭建可管理、可扩展的云环境。企业客户可以在此基础上缩短上云周期，将原有的业务平顺上云并快速开展新业务。查看详情技术解决方案咨询我们将根据您提交的需求，安排技术解决方案专家为您服务...
来自：
解决方案
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
文档版本：20200330 46 EMR集群安全认证和授权管理 EMR Kafka安全集群 将界面拖拽到最后，单击 Add按钮，完成后可以查看到新添加的 Policy：步骤7 重新运行 Flume：本次在后台运行 Flume进程，所以采用 nohup ……&的形式 cd/opt/bigdata/flume nohup bin/flume-ng agent-conf conf/-name a1-conf-file job_test/flume-emr-...
企业多账号身份权限集中管理
本方案帮助企业实现身份权限集中管理，包括集中管理阿里云上的人员身份，一次性配置企业身份管理系统与阿里云的单点登录，和统一配置所有用户对企业成员账号的访问权限。能够降低企业在阿里云的身份权限配置成本，减少因身份权限分散无法统一管理导致的安全风险。
能够降低企业在阿里云的身份权限配置成本，减少因身份权限分散无法统一管理导致的安全风险。方案预估：免费（访问控制 RAM、资源管理、云治理中心均为免费产品）方案部署一步步跟随方案教程，带你快速上手，进行方案部署。方案介绍企业多账号身份权限集中管理人员身份与企业自有身份体系集成，通过SCIM同步进行创建和删除，...
来自：
解决方案
云上公网架构设计和安全管理
云上公网的设计可以帮助企业更加统一、安全地管理自己的云上互联网出入口，同时可以实现统一监控运维和公网的成本优化。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台云上公网架构设计和安全管理方案介绍方案优势应用场景方案部署方案权益云上公网架构设计和安全管理随着企业业务云化进程逐渐进入深水区，简单地使用云上资源出入公网已经无法满足业务的诉求，安全、成本、权限、监控等诉求的迭代，需要企业...
来自：
解决方案
云效代码管理 Codeup
云效代码管理 Codeup，10万企业都在用的代码管理平台，提供代码托管、代码评审、代码扫描、质量检测、持续集成等功能，全方位保护企业代码资产，帮助企业实现安全、稳定、高效的研发管理。
提供对需求、迭代、缺陷各个维度的协同管理以及相关的统计报告，让研发团队高效协作.云效项目协作.提供代码托管、智能评审、质量检测、删库保护、外包管控等功能，保证研发生产安全稳定高效.云效代码管理.提供灵活易用的持续集成、持续验证、持续发布功能，帮助企业高质量、高效率的交付业务.提供基于Maven、Gradle、Helm等...
来自：
云产品
资源管理
场景描述 随着企业IT成熟度不断提高、管理的云上资源 不断增多，如何对资源进行高效管理的问题就会 凸显出来。阿里云的资源管理服务支持您按照业 务需要搭建适合的资源组织关系，使用目录、资 源夹、账号、资源组分层次组织与管理您的全部 资源，更好的实现项目成功。 解决问题 1.按照企业组织结构管理账号体系。 2.指定结算账号进行统一结算 3.统一管理成员账号权限系统 4.账号下的资源按照资源组进行分类 5.可以按照自定义财务单元进行分账管理 产品列表 资源管理
资源管理最佳实践 场景描述 解决问题 随着企业 IT成熟度不断提高、管理的云上资源不断增多，1.按照企业组织结构管理账号体系。如何对资源进行高效管理的问题就会凸显出来。阿里云的 2.指定结算账号进行统一结算 资源管理服务支持您按照业务需要搭建适合的资源组织关 3.统一管理成员账号权限系统 系，使用目录、资源夹、账号...
- 产品推荐
- 这些文档可能帮助您