云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案，本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系，稳定性高，数据倾斜自动均衡。 2. 完善的数据同步链路，可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse，降低研发成本。 3. 平滑升级版本，业务中断小。 冷热分层后透明读取，帮客户节约整体数据存储成本。
云数据库 ClickHouse 冷热数据分层存储是一种更具性价比的单实例多类型并存的数 据存储方式，提供热数据存储和冷数据存储两种方式，以及不同数据存储介质之间的 转存策略。热数据指的是实时性查询要求高、访问频次较高的数据，采用 ESSD或高 效云盘存储，满足高性能访问的需求。冷数据指的是查询频度相对较低、访问频次较 ...
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
Spark on Kubernetes解决方案的用户 对 Spark大数据分析平台计算资源成本控制考虑的用户 需要有灵活可扩展计算平台资源弹性及管控的用户 名词解释 文件存储 HDFS：阿里云文件存储 HDFS是面向阿里云 ECS实例及容器服务等计 算资源的文件存储服务，允许用户像在 Hadoop分布式文件系统中管理和访问数 据，无需对数据分析应用做...
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户，无法 接受T+1延迟。 3.对数据成本有一定诉求的客户，希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析：依托ADB计算密集型实例， 秒级监控DAU等数据，为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析：打通结构化和非结构化 数据，支撑产品体验分析；广告买量投放效 果实时（分钟级）分析，渠道的评估更准确。 3.低成本：DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析，在满足各种分析场景需求的同时，有效 地降低的客户的总体使用成本。 4.学习成本低：DLA和ADB兼容标准SQL语 法，无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
数据存储与投递：ￚ 利用 OSS近乎无限的云数据湖存储能力，利用 DLA内建的灵活可定制的 ETL能力。ￚ 打通 SLS->OSS->DLA->ADB,进行数据湖投递、处理、分析，数据源到可 视化端的扭转时间从小时级降低到分钟级的同时，成本降低到原有的 1/10。数据融合分析：文档版本：20210224 3 游戏数据运营融合分析 最佳实践概述 ￚ DLA...
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤：以上是整体的架构图，下面我们来逐步拆解：数据源 这里来模拟采集用户一些行为数据，数据格式如下：{"action":"readArticle","articleTitle":"FC+Kafka最佳实践","articleAuthorId":1,"articleAuthorName":"jiyuan","ts":1621577423 } 文档版本：...
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板，针对生物制药领域的药物筛选场景，提供开箱即用的整套解决方案工具包，整个云上环境仅需1个小时即可完成自动化部署搭建。
运行 RFdiffusion demo作业 本章节模拟运行开源项目 RFdiffusion的一个 demo作业，演示如何通过命令行脚本方式提交 作业和查看作业。4.1.命令行方式管理作业 步骤27 使用 testuser登录操作系统。ssh testuser@步骤28 切换到 anaconda base环境 cd/mnt/bio-projects/./env.sh 步骤29 准备好作业所需的一个 shell脚本，本方案...
Alibaba Cloud Linux
Alibaba Cloud Linux 是阿里云打造的 Linux 服务器操作系统发行版。为云上应用程序提供 Linux 社区的增强功能，同时通过引入更完善的发行版质量体系，确保产品品质，提供云上最佳用户体验。
以 GPU 实例演示 Alibaba Cloud Linux 3 对 AI 生态的支持日前，Alibaba Cloud Linux 3 为使 AI 开发体验更高效，提供了一些优化升级，本文为“Alibaba Cloud Linux 3 AI 能力介绍”系列文章预告篇，以 GPU 实例为例，为大家演示 Alibaba Cloud Linux 3 对 AI 生态的支持。2023-08-31操作系统迁移难？Alibaba Cloud Linux ...
来自：
云产品
智能商业分析 Quick BI
瓴羊智能商业分析 Quick BI 是阿里云用户臻选的数据可视化工具，大幅提升数据分析和报表开发效率，一站式满足企业各种场景的数据分析和决策的诉求。
产品功能个人版高级版专业版数据分析仪表板支持支持支持即席分析不支持不支持支持模板市场支持查看所有模块支持查看所有模块，应用已购模块支持查看及应用所有模块电子表格不支持单独购买支持数据大屏不支持单独购买赠送基础容量，可按需增购数据应用企业门户不支持支持支持订阅推送(邮件)不支持支持支持自助取数不支持...
来自：
云产品
OA云资源申请流程自动化
在企业级客户场景中，对云资源的使用通常需要经过内部OA流程审批通过后再进行部署。本最佳实践致力于提供一个通用解决方案，以解决OA云资源申请流程中的自动化问题，提高运维效率，以更好地支撑业务创新。
文档版本：20240130 30 OA云资源申请流程自动化 CADT自动化集成配置 4.CADT 自动化集成配置 章节 3创建的申请流程，在审批通过后会通过 OA的流程流转集成功能，将申请单数据同 步到 RDS的数据库表 cadt_task_21中，并且标记字段 status 为“approved”，所以需 要在 cadt-agent-ecs上对此表上的任务进行扫描后然后执行相应...
RAPIDS加速机器学习
场景描述 本方案适用于使用RAPIDS加速库+GPU 云服务器来对机器学习任务或者数据科学 任务进行加速的场景。相比CPU，利用 GPU+RAPIDS在某些场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速机器学习环境 2.使用容器服务Kubernetes版部署 RAPIDS环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
示例程序基于XGBoost演示了数据预处理到训练的端到端的过程，主要分为三个阶段：•ETL（Extract-Transform-Load）：主要在 GPU实例上进行。将业务系统的数据经过抽取、清 洗转换之后加载到数据仓库。Data Conversion：在 GPU实例上进行。将在 ETL阶段处理过的数据转换为用于 XGBoost训练 的DMatrix格式。ML-Training：默认...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
将表 datahub_dataconnector_apache_logs 数 据 灌 入 odps_apache_logs 本实践方案中 Hive数据仓库中的原始表 apache_logs有一个分区字段 ds（日期值），每天生成一个分区。在使用 MMA工具迁移到 MaxCompute表 odps_apache_logs的 过程中，保留了该分区字段，因此在 MaxCompute上可以看到该表有一个分区字段：Datahub ...
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统，业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上， 包括如何在云上构建以上业务系统，如何迁移线下 系统到云上，如何割接。 3. 最后介绍了迁移上云后，如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
文档版本：20210617 14 企业上云 workshop-IDC业务迁移上云 RDS实例配置 2.RDS实例配置 使用云架构设计工具 CADT完成资源环境部署后进入资源配置阶段，首先登录阿里云 官网，对 RDS资源实例进行初始化配置，确认 Wordpress应用数据库用户、创建数 据库以及配置数据库集群访问白名单，并记录数据库集群访问地址。2.1.确认...
来自：
最佳实践
相关产品：专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
企业多账号环境下的安全资源统一管控最佳实践
某地产公司在上海、杭州设有两个分公司，公司使用阿里云支撑各分公司的 IT 业务系统，这些系统由各分公司独立负责，包括独立负责云上业务账号的创建、员工权限的分配管理、资源的购买、IT 风险的管控、安全管理等。由于公司业务发展较快，各分公司创建了非常多的业务账号来承载新的业务，每个业务账号独立管理，带来了非常大的管理问题。人员权限管理混乱，离职员工在云上的身份梳理不清难以及时清理造成极大的安全隐患；账号权限过大、使用弱密码可能造成账号被盗数据泄露；公司内部缺乏统一的合规基线和安全管控，各业务系统各自为政，数据泄露、业务中断、安全入侵风险升级。 为了提升云上的管控效率和安全性，总公司成立新的信息安全中心和阿里云对接。信息安全中心的定位是统一采购安全产品，集中保障云上资源的安全性。
公司内部缺乏统一的合规基线和安全管控，各 业务系统各自为政，数据泄露、业务中断、安 全入侵风险升级。为了提升云上的管控效率和安全性，总公司 解决问题 成立新的信息安全中心和阿里云对接。信息 安全中心的定位是统一采购安全产品，集中 1.简化账号配置的复杂程度 保障云上资源的安全性。2.通过安全产品统一管控多账号...
搭建高性能ACK集群
场景描述 容器的网络协议栈实现方式，导致容器之间的网 络性能，相比服务器之间直接通信方式，会有一 定程度的下降。阿里云托管版的K8S容器服务， 支持自研的Terway网络插件，该插件可以有效 减少因容器而引入的网络性能下降，可以基本达 到服务器之间直接通信的网络性能。本最佳实践 主要是一个性能测试方面的实践，指导客户进行 POC测试等。 解决问题 1.POD之间网络性能提升。 2.性能测试方法 产品列表 阿里云托管K8S ACK
文档版本：20220126 1 搭建高性能 ACK集群最佳实践 演示环境说明 演示环境说明 本方案仅作为实践演示，实际以用户实际需求为准。实践过程中会涉及到登录账号的切换，请使用不同浏览器或者 chrome的隐身模 式方便在多个账号操作之前切换。有问题请扫钉钉二维码联系我们。文档版本：20220126 2 搭建高性能 ACK集群最佳实践 ...
企业应用（酒店PMS）混合云组网最佳实践
酒店上云是分阶段实施，线下和云上的混合云是长期 状态，需要保证线下多地域多分支、云上多地域之间 互相访问，且需要满足不同类型的企业节点的服务要 求，比如总部 IDC 要求带宽大，对安全可靠性要求 高等。
CEN：云企业网（Cloud Enterprise Network），云企业网（Cloud Enterprise Network）帮助您在 VPC间，VPC与本地数据中心间搭建私网通信通道，通过自动路由分 发及学习，提高网络的快速收敛和跨网络通信的质量和安全性，实现全网资源的 互通，帮助您打造一张具有企业级规模和通信能力的互联网络。CCN：云连接网（Cloud ...
基于链路追踪+ECI的流量洪峰应对
云原生技术已经为越来越多的互联网客户接受，对于在线教育、互动娱乐、电商等类型的客户会由于业务的原因存在突增业务流量，因此对于系统的稳定性非常关注，结合阿里云的容器服务、链路追踪、弹性容器ECI等产品，帮助客户业务实现容器化改造，并且方便发现系统应用架构中的瓶颈等问题，实现系统高弹性的同时优化客户的云资源使用成本。 l 方案优势 ￚ 支持分布式追踪、调用链分析、DB调用分析、链路拓扑分析、业务指标统计等系统链路调用分析。 ￚ 运维研发效率提高，链路追踪服务端全托管，免运维。 ￚ 链路追踪的应用调用链分析能力结合ECI高弹性能力，提升应用系统在洪峰流量冲击下的稳定性。 ￚ 链路追踪接入方便，ECI POD弹性伸缩，节省用户运维成本和云资源使用成本。 ￚ 结合SLS Ingress可以基于应用前端访问性能指标做弹性伸缩，更丰富的云原生弹性能力。
文档版本：20201222 9 基于链路追踪+ECI的应用高可用弹性实践 应用部署 环境变量 SQL_ENVIRONMENT配置 mysql的访问地址，按照 1.3章节创建的数 据库服务访问地址进行配置，如下图所示：环境变量 TRACE_ENDPOINT配置链路跟踪接入点地址，获取方式如下：a.登录链路跟踪控制台（https://tracing.console.aliyun.com/）b.获取到...
混合云使用Ali-Perseus
场景描述 本文介绍了混合云场景中，自建 Kubernetes服务，线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具，并采用阿里云CPFS存储，运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC， 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
拷贝下图所示的挂载信息备用。57 混合云使用飞天AI加速工具 使用 Perseus提交推理作业 6.2.挂载 NAS 在 master节点和 worker节点上挂载 nas：[root@master001~]#mkdir-p/nas[root@master001~]#sudo yum-y install nfs-utils[root@master001~]#sudo mount-t nfs-o vers=3,nolock,proto=tcp,noresvport 1566c4bf92-lsi82....
Function Compute搭建前端CICD系统
场景描述 传统动静不分离的产品架构，随着访问量在增 长，性能会成为瓶颈。在这种情况下，用户可以 通过利用OSS和CDN对网站进行架构优化， 做到网站文件的动静分离，提升用户访问体验， 实现成本可控。本方案使用函数计算监听前端代 码库提交的分支变更，上传分支文件至OSS，通 过CDN进行前端资源加速。 方案优势 1.面向serverless：无需购买服务器 2.免运维：无需部署配置Jenkins 3.提供日志查询、性能监控和报警等功能 4.一站式：事件驱动方式触发响应 5.费用极低：按需付费 产品列表 专有网络VPC 对象存储OSS 日志服务SLS 函数计算 CDN
用户无需开发就能快捷完成 数据采集、消费、投递以及查询分析等功能，帮助提升运维、运营效率，建立 DT 时代海量日志处理能力。详见：https://help.aliyun.com/product/28958.html Function Compute：阿里云 Function Compute是事件驱动的全托管计算服务。文档版本：20211008 III Function Compute计算搭建前端 CICD系统 ...
AK防泄漏
场景描述 用户名密码是开发运维人员访问阿里云控制台 的凭据，AK是软件程序访问阿里云资源的凭据。 如果AK被泄露，那么会造成非常严重的后果， 比如资源被释放导致业务不可用、大量服务器被 创建用来挖矿，等等。采用合适的方式来使用、 保护AK，是每一个云客户都必须关注的问题。 解决问题 1.避免AK被泄露 2.改进已经错误使用AK的方法 产品列表 访问控制RAM 云服务器ECS 操作审计Action Trail 云安全中心
在实际场景中，阿里云已实现在含有 AccessKey的代码提交到 Github后数秒之内，就可以通知用户并且做出响应，尽可能减少对用户产生的负面影 响。7.1.配置检查 云安全中心的云平台配置检测功能，可用检测 RAM账号方面的配置情况。步骤1 登录阿里云控制台。步骤2 通过产品与服务导航，定位到云安全中心（态势感知），单击进入...
通过私网访问云服务
使用PrivateLink就可以通过私网访问其他VPC提供的服务，无需创建NAT网关或EIP等公网出口，更好的保障安全性和网络质量。支持同账号和跨账号的VPC间私网访问。另外 私网调用阿里云OpenAPI也有两种可选方案
如下图所示，公网访问的实现路径：云服 务暴露 Internet公网服务入口，用户通过 EIP出公网，走公共互联网访问目标服务。使用 PrivateLink实现 VPC私网访问有如下优点：流量不会离开阿里云私网，大大减少数据泄露可能性 同可用区转发，时延更低，抖动更小 支持访问带宽和安全组访问控制 无需担心地址冲突，简化网络管理 应用...
云上IT治理workshop
假设您负责假设您负责一家集团公司的IT 基础设施，集团 旗下有多个分公司（如制造分公司和销售分公 司），各分公司有独立的开发、测试以及运维团 队。现在选择阿里云作为合作伙伴，拟达到以下 业务目标： 1. 各个分公司拥有独立的账号，可以购买云资 源，由集团账号统一付费。 2. 集团对各个分公司的账号以及权限拥有管理 权限。 3. 网络资源由独立的平台账号统一规划和创 建，分配给各个公司使用。 4. 集团对分公司账号具有配置管理和操作审计 权限。 5. 各分公司内部独立管理账号权限以及资源。
文档版本：20210909（发布日期）8 云上 IT治理 Workshop 构建集团组织架构 注意：地域的选择需要注意用户数据的合规问题。步骤4 使用 workshop 命名 SSO目录，单击确定。注意：云 SSO 目录名称全局唯一，请使用自定义的名称，避免冲突。看到以下页面，云 SSO开通成功：文档版本：20210909（发布日期）9 云上 IT治理 ...
- 产品推荐
- 这些文档可能帮助您