大数据workshop
大数据workshop
步骤5 rds的访问地址可以在实例详情里查询，登录 rds实例详情页，选择查看连接详情：文档版本：20210628（发布日期）26 阿里云最佳实践大数据 WorkShop 最佳实践项目实践 步骤6 找到地址信息：步骤7 修改配置文件并保存后，执行./start.sh脚本启动服务：观察日志文件是否更新：tail-f/var/log/gen.log，该文件每秒都有新...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
企业构建统一CMDB数据源
典型场景 l 企业/ISV构建多云CMDB平台，对接数十款产品的API，拉取、清洗、格式化、存储配置数据是复杂且高成本的工作。 l 企业日常的资源管理，需依赖资源配置历史、资源关系数据进行故障溯源和影响评估。 解决方案 l 企业管理账号设置Config配置数据投递，将所有账号的资源配置快照和历史归集到统一地址留存。 l 使用OSS做长期归档，使用SLS做实时分析和监听。获取全量资源数据并及时感知云上资源的变更。 l 将数据集成到自有CMDB平台 客户价值 l 基于配置审计简单便捷的持续收集云上资源配置数据，在自建CMDB过程中节省大量人力和时间成本。 l 跨账号统一收集数据，实现中心化的资源配置管理。 l 实现资源配置数据的持续收集和监听，及时感知云上资源的增删改，洞察异常变更。
同时帮助您记录云上 IT资源的配置变更历史，允许您将全量资源配置和配置 历史文件持续收集到指定的存储空间。同时持续自动地评估云上资源配置的合规 性，实现云上 IT合规治理。详见：https://www.aliyun.com/product/config 日志服务（SLS）：日志服务（Log Service）提供基本的日志存储能力。同时日志 服务还一站式提供...
轻量级GPU部署云游戏最佳实践
随着AI深度学习，视频处理，科学计算以及图形可视化等应用场景的普及，GPU的市场需求越来越大，但单颗物理GPU起步至超大规模弹性计算带来的计算能力过剩成本上升问题也越来越明显。轻量级GPU的诞生打破了传统直通模式的局限，可以提供比单颗物理GPU更细粒度的服务，从而让客户以更低成本、更高弹性开展业务。
且本地设备无要求 云游戏厂商对服务器核心诉求：ￚ 重资产交给云厂并弹性管理 ￚ 低成本带渲染能力的异构机型 随着 5G移动通信业务的快速展开，云游戏发展最大障碍的带宽和延时因素得以消除，基于云端计算的云游戏将迎来春天。基于轻量级 GPU，仅需要一颗物理 GPU几分之 一的计算能力即可流畅完成图形或视觉计算，提升系统...
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
步骤3 rds的访问地址可以在实例详情里查询，登录rds实例详情页，选择查看连接详情：步骤4 找到地址信息：步骤5 修改配置文件并保存后，执行./start.sh脚本启动服务：文档版本：20210803（发布日期）26阿里云最佳实践金融大数据WorkShop 最佳实践项目实践 观察日志文件是否更新：tail-f/var/log/gen.log，该文件每秒都有新...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务（包含Datastream、Table/SQL、PyFlink任务）迁移至阿里云实时计算全托管版。
开源 Flink迁移实时计算 Flink全托管版 最佳实践 业务架构 场景描述 解决的问题 Flink全托管产品（Flink Serverless）是一款基于 Flink各类任务如何迁移 Apache Flink 构建的全托管产品，为您提供全托 数据准确性如何校验 管一站式的实时计算服务，具有免运费、高增值、业务稳定性如何验证 低成本等特性。本方案介绍如何将...
跨云迁移单写双读过渡架构
概述 在搬站场景下，涉及迁移跨度较长，在过渡阶段客户需要跨云访问，如何保障数据链路的高可用尤为关键，采用专线和公网双备的方案保障数据传输的高可用，也降低双专线的迁移成本。 适用场景 数据迁移链路的高可用 跨云迁移过渡期架构 读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 在迁移时间持续较长的情况下，使用单写双读架构降低业务改造成本。 使用数据库网关做专线和公网互备。 流量逐渐灰度验证，保障迁移平滑过渡。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
阿里云最佳实践分享群 最佳实践频道 产品列表 云服务器 ECS、负载均衡 SLB、云企业网 CEN 云数据库 RDS、性能测试 PTS 如二维码过期，请搜索群号：数据传输服务 DTS 31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 跨云迁移单写双读过渡架构 最佳实践 文档版本：20201209 文档版本：20150122...
电商网站数据埋点及分析
场景描述 数据埋点是数据产品经理、数据运营以及数据分 析师，基于业务需求（例如：CPC点击付费广 告中统计每一个广告位的点击次数），产品需求 （例如：推荐系统中推荐商品的曝光次数以及点 击的人数）对用户行为的每一个事件对应的位置 进行开发埋点，并通过SDK上报埋点的数据结 果，记录数据汇总后进行分析，推动产品优化或 指导运营。 解决问题 1.电商网站广告位效果统计分析 2.电网网站推荐商品曝光、点击、购买等行为统 计分析 3.电商网站用户分布分析 4.电商网站页面热点图分析等 产品列表 日志服务SLS Dataworks 云服务器ECS 云数据库RDS版 负载均衡SLB 专有网络VPC
文档版本：20220127 I 电商网站数据埋点及分析 前言 前言 概述 本文以电商网站为例，使用日志服务采集日志，RDS作为后端数据存储服务并使用日 志服务对数据进行分析。数据埋点是数据产品经理、数据运营以及数据分析师，基于 业务需求（例如：CPC点击付费广告中统计每一个广告位的点击次数），产品需求（例 如：推荐系统中...
传统企业业务上云基础安全防护
场景描述 越来越多的企业客户选择把自己的生产系统部 署在公共云平台上，以满足自身业务的发展及弹 性扩缩容、稳定性等方面的需求。如何在公共云 上构建基本的网络安全、主机安全、入侵检测、 运维审计等方案，是企业首选的最佳实践。 解决问题 1.服务器安全、应用安全 2.网络安全、数据安全 3.安全审计、安全管理 产品列表 云安全中心 Web应用防火墙 云防火墙 SSL证书 数据库审计 堡垒机
名词解释 访问控制RAM：RAM使您能够安全地集中管理对阿里云服务和资源的访问。您 可以使用 RAM 创建和管理用户和组，并使用各种权限来允许或拒绝他们对云资 源的访问。 Web应用防火墙：对网站或者APP的业务流量进行恶意特征识别及防护，将正常、安全的流量回源到服务器。避免网站服务器被恶意入侵，保障业务的核心数据...
基于函数计算FC实现物联网音视频处理
在物联网场景中，智能设备会产生大量的非结构化数据，并且采集量和频率都很高。比如各类摄像头（家用摄像头、车载摄像头、工业监控摄像头等）采集的数据。企业需要对这些非结构化数据做快速的分析和处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
阿里云对象存储OSS（ObjectStorageService）：是一款海量、安全、低成本、高可靠的云 存储服务，可提供99.9999999999%（12个9）的数据持久性，99.995%的数据可用性。多种 存储类型供选择，全面优化存储成本。 云速搭CADT（CloudArchitectDesignTools）：是一款为上云应用提供自助式云架构管理 的产品，显著地降低应用...
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务，大部分场合都需要对直播相关的业务做安全审核，或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
阿里云对象存储 OSS（Object Storage Service）：是一款海量、安全、低成本、高可靠的 云存储服务，可提供 99.9999999999%（12个 9）的数据持久性，99.995%的数据可用性。多种存储类型供选择，全面优化存储成本。阿里云消息服务 MNS（Message Service）：是一种高效、可靠、安全、便捷、可弹性扩展 文档版本：20240422 5 ...
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
对象存储 OSS：对象存储 OSS 是一款具有行业领先的安全、稳定、高性价比、高性能的 云存储服务，可以帮助各行业的客户在互联网应用、大数据分析、机器学习、数据归档等 各种使用场景存储任意数量的数据，以及进行任意位置的访问，同时通过丰富的数据处理 能力更便捷地使用数据。云速搭 CADT（Cloud Architect Design Tools...
本地数据中心基于SMB/NFS协议访问对象存储最佳实践
1. 云存储扩容和迁移 集成智能缓存算法，自动识别冷热数据，将热数据保留在本地缓存，保证数据访问体验，无感知的将海量云存储数据接入本地数据中心，拓展存储空间。同时在云端 保留全量数据(冷+热)保证数据的一致性 2.云容灾 随着云计算的普及，越来越多的用户把自己的业务放到了云上。但是随着业务的发展，如何提高业务的可靠性和连续性，跨云容灾是一个比较热门的话题。借助云存 储网关对虚拟化的全面支持，可以轻松应对各种第三方云厂商对接阿里云的数据容灾。 3. 多地数据共享和分发 通过多个异地部署的文件网关实例，对接同一个阿里云OSS Bucket，可以实现快速的异地文件共享和分发，非常适合多个分支机构之间互相同步和共享数据。 4. 适配传统应用 有很多用户在云上的业务是新老业务的结合，老业务是从数据中心迁移过来的使用的是标准的存储协议，例如: NFS/SMB/iSCSI。新的应用往往采用比较新的技 术，支持对象访问的协议。如何沟通两种业务之间的数据是一个比较麻烦的事情，云存储网关正好起到一个桥梁的作用，可以便捷的沟通新旧业务，进行数据交换。 5. 替代 ossfs 和 ossftp ossfs 和 ossftp 都是基于文件协议的开源工具，用户可以通过它们直接上传文件到OSS。但是这两个开源文件都不建议在生产环境使用(POSIX 兼容度低)，同时挂 载在用户的客户端需要额外的配置和缓存资源，对于多个客户端的情况安装配置繁琐。通过文件网关的服务可以完美替代 ossfs 和 ossftp。通过创建文件网关，用 户只需要执行简单的挂载(NFS)和映射(Windows SMB)就可以像使用本地文件系统一样使用 OSS。
云存储网关以对象存储 OSS为后 端存储，为云上和云下应用提供业界标准的文件 服务（NFS和 SMB）和块存储服务（iSCSI）。解决问题 1.云存储扩容和迁移：热数据本地缓存，海量 云存储接入本地数据中心。2.多个数据中心快速实现异地文件共享和分 发。3.以标准的存储协议 NFS/SMB/iSCSI兼容客 户老业务，同时支持新的对象存储...
基于FC实现的Web端视频录制最佳实践
场景描述在很多互娱场景，在线教育领域会有直播视频录制的需求，但是往往一个页面上的内容是多种多样的，不止有直播流，可能还有白板，评论等其他元素，如果只是录直播流，那内容是不完整的，所以需要将整个屏幕的内容录制为视频。该最佳实践可以有效解决这个场景。
对象存储 OSS：对象存储 OSS，是海量、安全、低成本、高可靠的云存储服务。使用 RESTful API 可以在互联网任何位置存储和访问，容量和处理能力弹性扩 展，多种存储类型供选择全面优化存储成本。容器镜像服务 ACR（Alibaba Cloud Container Registry）：是面向容器镜像、Helm Chart等符合 OCI标准的云原生制品安全托管及高效...
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中，以图片，视频，音频居多。举一个图片处理的场景，现在各种终端种类繁多，不同的终端对图片的格式、分辨率要求也不同，所以一张图片往往会有很多张衍生图，那如果所有的衍生图都存在OSS中，那存储的成本会增加，所以就可以通过OSS Object FC的方案，在不同的终端请求时，对OSS中的原图基于终端的要求做实时处理，然后响应返回，这样OSS中只需要存储原图即可。音视频也有类似的场景。
举一个 产品列表 图片处理的场景，现在各种终端种类繁多，不同 专有网络VPC 的终端对图片的格式、分辨率要求也不同，所以 阿里云函数计算(FC)一张图片往往会有很多张衍生图，那如果所有的 阿里云对象存储（OSS）衍生图都存在OSS中，那存储的成本会增加， 内容分发网络（ContentDeliveryNetwork，CDN） 云速搭...
EMR HBase on OSS存算分离集群快速恢复
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品。基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。
文档版本：20220915 7 EMR HBase on OSS存算分离集群快速恢复 创建对象存储 OSS并开通OSS-HDFS服务 步骤5 创建完成后，在 OSS Bucket的概览页面，记录 HDFS服务的 Bucket域名，以便后 续创建 EMR-HBase时使用该域名作为 hbase.rootdir路径。文档版本：20220915 8 EMR HBase on OSS存算分离集群快速恢复 创建 EMR集群 2.创建...
混合云存储构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例，介绍如 何在混合云存储环境下部署VMware虚拟化平台， 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用，比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
对象存储OSS：OSS是海量、安全、低成本、高可靠的云存储服务，提供 99.9999999999%的数据可靠性。使用RESTfulAPI可以在互联网任何位置存储 和访问，容量和处理能力弹性扩展，多种存储类型供选择全面优化存储成本。更 多信息，请参见https://www.aliyun.com/product/oss。 文件存储NAS：件存储NAS是一个可共享访问，...
云速搭部署OSS及资源包最佳实践
本实践通过云速搭设计一个OSS的架构，通过OSS提供的路径可以下载相应的文件。
已开通以下服务：ￚ 云速搭 CADT ￚ 对象存储 OSS ￚ 专有网络 VPC 文档版本：20211101 2 云速搭部署OSS及资源包最佳实践 产品介绍 产品介绍 云速搭 CADT：是一款为上云应用提供自助式云架构管理的产品，显著地降低应 用云上管理的难度和时间成本。本产品提供丰富的预制应用架构模板，同时也支 持自助拖拽方式定义应用云上...
企业用户多账号合并之存储迁移集中
场景描述 本文介绍使用在线迁移服务，将分布在各个云 账号中的对象存储、文件存储数据集中到一个 账号的对象存储或文件存储下。 解决问题 1.安全治理需求，统一的账户体系、身份、权 限及资源管理。 2.业务系统相互访问，数据统一需求。 3.系统架构及资源成本优化需求，多账号下的 带宽、流量、存储包等资源整合优化。 4.企业或部门合并时云账号的合并。 产品列表 RAM OSS NAS 在线迁移
使用数 据迁移服务，您可以将第三方数据轻松迁移至阿里云对象存储 OSS，也可以在对 象存储 OSS 之 间 进 行 灵 活 的 数 据 迁 移。详 见 https://help.aliyun.com/product/94157.html 文档版本：20220505 III 企业用户多账号合并之存储迁移集中部署 目录 目录 文档版本信息.I 法律声明.II 产品介绍.III 目录.IV 最佳实践...
- 产品推荐
- 这些文档可能帮助您