自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
基于阿里云分布式文件系统和 SSD盘 高性能存储，RDS支持 MySQL、SQL Server、PostgreSQL、PPAS（高度兼容 Oracle）和 MariaDB引擎，并且提供了容灾、备份、恢复、监控、迁移等方面的 全套解决方案。详见：https://www.aliyun.com/product/rds/mysql 文档版本：20210425 III 自建 Hive数据仓库跨版本迁移到阿里云 Databricks...
传统企业业务上云基础安全防护
场景描述 越来越多的企业客户选择把自己的生产系统部 署在公共云平台上，以满足自身业务的发展及弹 性扩缩容、稳定性等方面的需求。如何在公共云 上构建基本的网络安全、主机安全、入侵检测、 运维审计等方案，是企业首选的最佳实践。 解决问题 1.服务器安全、应用安全 2.网络安全、数据安全 3.安全审计、安全管理 产品列表 云安全中心 Web应用防火墙 云防火墙 SSL证书 数据库审计 堡垒机
ThinkPHPV5远程代码执行漏洞是由于ThinkPHP框架对控制器名没有进行足够的检 测，攻击者利用漏洞构造特殊的URL可以调用框架内敏感函数，进而导致getshell 漏洞，进行远程代码执行。云防火墙针对该漏洞推出虚拟补丁功能，能够对该类攻击 进行有效的拦截。操作步骤 说明：为了饶过WAF、SLB等的访问控制，先创建一个EIP（本示例...
EMR本地盘实例大规模数据集测试
场景描述 阿里云为了满足大数据场景下的存储需求，在云 上推出了本地盘D1机型，这个系列提供了本地 盘而非云盘作为存储，提高了磁盘的吞吐能力， 发挥Hadoop的就近计算优势。阿里云EMR 产品针对本地盘机型，推出了一整套的自动化运 维方案，帮助用户方便可靠地使用本地盘机型， 不需要关注整个运维过程同时数据的高可靠和 服务的高可用。 解决问题 1.云盘多份冗余数据导致成本高 2.磁盘吞吐量不高 3.节点的高可靠分布问题 4.本地盘与节点的故障监控问题 5.数据迁移时自动决策问题 6.自动故障节点迁移与数据平衡问题 产品列表 EMR(E-MapReduce) 本地盘 VPC
Hue(Hadoop User Experience)是一个开源的 Apache Hadoop UI 系统，最早是由 Cloudera.Desktop演化而来，由 Cloudera贡献给开源社区，它是基于 Python Web 框架 Django实现的，通过使用 Hue可以在浏览器的 Web控制上与 Hadoop集群来进 行交互分析来处理数据，例如操作 HDFS上的数据，管理和查询 Hive数据库的数据 等等。...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
ClickHouse对数据采用有序存储的方式，其核心思想是充分利用了磁盘批量顺序读写 的性能要远远高于随机读写的特征，并且结合 LSM tree的设计进一步进行优化，使得 写性能达到最优（可达到 200MB/S）。Presto,支持 SQL 并提供了一个标准数据库的语法特性，但其不是一个通常意义上的 关系数据库，而是定位在数据仓库和数据分析...
混合云存储构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例，介绍如 何在混合云存储环境下部署VMware虚拟化平台， 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用，比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
控制柜采用盘控一体的设计方法，用户可以自主选择安装不同数量和规格的硬盘，控 制柜有自身的存储空间，因此可以在不使用硬盘扩展柜的情况下单独使用。控制柜包 含的组件和接口有： 两个控制器（ControllerModule，简称CM），每控制器一个处理器，可以扩展主 机接口适配器。 每控制器有4个内存插槽。 硬盘模块，有12...
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求（政策上云），另一方面出于对降低单实例部署成本（CPU 超分超配）以及满足更严格合规和监管要求的考虑，希望能对云上资源有更多的自主控制权（监管合规）。从业务系统架构云上部署的角度，基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案，可以很好地满足这两方面的需求。 解决问题： 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本（TCO） 方案优势： 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离，可以独占资源，可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规：在完备的隔离基础之上，开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时，若您不指定专有宿主机，系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时，提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ，可以降低单 ECS实例以及云数据库实例的部署成本。
基于 DDH+MyBase降本合规 最佳实践 部署架构图 场景描述 出版、金融、保险等传统行业一方面希望能借助 云计算以更好地适应业务发展需求（政策上云），另一方面出于对降低单实例部署成本（CPU超 分超配）以及满足更严格合规和监管要求的考 虑，希望能对云上资源有更多的自主控制权（监 管合规）。从业务系统架构云上部署的...
Function Compute搭建前端CICD系统
场景描述 传统动静不分离的产品架构，随着访问量在增 长，性能会成为瓶颈。在这种情况下，用户可以 通过利用OSS和CDN对网站进行架构优化， 做到网站文件的动静分离，提升用户访问体验， 实现成本可控。本方案使用函数计算监听前端代 码库提交的分支变更，上传分支文件至OSS，通 过CDN进行前端资源加速。 方案优势 1.面向serverless：无需购买服务器 2.免运维：无需部署配置Jenkins 3.提供日志查询、性能监控和报警等功能 4.一站式：事件驱动方式触发响应 5.费用极低：按需付费 产品列表 专有网络VPC 对象存储OSS 日志服务SLS 函数计算 CDN
在这种情况下，用户可 以通过利用 OSS和 CDN对网站进行架构优 化，做到网站文件的动静分离，提升用户访问 体验，实现成本可控。本方案使用 Function Compute监听前端代码 库提交的分支变更，上传分支文件至 OSS，通过 CDN进行前端资源加速。方案优势 1.面向 serverless：无需购买服务器 2.免运维：无需部署配置 Jenkins 3....
AK防泄漏
场景描述 用户名密码是开发运维人员访问阿里云控制台 的凭据，AK是软件程序访问阿里云资源的凭据。 如果AK被泄露，那么会造成非常严重的后果， 比如资源被释放导致业务不可用、大量服务器被 创建用来挖矿，等等。采用合适的方式来使用、 保护AK，是每一个云客户都必须关注的问题。 解决问题 1.避免AK被泄露 2.改进已经错误使用AK的方法 产品列表 访问控制RAM 云服务器ECS 操作审计Action Trail 云安全中心
安装 SDK环境 步骤1 通过 SSH 远程连接开发环境 ECS。步骤2 升级 pip工具到最新版本。pip install-upgrade pip 步骤3 安装阿里云 SDK 核心库。pip install aliyun-python-sdk-core 步骤4 安装 STS SDK。pip install aliyun-python-sdk-sts 步骤5 安装 OSS SDK。pip install oss2 4.4.2.获取 sts token并使用 步骤1 下载 ecs...
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
Yarn的资源隔离是通过绑定用户组（用户）和队列来实现的，不能 做到更精细化的资源隔离控制；Spark on Kubernetes下每个 driver/executor都是 隔离的 Pod，这样可以做到真正的隔离；同时结合 Kubernetes的 namespace能 力限制用户级的内存、CPU、对象等资源的 quota。监控可以细化到每一次提交的作业，甚至可以到每个 ...
基于Elasticsearch的订单检索加速最佳实践
随着企业信息化程度越来越高，核心业务数据存储在传统关系型数据库中不可避免地会遇到一个问题：单表记录不断增多，数据检索速度会变慢，尤其是对中文的模糊查询（建立普通索引完全不起作用）。虽然数据库自身在不断完善，但效果有限且没办法灵活扩展，复杂场景无法应对。 本方案基于阿里云Elasticsearch作为二级索引库，数据集成产品提供Binlog实时订阅，实时解析、增量数据实时更新及二级索引库之间进行数据实时同步，为数据库提供“能力增益”， 不仅能从根本解决主库抗压问题，提升稳定性；同时支持高效率、高性能、高弹性、低成本、多复杂场景的检索加速服务。
更多信息，请参见：www.aliyun.com/product/rds/mysql Elasticsearch：阿里云 Elasticsearch兼容开源 ELK功能，提供免运维全托管服务 的弹性云搜索与分析引擎，致力于数据库加速、数据分析、信息检索、智能运维监 控等场景服务；独有的云原生高性能内核、达摩院 NLP分词、向量检索、智能运 维、免费 X-Pack高级商业特性等...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
基于 Flink的资讯场景实时数仓 最佳...当用户的行为触发某些控制点时，系 统会捕获这个事件，并根据用户当前和之前的行为进行分析，决定是否对用户进行风 险控制或推荐。可参考：https://nightlies.apache.org/flink/flink-docs-release- 1.13/docs/dev/table/sql/queries/match_recognize/ 文档版本：20220223（发布日期）90
基于弹性供应组构建大数据分析集群
场景描述 基于弹性供应组（APG）搭建spark计算集 群，提供一键开启跨售卖方式、跨可用区、 跨实例规格的计算集群交付模式的实践。 方案优势 1.超低成本：跨售卖方式提供计算实 例，按秒计费，可全部使用spot实例 交付，最高可省90%成本。 2.稳定可靠：跨可用域、跨实例规格， 降低spot被集体释放的风险；自动托 管，分钟级巡检，动态保证集群的算 力。 3.快速交付：单次可在5分钟内交付 2000个实例。 4.多策略组合：可分别指定spot和按量 实例的交付策略，以及差额补足的策 略，包括成本最低、打散和折中。 解决问题 1.大规模计算集群成本高。 2.创建ECS实例方式单一，无法跨计费 方式、可用区及规格等核心参数。 3.当可用区资源紧张，无法自动保证基于 spot类型的稳定算力。 产品列表 专有网络VPC 云服务器ECS
访问控制（RAM）：访问控制（RAM）是阿里云提供的管理用户身份与资源访问权 限的服务，实现不同用户拥有不同资源访问权限的目的。VPC：Virtual Private Cloud，简称 VPC。基于阿里云创建的自定义私有网络,不 同的专有网络之间二层逻辑隔离，可以在自己创建的专有网络内创建和管理云产 品实例，比如 ECS、负载均衡、RDS等。...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
JindoFS采用了本地存储和OSS的异构多备份机制，StorageService提供了数据存 储能力，首先使用OSS作为存储后端，保证数据的高可靠性，同时利用本地存储实现 冗余备份，利用本地的备份，可以加速数据读取；另外，JindoFS 的元数据通过本地 服务NamespaceService管理，从而保证了元数据操作的性能（和HDFS元数据操 作性能相似...
通义灵码助力函数计算FC实现函数编写
现在社会软件开发的复杂性不断增加，服务器配置和运维管理更复杂、开发效率变低。函数计算FC采用无服务器计算模式，用户只需要关注业务逻辑的实现，无需关心底层的服务器配置和运维管理，从而大大降低了运维成本和复杂性，而且具有弹性伸缩、快速部署、按需使用按量付费的特点。通义灵码是阿里云出品的一款基于通义大模型的智能编码辅助工具，可以帮助开发者快速编写高质量的代码，为开发者提供了强大的编程辅助功能。两者的结合让开发者可以更高效地编写函数代码，简化部署流程，提高开发效率。
通义灵码助力函数计算FC实现函数编写 业务架构 场景描述 现在社会软件开发的复杂性不断增加，服务器配置和运维管理更复杂、开发效率变低。函数计算FC采用 无服务器计算模式，用户只需要关注业务逻辑的实现，无需关心底层的服务器配置和运维管理，从而大大 降低了运维成本和复杂性，而且具有弹性伸缩、快速部署、按需使用按...
基于函数计算FC实现物联网音视频处理
在物联网场景中，智能设备会产生大量的非结构化数据，并且采集量和频率都很高。比如各类摄像头（家用摄像头、车载摄像头、工业监控摄像头等）采集的数据。企业需要对这些非结构化数据做快速的分析和处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
基于函数计算FC实现物联网音视频处理最佳实践 场景描述 业务架构 基于阿里云函数计算FC和云工作流（CloudFlow）实现对物联网智能设备采集的音视频做切片、转解码 等视频处理，回传OSS，然后在客户端拉流观看的 自动化流程。应用场景 在物联网场景中，智能设备会产生大量的非结构化数 据，并且采集量和频率都很高。比如各类...
基于函数计算FC实现大语言模型部署
在现代AI应用中， Qwen /chatglm2-6b 和Stable Diffusion等模型因其强大的功能而受到关注。然而，这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑，而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境，包括冷启动、弹性伸缩等，确保模型能够在大规模的请求下稳定运行。
基于函数计算 FC实现大语言模型部署最佳实践 业务架构 方式一：魔搭 SwingDeploy模型到 FC 方式二：FC3.0应用模板部署 场景描述 在现代 AI应用中，Qwen/chatglm2-6b等社区模型因其强大的功能而受到关注。然而，这些模型对计算 资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算 FC的无服务器计算模式为这类模型...
基于MSE云原生网关实现全链路灰度
在微服务场景中，应用间的调用是随机的。当您部署的Spring Cloud应用或Dubbo应用存在升级版本时，可能会导致无法将具有一定特征的流量路由到应用的目标版本。通过MSE提供的全链路灰度能力，您无需修改业务代码，就可以实现端到端的全链路流量控制。泳道可以将应用的相关版本隔离成一个独立的运行环境。通过设置泳道规则，可以将满足规则的请求流量路由到目标版本的应用。
【基于MSE云原生网关实现全链路灰度】最佳实践 场景描述 在微服务场景中，应用间的调用是随机的。当您部署 的SpringCloud应用或Dubbo应用存在升级版本 业务架构 时，可能会导致无法将具有一定特征的流量路由到应 用的目标版本。通过MSE提供的全链路灰度能力，您无需修改业务代码，就可以实现端到端的全链路流 量控制。泳道...
实时监控应用关键业务异常与告警
使用日志服务（SLS）基于收集的业务日志对业务实现监控与告警，能够帮助您了解应用的运行趋势，及时发现业务异常状态，采用具体措施以保证系统稳定性。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读日志监控的重要性与业务价值如何实现日志监控与传统方案对比应用场景方案部署方案权益实时可观测，即时应对风险为了保障业务稳定性、提升客户满意度，运维监控告警与故障定位（运维）、检测与防范安全威胁（安全）、业务数据分析...
来自：
解决方案
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
基于函数计算 FC实现阿里云 Kafka消息轻量级ETL处理 最佳实践 业务架构 场景描述 基于函数计算 FC处理消息队列 Kafka中的数据，进行 ETL处理后，将清洗归档后的数据上传到 OSS存储。应用场景 在大数据 ETL场景，Kafka是数据的流转中心，Kafka 中的数据一般是原始数据，可能存在多种 数据混杂的情况，需要进一步做数据清洗后...
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务，大部分场合都需要对直播相关的业务做安全审核，或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
基于本方案还可以扩展实 现直播流截帧、自动化安全审核等能力。产品列表 解决问题 专有网络 VPC•百豪秒弹性能力，应对直播场景的流量波动。阿里云函数计算(FC)•完全按量付费，有效节省使用成本。阿里云对象存储（OSS）•灵活的自定义扩展能力，视频截帧、转码等。阿里云消息服务 MNS（Message Service）云速搭 CADT 最佳...
- 产品推荐
- 这些文档可能帮助您