基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
文档版本：20211213 1 基于 MaxCompute的大数据 BI分析 最佳实践概述 方案优势 以 Hologres+QuickBI快速实时数据分析的核心能力为切入点，将客户的业务数 据、日志数据引导至阿里云的日志服务和分析性数据库。融合阿里云的日志服务 SLS 的生态，增强用户体验(如无缝对接 Flink、Elasticsearch、RDS、Hologres、EMR、dataV ...
新能源发电运营解决方案光伏
阿里云新能源发电解决方案融合多年阿里沉淀的云计算大数据技术，连接电站用户、运营方、投资方、融资方和设备，洞察光伏、风电和水电等新能源资产的运营状况。方案面对具有高度不确定需求的综合能源行业的竞争性挑战，通过阿里的中台技术组件，提供应用快速创新迭代、运营及相关数据挖掘分析等能力，在业务高速增长的同时保证平台可靠稳定。
以all in one box的方式提供一站式数据计算智能云的研发，满足用户对数据治理和质量管理的需求.提供应用开发、部署、监控、运维等解决方案，同时支持Dubbo等微服务运行环境，助力各类应用轻松上云.企业级分布式应用服务EDAS.通过 MQ 实现的松耦合架构设计可以提高系统可用性以及可扩展性，是适用于现代应用的优化设计方案....
来自：
解决方案
互联网、电商Elasticsearch搜索
场景描述 每一个生活在互联网中的用户，每天都在经 历各种各样的“搜索”，查找电商网站商品、 信用卡账单、查电子发票、查附近的餐厅酒 店、查偶像、查交通等等。相对于传统的关 系型数据库，Elasticsearch只需要几毫秒的 时间，即可查询PB级数据并从中找到匹配 信息。利用Elasticsearch高可用性和易用 性，能够快速处理网站、APP丢给它的文本、 数字、日期、IP以及地理数据。 解决问题 1.电商网站商品、订单、物流等搜索 2.保险行业保单查询 3.互联网教育行业课程搜索 4.O2O行业地理位置搜索等 产品列表 云服务器ECS 专有网络VPC 负载均衡SLB 云数据库RDSMySQL版 Dataworks Elasticsearch 数据传输服务DTS
同时能满 文档版本：20220121 II 互联网、电商 Elasticsearch搜索最佳实践 前言 足用户对数据治理、质量管理需求，赋予用户对外提供数据服务的能力。更多信 息，请参见 Dataworks简介：（https://data.aliyun.com/product/ide）。数据传输服务(Data Transmission Service):DTS支持关系型数据库、NoSQL、大 数据(OLAP)等数据...
MaxCompute湖仓一体方案
场景描述 自建数据湖与云数仓的融合解决方案，将 MaxCompute与自建的Hive集群做数据打 通，通过存储共享，元数据镜像等方式，解 决传统模式下的存储冗余，计算资源弹性能 力弱的痛点。可大幅度增强系统的资源弹 性，解决业务高峰期计算资源不足的问题。 方案优势 1.业务无侵入性：现有业务无需改造。 2.性能优化：MaxCompute在SQL上做 了大量优化与能力沉淀，可提高SQL 运行性能，降低计算成本。 3.灵活管理：元数据实时同步，无需额外 管理数据同步任务。 4.资源弹性：利用MaxCompute计算池 弹性进行海量数据计算。 解决问题 1.增强业务高峰期的资源弹性。 2.优化自建数据湖的数据治理能力。 3.减少跨平台数据处理的存储冗余。 产品列表 专有网络VPC 云服务器ECS 访问控制RAM 运维编排OOS MaxCompute（原ODPS） 云企业网CEN
提供用户在云上 使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学习等 场 景 下 的 大 数 据 解 决 方 案。更 多 信 息，请 参 见：https://www.aliyun.com/product/emapreduce 文档版本：20220402 III MaxCompute湖仓一体方案 目录 目录 文档版本信息.I 法律声明.II 产品介绍.III 目录.IV 最佳实践...
阿里云最佳实践离线大数据workshop
本最佳实践，首先搭建一个简化的电商 demo 系统，然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统，学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
MaxCompute向用户提供了完善的数据导入方 案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有 效 降 低 企 业 成 本，并 保 障 数 据 安 全。详 见：https://help.aliyun.com/product/27797.html Dataworks：DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引 文档版本：20210802（发布...
来自：
最佳实践
相关产品：云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务（SLS）,大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
基于Elasticsearch的订单检索加速最佳实践
随着企业信息化程度越来越高，核心业务数据存储在传统关系型数据库中不可避免地会遇到一个问题：单表记录不断增多，数据检索速度会变慢，尤其是对中文的模糊查询（建立普通索引完全不起作用）。虽然数据库自身在不断完善，但效果有限且没办法灵活扩展，复杂场景无法应对。 本方案基于阿里云Elasticsearch作为二级索引库，数据集成产品提供Binlog实时订阅，实时解析、增量数据实时更新及二级索引库之间进行数据实时同步，为数据库提供“能力增益”， 不仅能从根本解决主库抗压问题，提升稳定性；同时支持高效率、高性能、高弹性、低成本、多复杂场景的检索加速服务。
步骤11 回到 rds的 dms界面中，对表 trading_order插入数据，再到 Elasticsearch中查看数 据。（dms登录方式本可查看文档章节 2.4创建 rds订单表”。在上图 dms中使用 insert into语句插入一条数据到 trading_order表中：insert into trading_order(order_amount,source_type,consignee_ada,order_type,company,consignee_...
高性能数据库ECS测试及选型
概述 客户自建高性能数据库（如电商大促）在做ECS选型时，对磁盘的IO、网络的吞吐都有很大要求，为了跟接近真实业务场景，使用HammerDB选定真实业务模型测试其TPM。通过对比TPM对比ECS性价比进行选型。同时使用FIO测试磁盘性能作为参考。 适用场景 自建数据库性能测试 磁盘性能测试 ECS选型建议 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 基于标准的TPC-C测试，接近真实业务场景。 提供多规格实例测试，快速选择最优性价比实例。
BW:392MiB/s 文档版本：20201104 38 基于 Dataworks的大数据一站式开发及数据治理 ECS选型 4.ECS选型 本章介绍根据上述测试结果得出的 ECS自建高性能数据库的选型建议。记录全部的测试数据，本例测试的 2个规格可知，hfr7每万 tpm的价格是 72.34元，可知性价比略高于 r6e。建议基于自己的场景进行更多规格测试，得出适合...
基于MSE云原生网关实现全链路灰度
在微服务场景中，应用间的调用是随机的。当您部署的Spring Cloud应用或Dubbo应用存在升级版本时，可能会导致无法将具有一定特征的流量路由到应用的目标版本。通过MSE提供的全链路灰度能力，您无需修改业务代码，就可以实现端到端的全链路流量控制。泳道可以将应用的相关版本隔离成一个独立的运行环境。通过设置泳道规则，可以将满足规则的请求流量路由到目标版本的应用。
步骤2微服务治理可观测 文档版本：20240429 34基于MSE云原生网关实现全链路灰度最佳实践 在MSE微服务治理的全链路灰度页面，单击目标应用，在QPS数据区域，可查看对应泳道基 线版本和灰度版本的流量情况。总数：该应用总的QPS。异常QPS：该应用出错的请求数。gray：该应用gray版本的QP 文档版本：20240429 35基于MSE云原生...
容器场景下的应用性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及，越来越多的系统已经通过云原生和微服务技术实现企业的降本增效，同时因微服务及云原生的复杂性给系统运维带来非常大的挑战，云原生应用监控arms通过全链路应用监控，从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力，帮助客户降低系统故障定位难度，此demo，您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑，调用链可以显示出服务之间的调用顺序和层次关系，帮助开发人员理解和追踪代码的执行流程 在分布式系统中，一个请求往往需要通过多个服务来完成。当出现问题时，如请求超时、错误或异常，很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题： · 故障排查：当请求失败或出现错误时，调用链可以显示整个请求的路径和每个服务的执行情况，从而帮助运维人员快速定位问题所在。 · 性能优化：通过调用链，运维人员可以了解请求在系统中的执行时间和瓶颈所在，从而进行优化。 · 系统监测：调用链可以提供实时的系统监测和分析，帮助运维人员了解系统的健康状况和资源利用情况。
步骤2 查看应用链路拓扑，可以看到业务完整链路拓扑，同时可以看到此链路的请求数，响 应时间，错误数等核心指标信息 文档版本：20240329 34容器场景下的应用性能监控、调用链拓扑、内存剖析 场景验证 5.2.调用链性能分析 步骤1 选择调用链分析，点击traceid，可以看到这个trace下面的详细链路调用及耗时，点击 ➕加号，...
数据集成 Data Integration
阿里云数据集成 Data Integration是跨异构数据、低成本、弹性扩展的数据采集同步平台，为DataX的商业版，支持ETL，支持50+数据源跨网络离线(全量/增量)同步。
主要通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（称之为 Reader）、数据写入插件（称之为 Writer），并基于此框架设计一套简化版的中间数据传输格式，从而达到任意结构化、半结构化数据源之间数据传输的目的.抽取、转换、导入.数据集成支持在数据抽取过程中进行简单的ETL数据转换操作（如日期...
来自：
云产品
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品，为spring cloud微服务应用提供部署和测试能力，提供一个经典微服务应用上云的典型架构，实现微服务应用的快速落地。
微服务引擎MSE：微服务引擎 MSE 面向业界主流开源微服务项目，提供注 册配置中心和分布式协调（原生支持 Nacos/ZooKeeper/Eureka）、云原生网 关（原生支持Higress/Nginx/Envoy，遵循Ingress 标准）、微服务治理和分布 式任务调度能力（兼容开源XXL-JOB/ElasticJob/K8sJob/SpringSchedule）。 Serverless应用引擎 SAE...
基于MSE云原生网关同城多活
借助云原生微服务MSE网关，MSE配置注册中心的同城容灾多活微服务应用。构建一个经典的微服务场景，实现同城容灾的步骤，体现云原生相关产品在用户上云，高可用同城容灾多活场景下的能力。
文档版本：20240423 40 基于MSE云原生网关同城多活最佳实践 场景验证 步骤4 等待压测任务生成 步骤5 查看压测数据 步骤6 通过在 ack-main中删除资源方式模拟机房故障，有损秒级切换，查看 PTS压测曲线 文档版本：20240423 41 基于MSE云原生网关同城多活最佳实践 场景验证 服务删除时，压测曲线会出现毛刺，请记录删除操作...
数据安全解决方案
数据是企业的核心资产，如何保护企业的云上数据，是每个企业管理者都应当重视的课题。在云平台提供更为安全便捷的数据保护能力的同时，阿里云根据自身多年的经验积累，结合大量云上客户的最佳实践，提供了一套完整的数据安全解决方案，帮助企业提升云上数据风险防御能力，实现企业核心及敏感数据安全可控。
数据安全成熟度模型.DSMM模型中将数据安全过程维度分为数据全生命周期安全和数据通用安全两个过程，并将数据全生命周期划分为：数据采集安全、数据传输安全、数据存储安全、数据处理安全、数据交换安全、数据销毁安全六个阶段。数据生命周期安全共包含30个过程域，为企业保护数据提供了可落地的参考.数据安全生命周期过程域...
来自：
解决方案
Landing-zone
企业上云第一步，规划和落地云上资源结构、访问安全、网络架构、安全合规体系，为企业搭建安全、高效、可管理的云环境。
有安全风险企业上云 治理先行阿里云根据大量的客户实践总结发现，随着企业业务规模扩大、资源数量增加、云账号增多，问题和挑战逐渐出现，后续上云的每一步都可能产生新的风险和摩擦。什么是 Landing Zone？在上云前做好合理的规划可以避免对管理方式的反复重构，加速业务大规模上云。阿里云帮助您先从顶层规划一个完善的...
来自：
解决方案
数据可视化DataV
数据可视化DataV是阿里云一款数据可视化应用搭建工具，旨让更多的人看到数据可视化的魅力，帮助非专业的工程师通过图形化的界面轻松搭建专业水准的可视化应用，满足您会议展览、业务监控、风险预警、地理信息分析等多种业务的展示需求。
DataV在业务数据可视化领域，通过丰富的可视化组件、低代码蓝图系统、AI设计辅助、多种数据源接入的能力，帮助业务开发人员能够快速完成自己业务看板的搭建，实现跨业务系统的数据可视化管理；强大的可视化图元系统，具有400多种可视化组件、100多种地理图元，可以高效的帮助用户实现各种数据的精准表达，呈现数据之美；...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您