金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
在HoloWeb控制台，选择SQL编辑器，然后点击新增SQL窗口，选择对应的数 据库，编辑填写相应的DDL建表语句（默认数据表的属性是列存模式，列存模式更 适合OLAP数据分析，数据表的行存模式更适合高QPS点查询场景）。1.首先创建ads_province_info表。文档版本：20210803（发布日期）39阿里云最佳实践金融大数据WorkShop 最佳...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
可观测链路 OpenTelemetry 版
针对 PHP、C++、Go、Node.js 等多语言应用，提供端到端全链路追踪、应用监控与告警、链路拓扑、日志关联分析能力，并基于 OpenTelemetry 开源标准，兼容 Jaeger、Zipkin、SkyWalking 等开源项目数据上报。快速发现分布式应用架构下的性能瓶颈，缩短错/慢调用根因定位耗时，提高全栈开发与诊断效率。
通过请求状态、耗时、应用名称、接口名称和主机地址等维度快速筛选调用链，查看满足条件的 Span 列表，请求数、错误数与耗时的时序变化曲线等.选中一条调用链，查看链路下的所有接口、链路开始时间、总耗时、接口是否异常、以及每个接口的调用耗时.支持上亿条调用链实时聚合与下钻，快速发现错、慢调用分布特征。支持散点图...
来自：
云产品
混合云自有K8S弹性使用ECI
场景描述 本文介绍线下IDC与云端通过专线构建混合云架构，自有K8S利用虚拟节点弹性调用ECI承载业务高峰期资源需求的最佳实践。 解决问题 混合云环境下，自有K8S集群注册至ACK，实现云端纳管。纳管K8S集群部署Virtual Node，使集群具备ECI资源调度能力。在以上环境中部署Web及离线作业应用，并使用ECI资源作为弹性资源池满足业务波峰需求。 产品列表 云服务器ECS 云架构设计工具CADT 专有网络VPC 访问控制RAM 云企业网CEN 弹性容器实例ECI Nat网关NAT 容器镜像服务ACR 负载均衡SLB 容器服务Kubernetes版ACK 弹性公网IPEIP
注：实际当扩展 WordPress Pod实例时，需要使用统一的持久化存储来保证数 据一致性。本例中重点介绍 ECI的资源使用，故此处简化略去。步骤6 完成以上修改后，在 namespace blog下创建 WordPress应用。文档版本：20210520 49 混合云 IDC自有 K8S弹性使用 ECI ECI使用示例 步骤7 创建完成后，点击返回箭头确认应用状态。文档...
企业上云数据安全
场景描述 企业是否选择上公共云，或者哪些系统或数据上 公共云，对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴，即首先使用SDDP产品进行敏感数据发 现和分级分类，然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
pip install PyMySQL 若安装的 PyMySQL 版本号>1.0，修 改 数 据 库 连 接 语 句 为：db=pymysql.connect(host=dbhost,user=dbuser,password=dbpass,database=dbname)步骤4 通过运行脚本 python insert_demodata_into_TDE_finance_table.py(使用前先替换文 件里 rds的域名，用户名以及密码)，往 finance表中插入一条数据，...
VMware迁移DDH
场景描述 介绍本地部署或托管在IDC环境的VMware系统迁移 上云至独立宿主机（DDH）的最佳实践。使用DDH在 云端构建由独享物理服务器组成的资源池，同时配合 ECS成熟稳定的虚拟化技术体系，充分利用云上资源 弹性、按使用付费的优势，快速构建高性能、高可靠 和可快速动态伸缩的虚拟化系统，满足安全、合规、 自定义部署、自带许可证（BYOL）等企业级需求。 解决问题 l云端独享高性能、高可靠、高弹性的物理服务器资源池。 l基于成熟云原生虚拟化技术体系，支持ECS自定义部 署，可在DDH环境和多租户环境间迁移。 l支持自带许可证（BYOL）。 产品列表 l访问控制RAM l专有网络VPC l云服务器ECS l对象存储OSS l专有宿主机DDH l资源编排ROS
云上 自建数据库建议参考 037@弹性裸金属（神龙）自建 MySQL数据库最佳实践之单机 ESSD 版 或 045@自建数据库迁移弹性裸金属（神龙）最佳实践之 MySQL 主从 ESSD 版。III 企业上云实践 VMware 迁移 DDH|目录 目录 文档版本信息.I 法律声明.II 前言.III 目录.IV 最佳实践概述.1 前置条件.1 演示环境说明.2 1.VMware虚拟机...
数据安全解决方案
数据是企业的核心资产，如何保护企业的云上数据，是每个企业管理者都应当重视的课题。在云平台提供更为安全便捷的数据保护能力的同时，阿里云根据自身多年的经验积累，结合大量云上客户的最佳实践，提供了一套完整的数据安全解决方案，帮助企业提升云上数据风险防御能力，实现企业核心及敏感数据安全可控。
数据不再单纯存储在数据库中，各类数据仓库、中台和非结构化文件、缓存都在企业中扮演着重要角色。分散数据的统一治理和权责定义，对企业提出了要求.数据资产盘点、权责明确与分类分级标准.数据安全风险评估是企业信息系统建设的根基，从多个维度进行安全评估可以达到“事半功倍”的效果。在分析的过程中结合数据生命周期各...
来自：
解决方案
电商网站业务安全
场景描述 业务运营活动是电商行业开展业务必不可少的 手段，但大流量带来的系统可用性、优惠券带来 的“薅羊毛”等问题屡见不鲜，都会影响到运营 效果、甚至出现负面影响。阿里云基于集团电商 业务多年的运营经验，为云上客户提供完整的电 商网站运营期间的防护方案。 解决问题 1.保障业务运维活动系统稳定运行 2.防止“薅羊毛” 3.运营优惠给到真实的客户 产品列表 爬虫风险管理 风险识别 DDoS防护包
SLB提供了访问控制（白名单）能力，可以设置只允许 WAF地址访 问。SLB没有设置白名单之前，可以被任何连接公网的机器访问；按照本节操作，成功配 置白名单后，就只能被 WAF的 IP地址访问。创建访问控制策略组 步骤1 登录 Web应用防火墙管理控制台。（https://yundunnext.console.aliyun.com/?p=waf）步骤2 在左侧导航栏选择...
AK防泄漏
场景描述 用户名密码是开发运维人员访问阿里云控制台 的凭据，AK是软件程序访问阿里云资源的凭据。 如果AK被泄露，那么会造成非常严重的后果， 比如资源被释放导致业务不可用、大量服务器被 创建用来挖矿，等等。采用合适的方式来使用、 保护AK，是每一个云客户都必须关注的问题。 解决问题 1.避免AK被泄露 2.改进已经错误使用AK的方法 产品列表 访问控制RAM 云服务器ECS 操作审计Action Trail 云安全中心
应用服务器以 RAM用户身份扮演 RAM角色，调用 STS API AssumeRole接口 获取临时安全令牌，并将临时安全令牌传递给 App，App使用临时安全令牌访问 OSS。文档版本：20220211 41 AK防泄漏 移动终端使用 STS Token 具体操作步骤，请参考《RAM账号权限管理》最佳实践的第 6和 8.2章节，官网 URL 地址：...
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
详见：https://web.mit.edu/kerberos/krb5-1.4/krb5-1.4.1/doc/krb5- admin/domain_realm.html [capaths]为了执行直接（非分层）跨领域身份验证，需要一个数据库来构造领域 之间的 身份 验 证路径，本节用于定 义该 数 据库。详见：https://web.mit.edu/kerberos/krb5-1.4/krb5-1.4.1/doc/krb5-admin/capaths.html 文档版本...
企业级分布式应用服务EDAS
阿里云企业级分布式应用服务EDAS是一个围绕应用和微服务的PaaS平台，提供多样的应用发布能力和轻量级微服务解决方案，帮助用户解决在应用和服务管理过程中监控、诊断和高可用运维问题，完全兼容Dubbo和Spring Cloud，助您轻松转型企业级互联网架构。
通过 WAR 包或 JAR 包部署 K8s 应用时支持 ARM 架构.Spring Cloud Netflix 应用迁移 EDAS 最佳实践.EDAS 全部直播回顾.CloudApp 统一应用管理界面.分布式任务调度 SchedulerX 支持 Golang 任务.API 快速访问.近期重要功能.EDAS 可以帮助我做什么.阿里云EDAS 3.0 助力成都信通“消费券”项目，平稳度过大流量、高并发的业务...
来自：
云产品
实时数仓Hologres
Hologres（原交互式分析）是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与自助分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），与MaxCompute、Flink、DataWorks深度融合，提供离在线一体化全栈数仓解决方案。
基于行存表的主键索引和查询引擎的短路径优化，支持每秒数十万QPS高性能服务型点查，支持高吞吐更新，相比开源系统性能提升10倍以上.联邦查询，外表加速(Federation).无缝对接MaxCompute，无需数据移动，支持外表透明加速BI访问，支持冷热数据关联分析，支持百万级每秒数据高速同步，支持OSS外表读写，简化数据入湖入仓....
来自：
云产品
资源管理
场景描述 随着企业IT成熟度不断提高、管理的云上资源 不断增多，如何对资源进行高效管理的问题就会 凸显出来。阿里云的资源管理服务支持您按照业 务需要搭建适合的资源组织关系，使用目录、资 源夹、账号、资源组分层次组织与管理您的全部 资源，更好的实现项目成功。 解决问题 1.按照企业组织结构管理账号体系。 2.指定结算账号进行统一结算 3.统一管理成员账号权限系统 4.账号下的资源按照资源组进行分类 5.可以按照自定义财务单元进行分账管理 产品列表 资源管理
注意：在资源组范围内的授权只作用于资源组内，比如 app-1RAM用户被授权应用 1 组的 AdministratorAccess权限只针对资源 1组内的资源有效，app-1RAM用户无 权访问应用 1组之外的其他资源。步骤9 单击资源组应用 2 组的管理权限，新增授权，选择 RAM 用户 app-2，并赋予 AdministratorAccess权限。操作同步骤 8。步骤10 登录...
基于SLS实现统一告警最佳实践
告警对于企业的开发运维，安全运维，业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题，SLS告警提供了一站式云上告警管理方案，具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台，实现在SLS上一站式管理告警。
Alertmanager configuration alerting:alertmanagers:path_prefix:/event/webhook/RAMAK_{ACCESS_KEY_ID}/{WEBHOOK_APP_ID} api_version:v2 static_configs:targets:{ALIYUN_SLS_ENDPOINT} 说明：➢ path_prefix：配置路径信息，此处配置为您在日志服务中创建开放告警服务和应用 后生成的接口信息（子路径部分）。...
Elasticsearch
阿里云检索分析服务 Elasticsearch 版是100%兼容开源的分布式检索、分析套件。提供ELK等开源全托管的产品服务能力。为结构化/非结构化数据提供低成本、高性能及可靠性的检索、分析平台级产品服务。具备读写分离、存算分离、弹性伸缩、智能化运维、免费的X-Pack高级商业特性等产品特性。
云数据库RDS MySQL版.机器学习平台PAI.推荐搭配使用产品.综合检索分析.综合检索分析.查看全部日志.丰富的行业应用场景，支持智能运维监控、数据检索加速、数据分析、信息检索等场景，涵盖十几个行业线.某用户在小型网站建站场景使用 ES Serverless 服务提供检索能力。Serverless 应用一天内经历了8个小时的业务高峰，写入和...
来自：
云产品
微服务应用问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署， 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮， 容器编排配置是否合理， 以及节点故障引 发的问题等， 方案通过 AHAS 故障注入模拟生 产环境产生的故障， 通过 ARMS 及时发现问题、 定位问题， 并结合 ARMS 的告警功能快速发现 并解决问题。 发现调用下游一个服务实例出现异常。 发现业务 Pod 故障， 验证业务的稳定性。 发现调用数据库延迟故障， 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表 应用高可用服务 AHAS 性能测试 PTS 应用实时监控服务 ARMS 容器服务 kubernetes 版 负载均衡 SLB 专有网络 VPC 日志服务 SLS
文档版本：20220331 5 微服务应用问题定位及故障演练 Spring Cloud应用部署 ACK 整体信息页面如下图所示，展示了你的整体财务状况：1.3.PiggyMetrics架构 应用服务架构见下图：其包含了三个微服务，都是可以独立部署的应用，每个应用都有自己的数据库，无法 直接通过 API访问持久化的数据。这里采用了 MongoDB作为主数据。...
- 产品推荐
- 这些文档可能帮助您