SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
日志服务SLS：是云原生观测与分析平台，为Log、Metric、Trace等数据提 供大规模、低成本、实时的平台化服务，日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能，全面提升您在研发、运维、运营、安全等场景的数字化能力。 云消息队列Kafka版：是阿里云基于ApacheKafka构建的高吞吐量、...
可观测链路 OpenTelemetry版结合日志服务SLS关联分析最佳实践
可观测链路 OpenTelemetry 版为分布式应用的开发者提供了完整的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具，可以帮助开发者快速分析和诊断分布式应用架构下的性能瓶颈，当应用出现业务异常问题时，您可以在可观测链路 OpenTelemetry 版控制台关联查看日志进行分析，精准定位业务异常。
一站式提供数据采集、加工、查 询与分析、可视化、告警、消费与投递等功能，全面提升您在研发、运维、运营、安全等场景的数字化能力。云速搭 CADT（Cloud Architect Design Tools）：是一款为上云应用提供自助式云 架构管理的产品，显著地降低应用云上管理的难度和时间成本。本产品提供丰富的 预制应用架构模板，同时也支持...
容器多云统一监控日志
多云、混合云成为常态，Forrester 报告中指出，未来 89% 的企业至少使用两个云，74% 的企业至少使用三个甚至更多公有云，在面对多云/混合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑战，本方案给出了在多云/混合云场景下，构建基于容器环境下的统一管理、统一监控和统一日志方案，解决多云、混合云场景下，运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）或者IDC基于容器（Kubernetes）运行业务系统，希望构建容器场景下的统一监控日志系统，方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统，在一个平台可以看到不同环境系统的运行情况。
非阿里云Kubernetes集群添加到ACKOne注册集 群 3.1.自建K8S集群加入注册集群 步骤1 通过CADT画布登录注册集群控制台，或者通过容器控制台Link访问（https://cs.console.aliyun.com/#/k8s/cluster/list）步骤2 可以看到ACK-注册集群状态为“等待接入”步骤3 进入ACKOne注册集群，复制agentyaml文件 依此点击“连接信息”、...
ACK容器平台集群安全控制
场景描述 本方案实践主要是通过一些实践示例来介绍 用户对于在阿里云上使用Kubernetes集群服 务的容器平台安全管控的实践验证与使用建 议。 方案优势 容器集群部署快捷 授权与安全策略配置方便 丰富的安全控制实践介绍 解决问题 容器集群API Server的安全访问控 制 容器服务多租户场景下的授权管理 容器中的敏感信息数据的存储 容器服务集群安全策略配置管理 产品列表 容器服务Kubernetes版 负载均衡SLB 专有网络VPC 访问控制RAM
Kubernetes API server是以静态 Pod的形式运行在集群的 Master 节 点 上，可 以 在 集 群 Master 节点的/etc/kubernetes/manifests/kube-apiserver.yaml查看 Kubernetes API server的配置信息。步骤1 Kubernetes API server安全控制配置参数解读。重要配置参数解读:insecure-port:默认情况下 API server会监听非安全端口 ...
云数据库专属集群MyBase
云数据库专属集群MyBase是阿里云专为企业级用户定制优化的解决方案。支持MySQL、PostgreSQL、SQL Server、Redis和MongoDB数据库。具有云资源独享、支持资源超分配，自主可运维、开放权限等特点。MyBase不仅能保障客户独享云资源更加安全、享受到云数据库服务的便捷灵活，同时还满足企业对数据库合规性、安全性和高性能的要求。
数字化城市创新行｜企业上云的数据库演进之路.重新定义云数据库新形态-云数据库专属集群 MyBase.MyBase MySQL 主从版发布，经典的一主多从架构且从库可参与高可用切换.MyBase SQL Server 发布 webshell 远程桌面连接到主机 Windows OS.MyBase 发布集群画像功能,可对数据库资源进行统一水位管理和监控.MyBase 主机发布标签...
来自：
云产品
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
如果开启了挂载公网和远程登录能力，建议您通过安全组严格控制可以访问 EMR集 群各项服务的来源 IP地址，建议使用最小授权原则和临时授予的方式进行控制。配置完成，单击下一步：确定。文档版本：20200330 16 EMR集群安全认证和授权管理 EMR Kafka安全集群 步骤10 在确认页面，各项信息确认无误后，勾选《E-MapReduce服务...
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景，使用神龙 GPU云服务器（SCCGN6）+CPFS进行NLP的 训练，采用Bert模型。这里不使用容器，直接 使用裸机进行NLP的Bert训练，使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器（SCCGN6） SCC超级计算集群 CPFS共享存储
[root@scc001perseus]#./pre_train_perseus.sh11 使用说明：[root@scc001perseus]#./pre_train_perseus.sh Usage:./pre_train_perseus.shworkersgpus_per_worker 第一个数字指定用几个节点来跑作业，第二个数字指定每个节点用几个 GPU，每个节点最多用 8 个 GPU。例如提交一个 2个节点，每个节点使用 8个 GPU的作业：[root@...
部署Nginx并通过Ingress暴露和监控服务
在阿里云容器服务（后简称ACK）集群中通过YAML文件快速部署一个Nginx应用并通过Nginx Ingress暴露和监控服务，结合使用ACK、日志服务、专有网络搭建业务部署运维方案。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台部署Nginx并通过Ingress暴露和监控服务方案介绍方案优势应用场景方案部署方案权益部署Nginx并通过Ingress暴露和监控服务在阿里云容器服务（后简称ACK）集群中通过YAML文件快速部署一个Nginx应用并通过Nginx Ingress暴露和监控服务，结合...
来自：
解决方案
基于日志服务构建业务可观测性系统
现在已知的各种监控数据的工具，以及对应的监控系统有非常多的选择，比如ZABBIX，Prometheus，Skywalking等。但是这些系统都存在同样的一个问题，只覆盖了可观察性的一部分，举个简单的类比，大家在日常开车的过程中，会用到很多的辅助设备，仪表盘，行车记录仪，导航，倒车影像等等，这些设备都各自承载了一部分的功能，但是都存在着如下的问题： l 数据覆盖不完整 l 存在数据孤岛（无法关联协同） l 使用门槛高，不够人性化 核心价值 l 全覆盖，统一协议，支持各类平台。 l 数据关联，统一Schema，关联Metrics/Logs。 l 云原生，SaaS服务，拥抱云原生。 l 简单易用，自动化埋点，数十项易用功能。 智能化，异常诊断，根因分析。
阿里云最佳实践技术分享群 全覆盖，统一协议，支持各类平台。数据关联，统一 Schema，关联 Metrics/Logs。云原生，SaaS服务，拥抱云原生。简单易用，自动化埋点，数十项易用功能。智能化，异常诊断，根因分析。如二维码过期，产品列表 请搜索群号：31852400 专有网络 VPC 容器服务 ACK 云速搭 CADT 日志服务 SLS 基于日志...
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
日志 HIVE分析 基于 DataWorks一站式开发 数据治理 产品列表 最佳实践频道 阿里云最佳实践技术分享群 实时计算、EMR EIP、VPC ECS DataWorks 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 基于Dataworks的大数据 一站式开发及数据治理 最佳实践 文档版本：20210207 文档版本：20150122（发布日期）II...
微服务引擎的线上流量治理
随着业务不断创新，微服务架构及数字化转型不断落地，在这个过程中，大量企业采用了开源的组件构建了微服务，比如有开源微服务全家桶之称的Spring Cloud体系或Apache Dubbo等，微服务的好处之一，在于快速迭代，如何在迭代过程中保障线上流量不受损？ 开源产品无运维工具，常常需要投入较大的运维人力和成本。 本实践将重点介绍如何快速集成主流开源微服务框架，实现业务零改造，解决开源框架在生产落地过程中的痛点，例如无损上下线、标签路由等，并通过托管微服务开源组件（API网关、注册中心、配置中心等）的服务，提供白屏化监控告警、容灾、宕机重启、扩缩容等能力，帮助企业释放业务无关的运维成本，聚焦业务本身的运维和发展。 方案优势 快速集成：通过JavaAgent技术实现Sping Cloud和Dubbo框架可以实现业务零改造接入。 免运维：托管微服务依赖开源中间件的服务，提供白屏化监控告警、容灾、宕机重启、扩缩容等能力，帮助我们客户释放业务无关的运维成本，聚焦自身业务本身的运维和发展。 开源增强：提供开源框架在生产落地过程中的痛点，例如应用无损上下线/金丝雀发布/南北+东西流量打通等，帮助客户的业务提高自身SLA和降低自研成本。
微服务引擎的线上流量治理 最佳实践 业务架构 背景描述 随着业务不断创新，微服务架构及数字化转型不 断落地，在这个过程中，大量企业采用了开源的 组件构建了微服务，比如有开源微服务全家桶之 称的 Spring Cloud体系或 Apache Dubbo等，微服务的好处之一，在于快速迭代，如何在迭代 过程中保障线上流量不受损？...
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统，业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上， 包括如何在云上构建以上业务系统，如何迁移线下 系统到云上，如何割接。 3. 最后介绍了迁移上云后，如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
文档版本：20210617 14 企业上云 workshop-IDC业务迁移上云 RDS实例配置 2.RDS实例配置 使用云架构设计工具 CADT完成资源环境部署后进入资源配置阶段，首先登录阿里云 官网，对 RDS资源实例进行初始化配置，确认 Wordpress应用数据库用户、创建数 据库以及配置数据库集群访问白名单，并记录数据库集群访问地址。2.1.确认...
来自：
最佳实践
相关产品：专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
3.4.3.Kafka配置 在场景中，数据量是比较大的，所以对 Kafka的性能要求也是比较高的，相比开源自 建，使用云上的 Kafka省去很多的运维操作，比如：我们不再需要再维护 Kafka集群的各个节点 不需要关心主从节点数据同步问题 可以快速、动态扩展 Kafka集群规格，动态增加 Topic，动态增加分区数。完善的指标监控功能，消息...
Exchange Server云上部署最佳实践
阿里云提供基础设施服务，能够以高可用、高容错且经济实惠的方式将Exchange Server部署在云上。通过在 阿里云上部署，可以获得Exchange Server的功能以及阿里云天然灵活性和安全性。
产品列表 云服务器 ECS 最佳实践频道 阿里云最佳实践分享群 负载均衡 CLB NAT网关 NATGW 弹性公网 IP EIP SSL证书服务 CAS 云速搭 CADT 阿里云 企业上云实践 Exchange Server云上部署 最佳实践 文档版本：20220119 文档版本：20150122（发布日期）II Exchange Server云上部署最佳实践 文档版本信息 文档版本信息 文本信息 ...
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
本段SQL：SELECT cast(sum(total_amount)/10000 as decimal(10,2))as value FROM"public"."ads_sku_stat"wherecategory2_name='混合基金' 配置完后，修改数字的单位，如下图：文档版本：20210803（发布日期）59阿里云最佳实践金融大数据WorkShop 最佳实践项目实践 同理，分别修改混合型基金、债券型基金的数据绑定。...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
- 产品推荐
- 这些文档可能帮助您