SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
文档版本：20211203 54 SLS多云日志采集、处理及分析 创建日志服务 步骤3 查看外网访问域名记录备用。步骤4 参考章节 4 对 sls-for-filebeat.log-global.aliyuncs.com开启全球加速。文档版本：20211203 55 SLS多云日志采集、处理及分析 Spark数据处理 Log producer写入日志服务 9.Spark数据处理 Log producer写入日志服务 9...
E-HPC低成本实现量化策略回测
在量化交易场景下，量化策略的构建流程一般包括：想法、数据获取、建模、回测、结果分析等，在回测过程中往往需要海量的算力，进行大量数据的分析和处理，如何快速、高效和低成本的进行批量任务的调度，并快速获取结果是量化领域遇到的普遍挑战，这也是云计算能够带给客户的巨大优势。
云监控涵盖 IT 设施基础监控和外网网络质量拨测监控，是基于事件、自定义指标和日志的业务监控，为您全方位提供更高效、全面、省钱的监控服务。使用云监控，不但可以帮助您提升 系统服务可用时长，还可以降低企业 IT运维监控成本。云监控通过提供跨云服务和跨地域的应用分组管理模型和报警模板，帮助您快速构建 支持几十种...
FPGA加速图片和视频转码
场景描述 场景1：图片转码 移动互联网早已进入读图时代，目前的图片都是 JPEG格式，尺寸太大，导致传输占用更多的网络 带宽，花费更多的传输时间并占用更多的存储空 间。JPEG图片转码为WebP/HEIF需要消耗大量的 计算能力。使用阿里云FaaS加速图片转码解决 方案将使客户TCO降低约40%。 场景2：视频转码 到2022年，82%的IP流量都将来自于视频的录 制、上传和播放。HEVC/H.265无论从画质还是码 率，都比H.264有明显的优势，但是将视频将 H.264编码为H.265将消耗巨大的算力。使用阿 里云FaaS加速视频转码将显著降低视频大小， 节省网络流量，降低成本。 解决的问题 通过FPGA云服务器进行高效图片转 码 通过FPGA云服务器进行高效视频转 码 产品列表 VPC，ECS，FPGA，OSS
允许外网访问 FPGA云服务器5000端口.17 3.2.运行FPGA云服务器的图片转码程序.18 3.3.图片转码测试.19 文档版本：20210906 VI 使用 FPGA云服务器加速图片和视频转码 最佳实践概述 最佳实践概述 FaaS解决方案和优势 图片转码 移动互联网早已进入读图时代，目前的图片都是 JPEG格式，尺寸太大，导致传 输占用更多的网络带宽，...
云数据库RDS SQL Server版
阿里云SQL Server数据库已含微软License，支持复杂的SQL查询，性能优秀，对基于Windows平台.NET架构的应用程序具有完美的支持，广泛应用于新零售、医疗、房地产等行业。
通过“等保三级”认证的高安全数据库，支持TDE，SSL等加密技术，严防拖库，目前已获得国内外十余个安全等级认证.提供数十种性能指标监控，可自定义配置报警功能，让用户时刻了解数据库运行状态.微软SQL Server 企业版授权许可，无需单独支付版权费用，提供全方位的硬件和软件支持，提供高性价比的企业级服务.95A_优势 板式...
来自：
云产品
本地数据中心基于SMB/NFS协议访问对象存储最佳实践
1. 云存储扩容和迁移 集成智能缓存算法，自动识别冷热数据，将热数据保留在本地缓存，保证数据访问体验，无感知的将海量云存储数据接入本地数据中心，拓展存储空间。同时在云端 保留全量数据(冷+热)保证数据的一致性 2.云容灾 随着云计算的普及，越来越多的用户把自己的业务放到了云上。但是随着业务的发展，如何提高业务的可靠性和连续性，跨云容灾是一个比较热门的话题。借助云存 储网关对虚拟化的全面支持，可以轻松应对各种第三方云厂商对接阿里云的数据容灾。 3. 多地数据共享和分发 通过多个异地部署的文件网关实例，对接同一个阿里云OSS Bucket，可以实现快速的异地文件共享和分发，非常适合多个分支机构之间互相同步和共享数据。 4. 适配传统应用 有很多用户在云上的业务是新老业务的结合，老业务是从数据中心迁移过来的使用的是标准的存储协议，例如: NFS/SMB/iSCSI。新的应用往往采用比较新的技 术，支持对象访问的协议。如何沟通两种业务之间的数据是一个比较麻烦的事情，云存储网关正好起到一个桥梁的作用，可以便捷的沟通新旧业务，进行数据交换。 5. 替代 ossfs 和 ossftp ossfs 和 ossftp 都是基于文件协议的开源工具，用户可以通过它们直接上传文件到OSS。但是这两个开源文件都不建议在生产环境使用(POSIX 兼容度低)，同时挂 载在用户的客户端需要额外的配置和缓存资源，对于多个客户端的情况安装配置繁琐。通过文件网关的服务可以完美替代 ossfs 和 ossftp。通过创建文件网关，用 户只需要执行简单的挂载(NFS)和映射(Windows SMB)就可以像使用本地文件系统一样使用 OSS。
复制下载镜像的链 接备用。文档版本：20210525 6 本地数据中心基于 SMB/NFS协议访问对象存储 云存储网关配置 文档版本：20210525 7 本地数据中心基于 SMB/NFS协议访问对象存储 安装本地云存储网关 2.安装本地云存储网关 在裸金属服务器上部署 Hyper-V管理器，然后安装本地云存储网关虚拟机镜像并配置 虚拟机网络。再配置 ...
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求（政策上云），另一方面出于对降低单实例部署成本（CPU 超分超配）以及满足更严格合规和监管要求的考虑，希望能对云上资源有更多的自主控制权（监管合规）。从业务系统架构云上部署的角度，基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案，可以很好地满足这两方面的需求。 解决问题： 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本（TCO） 方案优势： 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离，可以独占资源，可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规：在完备的隔离基础之上，开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时，若您不指定专有宿主机，系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时，提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ，可以降低单 ECS实例以及云数据库实例的部署成本。
步骤4 本实践会在每台 DDH上面各创建一台 ECS，镜像选择公共镜像 CentOS 7.6，40G系 统盘（高效云盘），暂不分配公网 IP（安装 wordpress之前需要绑定 EIP，后续会通过 创建 SLB+EIP外网暴露服务）。步骤5 进一步选择密钥对作为登录凭证，然后配置实例名称及主机名。如果没有配置密钥对，可以单击创建密钥对，便可以跳转到...
基于云拨测的网站用户体验监测最佳实践
网站作为电商行业开展业务的核心场景，不同区域、不同运营商、不同的终端用户，给网站体验带来了巨大的一致性挑战。打开卡顿、缓慢，甚至无响应，都会影响到运营效果、甚至出现负面影响。阿里云基于多年业务经验，为云上客户提供完整的电商网站运营期间的用户体验监测方案。
3.目前 CADT暂时不支持开通、购买云拨测（正紧急开发中），您可以通过以下链接 选择对应套餐：试用版：云拨测提供免费试用版、后付费专家版和预付费版三种模式，首次开 通云拨测后，云 拨 测 将 提 供 15 天 的 免 费 试 用 期。https://arms.console.aliyun.com/testing 云拨测-包年包月：https://common- 文档版本：...
混合云数据库统一管理
本最佳实践描述在混合云场景下，用户利用数据库网关将IDC自建数据库和云上RDS实例统一管理。通过DMS管理云上RDS实例和IDC自建数据库，并通过DTS实现IDC数据库和云上RDS的数据同步， DBS将数据备份到云上
1.选择智能接入网关接入，输入 IDC数据库的私网 IP地址，测试通过后单击授权白 名单并进入下一步：文档版本：20201224（发布日期）42 混合云数据库统一管理 IDC数据同步 RDS 2.为 RDS授权白名单：3.给 RDS配置完白名单后，设定迁移属性。选择全量数据迁移，目标库名修改为 poc_prod。文档版本：20201224（发布日期）43 混合...
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
文档版本：20210803（发布日期）51阿里云最佳实践金融大数据WorkShop 最佳实践项目实践 注意这里一定是https方式 域名填写hologres的外网链接地址，不包含端口。3.4.1.2.选择模板创建 步骤1 在我的可视化中，单击新建PC端可视化。文档版本：20210803（发布日期）52阿里云最佳实践金融大数据WorkShop 最佳实践项目实践 步骤2...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
申请外网 在集群信息页面，单击申请外网：3.3.3.设置白名单 步骤1 在左侧导航栏选择数据安全，并单击添加白名单分组。步骤2 添加白名单分组，并单击确定。分组名称：vpc。组内白名单：192.168.0.0/16（交换机 IP段）文档版本：20220223（发布日期）23 基于 Flink的资讯场景实时数仓 基础环境部署 3.3.4.创建数据库和表 本节...
游戏业务分区合服
概述 为了提高游戏玩家的体验,并提高留存率,增强付费率.除了游戏本身的内容趣味性外, 改善用户访问加速体验,并对游戏数据分区合服是很常见的业务运营场景. 本方案适用于: 1游戏业务运营,对多个分区数据库进行合并,增加付费用户积极性的需求. 2游戏业务加速,中心化部署的网络加速需求. 方案优势 1便捷数据迁移. 2内网安全传输 3加速远端用户访问质量体验 4快速应对上层业务运营的技术实现操作. 产品列表 网络产品:VPCSLBNAT网关CEN共享带宽包EIP全球加速GA 计算产品:ECS 数据库产品:RDSDTS 存储产品:OSS 云解析
配置项 说明 记录类型 A 主机记录 bf 解析线路 默认 记录值 39.xxx.xxx.240 此处填写 SLB绑定的外网 IP，即本实践中对应的 EIP实例 BEI_EIP_SLB对应的 IP地址。TTL 10分钟 文档版本：20220121 54 游戏业务分区合服最佳实践 初始环境搭建 完成后控制台看到如下解析条目。一般几分钟后就可以全网生效了。3.4.3.业务验证 步骤1...
大数据workshop
大数据workshop
域名：填写 hologres的外网链接地址，不包含端口。文档版本：20210628（发布日期）56 阿里云最佳实践大数据 WorkShop 最佳实践项目实践 2.用户名：AccessKey ID 3.密码：AccessKey Secret 4.端口：80 步骤3 在我的可视化中，单击新建 PC端可视化。步骤4 选择集团数据看板模板，并单击创建。文档版本：20210628（发布日期）...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
基于k8s多集群隔离环境下的devops实现
场景描述 DevOps是一组过程、方法与系统 的统称，并通过工具实现自动化部署， 确保部署任务的可重复性、减少部署出 错的可能性。随着微服务、中台架构的 兴起，devops重要性日益显著。 本方案使用两个独立的k8s集群： 用户已有的k8s模拟测试，ack集群模 拟生产环境，保证环境的高度隔离，互 不影响。通过gitlab+Jenkins的黄金组 合，实现容器应用的自动化构建和持续 部署，提高迭代效率。 解决问题 1.微服务应用的CI/CD。 2.测试和生产环境的高度隔离。 3.自动化的测试与部署。 4.现有CI对接ACK。 产品列表 专有网络VPC 容器服务ACK 容器镜像服务ACR 弹性公网IP 负载均衡SLB
详情：https://www.aliyun.com/product/developerservices/cadt 弹性公网 IP（EIP）：独立的公网 IP资源，可以绑定到阿里云专有网络 VPC类型 的 ECS、NAT网关、私网负载均衡 SLB上，并可以动态解绑，实现公网 IP和 ECS、NAT网关、SLB的解耦，满足灵活管理的要求。文档版本：20220121 III 基于 K8S多集群隔离环境下的 DevOps...
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
MaxCompute提供了外网、经典网络和VPC网络三种服务地址供您选择，不同的 服务地址对您的下载计费结算有不同影响。如果您未配置TunnelEndpoint，则 Tunnel可能自动路由到公网，从而产生下载费用。详情请参见Endpoint。（https://help.aliyun.com/document_detail/34951.html）步骤2 运行客户端。运行bin目录下的MaxCompute...
企业办公安全访问一体化
本场景模拟企业办公环境，基于 CSAS 服务构 建企业办公安全一体化方案，将“安全 + 网络” 能力无缝融合，实现了对云下办公终端安全的统 一管理，企业无需在投资复杂且昂贵的传统硬件 安全设备，即可快速构建安全、可靠、低成本的 办公安全防护体系。 1. 企业办公环境访问互联网的安全管理 2. 企业办公环境访问内网服务的安全管理 3. 企业办公网络、安全一体化管理
互联网应用程序访问安全防护 CSAS也支持常用应用程序的访问管控，可以精准识别5000+常用的应用特征，通过 将应用分类，能够通过自定义策略来管控企业员工访问，比如对高带宽消耗、泄密风 险（文件外发）、降低工作效率等应用禁止访问，常用的应用管控分类有即使通信、HTTP下载、远程控制、电子邮件、网络游戏等等。...
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
配置 Ranger 本节首先在 Ranger中启用 Kafka，然后通过 Ranger管理界面添加 Kafka Service和 对应的 Policy，该 Policy中仅允许日志发生器所在的 ECS私网 IP地址，向 Kafka主 题 log-generator-topic发布（Publish）消息。2.6.1.在 Ranger服务中启用 Kafka 步骤1 在 EMR Kafka集群控制台的 Ranger服务中启用 Kafka。文档...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
文档版本：20201224 33 基于 Flink+ClickHouse构建实时游戏数据分析 基础环境部署 为了方便理解，其逻辑视图大致和下图类似：步骤3 返回集群信息页面，可申请外网 IP（也可通过 vpc内访问，这里演示通过外网地址的 方式），用于后续 Quick BI数据连接。文档版本：20201224 34 基于 Flink+ClickHouse构建实时游戏数据分析 ...
微服务引擎的线上流量治理
随着业务不断创新，微服务架构及数字化转型不断落地，在这个过程中，大量企业采用了开源的组件构建了微服务，比如有开源微服务全家桶之称的Spring Cloud体系或Apache Dubbo等，微服务的好处之一，在于快速迭代，如何在迭代过程中保障线上流量不受损？ 开源产品无运维工具，常常需要投入较大的运维人力和成本。 本实践将重点介绍如何快速集成主流开源微服务框架，实现业务零改造，解决开源框架在生产落地过程中的痛点，例如无损上下线、标签路由等，并通过托管微服务开源组件（API网关、注册中心、配置中心等）的服务，提供白屏化监控告警、容灾、宕机重启、扩缩容等能力，帮助企业释放业务无关的运维成本，聚焦业务本身的运维和发展。 方案优势 快速集成：通过JavaAgent技术实现Sping Cloud和Dubbo框架可以实现业务零改造接入。 免运维：托管微服务依赖开源中间件的服务，提供白屏化监控告警、容灾、宕机重启、扩缩容等能力，帮助我们客户释放业务无关的运维成本，聚焦自身业务本身的运维和发展。 开源增强：提供开源框架在生产落地过程中的痛点，例如应用无损上下线/金丝雀发布/南北+东西流量打通等，帮助客户的业务提高自身SLA和降低自研成本。
步骤13 选择 frontend，获取其外网访问地址，并通过浏览器进行访问。文档版本：20240226 12 微服务引擎的线上流量治理 应用部署 步骤14 访问演示商城主页。文档版本：20240226 13 微服务引擎的线上流量治理 服务注册 5.服务注册 注册中心解决了微服务体系里面，由于提供服务的实例数量和 IP是动态变化的，过它 可以实现服务...
云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
系统基于模板生成应用架构图：文档版本：20210329 5 云上成本优化 workshop 架构设计 注意：业务 k8s集群，使用了 EIP暴露 API Serve（可将 r EIP加入到后面的共享带宽包，同时，为集群打上了标签 team：team1）K8s集群，通过统一的 NAT网关，访问外网 EMR集群，采用了高可用的部署方式（同时，为集群打上了标签 team：team...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
Spring Cloud Netflix应用迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务（SpringCloud Alibaba云版本）的方法， 迁移后充分利用阿里云监控、调用链、限流降级 等能力，优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务（EDAS）平台。 2.迁移到EDAS后，简化应用的运维，提升监 控、调用链探测、限流降级等管理能力，提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务（EDAS） 负载均衡（SLB） 专有网络（VPC） 云服务器（ECS）
找到 gateway的外网 IP地址，访问地址：http://${gateway-ip}:4000 文档版本：20200106 59 Spring Cloud Netflix应用迁移 EDAS 微服务应用部署 EDAS环境 4.3.增加负载均衡能力 部署 2台 Gateway服务，在前面部署一台 SLB实现 Gateway的负载均衡。步骤1 登录云服务器管理控制台。（https://ecs.console.aliyun.com/）说明：...
- 产品推荐
- 这些文档可能帮助您