SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
注：1）NAT网关配置的公网 IP数限制 NAT网关的最大并发数，绑定单个 IP最大 连接数为 55000，当通过 NAT网关访问公网上同一个目的 IP和端口的带宽大于 2Gbps时，建议您为 NAT网 关绑定 4-8个公网 IP并构建 SNAT IP池，避免单 IP的端口数量限制可能产生的丢包 2）当有多个 EIP组成 SANT IP池时，如需节约带宽成本可以建议多 ...
云端影视渲染
场景描述 本文介绍如何搭建一个完整的混合云渲染服务架构，本地与云端的网络以SSL-VPN方式进行互联。 解决问题 1、使用SSL-VPN构建本地网络与云上VPC环境的安全互联。 2、使用批量计算服务管理渲染计算集群，集群计算节点自动加入Deadline资源池。 3、使用Deadline做渲染任务管理。 4、批量计算集群计算节点根据Deadline渲染任务自动扩容和收缩，资源管理自动化。 产品列表 1、云服务器ECS 2、GPU云服务器GPU 3、批量计算BCS 4、专有网络VPC 5、弹性公网IP 6、文件存储NAS
x:#请注意将挂载点地址替换为您实际的挂载点地址 文档版本：20200220 37 云端影视渲染 基于 ECS部署Deadline Server 4.4.为 deadline-server安装 Deadline渲染管理软件 本文以 Deadline V10.0.23.4 Free License安装为例。步骤1 运行 DeadlineRepository-10.0.23.4-windows-installer.exe开始安装。步骤2 接受用户协议，...
物联网平台
物联网平台提供全托管的企业级实例服务，具有低成本、高可靠、高性能、高安全的优势，无需自建物联网基础设施即可接入各种主流协议设备，管理运维亿级规模设备，存储备份和处理分析EB量级的设备数据，帮助企业快速实现设备数据和应用数据的融合，实现设备智能化升级。
移动蜂窝网，2G/3G/4G/5G/NB-IoT.设备具有IP地址.设备无IP地址.设备已接入阿里云物联网以外的平台.其他平台设备.我是设备厂商.把我开发的设备接入物联网平台.我是解决方案厂商.将已有的设备接入物联网平台.我是通信模组厂商.我希望模组具备接入物联网平台的能力.快速开启物联网设备上云之旅.了解物联网平台的架构与能力....
来自：
云产品
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户，无法 接受T+1延迟。 3.对数据成本有一定诉求的客户，希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析：依托ADB计算密集型实例， 秒级监控DAU等数据，为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析：打通结构化和非结构化 数据，支撑产品体验分析；广告买量投放效 果实时（分钟级）分析，渠道的评估更准确。 3.低成本：DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析，在满足各种分析场景需求的同时，有效 地降低的客户的总体使用成本。 4.学习成本低：DLA和ADB兼容标准SQL语 法，无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
文档版本：20210224 83 游戏数据运营融合分析 数据融合 步骤4 在 DLA创建 schema指向 adb大容量库（获取 adb大容量库信息，包括 VPC地 文档版本：20210224 84 游戏数据运营融合分析 数据融合 址、VPC ID和集群 ID以创建 schema）。步骤5 创建 adb外部表。文档版本：20210224 85 游戏数据运营融合分析 数据融合 5.5.数据处理...
数据库异地灾备
场景描述 适用于不满足于单地域，对数据可靠性 （RPO）和服务可用性（RTO）要求更高 的，希望防范断电、断网等机房故障，抵 御地震、台风等自然灾害，具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份，RPO达到秒级 2.表级恢复，故障恢复时间大大缩短 3.长期归档，自动管理备份生命周期 4.异地灾备，构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP（EIP） 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
独立的公网 IP资源，可以绑定到阿里 云专有网络 VPC类型的 ECS、NAT网关、私网负载均衡 SLB上，并可以动态解 绑，实现公网 IP和 ECS、NAT网关、SLB的解耦，满足灵活管理的要求。详见：https://www.aliyun.com/product/eip SLB：负载均衡（Server Load Balancer，简称 SLB）。多台云服务器进行流量分 发的负载均衡服务，可以...
金融行业从经典网络向VPC容器化改造
本实践介绍经典网络向VPC容器化改造实践 以及配置步骤，可适用于金融等行业 方案优势 容器化完成经典网络完成向VPC网络改 造 应用发布灵活 运维效率提升 解决问题 1.经典网络管理困难 2.应用发布不灵活 3.运维效率低 产品列表 专有网络VPC 容器服务Kubernetes版 日志服务SLS 云数据库RDS版 NAT网关 容器镜像服务ACR 云盘
运维效率低 产品列表 专有网络VPC 容器服务Kubernetes版 日志服务SLS 云数据库RDS版 NAT网关 容器镜像服务ACR 云盘 产品版本：V1.0（软件版本）云服务器ECS（产品名称）文档模板（手册名称）/文档版本信息 文档版本：20190516（发布日期）阿里云 金融行业从经典网络向 VPC容器化改造 最佳实践 文档...
云速搭-ECS结合网络相关优化方案
本实践设计了不同的ECS结合网络部署方案，并使用云速搭CADT做预算，可以快速对比出不同方案根据当前账户的折扣的价格差，根据需要部署系统的需求和享有的折扣，可以灵活配置ECS和网络产品，节约成本。
详见 https://www.aliyun.com/product/ecs 弹性公网 IP：弹性公网 IP是独立的公网 IP资源，可与阿里云专有网络 VPC类型 的云服务器 ECS、NAT网关、ENI网卡、私网负载均衡 SLB绑定，并可以动态解 绑满足灵活管理的要求。弹性公网 IP可为您在云上部署的网站提供 Internet访问 服务。详见：...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
createDatabaseIfNotExist=true 说明：（1）将红色字体的 192.168.100.140替换为您环境中 MySQL的 VPC IP地 址。（2）hive122db为 MySQL中的数据库，用于保存 Hive的元数据。4.搜索 javax.jdo.option.ConnectionDriverName，将 value修改为 com.mysql.cj.jdbc.Driver 5. 在下图所示的位置添加配置，即作为 最靠前的。文档...
云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案，本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系，稳定性高，数据倾斜自动均衡。 2. 完善的数据同步链路，可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse，降低研发成本。 3. 平滑升级版本，业务中断小。 冷热分层后透明读取，帮客户节约整体数据存储成本。
您可以完全掌控自己的专有网络，例如选择 IP地址范围、配置路由表和网关等，您可以在自己定义的专有网络中使用阿里云资源如云服务器、云数据库 RDS 版和负 载均衡等。专有网络（VPC）是完全隔离的网络环境，可以提升应用服务器和数据库 服务器的网络安全。操作须知 在创建云数据库前，您需要先创建 VPC网络，并指定网段。...
基于链路追踪+ECI的流量洪峰应对
云原生技术已经为越来越多的互联网客户接受，对于在线教育、互动娱乐、电商等类型的客户会由于业务的原因存在突增业务流量，因此对于系统的稳定性非常关注，结合阿里云的容器服务、链路追踪、弹性容器ECI等产品，帮助客户业务实现容器化改造，并且方便发现系统应用架构中的瓶颈等问题，实现系统高弹性的同时优化客户的云资源使用成本。 l 方案优势 ￚ 支持分布式追踪、调用链分析、DB调用分析、链路拓扑分析、业务指标统计等系统链路调用分析。 ￚ 运维研发效率提高，链路追踪服务端全托管，免运维。 ￚ 链路追踪的应用调用链分析能力结合ECI高弹性能力，提升应用系统在洪峰流量冲击下的稳定性。 ￚ 链路追踪接入方便，ECI POD弹性伸缩，节省用户运维成本和云资源使用成本。 ￚ 结合SLS Ingress可以基于应用前端访问性能指标做弹性伸缩，更丰富的云原生弹性能力。
该应用架构如下图所示：frontend服务：类似于 api网关，分解用户请求，并依次请求后端服务；authority服务：模拟认证服务，本实例中，主要实现消耗 CPU资源，实现弹性伸 缩；user服务：根据请求查询数据库。2.2.代码简析 Jaeger 是 Uber 推出的一款开源分布式追踪系统，兼容 OpenTracing API，使用 Opentracing在关键代码中...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
这种动作（网页浏览，搜索和其他用户的行动）是在现代网 络上的许多社会功能的一个关键因素，这些数据通常是由于吞吐量的要求而通过 处理日志和日志聚合来解决。对于像 Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka 的目的是通过 文档版本：20210723 III 自建Hadoop迁移...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
1.收集 4个节点的私网 IP地址和对应的主机名，如下所示（请根据您环境的实际 IP 地址进行修改）：192.168.100.37 master 192.168.100.38 slave1 192.168.100.39 slave2 文档版本：20210425 7 自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 基础环境搭建 192.168.100.41 slave3 2.通过 SSH远程登录 hadoop-master...
云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
系统基于模板生成应用架构图：文档版本：20210329 5 云上成本优化 workshop 架构设计 注意：业务 k8s集群，使用了 EIP暴露 API Serve（可将 r EIP加入到后面的共享带宽包，同时，为集群打上了标签 team：team1）K8s集群，通过统一的 NAT网关，访问外网 EMR集群，采用了高可用的部署方式（同时，为集群打上了标签 team：team...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
基于k8s多集群隔离环境下的devops实现
场景描述 DevOps是一组过程、方法与系统 的统称，并通过工具实现自动化部署， 确保部署任务的可重复性、减少部署出 错的可能性。随着微服务、中台架构的 兴起，devops重要性日益显著。 本方案使用两个独立的k8s集群： 用户已有的k8s模拟测试，ack集群模 拟生产环境，保证环境的高度隔离，互 不影响。通过gitlab+Jenkins的黄金组 合，实现容器应用的自动化构建和持续 部署，提高迭代效率。 解决问题 1.微服务应用的CI/CD。 2.测试和生产环境的高度隔离。 3.自动化的测试与部署。 4.现有CI对接ACK。 产品列表 专有网络VPC 容器服务ACK 容器镜像服务ACR 弹性公网IP 负载均衡SLB
1.首先需要修改 deployment文件中的 image值，改为前文中创建的容器镜像仓库地 址，同时为了更方便的做持续部署，将镜像的 tag 改为变量，在后续 jenkins 的 文档版本：20220121 35 基于 K8S多集群隔离环境下的 DevOps实现 项目源码准备 pipeline脚本中使用 commit id来作为 tag，并添加 imagePullSecrets配置。还是 以 ...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
文档版本：20201224 33 基于 Flink+ClickHouse构建实时游戏数据分析 基础环境部署 为了方便理解，其逻辑视图大致和下图类似：步骤3 返回集群信息页面，可申请外网 IP（也可通过 vpc内访问，这里演示通过外网地址的 方式），用于后续 Quick BI数据连接。文档版本：20201224 34 基于 Flink+ClickHouse构建实时游戏数据分析 ...
低成本跨境文件传输
场景描述 1.跨境对象存储数据传输需求。 2.对跨境传输成本控制严苛。 3.能接受一定程度网络抖动带来的文件同步 延迟。 4.系统需要有足够的弹性和扩展性应对大规 模文件的写入。 方案优势/解决问题 1.运维低成本：开发人员关注代码逻辑即可； 2.网络成本低：相比CEN高速通道的方式网 络成本降低； 3.同步服务部署成本低：文件发生变化触发函 数计算任务，按量触发，不用准备ECS； 4.弹性高效：一个文件同步触发一个函数工作 流任务，充分利用资源高效同步。 产品列表 专用网络VPC 云服务器ECS 弹性公网IP 函数计算 对象存储OSS 函数工作流
1.4.配置 Serverless 应用部署的工具 fun Fun 是一个用于支持 Serverless 应用部署的工具，能帮助您便捷地管理函数计算、文档版本：20211025（发布日期）12 低成本跨境文件传输最佳实践 配置实验环境 API 网关、日志服务等资源。它通过一个资源配置文件（template.yml），协助您进行 开发、构建、部署操作。详细的安装、...
云上高并发系统改造
场景描述 随着业务的发展，系统并发压力越来越大，如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景，提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景： 1.系统并发压力大，需要进行系统应用改造。 2.数据层并发压力大，需进行分库分表改造。 3.数据库数据量巨大，亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段，我们除了通过SLB做负载 均衡外，我们可以通过SLB下挂nginx的方 式，增加负载均衡侧的可扩展性 2.在数据库拆分阶段，在做好数据规划后，我 们借助DTS进行数据迁移，通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
水平切分相对简单，一主多从、多主都可以，根据业务的需要，多主切分设计时需要注意主键的关 系，解决多写在进行数据同步时的冲突问题；垂直拆分更加复杂，一般都会涉 文档版本：20220506（发布日期）1 云上高并发系统改造 最佳实践概述 及到架构逻辑的改造，需要引入中间件，来进行数据源的管理，垂直拆分时把 关系紧密...
ACK集群神龙资源错峰利用
场景描述 使用ACK构建容器集群环境，神龙资源为 集群节点资源部署应用。在主业务低谷 期，通过将部分神龙节点从容器集群中移 除，更换镜像切换操作系统及应用环境， 使得这部分神龙实例资源服务于其他业 务。在主业务高峰期前将神龙资源重新加 入ACK集群。从而达到错峰利用神龙资源 的目的，以便充分利用神龙资源，降低资 源成本。 解决问题 1.基于ACK及神龙资源构建容器集群环 境，典型部署应用。 2.ACK内挂载NAS存储。 3.ACK集群神龙实例节点移除和重新加入 集群。 产品列表 弹性裸金属服务器EBM 容器服务ACK 专有网络VPC 弹性公网IPEIP 负载均衡SLB 云数据库RDS MySQL版 云数据库Redis版 文件存储NAS 访问控制RAM 日志服务SLS 云监控CloudMonitor 运维编排OOS
步骤19 重新进入 Redis Object Cache配置页面，观察 Host已经变为阿里云的 redis访问地 址。单击 Enable Object Cache，开启对象缓存功能。文档版本：20220509 32 ACK集群神龙资源错峰利用 配置应用 步骤20 单击 Flush Cache 步骤21 返回到云数据库 Redis版控制台（https://kvstorenext.console.aliyun.com），单击实例 ID...
云上日志集中审计
场景描述 云上的各类云产品和客户部署的业务系统会产生各类 日志，企业合规及安全运营等都需要在一个地方能 集中的查看和分析日志；目前各云产品日志大部分 都进了sls，但都是产品独立的project，不方便集中 审计；客户的业务系统日志各种形态都有；多云和混 合云的场景，日志也需要能集中审计。 解决问题 1.所有日志集中到SLS一个中心project下。 2.满足等保合规和内部合规需求。 3.满足运维和安全运营需求。 产品列表 日志服务SLS 专有网络VPC 弹性公网IPEIP 负载均衡SLB 云服务器ECS 云数据库RDS 云防火墙CFW
目前如下表格中蓝色的部分 Actiontrail、OSS、SLB、RDS、API网关等基础产品已经 接 入，开 通 即 日 志 集 中 存 储 了，官 网 地 址：https://help.aliyun.com/document_detail/107840.html；其他产品需要人工接入。随着这个产品的发展，会有越来越多的云产品接入日志审计 APP。2.2.开通日志审计 步骤1 登录阿里云管理...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
IP2Region.java 通过 NAT 网 关 配 置 SNAT 访 问 公 网 服 务 http://whois.pconline.com.cn/ipJson.jsp?json=true&ip={ip}获取地理位置信息。本方式 仅演示外网访问和自定义函数 UDX，不适合生产环境使用。public class IP2Region extends TableFunction>{ private String urlPrefix=...
- 产品推荐
- 这些文档可能帮助您