互联网电商行业离线大数据分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示，如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示，效果震撼，触控大屏支持用户自助查询数据，极大地增强数据的可读性。
数据服务API开发 MC的数据源已经自动接入，可以在dataworks的数据源列表查看到。步骤1在新增业务流程之前，需要先登录到API网关控制台 通过点击架构图的API实例“前往控制台”互联网电商行业离线大数据分析 在分组管理-点击创建分组，分组名称为“mc_datav”二级域名也可以直接调用，不过仅供测试使用，每个二级域名每天...
物联网平台
物联网平台提供全托管的企业级实例服务，具有低成本、高可靠、高性能、高安全的优势，无需自建物联网基础设施即可接入各种主流协议设备，管理运维亿级规模设备，存储备份和处理分析EB量级的设备数据，帮助企业快速实现设备数据和应用数据的融合，实现设备智能化升级。
相比自建MQTT集群，提供更丰富的管理运维能力，成本降低50%以上，全球8大地域覆盖，支持设备毫秒级就近接入.多形态部署，灵活扩展.基于云原生架构设计，依托阿里云飞天操作系统，支持公共云实例、专有云、混合云多云部署，随业务弹性伸缩、灵活扩展.存储-新功能_spacex_1613611834169.支持MQTT 3.1.1/5.0、CoAP、HTTPS等...
来自：
云产品
服务网格
阿里云服务网格（简称ASM）是一个统一管理微服务应用流量的托管式平台，兼容Istio。通过流量控制、网格观测以及服务间通信安全等功能，可以全方位地简化您的服务治理。它为运行在异构计算基础设施上的服务提供统一的能力，适用于Kubernetes集群、Serverless Kubernetes集群、ECS虚拟机以及自建集群。
可在一个网格实例下接入多个Kubernetes集群或者运行于虚拟机上的应用服务.精细化的应用流量管理策略.服务网格 ASM 提供精细化的流量路由策略，支持灰度发布、熔断、故障注入等DevOps场景.支持容器和虚拟机应用统一流量管理.服务网格 ASM 支持容器化应用或者运行于虚拟机上的应用服务，帮助您业务平滑容器化改造或上云迁移....
来自：
云产品
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
步骤2 为 Datahub Topic创建 DataConnector 文档版本：20210723 45 自建Hadoop迁移MaxCompute 数据接入组件 Kafka迁移到 Datahub 步骤3 等待约 10-15分钟，查看 DataConnector的同步状态 文档版本：20210723 46 自建Hadoop迁移MaxCompute 数据接入组件 Kafka迁移到 Datahub 步骤4 在 MaxCompute中查看分区信息：文档版本：...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
步骤2 查 看 杭 州 区 域 EMR 集 群 主 机 的 内 网 IP 地 址，通 过 https://emr.console.aliyun.com/#/cn-hangzhou/cluster 登录到控制台，单击集群名称 进入详情页面。文档版本：20210714 35 自建Hadoop数据迁移到阿里云 EMR 创建IPSec VPN隧道 我们以 emr-worker-2主机的内网 IP地址进行互通性验证。步骤3 首先通过 SSH...
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
注：1）NAT网关配置的公网 IP数限制 NAT网关的最大并发数，绑定单个 IP最大 连接数为 55000，当通过 NAT网关访问公网上同一个目的 IP和端口的带宽大于 2Gbps时，建议您为 NAT网 关绑定 4-8个公网 IP并构建 SNAT IP池，避免单 IP的端口数量限制可能产生的丢包 2）当有多个 EIP组成 SANT IP池时，如需节约带宽成本可以建议多 ...
微服务引擎的线上流量治理
随着业务不断创新，微服务架构及数字化转型不断落地，在这个过程中，大量企业采用了开源的组件构建了微服务，比如有开源微服务全家桶之称的Spring Cloud体系或Apache Dubbo等，微服务的好处之一，在于快速迭代，如何在迭代过程中保障线上流量不受损？ 开源产品无运维工具，常常需要投入较大的运维人力和成本。 本实践将重点介绍如何快速集成主流开源微服务框架，实现业务零改造，解决开源框架在生产落地过程中的痛点，例如无损上下线、标签路由等，并通过托管微服务开源组件（API网关、注册中心、配置中心等）的服务，提供白屏化监控告警、容灾、宕机重启、扩缩容等能力，帮助企业释放业务无关的运维成本，聚焦业务本身的运维和发展。 方案优势 快速集成：通过JavaAgent技术实现Sping Cloud和Dubbo框架可以实现业务零改造接入。 免运维：托管微服务依赖开源中间件的服务，提供白屏化监控告警、容灾、宕机重启、扩缩容等能力，帮助我们客户释放业务无关的运维成本，聚焦自身业务本身的运维和发展。 开源增强：提供开源框架在生产落地过程中的痛点，例如应用无损上下线/金丝雀发布/南北+东西流量打通等，帮助客户的业务提高自身SLA和降低自研成本。
文档版本：20240226 23 微服务引擎的线上流量治理 无损下线 步骤5 进入 ACK容器服务控制台，我们参考上一小章节“服务接入”，将基于 Spring Cloud 的 productservice应用接入到 MSE微服务治理。步骤6 在微服务治理中心的应用列表，我们能够查询到新加入的 productservice。文档版本：20240226 24 微服务引擎的线上流量治理...
云数据库 SelectDB 版
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务，内核基于业界领先的开源分析型数据库 Apache Doris 研发，由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求，广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景，致力于为客户提供极致性能、简单易用的数据分析服务。
极简易用解决易用性问题支持丰富易用的数据导入方式，帮助客户快速完成数据接入。兼容 MySQL 连接协议和语法，无缝对接数十款数据库和大数据生态产品，降低用户学习成本。提供可视化开发工具，简化数据开发过程。产品功能弹性伸缩按需进行弹性扩缩容，扩缩容过程分钟级完成、无需停服。数据湖分析 支持丰富的数据湖类型，如...
来自：
云产品
远程办公-AD管控下的弹性云桌面
在弹性云桌面中部署企业基础办公环境时，IT人员通常会面临以下问题，本文希望通过场景实践的方式，示范如何结合使用不同阿里云产品，来解决这些问题：用户如何管理？企业已有AD用户如何上云？云上共享文件服务权限怎么管？数据安全问题有保障吗？该如何设置？云桌面能使用本地机房或IDC中的服务吗？ 本文使用的应用场景： 场景1：客户A在云上新建Windows ActiveDirectory（以下简称AD）；弹性云桌面，和NAS文件存储服务部署在AD所在的VPC内。场景2：客户B在阿里云上已有AD和NAS。弹性云桌面创建在与AD不同的VPC中。AD与云桌面的VPC通过CEN连接。场景3：客户C在云下IDC有自建AD和文件服务。弹性云桌面创建在阿里云上。云下机房与阿里云弹性云桌面所在VPC通过IPsec VPN连接。 方案优势： 易部署：弹性云桌面支持快速便捷的桌面环境创建、部署、统一管控与运维。 CEN和VPN网关服务开通即用，配置实时生效，快速完成部署。 低成本：弹性云桌面无需前期传统硬件投资，帮您快速构建安全、高性能、低成本的桌面办公体系。可广泛应用于具有高数据安全管控、高性能计算等要求的金融、设计、视频、教育等领域。VPN网关基于Internet建立加密通道，比建立专线更便宜，快速实现混合云。 安全性：VPN网关使用IKE（秘钥交换协议）和IPSec对传输数据或进行加密，保证数据安全可靠。云桌面自带的安全策略保证数据不落地。 集中管控：通过Windows AD对云桌面用户和共享文件服务进行统一权限管控。可实现AD用户自动同步上云，和文件级别的权限管控。
远程办公-AD管控下的弹性云桌面 最佳实践 云桌面接入方式：弹性云桌面客户端 云桌面和企业 IDC互联：IPSec或者物理专线 员工通过弹性云桌面客户端，可从任何网络安全地登录 通过 IPSec VPN或物理专线将云桌面 VPC网络和企 云桌面实例进行远程办公。业 IDC网络连通，员工在云桌面中可以使用公司内 部应用和资源。集成现有 ...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
注：由于 Databricks数据洞察是全托管集群，集群后台操作不对用户开放，如需测试 请联系开发人员。su-hadoop cd$HIVE_HOME/scripts/metastore/upgrade/mysql ls-l upgrade*.sql 步骤2 确定 Hive元数据库表结构升级路径。本实践方案中 Hive版本从 1.2.2变更为 2.3.5，因此这里我们需要依次执行下面几个 升级脚本：upgrade-1....
阿里云云原生可观测套件
阿里云云原生可观测套件围绕Prometheus服务、Grafana服务和链路追踪服务，通过标准的PromQL和SQL提供数据大盘展示、告警和数据探索能力。
接入指南产品规格性能测试压测资源包 模拟多用户高并发访问场景，大促直播好帮手 资源包类型 基础版 最高虚拟用户(VU)5万 VUM(每虚拟用户每分钟)额度 10万(VU*Minute)点击立即购买，获取最新价格 加入购物车立即购买 ARMS-应用监控资源包 提供全链路追踪及代码级实时性能监测，帮助随时掌握应用健康状况，梳理服务依赖关系...
来自：
云产品
负载均衡
阿里云负载均衡（Server Load Balancer，简称SLB）是云原生时代应用高可用的基本要素。通过对多台云服务器进行均衡的流量分发调度，消除单点故障提升应用系统的可靠性与吞吐力。阿里云SLB包含面向4层（TCP/UDP）的传统型负载均衡CLB和面向7层（HTTP/HTTPS/QUIC）的应用型负载均衡ALB，是阿里云官方云原生网关。
唐家哲,靖鑫,也树.TCL：NLB和ALB帮助解决家居场景智能化运营网络挑战.NLB助力EMQ构建高性能企业级MQTT物联网接入平台.开心消消乐使用ALB从容应对大流量和高并发场景.80A_文档与工具-copy.80A_标题-产品动态.产品动态时间线组件.80A_标题-更多产品与服务.唐家哲,靖鑫,也树.弹性公网IP，可以与阿里云专有网络VPC类型的ECS、...
来自：
云产品
基于链路追踪+ECI的流量洪峰应对
云原生技术已经为越来越多的互联网客户接受，对于在线教育、互动娱乐、电商等类型的客户会由于业务的原因存在突增业务流量，因此对于系统的稳定性非常关注，结合阿里云的容器服务、链路追踪、弹性容器ECI等产品，帮助客户业务实现容器化改造，并且方便发现系统应用架构中的瓶颈等问题，实现系统高弹性的同时优化客户的云资源使用成本。 l 方案优势 ￚ 支持分布式追踪、调用链分析、DB调用分析、链路拓扑分析、业务指标统计等系统链路调用分析。 ￚ 运维研发效率提高，链路追踪服务端全托管，免运维。 ￚ 链路追踪的应用调用链分析能力结合ECI高弹性能力，提升应用系统在洪峰流量冲击下的稳定性。 ￚ 链路追踪接入方便，ECI POD弹性伸缩，节省用户运维成本和云资源使用成本。 ￚ 结合SLS Ingress可以基于应用前端访问性能指标做弹性伸缩，更丰富的云原生弹性能力。
文档版本：20201222 9 基于链路追踪+ECI的应用高可用弹性实践 应用部署 环境变量 SQL_ENVIRONMENT配置 mysql的访问地址，按照 1.3章节创建的数 据库服务访问地址进行配置，如下图所示：环境变量 TRACE_ENDPOINT配置链路跟踪接入点地址，获取方式如下：a.登录链路跟踪控制台（https://tracing.console.aliyun.com/）b.获取到...
云端影视渲染
场景描述 本文介绍如何搭建一个完整的混合云渲染服务架构，本地与云端的网络以SSL-VPN方式进行互联。 解决问题 1、使用SSL-VPN构建本地网络与云上VPC环境的安全互联。 2、使用批量计算服务管理渲染计算集群，集群计算节点自动加入Deadline资源池。 3、使用Deadline做渲染任务管理。 4、批量计算集群计算节点根据Deadline渲染任务自动扩容和收缩，资源管理自动化。 产品列表 1、云服务器ECS 2、GPU云服务器GPU 3、批量计算BCS 4、专有网络VPC 5、弹性公网IP 6、文件存储NAS
产品列表 云服务器 ECS GPU云服务器 GPU 批量计算 BCS 专有网络 VPC 弹性公网 IP EIP VPN网关 VPN 文件存储 NAS 阿里云最佳实践技术分享群 最佳实践频道 如二维码过期，请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 云端影视渲染 最佳实践 文档版本：20200220 ...
跨云迁移单写双读过渡架构
概述 在搬站场景下，涉及迁移跨度较长，在过渡阶段客户需要跨云访问，如何保障数据链路的高可用尤为关键，采用专线和公网双备的方案保障数据传输的高可用，也降低双专线的迁移成本。 适用场景 数据迁移链路的高可用 跨云迁移过渡期架构 读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 在迁移时间持续较长的情况下，使用单写双读架构降低业务改造成本。 使用数据库网关做专线和公网互备。 流量逐渐灰度验证，保障迁移平滑过渡。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
文档版本：20201209 6 跨云迁移单写双读过渡架构 基础环境搭建 步骤2 添加网关节点 步骤3 选择通过公网地址接入，复制命令备用。（专线打通后可以使用 VPC地址安装，CEN 跨地域访问 VPC提交工单申请，故这里使用公网进行模拟）步骤4 远程登录深圳地域的数据库网关 agent的 ECS（如果登录失败需将提示的网段添加到 安全组）...
阿里云时序时空数据库TSDB
时序时空数据库 ( Time Series and Spatial-Temporal Database , 简称 TSDB) 是一种集时序数据高效读写，压缩存储，实时计算能力为一体的数据库服务，可广泛应用于物联网和互联网领域，实现对设备及业务服务的实时监控，实时预测告警。
设备通过无线网关进行数据传输上云，经MQTT集群进行SSL终结和消息路由，Kafka进行消息数据解析和服务对接，应用系统将设备指标全量实时写入到 TSDB，监控系统访问TSDB 进行可视化监控，C端APP通过TSDB 获取实时指标进行业务告警.天然对接Flink 实时计算，无需要代码开发.高效写入，支持大规模集群设备高并发写入.TSDB 帮助...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您