数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
数据加工分析 步骤1 统计每日PV、UV、独立IP数量，执行Hive语句：select count(1)aspv,count(distinctnginx_url_parse('',request,'QUERY','user_id'))asuv,文档版本：20200331 50数据湖-在线学习场景数据分析 应用场景 count(distinctclient_ip)asip_quantity fromapp1_logwhereds='2020-03-23';步骤2 按照内容ID统计PV、...
Dubbo应用上云
场景描述 本最佳实践适用于企业自建 Dubbo 应用上云， 应 用采用 docker 方式部署， 降低部署成本。同时利 用 MSE 提供 Zookeeper 服务注册管理。 通过阿 里云的 ARMS 和 AHAS 服务提供应用监控和服务 限流管理，简化运维并提供服务的全生命周期管 理。 解决问题 1. 自建 dubbo 应用迁移上阿里云。 2. 应用部署在容器内降低成本。 3. 通过 MSE 提供 ZK 服务，提高稳定性。 4. 通过 ARMS/AHAS 提供监控和服务限流能力 产品列表 容器服务 Kubernetes 版（ACK） 微服务引擎（MSE） 关系数据库服务（RDS） 应用高可用服务（AHAS） 应用实时监控服务（ARMS）
ssh-i dubbo.pem root@{docker_image_公网 IP} 2.执行以下命令，安装 Docker。yum install-y yum-utils yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engine yum install-y yum-utils device-mapper-persistent-data lvm2 yum-...
云上日志集中审计
场景描述 云上的各类云产品和客户部署的业务系统会产生各类 日志，企业合规及安全运营等都需要在一个地方能 集中的查看和分析日志；目前各云产品日志大部分 都进了sls，但都是产品独立的project，不方便集中 审计；客户的业务系统日志各种形态都有；多云和混 合云的场景，日志也需要能集中审计。 解决问题 1.所有日志集中到SLS一个中心project下。 2.满足等保合规和内部合规需求。 3.满足运维和安全运营需求。 产品列表 日志服务SLS 专有网络VPC 弹性公网IPEIP 负载均衡SLB 云服务器ECS 云数据库RDS 云防火墙CFW
需要提供数据汇集接口，供第三方审计”。客户安全需求：客户的内部合规团队，可以基于日志集中审计来输出合规信息。客户的安全运营团队，可以基于集中日志进行分析、调查，探究安全问题；也可以 对接安全运营中心 SOC，进行联动分析；基于完整的全量日志，客户可以自己做 出定制化的态势感知大屏。客户 DevOps需求：开发...
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景，使用神龙 GPU云服务器（SCCGN6）+CPFS进行NLP的 训练，采用Bert模型。这里不使用容器，直接 使用裸机进行NLP的Bert训练，使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器（SCCGN6） SCC超级计算集群 CPFS共享存储
提供PerseusHorovod的接口，分别支持Tensorflow和Pytorch。 提供dist_sync_perseus的基于allreduce的kvstoremodule，支持MXNet。 提供BVLCCaffe的支持。AIACC针对阿里云环境进行了深度优化，核心代码是多框架共享的，各框架的支 持均包含以下功能： 梯度融合通信的自适应多流，自适应梯度融合，对带宽密集的网络...
RAPIDS加速图像搜索
场景描述 本方案适用于使用RAPIDS加速平台 +GPU云服务器来对图像搜索任务进行加 速的场景。相比CPU，利用GPU+ RAPIDS在图像搜索场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速图像搜索环境 2.使用容器服务Kubernetes版部署图 像搜索环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
为了方便大家使 用，cuML还提供了与 scikit-learn像似的算法接口。对于较大的数据集，与在 CPU 上运行相比，cuML运行在 GPU上要快 10-50倍。结合 Dask，cuML支持多个 GPU或者多节点多 GPU的运算，并支持越来越多的算法。更多信息请参见下图。1 RAPIDS加速图像搜索 最佳实践概述 场景描述 本方案适用于使用 RAPIDS加速平台+...
微服务应用问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署， 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮， 容器编排配置是否合理， 以及节点故障引 发的问题等， 方案通过 AHAS 故障注入模拟生 产环境产生的故障， 通过 ARMS 及时发现问题、 定位问题， 并结合 ARMS 的告警功能快速发现 并解决问题。 发现调用下游一个服务实例出现异常。 发现业务 Pod 故障， 验证业务的稳定性。 发现调用数据库延迟故障， 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表 应用高可用服务 AHAS 性能测试 PTS 应用实时监控服务 ARMS 容器服务 kubernetes 版 负载均衡 SLB 专有网络 VPC 日志服务 SLS
微服务应用问题定位及...inputs:type:service_docker_stdout detail:IncludeLabel:io.kubernetes.container.name:nginx-ingress-controller Stderr:false Stdout:true processors:type:processor_regex detail:KeepSource:false Keys:client_ip-x_forward_for-remote_user-time-method-url-version-status-body_bytes_sent-...
基于HBR云上统一备份
场景描述 混合云备份（简称HBR）是一种简单易用且高性价 比的在线备份服务，可以为阿里云ECS，NAS，OSS 以及自建机房内的各类数据提供安全，高效的保护。 本文介绍如何通过HBR对云上数据进行统一备份管 理。 解决问题 1.备份阿里云云上数据。 2.备份数据中心数据。 适用云资源 ECS文件系统 NAS文件 OSS文件 ECS上自建的MySQL、Oracle、SQLServer数据库 ESC上自建的SAPHANA数据库 产品列表 1.HBR备份服务 2.云服务器ECS 3.文件系统NAS 4.对象存储OSS 云上统一备份 云下统一备份 上云备份 备份上云
兼容 POSIX 文件接口，可支持数千台计算节点共享访问，可 以挂载到弹性计算 ECS、神龙裸金属、容器服务 ACK、弹性容器 ECI、批量计 算 BCS、高性能计算 EHPC，AI训练 PAI等计算业务上提供高性能的共享存 储，用户无需修改应用程序，即可无缝迁移业务系统上云。更多信息，请参见：https://www.aliyun.com/product/nas 混合云...
基因计算工作流
场景描述 适合利用容器服务Kubernetes版上的工作流 引擎进行大规模基因测序的场景。阿里云工作流 引擎基于开源项目Argo实现，支持并发、循环、 重试等多种执行策略。典型的基因计算过程会把 数据分批进行计算，按照规定好的步骤依次完成 计算，这符合工作流的特点：多层次，有向无环 图。 解决问题 1.基因计算如何构建工作流 2.容器服务Kubernetes版结合 共享文件存储NAS提供数据 服务 3.构建单POD工作流 产品列表 容器服务Kubernetes版 文件存储NAS
兼容 POSIX 文件接口，可支持数千台计算节点共享访问，可以挂载到 弹性计算 ECS、神龙裸金属、容器服务 ACK、弹性容器 ECI、批量计算 BCS、高 文档版本：20191127 III 基因计算工作流最佳实践 前言 性能计算 EHPC，AI训练 PAI等计算业务上提供高性能的共享存储，用户无需修 改应用程序，即可无缝迁移业务系统上云。...
EHPC药物筛选
场景描述 本方案适用于使用弹性高性能计算 EHPC和文件存储NAS来搭建基础环 境，运行药物筛选应用AutodockVina 的场景中，这里采用批处理方式来提交 作业，并可以可视化计算结果。 方案架构 1.计算之前，将数据通过互联网/闪电立方/高速通道上传到阿里云OSS 2.计算时，将数据从OSS拉取到文件共享存储NAS上 3.计算时，在EHPC集群上进行，计算节点从NAS上读写数据 • 容量型NAS：低成本，大容量 • 性能型NAS：适合高IOPS应用，作为临时目录 • CPFS：适合超大规模，并行度极高的作业 4.计算节点： • 如果对计算时间不敏感，希望低成本运算，可选ECS实例 • 如果时效性要求高，建议采用SCC超级计算集群 5.可视化 • 如果可视化部分计算量不大，可以采用EHPC自带的可视化服务 解决问题 1.使用EHPC运行药物筛选应用 2.使用nas存储计算数据 3.使用OSS保存计算结果 • 通过分子对接（moleculardocking）模拟计算进行药物筛选，是模拟小分子配体和生物大分子受体的 相互作用，预测配体和受体的结合模式和亲和力。 • 通常，有很多已有的配体库，如商业化的Specs、Enamine和ChemDiv化合物库。提供大量配体，模 拟计算就是计算这些配体和给定受体的相互作用。 • 每次模拟计算通常处理一个配体和一个受体，不同配体之间没有依赖，因此可以同时大规模并行处 理。 本解决方案同样适用于有批量、高并发处理需求的其它生物、医药等场景。 产品列表 弹性高性能计算E-HPC 文件存储NAS 对象存储OSS
它基于 POSIX 文件接口，天然适配原生操作系统，提供共 享访问，同时保证数据一致性和锁互斥。文件存储 NAS中的数据自动地在可用区内 以多副本冗余方式存储，避免数据的单点故障风险，提供高达 99.999999999%的数 据可靠性。NAS针对不同应用场景的业务模型提供多种规格类型的实例，满足高吞 吐或者低时延的存储性能要求。...
AK防泄漏
场景描述 用户名密码是开发运维人员访问阿里云控制台 的凭据，AK是软件程序访问阿里云资源的凭据。 如果AK被泄露，那么会造成非常严重的后果， 比如资源被释放导致业务不可用、大量服务器被 创建用来挖矿，等等。采用合适的方式来使用、 保护AK，是每一个云客户都必须关注的问题。 解决问题 1.避免AK被泄露 2.改进已经错误使用AK的方法 产品列表 访问控制RAM 云服务器ECS 操作审计Action Trail 云安全中心
应用服务器以 RAM用户身份扮演 RAM角色，调用 STS API AssumeRole接口 获取临时安全令牌，并将临时安全令牌传递给 App，App使用临时安全令牌访问 OSS。文档版本：20220211 41 AK防泄漏 移动终端使用 STS Token 具体操作步骤，请参考《RAM账号权限管理》最佳实践的第 6和 8.2章节，官网 URL 地址：...
KVM on弹性裸金属
场景描述 神龙是一款兼具虚拟机弹性和物理机性能及特性的 新型计算产品，为用户上云提供便捷。上一篇《阿里 云弹性裸金属最佳实践之VMwareon神龙》介绍了 基于阿里云神龙部署VMware，本篇指导用户基于神 龙自行创建KVM虚拟机。用户在将线下基于KVM 的业务灵活部署上云的同时，可充分管理和利用云上 计算资源。 解决问题 1.为传统企业提供在阿里云上自建KVM虚拟化平 台的解决方案。 2.基于KVM虚拟化平台的系统如何迁移上云。 产品列表 1.弹性裸金属服务器 2.文件系统NAS 3.弹性公网IP
分配IP 把ENI的IP分配给对应的ipvtap接口，并使能接口。ifconfigeth1_vm110.5.0.1;ifconfigeth1_vm1up ifconfigeth1_vm210.5.0.2;ifconfigeth1_vm2up ifconfigeth2_vm310.5.0.3;ifconfigeth2_vm3up 2.6.启动KVM虚拟机VM1 file填写qcow2的镜像文件路径 id=eth_vm1和/dev/tap11填写ipvtap设备名称 mac填写vm1使用的...
基于转发路由器构建企业级组网
通过云企业网转发路由器 1. 实现灵活的互通、隔离、引流策略 2. VPC 间的内网互访流量经过三方安全设备管控（如Palo Alto） 3. 统一多 VPC 的互联网访问出口，提高业务安全性
3）为方便配置，给 ECS配置一个公网 IP 4）因为需要通过 https协议访问 Palo Alto管理口，ECS安全组要开放 443端口 步骤2 等待 ECS运行正常，使用浏览器访问 https://{ Palo Alto的公网 IP} 登录 Palo Alto的 Web控制台，确认安装成功。默认账号和密码都是 admin，生产环境强烈建议进行修 改后使用。文档版本：20210204 33 ...
混合云存储构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例，介绍如 何在混合云存储环境下部署VMware虚拟化平台， 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用，比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
服务IP：有2个地址，每个控制器上都有一个服务地址，服务IP 地址提供对每 个节点控制器上服务接口的访问权。 以太网端口IP：主要用于数据传输，iSCSI连接、主机连接和远程复制等。文档版本：20191223 11 混合云存储构建VMware虚拟化平台 存储阵列系统初始化配置 2.4.初始化系统 本节介绍如何通过技术员管理端口连接SA...
组建多可用区多地域的混合云
场景描述 无特定行业属性，对云下有IDC的用户，上云建 立多地域多可用区高稳定性的业务架构，组建混 合云用户都可适用。物理专线是打通IDC到云上 内网通道的最高质量和稳定性最好方式，但成本 较高，交付周期长。 解决问题 云下用户IDC应对业务突增弹性扩容能力 不足; 云下用户IDC业务需要多地域冗余; 云上阿里云业务需要多地域冗余; 云上阿里云业务需要多可用区冗余. 产品列表 VPC，CEN，高速通道（专线），SLB，ECS
完成 RouterB的路由配置 RouterB查看路由器接口配置,接口 GigabitEthernet 0/0/1配置了用户侧互联 IP 192.168.0.5/30[RouterB]sysname RouterA[RouterB]interface GigabitEthernet 0/0/1[RouterB-GigabitEthernet0/0/1]ip address 192.168.0.5 30 BGP的配置与 RouterA相同,按照之前方法完成配置[RouterB]bgp 65500/用户根据...
机场视频监控
场景描述 该最佳实践适用于国内机场的视频监控行业，将线下视频文件通过混合云阵列缓存后，通过专线上传到阿里云OSS上。 也适用于其他混合云场景中，利用阵列缓存文件，并通过网络传输到阿里云OSS上的场景。 解决问题 1.通过混合云阵列+专线将线下文件传到阿 里云OSS上 2.通过阿里云OSS跨区域复制功能实现异 地文件备份 3.通过OSS的自动生命周期管理功能实现 文件生命周期管理 产品列表 OSS对象存储 混合云阵列 高速通道（专线）
本文的操作实 例中，详细网络规划如下：项目 接口类型 网络配置 备注 混合云阵列 千兆以太网-电口 IP地址：10.10.0.160 管理IP地址 子网掩码：255.255.224.0 网关：10.10.0.1 本地DNS 10.10.2.51 混合云阵列4 万兆以太网-光口 A控制器：通道4和通道 数据通道IP IP地址：10.10.0.161 5配置聚合，地址 子网掩码：255.255.224....
SAP S/4HANA上云最佳实践
本实践以SAP S/4HANA上阿里云的场景为原型，阐述了如何通过CADT在阿里云上快速交付符合最佳实践的基础云架构。
办公网络 IP段 sap router IP地址 出方向 全部-1/-1 测试应用 IP段 生产应用 IP段 办公网络 IP段 3601/3601 sap router IP地址 入方向 TCP 3200/3200 开发应用 IP段 生产应用 IP段 测试应用安全组 sap router IP地址 入方向 TCP 3300/3300 开发应用 IP段 生产应用 IP段 8000/8000 办公网络 IP段 入方向 TCP 44300/44300 sap...
HTTPDNS
阿里云HTTPDNS是面向多端应用（移动端APP，PC客户端应用）的域名解析服务，具有域名防劫持、精准调度、实时解析生效的特性。域名解析请求直接发送至HTTPDNS服务器，绕过运营商Local DNS，避免域名劫持问题。直接获取客户端 IP ，基于客户端 IP 获得最精准的解析结果，让客户端就近接入业务节点。
由于运营商策略的多样性，其 Local DNS 的解析结果可能不是最近、最优的节点，HTTPDNS 能直接获取客户端 IP，基于客户端 IP 获得最精准的解析结果，让客户端就近接入业务节点.推荐搭配使用.移动应用域名防劫持.视频直播类App当前已经普遍采用CDN来实现访问加速，但还是经常遇到推拉流慢、卡顿的问题。这类问题一般是由于...
来自：
云产品
微服务引擎的线上流量治理
随着业务不断创新，微服务架构及数字化转型不断落地，在这个过程中，大量企业采用了开源的组件构建了微服务，比如有开源微服务全家桶之称的Spring Cloud体系或Apache Dubbo等，微服务的好处之一，在于快速迭代，如何在迭代过程中保障线上流量不受损？ 开源产品无运维工具，常常需要投入较大的运维人力和成本。 本实践将重点介绍如何快速集成主流开源微服务框架，实现业务零改造，解决开源框架在生产落地过程中的痛点，例如无损上下线、标签路由等，并通过托管微服务开源组件（API网关、注册中心、配置中心等）的服务，提供白屏化监控告警、容灾、宕机重启、扩缩容等能力，帮助企业释放业务无关的运维成本，聚焦业务本身的运维和发展。 方案优势 快速集成：通过JavaAgent技术实现Sping Cloud和Dubbo框架可以实现业务零改造接入。 免运维：托管微服务依赖开源中间件的服务，提供白屏化监控告警、容灾、宕机重启、扩缩容等能力，帮助我们客户释放业务无关的运维成本，聚焦自身业务本身的运维和发展。 开源增强：提供开源框架在生产落地过程中的痛点，例如应用无损上下线/金丝雀发布/南北+东西流量打通等，帮助客户的业务提高自身SLA和降低自研成本。
cartservice 的 CartDAO 接口的 String getRemoteIp(String name,int age)方法，用 户名和年龄分别为 name和 age。文档版本：20240226 31 微服务引擎的线上流量治理 路由标记 步骤3 默认流量都打到了未打标的实例上。文档版本：20240226 32 微服务引擎的线上流量治理 路由标记 步骤4 调整 productservice的标签路由里面的...
- 产品推荐
- 这些文档可能帮助您