EHPC工业仿真
场景描述 本实践适用于使用弹性高性能计算EHPC+ 对象存储OSS运行仿真软件进行模型仿真 的场景中，这里运行的是LAMMPS这款开 源的仿真软件，数据通过OSS上传。 解决问题 1.使用EHPC运行工业仿真软件 2.使用OSS存储数据和代码 3.可视化计算结果 产品列表 弹性高性能计算E-HPC 对象存储OSS
您可以通过调用 API，在任何应用、任何时间、任何地点上传和下载数据，也可以通过 Web 控制台对数据进行简单的管理。OSS 适合 存放任意类型的文件，适合各种网站、开发企业及开发者使用。按实际容量付费真正使您 专注于核心业务。III EHPC工业仿真最佳实践 前置条件 目录 文档版本信息.I 法律声明.II 前言.III 目录.1 前置...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
其数据持久性不低于99.9999999999%（12个 9），服务可用性（或业务连续性）不低于99.995%，OSS具有与平台无关的RESTful API接口，可以在任何应用、任何时间、任何地点存储和访问任意类型的数据，非常 适合作为集中统一的存储平台。阿里云E-MapReduce（ElasticMapReduce，简称EMR），是运行在阿里云平台上 的一种大数据处理...
企业构建统一CMDB数据源
典型场景 l 企业/ISV构建多云CMDB平台，对接数十款产品的API，拉取、清洗、格式化、存储配置数据是复杂且高成本的工作。 l 企业日常的资源管理，需依赖资源配置历史、资源关系数据进行故障溯源和影响评估。 解决方案 l 企业管理账号设置Config配置数据投递，将所有账号的资源配置快照和历史归集到统一地址留存。 l 使用OSS做长期归档，使用SLS做实时分析和监听。获取全量资源数据并及时感知云上资源的变更。 l 将数据集成到自有CMDB平台 客户价值 l 基于配置审计简单便捷的持续收集云上资源配置数据，在自建CMDB过程中节省大量人力和时间成本。 l 跨账号统一收集数据，实现中心化的资源配置管理。 l 实现资源配置数据的持续收集和监听，及时感知云上资源的增删改，洞察异常变更。
企业构建统一 CMDB数据源 部署架构 场景描述 现今企业大多采用多云架构来部署云上应用，以提升应用的稳定性，但多云架构就意味着 没有任何一个云平台的管控体系能完整支持 企业的资源管理需求。企业往往自建统一的资 源管理平台或使用第三方服务商提供的多云 资源管理软件。资源管理平台（CMDB）最重 要的是构建完整可靠的...
云监控
云监控（CloudMonitor）是阿里云提供的一站式、全链路、开箱即用的云资源监控产品。涵盖云上云下统一的主机监控、百余款的云产品监控、覆盖全球的网络监控、面向应用和业务的日志监控和自定义监控，提供丰富的指标数据和强大开放的平台能力，第一时间发现和定位问题构建完善的监控运维体系。
您可以订阅这些事件，云监控会将事件实时投递到您的消息服务队列、函数计算等下游云服务中，以便您可以通过程序处理这些异常事件和状态变更，从而实现故障的快速自愈.涵盖弹性计算、数据库、网络等核心云产品数百个系统事件.多样的自动处理工具.通过将事件发送到消息服务队列、函数计算、日志服务以及Webhook等多种方式实现...
来自：
云产品
云消息队列 Kafka 版
云消息队列 Kafka 版是阿里云基于Apache Kafka构建的大数据消息中间件，广泛用于日志收集和分析、数据处理等场景。可提供全托管服务，用户无需部署运维，更专业、更可靠、更安全。
通过配置即可实现 Kafka 数据触发 FC 函数运行.支持海量数据从 Kafka 直接导入 MaxCompute 数据表，方便后续离线计算处理.支持 Kafka 数据直接写 OSS 存储，实现数据长期低成本存储.通过配置实现 Mysql 数据表变同步到 Kafka Topic，实现数据库增量变更同步等场景.云消息队列 Kafka 版兼容标准规范，支持海量开源组件或者云...
来自：
云产品
基于链路追踪+ECI的流量洪峰应对
云原生技术已经为越来越多的互联网客户接受，对于在线教育、互动娱乐、电商等类型的客户会由于业务的原因存在突增业务流量，因此对于系统的稳定性非常关注，结合阿里云的容器服务、链路追踪、弹性容器ECI等产品，帮助客户业务实现容器化改造，并且方便发现系统应用架构中的瓶颈等问题，实现系统高弹性的同时优化客户的云资源使用成本。 l 方案优势 ￚ 支持分布式追踪、调用链分析、DB调用分析、链路拓扑分析、业务指标统计等系统链路调用分析。 ￚ 运维研发效率提高，链路追踪服务端全托管，免运维。 ￚ 链路追踪的应用调用链分析能力结合ECI高弹性能力，提升应用系统在洪峰流量冲击下的稳定性。 ￚ 链路追踪接入方便，ECI POD弹性伸缩，节省用户运维成本和云资源使用成本。 ￚ 结合SLS Ingress可以基于应用前端访问性能指标做弹性伸缩，更丰富的云原生弹性能力。
比如任意单击接口调用的 TraceId查看情况：文档版本：20201222 31 基于链路追踪+ECI的应用高可用弹性实践 基于ECI的弹性伸缩应对流量洪峰 步骤5 回到容器服务控制台，分析应用服务的弹性伸缩情况，可以看到当压测开始，随着 frontend响应时间增大以及 authority服务 CPU利用率增大，开始进行弹性伸缩，并 且随着应用服务的 ...
FastGPU极速AI训练/推理
利用 FastGPU工具一键构建阿里云上的AI训练/推理环境，并使用AIACC加速工具进行加速。
这使您的函数可以像访问本地文件系 统一样编写访问存储在其中一个 NAS 文件系统上的文件。详见 https://cn.aliyun.com/product/nas 对象存储 OSS：海量、安全、低成本、高可靠的云存储服务，提供 99.9999999999%的数据可靠性。使用 RESTful API 可以在互联网任何位置存储和访问，容量和处 III FastGPU极速 AI推理 前言 理...
阿里云最佳实践离线大数据workshop
本最佳实践，首先搭建一个简化的电商 demo 系统，然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统，学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
使用RESTfulAPI可以在互联网任何位置存储和访问，容量 和处理能力弹性扩展，多种存储类型供选择全面优化存储成本。详见：https://www.aliyun.com/product/oss SLS：日志服务（SLS）是云原生观测分析平台，为Log/Metric/Trace等数据提供 大规模、低成本、实时平台化服务。一站式提供数据采集、加工、分析、告警可 视化与...
来自：
最佳实践
相关产品：云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务（SLS）,大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
步骤5 使用 UDF开发时，核心的函数是 evaluate（固定写法），在这里进行业务逻辑处理，本文中输入参数为 String类型的 ip地址（可以根据业务需求自定义类型或参数个数），返回一个 String的城市信息（支持自定义）。步骤6 Setup函数加载 ip库（即从第三方文件中读取数据）。文档版本：20211213 76 基于 MaxCompute的大数据 ...
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
文档版本：20201020 43 基于 Dataworks的大数据一站式开发及数据治理 数据治理 步骤4 添加规格，比如本例监控错误数的波动情况，如果波动上升进行报警，即错误率飙升 的时候给我们报警，进一步查询错误原因。步骤5 可以先试跑测试数据规则。步骤6 关联调度，每次调度后都会检测数据规则。步骤7 添加 hive_log节点进行关联，...
组建多可用区多地域的混合云
场景描述 无特定行业属性，对云下有IDC的用户，上云建 立多地域多可用区高稳定性的业务架构，组建混 合云用户都可适用。物理专线是打通IDC到云上 内网通道的最高质量和稳定性最好方式，但成本 较高，交付周期长。 解决问题 云下用户IDC应对业务突增弹性扩容能力 不足; 云下用户IDC业务需要多地域冗余; 云上阿里云业务需要多地域冗余; 云上阿里云业务需要多可用区冗余. 产品列表 VPC，CEN，高速通道（专线），SLB，ECS
开通云服务器 ECS、日志服务、函数计算等服务。说明：本文操作演示中不包含相关服务的开通操作，请您自行完成。文档版本：20210805 1 组建多可用区多地域的混合云最佳实践 创建北京区域 ECS 1.创建多地域 VPC,VSW,SLB和 CEN 1.1.使用云速搭 CADT快速创建资源 登录云速搭 CADT控制台。...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
cd/usr/local/apache-hive-1.2.2-bin/conf cp hive-env.sh.template hive-env.sh vim hive-env.sh 在文件末尾添加如下内容，保存后退出：export HIVE_AUX_JARS_PATH=usr/local/apache-hive-1.2.2-bin/lib 步骤5 下载 MySQL驱动程序。文档版本：20210721 15 自建Hive数据仓库跨版本迁移到阿里云 EMR 基础环境搭建 cd/usr/...
云数据库RDS PostgreSQL
云数据库RDS PostgreSQL 版完全兼容开源PostgreSQL，基于云原生架构，软硬协同优化，提供稳定可靠、高性价比的数据库服务。通过丰富的插件拓展，支撑各领域场景化业务，如自研Ganos多维多模时空引擎及开源PostGIS地理信息引擎、向量引擎、时序引擎等百余款插件。
查看详情 2020-05-14 新功能/规格 RDS PostgreSQL V11发布xml2功能,支持XPath查询、XSLT函数接口 查看详情 2020-06-12 新功能/规格 RDS PostgreSQL云盘版发布只读实例功能,最高支持32个只读实例.查看详情 2020-06-12 新功能/规格 RDS PostgreSQL云盘版增加104核规格 查看详情 2020-06-12 新功能/规格 RDS PostgreSQL 11发布...
来自：
云产品
实时计算Flink版
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，具备实时应用的作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。内核引擎100%兼容Apache Flink，2倍性能提升，拥有FlinkCDC、动态CEP等企业级增值功能，内置丰富上下游连接器，助力企业构建高效、稳定和强大的实时数据应用。
内核引擎100%兼容Apache Flink，2倍性能提升，拥有FlinkCDC、动态CEP等企业级增值功能，内置丰富上下游连接器，助力企业构建高效、稳定和强大的实时数据应用.59元3000CUH资源包，快速开通实时计算Flink版.59元3000CUH资源包，快速开通实时计算Flink版.Flink中文社区.频道页banner.谢赟辉,靖鑫,也树.8月3日 StarRock X ...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您