Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
更多信息，请参见：www.aliyun.com/product/rds 函数计算 FC：函数计算（Function Compute）是一个事件驱动的全托管 Serverless 计算服务，您无需管理服务器等基础设施，只需编写代码并上传，函 数计算会为您准备好计算资源，并以弹性、可靠的方式运行您的代码。更多信息，请参见：www.aliyun.com/product/fc 消息队列 ...
云监控
云监控（CloudMonitor）是阿里云提供的一站式、全链路、开箱即用的云资源监控产品。涵盖云上云下统一的主机监控、百余款的云产品监控、覆盖全球的网络监控、面向应用和业务的日志监控和自定义监控，提供丰富的指标数据和强大开放的平台能力，第一时间发现和定位问题构建完善的监控运维体系。
函数计算 FC.日志服务 SLS.推荐搭配使用.云上基础设施监控与报警.快速构建完善的云上基础设施监控与报警体系.云监控提供常用云服务的系统事件、状态变更事件等信息（例如ECS 服务器的状态变化事件、磁盘性能受损事件等）。您可以订阅这些事件，云监控会将事件实时投递到您的消息服务队列、函数计算等下游云服务中，以便您...
来自：
云产品
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计，提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云，涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求，如等保2.0法规要求。 同时当云上资源达到一定规模时，在内部会制定合规管控的基线，满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志，还需依赖云平台提供的持续监控和自动告警能力，实现合规性的自主监管。
产品列表 最佳实践频道 阿里云最佳实践技术分享群 操作审计(ActionTrail）配置审计（Config）函数计算（FC）日志服务（SLS）对象存储（OSS）云服务器（ECS）数据库（RDS）专有网络（VPC）云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 云上持续审计合规 最佳实践 文档版本：V1.3（2021-07-26）文档...
基于链路追踪+ECI的流量洪峰应对
云原生技术已经为越来越多的互联网客户接受，对于在线教育、互动娱乐、电商等类型的客户会由于业务的原因存在突增业务流量，因此对于系统的稳定性非常关注，结合阿里云的容器服务、链路追踪、弹性容器ECI等产品，帮助客户业务实现容器化改造，并且方便发现系统应用架构中的瓶颈等问题，实现系统高弹性的同时优化客户的云资源使用成本。 l 方案优势 ￚ 支持分布式追踪、调用链分析、DB调用分析、链路拓扑分析、业务指标统计等系统链路调用分析。 ￚ 运维研发效率提高，链路追踪服务端全托管，免运维。 ￚ 链路追踪的应用调用链分析能力结合ECI高弹性能力，提升应用系统在洪峰流量冲击下的稳定性。 ￚ 链路追踪接入方便，ECI POD弹性伸缩，节省用户运维成本和云资源使用成本。 ￚ 结合SLS Ingress可以基于应用前端访问性能指标做弹性伸缩，更丰富的云原生弹性能力。
场景描述 云原生技术已经为越来越多的互联网客户接受，对于在线教育、互动娱乐、电商等类型的客户 会由于业务的原因存在突增业务流量，因此对于系统的稳定性非常关注，结合阿里云的容器服 务、链路追踪、弹性容器 ECI等产品，帮助客户业务实现容器化改造，并且方便发现系统应 用架构中的瓶颈等问题，实现系统高弹性的同时...
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
MaxCompute 提供多种内建函数来满足您的 计算需求，同时您还可以通过创建自定义函数来满足不同的计算需求。参考官方文档安装 MaxCompute Studio的 IDEA插件，并连接项目空间（前置步骤必 须完成）。注意：确保使用 JDK1.8版本 MC Studio介绍 https://help.aliyun.com/document_detail/50889.html IntelliJ IDE安装 ...
Cloud Toolkit阿里云开发者插件工具
Cloud Toolkit - 阿里云集开发、测试、诊断、部署为一体的免费本地多IDE插件，帮助开发者真正实现任意服务器或 ECS、EDAS、Kubernetes、SAE、函数计算等一键式研发部署，支持Java规约、高效执行终端命令和 SQL等常见工具，研发速度提升8倍以上，大幅降低研发成本。
针对阿里云函数计算开发者，可以使用 Cloud Toolkit 实现在本地 IDE 中运行、下载云端函数，创建、上传本地函数.部署到函数计算.Cloud Toolkit 提供多种面向应用运维的辅助功能，帮助开发者提高应用运维效率.可以实时添加日志，统计代码执行次数以及方法执行耗时而无须重新发布应用。捕获线程执行堆栈，观察上下文变量而不...
来自：
云产品
Oracle数据库一键上云解决方案
Oracle数据库一键上云解决方案—基于阿里巴巴多年最佳实践，通过POLARDB for Oracle+ADAM+DTS核心产品组合，提供从Oracle数据库与应用架构发现、评估改造、迁移实施及专家服务全链路支持，最大限度降低用户Oracle数据库和应用迁移/上云的风险、难度及实施周期。
无缝对接云端海量算力(ADB、MaxCompute、OSS函数计算等).PolarDB 采用计算与存储分离架构，提供极致弹性，横向与纵向分钟级弹性；提供最大可达100T的单库容量；按量收费，只需十分之一的成本享受商业数据库的高可靠及高可用.负载均衡：读写分离，对外接口统一，用户无缝使用.计算：兼容Oracle；并行计算；资源隔离；专业GIS...
来自：
解决方案
云工作流
云工作流 CloudFlow 是一个用来协调多个分布式任务执行的全托管 Serverless 云服务，用户可以用顺序、分支、并行等方式来编排分布式任务，服务会按照设定好的顺序可靠地协调任务执行，跟踪每个任务的状态转换，并在必要时执行用户定义的重试逻辑，以确保工作流顺利完成。
函数计算 FC.视频点播 VoD.推荐搭配使用.多媒体文件处理场景.点击查看案例实践.使用云工作流可以快速搭建一个高可用的数据处理流水线。比如，来自不同数据源的计量数据被收集到日志服务，函数计算的定时器每小时触发工作流，云工作流利用函数计算对多个Shard的计量数据做并行处理，并将结果分别写回日志服务服务；然后可以...
来自：
云产品
Function Compute搭建前端CICD系统
场景描述 传统动静不分离的产品架构，随着访问量在增 长，性能会成为瓶颈。在这种情况下，用户可以 通过利用OSS和CDN对网站进行架构优化， 做到网站文件的动静分离，提升用户访问体验， 实现成本可控。本方案使用函数计算监听前端代 码库提交的分支变更，上传分支文件至OSS，通 过CDN进行前端资源加速。 方案优势 1.面向serverless：无需购买服务器 2.免运维：无需部署配置Jenkins 3.提供日志查询、性能监控和报警等功能 4.一站式：事件驱动方式触发响应 5.费用极低：按需付费 产品列表 专有网络VPC 对象存储OSS 日志服务SLS 函数计算 CDN
配置函数计算服务.7 2.配置代码托管.10 2.1.创建代码仓库.10 2.2.配置 webhook.12 2.3.配置 sshkey.13 3.持续发布验证.16 4.附录.17 4.1.代码地址.17 4.2.my_ssh_executable.sh.17 4.3.frontenddeploy.py.17 文档版本：20211008 V Function Compute计算搭建前端 CICD系统 最佳实践概述 最佳实践概述 业务场景 动静分离架构 ...
EHPC工业仿真
场景描述 本实践适用于使用弹性高性能计算EHPC+ 对象存储OSS运行仿真软件进行模型仿真 的场景中，这里运行的是LAMMPS这款开 源的仿真软件，数据通过OSS上传。 解决问题 1.使用EHPC运行工业仿真软件 2.使用OSS存储数据和代码 3.可视化计算结果 产品列表 弹性高性能计算E-HPC 对象存储OSS
我们以 LJ函数为例建模，运行 1000次(也可以减少运行次数，这样计算时间会缩短)，将作业 放在 OSS，从 OSS下载作业，计算结束后将计算结果上传到 OSS。2.2.1.下载 demo文件 步骤1 通过如下链接下载作业 demo文件 https://code.aliyun.com/best-practice/21/raw/master/LammpsTest.zip 解压以后该文件包含以下几个文件：lj....
表格存储Tablestore
表格存储Tablestore是阿里云自研的面向海量结构化数据存储的Serverless分布式数据库，它可提供低成本、高性能的存储方案，同时也可提供稳定与极致的数据服务。
函数计算 FC.大数据计算服务 MaxCompute.实时计算 Flink 版.推荐搭配使用.交易计费系统.场景描述及概要.IM（Instant Messaging，即时通讯）成为当前互联网业务基础组件，在社交、游戏、直播等场景广泛应用。这需要高效的海量消息存储、同步、检索.需要按对话存储历史消息，要求海量数据存储，且易拓展.需要按接受者存储同步...
来自：
云产品
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
步骤2 部署完成后，重启 Hive MetaStore和 HiveServer2 步骤3 由于在创建 EMR集群时我们指定了 RDS for MySQL实例的数据库作为 Hive的元数 据库，但是此时元数据库还未创建，因此在 EMR控制台可以看到 Hive MetaStore服 务异常停止。文档版本：20210721 25 自建Hive数据仓库跨版本迁移到阿里云 EMR 创建 EMR集群 通过查看 ...
FastGPU极速AI训练/推理
利用 FastGPU工具一键构建阿里云上的AI训练/推理环境，并使用AIACC加速工具进行加速。
FastGPU作为衔接⽤户线下⼈⼯智能算法和线上海量阿⾥云 GPU计算资源的关键⼀环，⽅ 便⽤户将⼈⼯智能算法计算⼀键构建在阿⾥云的 IAAS资源上，⽆需关⼼IAAS层相关的计 算、存储、⽹络等繁琐的部署操作，做到简单适配、⼀键部署，随处运⾏的效果。为⽤户提 供了省时、经济、便捷的基于阿⾥云 IAAS资源的⼈⼯智能即刻构建⽅案...
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
自定义 HDFS Sink.47 文档版本：20201020 IV 基于 Dataworks的大数据一站式开发及数据治理 最佳实践概述 最佳实践概述 概述 本实践基于 Dataworks做大数据一站式开发，包含数据实时采集到 kafka通过实时计 算对数据进行 ETL写入 HDFS，使用 Hive进行数据分析。通过 Dataworks进行数据 治理，数据地图查看数据信息和血缘关系...
- 产品推荐
- 这些文档可能帮助您