Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
场景描述 云原生和大数据时代的到来,用户在拥抱云原生进行容器化改造的同时也专注于数据 分析，希望能够将云原生容器化编排改造带来的计算资源弹性、计算资源成本优化、计算与存储分离、资源调度隔离等优势与大数据分析进行结合，因此可以将大数据分 析与容器编排调度主流技术 Kubernetes相结合，同时结合阿里云提供的弹性...
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
基于 MaxCompute的大数据 BI分析 最佳实践 场景描述 业务架构 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做 ETL之后，同步到 Hologres进行实时分 析，之后通过 Quick BI进行快速可视化展示。解决问题 1.互联网行业、电商、游戏行业等网站、App、小程 序应用内 BI分析场景。2.可扩展到各类网站 BI分析场景...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
数据湖-在线学习场景数据分析 最佳实践 场景描述 业务架构 本场景以在线教育中一个答题闯关类的应用为例，使用WebServer来模拟演示这类日志数据的分析 处理。通过Nginx和Python flask搭建Web Server，模拟应用中的关键页面，比如登录、课程 内容等，之后构造若干用户使用的模拟日志数据，投递到数据湖进行分析后获取应用PV...
基于日志服务构建业务可观测性系统
现在已知的各种监控数据的工具，以及对应的监控系统有非常多的选择，比如ZABBIX，Prometheus，Skywalking等。但是这些系统都存在同样的一个问题，只覆盖了可观察性的一部分，举个简单的类比，大家在日常开车的过程中，会用到很多的辅助设备，仪表盘，行车记录仪，导航，倒车影像等等，这些设备都各自承载了一部分的功能，但是都存在着如下的问题： l 数据覆盖不完整 l 存在数据孤岛（无法关联协同） l 使用门槛高，不够人性化 核心价值 l 全覆盖，统一协议，支持各类平台。 l 数据关联，统一Schema，关联Metrics/Logs。 l 云原生，SaaS服务，拥抱云原生。 l 简单易用，自动化埋点，数十项易用功能。 智能化，异常诊断，根因分析。
能够提供异常诊断和根因分 文档版本：20210616 5 基于日志服务构建业务可观察性系统 架构设计 析等智能算法能力的核心优势。全覆盖，统一协议，支持各类平台。数据关联，统一 Schema，关联 Metrics/Logs。云原生，SaaS服务，拥抱云原生。简单易用，自动化埋点，数十项易用功能。智能化，异常诊断，根因分析。文档版本：...
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
II 文档版本：20150122（发布日期）文档版本：20240417（发布日期）利用交互式分析工具进行数据查询 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 利用交互式分析工具进行数据查询最佳实践 文档编号 176 文档版本 V1.9 版本日期 2022-04-25 文档状态 外部发布 制作人 六稻，阿瑟 审阅人 扬流 文档变更记录 版本...
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测实践 业务架构 场景描述 数据湖和数据仓库是当前大数据技术条件下构建分布式系 统的两种数据架构设计取向，数据湖偏向灵活性，数据仓 库侧重成本、性能、安全、治理等企业级特性。但是数据 湖和数据仓库的边界正在慢慢模糊，数据湖自身的治理能 力、数据仓库延伸到外部...
大数据系统基准性能测试最佳实践
本方案适用于在阿里云上进行大数据基准性能测试的场景，包括 Teragen和Terasort测试，TestDFSIO测试。本文采用CADT工具结合阿里云的E-MapReduce服务快速构建测试集群，并提供了Teragen和Terasort测试，TestDFSIO测试的测试脚本，便于迅速开展测试。
大数据系统基准性能测试 最佳实践 部署架构图 场景描述 本方案适用于大数据系统基准性能测 试的场景，这里以 Terasort&Teragen 测试，以及 TestDFSIO测试，来衡量 大数据系统的基准能力。解决问题 1.使用 CADT快速构建大数据系统 测试环境 2.进行 Terasort&Teragen 3.进行 TestDFSIO测试 产品列表 EMR 云服务器 ECS 云速搭 ...
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
性能压测.51 文档版本：20210806（发布日期）1 Function Compute构建高弹性大数据采集系统 最佳实践概述 最佳实践概述 概述 当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系 统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游 戏运营，产互行业中的数字营销，...
Function Compute搭建前端CICD系统
场景描述 传统动静不分离的产品架构，随着访问量在增 长，性能会成为瓶颈。在这种情况下，用户可以 通过利用OSS和CDN对网站进行架构优化， 做到网站文件的动静分离，提升用户访问体验， 实现成本可控。本方案使用函数计算监听前端代 码库提交的分支变更，上传分支文件至OSS，通 过CDN进行前端资源加速。 方案优势 1.面向serverless：无需购买服务器 2.免运维：无需部署配置Jenkins 3.提供日志查询、性能监控和报警等功能 4.一站式：事件驱动方式触发响应 5.费用极低：按需付费 产品列表 专有网络VPC 对象存储OSS 日志服务SLS 函数计算 CDN
阿里云 Function Compute计算 搭建前端 CICD系统 最佳实践 文档版本：20211008（发布日期）文档版本：20150122（发布日期）II Function Compute计算搭建前端 CICD系统 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 Function Compute计算搭建前端 CICD系统最佳实践 文档编号 073 文档版本 V1.6 版本日期 2021-10-...
函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用，每天 有大量的上传视频，需要及时转码处理以适配各 种终端及网络条件，要求短时间内准备大量的计 算资源进行大规模并行转码处理，同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
这使您的函数可以像访问本地文件系 统一样编写访问存储在其中一个 NAS 文件系统上的文件。详见 https://cn.aliyun.com/product/nas 对象存储 OSS：海量、安全、低成本、高可靠的云存储服务，提供 99.9999999999%的数据可靠性。使用 RESTful API 可以在互联网任何位置存储和访问，容量和处 理能力弹性扩展，多种存储类型供...
云数据库 SelectDB 版
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务，内核基于业界领先的开源分析型数据库 Apache Doris 研发，由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求，广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景，致力于为客户提供极致性能、简单易用的数据分析服务。
为了深度挖掘用户价值、培养用户忠诚度、实现业绩增长，有赞为商家搭建了全方位 OLAP 分析系统，提供实时与离线分析报表、智能营销与人群圈选等 SaaS 服务。本文将详细介绍有赞从 Clickhouse 至 Apache Doris 的迁移规划和性能对比测试实践，分享如何基于 Apache Doris 统一 OLAP 技术栈，并满足庞大数据体量下的实时分析与...
来自：
云产品
阿里云最佳实践离线大数据workshop
本最佳实践，首先搭建一个简化的电商 demo 系统，然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统，学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
需求分析 本最佳实践，首先搭建一个简化的电商demo系统，然后为此demo系统构建一套离 线大数据分析系统。1.2.1.项目需求分析 大数据分析系统实现如下功能：1.定期采集电商系统的业务数据库中的数据；2.定期对数据进行清洗和处理；3.实现如下分析任务：ￚ 分析各年龄段的购物特点，比如各个年龄段的商品销售情况 ￚ 分析各...
来自：
最佳实践
相关产品：云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务（SLS）,大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案，本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系，稳定性高，数据倾斜自动均衡。 2. 完善的数据同步链路，可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse，降低研发成本。 3. 平滑升级版本，业务中断小。 冷热分层后透明读取，帮客户节约整体数据存储成本。
云 ClickHouse冷热数据分层存储最佳实践 技术架构 场景描述 基于云 ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定 性、低维护成本、高性价比的实时数据分 析、精准营销、业务运营、业务分析、业 务预警、业务营销、数仓加速等场景化方 案，本实践会向客户提供数据库低维护成 本、数据库链路构建、冷热...
通过PAI-灵骏分布式训练和部署Llama 2模型
以 Meta 最新开源的大语言模型 Llama2 为例，通过PAI-灵骏完成了大语言模型的高效分布式训练、三阶段指令微调、模型离线推理验证以及在线服务部署等完整的开发链路。
方案整体可用于企业样本标注、创意文本生成、智能对话助手、文本类创作辅助等场景。方案预估：本方案中使用到 PAI-AI计算资源组（灵骏智算）、智算CPFS专属服务、PAI-EAS、OSS等产品，均会产生费用，请以控制台显示的实际报价以及最终账单为准。方案部署一步步跟随方案教程，带你快速上手，进行方案部署。方案介绍通过PAI-...
来自：
解决方案
金融行业从经典网络向VPC容器化改造
本实践介绍经典网络向VPC容器化改造实践 以及配置步骤，可适用于金融等行业 方案优势 容器化完成经典网络完成向VPC网络改 造 应用发布灵活 运维效率提升 解决问题 1.经典网络管理困难 2.应用发布不灵活 3.运维效率低 产品列表 专有网络VPC 容器服务Kubernetes版 日志服务SLS 云数据库RDS版 NAT网关 容器镜像服务ACR 云盘
金融行业从经典网络向VPC容器化改造 最佳实践 业务架构 场景描述 本实践介绍经典网络向VPC容器化改造实践 以及配置步骤，可适用于金融等行业 方案优势 容器化完成经典网络完成向VPC网络改 造 应用发布灵活 运维效率提升 解决问题 1.经典网络管理困难 2.应用发布不灵活 3.运维效率低 产品列表 专有网络VPC ...
自然语言处理NLP
自然语言处理是为各类企业及开发者提供的用于文本分析及挖掘的核心工具，已经广泛应用在电商、文化娱乐、金融、物流等行业客户的多项业务中。自然语言处理API可帮助用户搭建内容搜索、内容推荐、舆情识别及分析、文本结构化、对话机器人等智能产品，也能够通过合作，定制个性化的解决方案。
自然语言处理（NLP）可用于搭建内容搜索、内容推荐、舆情识别及分析、文本结构化、对话机器人等智能产品.自然语言处理 NLP.限时0元使用行业版先进的算法服务，覆盖行业通用场景需求，丰富专业的产品文档和自学习工具助力业务轻松开启智能之旅.开通自然语言处理服务，开启智能之旅.如有私有化部署（本地部署软件）需求，及...
来自：
云产品
云速搭部署 Elasticsearch 应用
本实践通过云速搭实现一个 DTS+Elasticsearch 的搜索引擎架构，构建一个快速分析和检索 业务数据的系统。
云速搭部署 Elasticsearch应用 文档版本信息 云速搭 部署 Elasticsearch应用 最佳实践 文档版本：20211029（发布日期）云速搭部署 Elasticsearch应用 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 云速搭部署 Elasticsearch应用 文档编号 250 文档版本 V1.0 版本日期 2021-10-29 文档状态 对外发布 制作人 衾影 ...
医学NLP
对医学领域文本内容进行分析，识别文本中的医学术语及属性。目前支持16种核心医学实体、6种医学属性的抽取。 医疗大数据是医疗前沿重要的发展方向，大数据与医疗结合，不仅会提升临床诊疗效果，还会对保险、药品研发等多个医疗健康领域产生深远影响。 但医疗大数据面临严重的质量问题，主要体现在数据统一性、完整度、准确性三个方面。因此，要想将大数据与医疗深度结合，底层数据和上层应用能力都必不可少。
通过海量药品数据，构建药品知识图谱，通过分析病历文本及费用清单，判断用药合理性.根据病历文本，推荐诊断及手术编码，结合病患基本信息及其他诊疗信息进行编码预测，辅助把控诊疗质量.打通各个机构之间的数据壁垒，将被割裂在区域内各个医疗，养老，体检等机构内健康数据实现互联互通，让个人健康档案变得更全面.分析...
来自：
云产品
SAP S/4HANA上云最佳实践
本实践以SAP S/4HANA上阿里云的场景为原型，阐述了如何通过CADT在阿里云上快速交付符合最佳实践的基础云架构。
高可用相关的资源 a)NAS资源：建议使用阿里云 NAS作为共享文件系统，用于提供 SAP系统文 件布局中所需如/usr/sap/trans，/sapmnt等，一般这些共享文件系统对性能要 求不高，通用容量型 NAS即可以满足需求 b)STONITH设备：建议使用阿里云共享块存储作为高可用集群的 STONITH设 备。需要联系阿里云 SAP解决方案架构师进行白...
- 产品推荐
- 这些文档可能帮助您