阿里云最佳实践离线大数据workshop
阿里云最佳实践离线大数据workshop
本最佳实践,首先搭建一个简化的电商 demo 系统,然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统,学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建,学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
系统架构设计 系统架构如下图所示:文档版本:20210802(发布日期)4离线大数据分析WorkShop 最佳实践整体介绍 主要分为两个系统: 业务系统,采用简易模式搭建,通过eip+ecs+rds来搭建,eip提供外网访问,ecs 模拟业务服务器,rds模拟业务数据库。 大数据分析系统,采用maxcompute+dataworks+quickbi来搭建。...
来自: 最佳实践 相关产品:云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务(SLS),大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
电商网站数据埋点及分析
电商网站数据埋点及分析
场景描述 数据埋点是数据产品经理、数据运营以及数据分 析师,基于业务需求(例如:CPC点击付费广 告中统计每一个广告位的点击次数),产品需求 (例如:推荐系统中推荐商品的曝光次数以及点 击的人数)对用户行为的每一个事件对应的位置 进行开发埋点,并通过SDK上报埋点的数据结 果,记录数据汇总后进行分析,推动产品优化或 指导运营。 解决问题 1.电商网站广告位效果统计分析 2.电网网站推荐商品曝光、点击、购买等行为统 计分析 3.电商网站用户分布分析 4.电商网站页面热点图分析等 产品列表 日志服务SLS Dataworks 云服务器ECS 云数据库RDS版 负载均衡SLB 专有网络VPC
RDS基于阿里云分布式文件系统和 SSD盘高性 能存储,支持 MySQL、SQL Server、PostgreSQL、PPAS和 MariaDB引擎,提 供了容灾、备份、恢复、监控、迁移等方面的全套解决方案,彻底解决数据库运维 的烦恼。更多信息,请参见云数据库 RDS MySQL 版简介 文档版本:20220127 II 电商网站数据埋点及分析 前言 ...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,日志服务(SLS),DataWorks,云速搭CADT
开源Flink迁移实时计算Flink全托管版最佳实践
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务(包含Datastream、Table/SQL、PyFlink任务)迁移至阿里云实时计算全托管版。
开源 Flink迁移实时计算 Flink全托管版 最佳实践 业务架构 场景描述 解决的问题 Flink全托管产品(Flink Serverless)是一款基于 Flink各类任务如何迁移 Apache Flink 构建的全托管产品,为您提供全托 数据准确性如何校验 管一站的实时计算服务,具有免运费、高增值、业务稳定性如何验证 低成本等特性。本方案介绍如何将...
来自: 最佳实践 | 相关产品:专有网络 VPC,云数据库RDS MySQL 版,E-MapReduce,实时计算,消息队列 Kafka 版,云速搭CADT
小型互联网迁移阿里云
小型互联网迁移阿里云
场景描述 本方案主要适用于中小型互联网企业,从他云 迁移到阿里云的最佳实践。方案中会概述网络 规划、服务器、数据库、存储数据、Kafka和 镜像数据的迁移方案描述。同时在实践环节, 增加服务器和RDS的迁移操作演练和验证。 解决问题 提供服务器、数据库等关键环节的平滑迁移方 案 提供云上高可用架构参考 提供模拟简单的演练回归流程机制 产品列表 云服务器(ECS)、迁云工具(SMC)、数据库 (RDS)、数据库(Redis)、数据传输(DTS)、 负载均衡(SLB)、专有络(VPC)等
基于阿里云分布式文件系统和 SSD盘高性能存储,RDS支持 MySQL、SQL Server、PostgreSQL、PPAS和 MariaDB TX引擎,并且提供了容灾、备份、恢 复、监 控、迁 移 等 方 面 的 全 套 解 决 方 案。详见:https://www.aliyun.com/product/rds/mysql 文档日期:20200114 III 小型互联网迁移上阿里云最佳实践 目录 目录 文档版本...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS
电商网站业务安全
电商网站业务安全
场景描述 业务运营活动是电商行业开展业务必不可少的 手段,但大流量带来的系统可用性、优惠券带来 的“薅羊毛”等问题屡见不鲜,都会影响到运营 效果、甚至出现负面影响。阿里云基于集团电商 业务多年的运营经验,为云上客户提供完整的电 商网站运营期间的防护方案。 解决问题 1.保障业务运维活动系统稳定运行 2.防止“薅羊毛” 3.运营优惠给到真实的客户 产品列表 爬虫风险管理 风险识别 DDoS防护包
电商网站业务安全 最佳实践 业务架构图 场景描述 业务运营活动是电商行业开展业务必不可少的 手段,但大流量带来的系统可用性、优惠券带来 的“薅羊毛”等问题屡见不鲜,都会影响到运营 效果、甚至出现负面影响。阿里云基于集团电商 业务多年的运营经验,为云上客户提供完整的电 商网站运营期间的防护方案。解决问题 1.保障...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,负载均衡 SLB,DDoS防护,风险识别,爬虫风险管理,云速搭CADT
金融分布式架构SOFAStack
阿里云金融分布式架构SOFAStack为金融用户提供全栈式的基础架构能力,是集项目管理、微服务开发、发布部署、监控运维、容灾高可用等全栈式解决方案,助力客户应用轻松转型分布式架构,保证风险安全的同时帮助业务需求敏捷迭代,支撑金融业务创新,开发人员学习成本最多可降低92%、应用开发效率可最多提升80%、运维人力成本最多可节省90%
蚂蚁金服自主研发的金融级分布式架构平台,专注为金融用户提供全栈的基础架构能力 保证风险安全的同时帮助业务需求敏捷迭代,同时满足异地容灾、低成本快速扩容的需求 解决传统集中架构转型的困难,打造大规模高可用分布式系统架构,支撑金融业务创新.保证在分布式架构下承受高并发交易,在系统扩展、容灾恢复、更新...
来自: 云产品
大模型RAG对话系统部署
大模型RAG对话<em>系统</em>部署
大模型RAG对话系统最佳实践,旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术,从而显著提升对话系统的性能,使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践,您可以掌握构建一个大模型RAG对话系统的完整开发链路。
文档版本:20240131 4 大模型RAG对话系统部署最佳实践 最佳实践概述 人工智能平台 PAI(Platform of Artificial Intelligence):是面向企业客户及开发者,提供轻量化、高性价比的云原生人工智能,涵盖 DSW交互建模、Designer拖 拽可视化建模、DLC分布式训练到 EAS模型在线部署的全流程。检索分析服务 Elasticsearch版...
来自: 最佳实践 | 相关产品:Elasticsearch,机器学习PAI-EAS,机器学习平台,云速搭
系统运维管理 OOS
阿里云系统运维管理(简称OOS)提供的云上自动化运维服务,通过执行模板来完成任务的自动化运行,可以使用OOS管理ECS、RDS、SLB、VPC等云产品,提升日常运维管理效率
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台系统运维管理产品简介产品优势产品功能入门与试用技术解决方案安全合规常见问题系统运维管理 OOS云上统一的自动化管理与运维平台,支持对ECS、RDS、SLB等多种云产品进行编排,提升日常运维管理效率。立即购买免费试用快捷入口控制台文档API...
来自: 云产品
通过PAI-灵骏分布式训练和部署Llama 2模型
以 Meta 最新开源的大语言模型 Llama2 为例,通过PAI-灵骏完成了大语言模型的高效分布式训练、三阶段指令微调、模型离线推理验证以及在线服务部署等完整的开发链路。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台通过PAI-灵骏分布式训练和部署Llama 2模型方案介绍方案优势应用场景方案部署通过PAI-灵骏分布式训练和部署Llama 2模型我们以 Meta 最新开源的大语言模型 Llama2 为例,通过PAI-灵骏完成了大语言模型的高效分布式训练、三阶段指令微调、模型...
来自: 解决方案
云原生数据库PolarDB 分布式
PolarDB 分布式版是阿里云自主设计研发的高性能云原生分布式数据库产品,为用户提供高吞吐、大存储、低延时、易扩展和超高可用的云时代数据库服务。
云原生+MySQL生态.PolarDB 分布式版采用了基于存储计算分离的Shared-Nothing系统架构,该架构使用户可以根据业务需要进行分层容量规划.存储计算分离架构.让用户以使用单机MySQL数据库的体验,操作分布式数据库是PolarDB 分布式版一贯追求的目标.透明分布式体验.为满足不同行业客户对部署形态的需求,PolarDB 分布式版提供...
来自: 云产品
分布式任务调度 SchedulerX
SchedulerX 是阿里巴巴自研的基于 Akka 架构的分布式任务调度平台(兼容开源 XXL-JOB/ElasticJob/K8s Job/Spring Schedule),支持 Cron 定时、一次性任务、任务编排、分布式数据处理,具有高可用、可视化、可运维、低延时等能力。
提供单机、广播、Map、MapReduce 和片等多种分布式编程模型,简单几行代码即可通过您自己的机器自建分布式引擎,进行大数据跑批.全面的监控指标,丰富及时的报警方式,便于运维人员快速定位和解决线上问题.支持秒级别调度、轻量级分布式计算,可以助力您完成准实时的大数据跑批.通过分布式架构、数据三备份、消息 At-...
来自: 云产品
企业级互联网架构解决方案
企业级互联网架构解决方案是在阿里巴巴电商业务环境沉淀下来的互联网中间件,其优秀的架构设计理念,以及大型分布式系统数据化运营能力,帮助企业用户快速构建大型分布式应用,支持业务需求快速创新,助力传统企业快速互联网+转型。
在阿里巴巴电商业务环境沉淀下来的互联网中间件,其优秀的架构设计理念,以及大型分布式系统数据化运营能力,帮助企业用户快速构建大型分布式应用,支持业务需求快速创新,助力传统企业快速互联网+转型.企业级互联网架构解决方案.建立共享业务服务中心.如“会员”、“商品”,自己掌握信息系统的主动权,可以快速迭代试错,...
来自: 解决方案
云原生分布式数据库PolarDB-X
阿里云云原生分布式数据库PolarDB-X(原DRDS升级版),可解决分库分表、海量数据存储、超高并发吞吐、复杂计算效率等问题。最高可支撑千万级并发和百PB级海量存储。
通过云原生分布式数据库PolarDB-X的库分表能力,提升系统扩展性,提高了并发查询能力,降低了业务响应时间;利用异构索引表满足了客户多维查询的需求;借助全局二级索引解决了异构索引表数据延迟的问题.PolarDB-X 2.0新用户首月免费试用活动,点击填写表单,申请试用.重温开源 PolarDB-X 升级发布会,共建云原生分布式...
来自: 云产品
分布式云容器平台ACK One
阿里云分布式云容器平台ACK One面向混合云、多集群、分布式计算等场景,支持连接您任何地域、基础设施上的K8s集群,提供一致的社区兼容的API,助力管理分布式云资源
从云端、边缘到 IDC,分布式云容器平台可以管理任意环境的 K8s 集群,为企业提供一致的云原生应用管理体验和最佳实践,助力企业实现统一安全治理、成本管理等能力.为多环境下不同集群提供统一调度和弹性能力,充分提升资源利用率;通过分布式数据编排,打通跨地域异构数据源,助力智能计算提速.提供备份、恢复、迁移一体化...
来自: 云产品
分布式身份服务
分布式身份服务 DIS 通过蚂蚁区块链,安全的存储个人和企业用户的身份信息,并在保护隐私的情况下为用户、用户信息提供方、用户信息使用方提供身份标识和信息交互,使得企业和机构可以更合规的使用和管理用户身份信息及数据授权,而身份信息的真实性得到了极大的保障。
数据在分布式系统上永久留存,由身份所有者管理,仅在被授权情况下使用而无法作其他用途.分布式身份系统.利用生物识别、移动终端等多种手段,实现一个便捷的联合可控的数字身份管理体系.领先的身份管理.身份标识脱敏,避免了敏感数据盗用;数据全链路加密,实现了数据可用不可见.强数据隐私保护.蚂蚁区块链分布式身份服务 ...
来自: 云产品
企业级分布式数据库解决方案
企业级分布式数据库解决方案挂载管理多个云数据库 RDS for MySQL,可线性提升数据存储容量及并发吞吐。为企业级客户提供弹性、稳定、高效的企业级分布式关系型数据库解决方案。
云原生分布式数据库 PolarDB-X 1.0 通过库分表管理多个 RDS for MySQL,可线性提升数据存储容量及并发吞吐,有效解决单机数据库的扩展性难题。云原生分布式数据库 PolarDB-X 1.0 提供多种只读实例,可抵御超高并发的访问压力、加速复杂查询的响应时间。通过物理资源隔离的方式,缓解 DRDS 主实例的压力负载,降低业务架构...
来自: 解决方案
区块链分布式身份服务解决方案
区块链分布式身份服务解决方案提供基于区块链技术的实体身份标识及可信数据交换服务,具有分布式、多中心等特性。该服务符合 W3C DID 以及 W3C VC 规范,实体可以对数字身份进行便捷的创建、验证、管理。此外,实体之间能够进行可验证声明的颁发,用以满足复杂的场景需求。
身份等信息在基于区块链的分布式系统上永久留存,由身份所有者管理和授权,身份使用方在被授权的情况下使用而无法作其他用途.分布式身份系统.利用生物识别、移动终端、区块链和密码学等多种手段,实现一个便捷的联合可控的数字身份管理体系.领先的身份管理.根据您提交的需求,将有区块链专家与您沟通联系!根据您提交的需求...
来自: 解决方案
CentOS到Alinux操作系统迁移
2020年12月08日,CentOS官方宣布了停止维护CentOS Linux的计划,操作系统迁移解决方案为企业提供ECS实例运行的操作系统EOL(生命周期结束)后的替换或升级服务。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台CentOS到Alinux操作系统迁移方案介绍方案优势应用场景方案部署方案权益CentOS到Alinux操作系统迁移2020年12月08日,CentOS官方宣布了停止维护CentOS Linux的计划,并推出了CentOS Stream项目。操作系统停止维护会带来一系列安全的影响,...
来自: 解决方案
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
基于湖仓一体<em>架构</em>使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象,Hive元数据存储在DLF,外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通,实现元数据统一。最后通过一个毒蘑菇的训练和预测demo,演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测实践 业务架构 场景描述 数据湖和数据仓库是当前大数据技术条件下构建分布式系 的两种数据架构设计取向,数据湖偏向灵活性,数据仓 库侧重成本、性能、安全、治理等企业级特性。但是数据 湖和数据仓库的边界正在慢慢模糊,数据湖自身的治理能 力、数据仓库延伸到外部...
来自: 最佳实践 | 相关产品:对象存储 OSS,E-MapReduce,DataWorks,大数据计算服务 MaxCompute,API网关,数据湖构建,云速搭
企业云上网络架构规划
企业云上网络架构规划方案能够为企业提供面向业务的网络架构,确保业务的可靠性,并保持架构的可扩展性和可持续性。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台企业云上网络架构规划方案介绍方案优势应用场景方案部署方案权益企业云上网络架构规划对于一些刚开始进行云上迁移的企业而言,需要在短时间内完成业务系统的迁移。在迁移过程中,首要步骤通常是进行整体网络设计,以满足业务需求并规划云上...
来自: 解决方案
< 1 2 3 4 >
共有4页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用