基于OSS Object FC实现非结构化文件实时处理最佳实践
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中,以图片,视频,音频居多。举一个图片处理的场景,现在各种终端种类繁多,不同的终端对图片的格式、分辨率要求也不同,所以一张图片往往会有很多张衍生图,那如果所有的衍生图都存在OSS中,那存储的成本会增加,所以就可以通过OSS Object FC的方案,在不同的终端请求时,对OSS中的原图基于终端的要求做实时处理,然后响应返回,这样OSS中只需要存储原图即可。音视频也有类似的场景。
创建函数前必须先创建服务,服务就像函 的集合,同一个服务下的所有函数共享一些相同的设置,例如服务授权和日志配置 等。 服务名称:根据实际业务自行填写。 服务角色:默认选择AliyunFcDefaultRole,如果下拉框没有,请点击创建默认角 色。步骤5 双击函数计算函数img_handle,查看配置信息。文档版本:20240304 3...
来自: 最佳实践 相关产品:对象存储 OSS,函数计算
基于MSE云原生网关同城多活
基于MSE云原生网关同城多活
借助云原生微服务MSE网关,MSE配置注册中心的同城容灾多活微服务应用。构建一个经典的微服务场景,实现同城容灾的步骤,体现云原生相关产品在用户上云,高可用同城容灾多活场景下的能力。
构建一个经典的微 服务场景,实现同城容灾的步骤,体现云原生相 关产品在用户上云,高可用同城容灾多活场景下 的能力。应用场景 机房级故障的秒级自动转移:云原生网关对于关 联服务的每个节点都建立了主动健康检查的机 制,实现机房级故障的秒级自动转移;非对等部署状态下的全局流量负载均衡:云原生 网关对两个集群的...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
云原生数据仓库AnalyticDB MySQL数据仓库
阿里云云原生数据仓库AnalyticDB MySQL版(简称AnalyticDB)是融合数据库、大数据技术于一体的云原生企业级数据仓库平台。云原生数据仓库AnalyticDB MySQL版支持数据实时写入和同步更新、实时计算和实时服务,可用于构建企业级报表系统、数据仓库和数据服务引擎。
通过简单几步配置即可将RDS、PolarDB 或者日志服务中某个日志中的数据快速同步到云原生数据仓库AnalyticDB MySQL版集群中.将RDS和PolarDB的多数据库实例一键配置DTS同步链路.数据库数据接入.配置SLS数据同步链路,将日志数据快速接入.日志数据接入.PolarDB MySQL数据免费接入、多表增量更新物化视图、UDF、Multi-...
来自: 云产品
新版产品集合页
基于丰富的产品,将计算、存储、网络、数据库、大数据、人工智能等最新产品技术与场景深度融合,为开发者打造稳定可靠的云基础设施以及云原生的开发环境。
数据仓库云原生数据仓库AnalyticDB MySQL版免费试用支持高并发低延时查询的新一代云原生数据仓库,高度兼容 MySQL 协议以及 SQL:2003 语法标准。云原生数据仓库 AnalyticDB PostgreSQL 版免费试用自研云原生存算分离架构,强兼容 PG/Greenplum 开源生态和 Oracle/TD 语法,可打造全场景覆盖的企业级站式数据平台。云...
来自: 云产品
工业数据中台解决方案
以企业IT&OT数据为基础,结合数据汇聚&治理能力,实现数据资产化、数据服务化,打造统一标准、稳定可靠的数据资产,发挥数据价值,完成端到端的数据敏捷交付、部署、应用。
工业自身的MES、ERP等系统以及设备传感数据融合,破除数据孤岛,建立统一的数据仓库,将数据库存转化为数据资产.在盘活数据资产之后,针对不同的业务场景,利用数据+智能算法,识别业务机理,提升业务效率.根据业务机理,沉淀优生产经验,以生产目标为导向,调节生产过程参数,反向控制生产流程,终达到预设的生产指标.通过...
来自: 解决方案
数据安全解决方案
数据是企业的核心资产,如何保护企业的云上数据,是每个企业管理者都应当重视的课题。在云平台提供更为安全便捷的数据保护能力的同时,阿里云根据自身多年的经验积累,结合大量云上客户的最佳实践,提供了一套完整的数据安全解决方案,帮助企业提升云上数据风险防御能力,实现企业核心及敏感数据安全可控。
数据传输阶段是数据一个实体传输到另一个实体的阶段。对于来自互联网的访问,建议企业使用证书来加密防止发生中间人攻击.数据传输阶段.SSL证书服务.数据以任何数字格式进行存储的阶段。使用加密技术保护数据的核心是对于加密密钥的管理.数据存储阶段.密钥管理服务.阿里云建议引入“数据消敏区”的概念。对于需要重点处理...
来自: 解决方案
数据集成 Data Integration
阿里云数据集成 Data Integration是跨异构数据、低成本、弹性扩展的数据采集同步平台,为DataX的商业版,支持ETL,支持50+数据源跨网络离线(全量/增量)同步。
活动中涉及“折扣”、“优惠”、“×折”或“省×元”,指相同规格产品的价格在本次活动与无任何...整迁移是数据集成 Data Integration提供的一种批量创建同步任务的快捷工具,可以快速完成把一个Mysql DB 内所有表一并上传到 MaxCompute 中,节省大量初始化批量任务创建时间.离线同步支持的数据源.实时同步支持的数据源.
来自: 云产品
异地双活场景下的数据双向同步
异地双活场景下的<em>数据</em>双向同步
概述 随着客户业务规模的扩大,对系统高可用性要求越来越高,越来越多用户采用异地双活/多活架构,多活架构往往涉及业务侧做单元化改造,本方案仅模拟用户已做单元化改造后的数据双向同步,数据库采用双主架构,本地写本地读,同时又保证双库的数据一致性,为业务增加可用性和灵活性。 适用场景 数据库双向同步 数据库全局ID不冲突 双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤: 方案优势 DTS双向同步,采用独立模块避免数据同步占用系统资源。 奇偶ID涉及,避免数据冲突。 DTS多种处理冲突的方式供业务选择。 安全:原生的多租户系统,以项目进行隔离,所有计算任务在安全沙箱中运行。
文档版本:20220209 16 异地双活场景下的数据双向同步 服务部署 步骤10 在华南 1(深圳)创建一个相同的镜像仓库。步骤11 进入北京的镜像仓库创建同步任务。步骤12 等待几分钟,可以看到深圳地域的镜像已成功同步。文档版本:20220209 17 异地双活场景下的数据双向同步 服务部署 2.2.在 ACK中部署应用(深圳)步骤1 双击...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,负载均衡 SLB,容器服务 ACK,数据传输,云企业网,容器镜像服务 ACR,云解析DNS
利用交互式分析(Hologres)进行数据查询
利用交互式分析(Hologres)进行<em>数据</em>查询
场景描述:随着收集数据的方式不断丰富,企业信息化 程度越来越高,企业掌握的数据量呈TB、 PB或EB级别增长。同时,数据中台的快 速推进,使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力,为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
Hologres常见使用场景 联邦分析实时数据和离线数据 业务数据分为冷数据和热数据,冷数据存储在离线数据仓库MaxCompute中,热 存储在Hologres中。Hologres可以联邦分析实时数据和离线数据,对接BI分析 工具,快速响应简单查询与复杂查询的业务需求。图1.联邦分析架构图 实时数据仓库 实时写入业务数据至实时计算,使用...
来自: 最佳实践 | 相关产品:大数据计算服务 MaxCompute,DataV数据可视化,实时计算,Hologres,云速搭CADT
大数据workshop
大数据workshop
大数据workshop
学习搭建一个实时数据仓库,掌握数据采集、存储、计算、输出、展示等整个业 务流程。2.整个实时数据仓库系统全部基于阿里云产品进行架构搭建,用户可以掌握并学 会运用各个服务组件及各个组件之间如何联动。前置知识要求 熟练掌握 SQL语法 对大数据体系系统知识有一定的了解 2.2.项目需求及架构设计 2.2.1.项目需求分析 1....
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
金融专属大数据workshop
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库,掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建,用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
阿里云 最佳实践 金融大数据WorkShop 文档版本:20210708(发布日期)阿里云最佳实践金融大数据WorkShop 文档版本信息 文档版本...文档版本:20210803(发布日期)80阿里云最佳实践金融大数据WorkShop 最佳实践项目实践 作业:自己设想一个数据分析的业务需求并使用Datav和QuickBI分别实现。文档版本:20210803(发布日期)81
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
阿里云最佳实践离线大数据workshop
阿里云最佳实践离线大数据workshop
本最佳实践,首先搭建一个简化的电商 demo 系统,然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统,学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建,学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
MaxCompute向用户提供了完善的数据导入方 案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有 效 降 低 企 业 成 本,并 保 障 安 全。详 见:https://help.aliyun.com/product/27797.html  Dataworks:DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引 文档版本:20210802(发布...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务(SLS),大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
游戏业务分区合服
游戏业务分区合服
概述 为了提高游戏玩家的体验,并提高留存率,增强付费率.除了游戏本身的内容趣味性外, 改善用户访问加速体验,并对游戏数据分区合服是很常见的业务运营场景. 本方案适用于: 1游戏业务运营,对多个分区数据库进行合并,增加付费用户积极性的需求. 2游戏业务加速,中心化部署的网络加速需求. 方案优势 1便捷数据迁移. 2内网安全传输 3加速远端用户访问质量体验 4快速应对上层业务运营的技术实现操作. 产品列表 网络产品:VPCSLBNAT网关CEN共享带宽包EIP全球加速GA 计算产品:ECS 数据库产品:RDSDTS 存储产品:OSS 云解析
其 中涉及先建立一个临时表,再迁移合并到正式表。类别 说明 临时表 kolhoz_user_Test20190726 通过 sql创建。正式表 kolhoz_user 数据库账号 farm 密码 自定义。本实践设置为 Test1234。4.3.5.1.登录华北数据库的 DMS系统 步骤1 登录云数据库 RDS 控制台。(https://rdsnext.console.aliyun.com/#/rdsList/cn- 文档版本:...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,数据传输,NAT网关,云企业网
基于MaxCompute的大数据BI分析
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例,将业务数据和日志数据使用 MaxCompute做ETL之后,同步到ADB进行实时 分析,之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
步骤5 使用 UDF开发时,核心的函数是 evaluate(固定写法),在这里进行业务逻辑处理,本文中输入参数为 String类型的 ip地址(可以根据业务需求自定义类型或参数个数),返回一个 String的城市信息(支持自定义)。步骤6 Setup函数加载 ip(即从第三方文件中读取数据)。文档版本:20211213 76 基于 MaxCompute的大数据 ...
来自: 最佳实践 | 相关产品:日志服务(SLS),大数据计算服务 MaxCompute,云原生数据仓库AnalyticDB My,Quick BI,云速搭CADT
金融行业解决方案
适应金融科技及数字产业发展现状,为银行、保险、证券等金融机构进行科技赋能,支撑业务发展变化,通过智能营销、数据风控、智慧金融等场景,拉动金融机构数字化转型和科技创新。
大数据计算服务,提供快速、完全托管的PB级数据仓库解决方案,使您可以经济并高效的分析处理海量数据.为 App 开发、测试、运营及运维提供云到端的站式解决方案.客户使用阿里金融云服务,利用高速通道建立金融云和本地IDC行情源的连接,解决2019年初行情爆发时,次性快速扩容近百台ECS用于行情服务,扩容用时不足1天,...
来自: 解决方案
云基础产品与基础设施
云基础产品与基础设施作为阿里云产品六大版块之一,主要包含弹性计算、存储、网络、安全、云原生应用平台以及无影和基础设施类产品,向客户提供高度自动化的标准化产品对网络功能、计算机(虚拟或专用硬件)和数据存储空间进行访问,同时支持灵活扩展,可以直接使用自助服务界面。
Serverless 服务可简化这些,从半托管到全托管,所有服务 API 化,无限容量充分弹性,生产力大幅改变.Serverless 奇点已来,下一个十年将驶向何方?云服务器 ECS.弹性裸金属服务器.GPU 云服务器.轻量应用服务器.弹性容器实例 ECI.弹性加速计算实例 EAIS.弹性云手机.FPGA 云服务器.VMware 服务.弹性高性能计算 E-HPC.超级...
来自: 云产品
消费者资产运营解决方案-德勤-新零售-快消-阿里云
消费者资产运营解决方案旨在通过阿里云数据中台(Dataphin)的建设,完成对消费者相关领域的业务分析洞察,形成统一的消费者画像与标签体系,满足企业当前各业务系统对消费者数据的诉求,并通过分析主题的形成,完成业务运营支持。
德勤管理咨询战略与运营、人力资本咨询服务以及信息技术团队致力于为客户提供领先解决方案,助力客户实现增长.MaxCompute(原ODPS)是项数据计算服务,它能提供快速、完全托管的PB级数据仓库解决方案.Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎,提供全链路智能数据构建及管理服务.Quick BI 专为云上...
来自: 解决方案
宜搭
宜搭是阿里巴巴公司出品的一个基于钉钉和阿里云底座的低代码开发平台产品,可让企业业务人员通过简单的拖拽、配置即可完成应用搭建,助力企业数字化升级。
创建第一个应用.从模板创建练练手.视频跳转链接.单表单数据量.word模板.附件在线编辑.页面JS代码.自定义服务校验.流程版本管理.节点权限控制.钉钉待办消息.批量发起流程.流程超时规则.流程分析BPA.跨应用数据互联.连接钉钉数据.连接主流数据库数据源.连接Excel、CVS文件.集成自动化流个数.多类型触发器.数据集成-增删改查....
来自: 云产品
专有云企业版
阿里云专有云企业版是面向政企客户的全栈云平台,可一键式弹性扩展至公共云,提供不同应用场景需求下的混合云方案,支撑企业级核心应用平滑上云。
数据仓库AnalyticDB,适用超大规模、高性能、高可靠在线实时计算查询,以及数据仓库复杂数据处理场景.大规模实时分析场景.数据传输工具DTS,支持25+数据源引擎,支持跨引擎、跨平台、跨版本的高性能数据传输,可实现同城容灾.数据传输场景.企业版基于企业级分布式服务框架、消息服务、分布式容器服务、数据库等产品帮助政企...
来自: 云产品
迁移与运维管理
阿里云提供一系列的运维管理工具:日志服务SLS、云治理中心等帮助你自动化的开发和运维,能够更加轻松控制云基础产品与基础设施。
运维编排服务是一个全面的云上自动化运维平台,提供了运维任务的管理和执行.可用于收集获取阿里云资源的监控指标或用户自定义的监控指标,探测服务可用性以及针对指标设置警报.通过阿里集团自用的智能网管平台、人力智慧和最佳实践输出,解决企业在全生命周期网络运维管理的业务需求.帮助企业实现更实时的数字化管理、更快...
来自: 云产品
< 1 2 3 >
共有3页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用