基于Flink的资讯场景实时数仓
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景,Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
文档版本:20220223(发布日期)79 基于 Flink的资讯场景实时数仓 业务系统 通过搜索通用标题、轮播饼图、基本平面地图、轮播列表柱状图、数字翻牌器组件,然后拖拽至画布,搭建目标如下图的画布。步骤5 在图层页面,选中组件,进行组件配置和数据修改。在右侧配置页,编辑名称或背景图;在右侧数据页,配置数据源。步骤6 ...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,NAT网关,云原生数据仓库AnalyticDB My,云速搭CADT
地址标准化
地址标准化(Address Purification)是依托阿里云海量的地址语料库,及超强的NLP算法实力所沉淀出的高性能、高准确率、功能覆盖最全的标准地址算法服务。可为企业、政府机关及开发者提供地址数据清洗。地址标准化通过地址解析、补全、匹配等赋能业务的上层应用。
区划编码按《统计城乡划分代码》表示.行政区划识别.邮编识别是指对输入地址,识别出其所对应的邮政编码,默认细化到区县级别.地址标准化基础能力.对输入地址中的关键元素缺失、错误进行纠正和补全的标准化整理,支持地址异常错误判断.将地址切分23个不同地址元素,包括行政区划类、路网信息类、地点详情类、定位辅助词等...
来自: 云产品
云上高并发系统改造
云上高并发系统改造
场景描述 随着业务的发展,系统并发压力越来越大,如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景,提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景: 1.系统并发压力大,需要进行系统应用改造。 2.数据层并发压力大,需进行分库分表改造。 3.数据库数据量巨大,亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段,我们除了通过SLB做负载 均衡外,我们可以通过SLB下挂nginx的方 式,增加负载均衡侧的可扩展性 2.在数据库拆分阶段,在做好数据规划后,我 们借助DTS进行数据迁移,通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
所以,解决问题的 前提是要搞清楚我们今天面临的业务量有多大,增长走势是什么样的,而且解决高 并发的过程,一定是一个循序渐进逐步的过程。本着以上原则整个系统的进化可以参考下图(图片来自云栖社区):整个系统进化分为三个阶段:x轴,水平扩展阶段,通过负载均衡服务器不断地横向扩充应用服务器,水平 扩展最重要的...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,数据传输,云解析 PrivateZone,云原生分布式数据库PolarDB-X,云速搭CADT
混合云使用Ali-Perseus
混合云使用Ali-Perseus
场景描述 本文介绍了混合云场景中,自建 Kubernetes服务,线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具,并采用阿里云CPFS存储,运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC, 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
飞天 AI加速工具针对阿里云环境进行了深度优化,核心代码是多框架共享的,各框架的支持均包含以下功能:– 梯度融合通信的自适应多流,自适应梯度融合,对带宽密集的网络模型,性能提升显著(提升 50%至 300%)。III 混合云使用飞天AI加速工具 前言 – 高度优化的梯度协商机制,将大规模节点下梯度协商的开销降低一到两个 ...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,云企业网
Openstack迁移DDH
Openstack迁移DDH
场景描述 在线下IDC中,很多用户使用OpenStack构建云环境,本 文介绍如何将线下IDC中基于OpenStack构建的云服务器 迁移到阿里云专有宿主机(DDH)上,从而实现业务平滑 上云的同时,显著降低成本。 解决问题 1.如何将OpenStack中的云服务器迁移 DDH上。 2.如何使用DDH构建云上环境。 产品列表 专有宿主机DDH 对象存储OSS 服务器迁移中心SMC 专有网络VPC
 开通以下服务:ˉ专有宿主机DDHˉ对象存储OSSˉ专有网络VPC 文档版本:20200312(发布日期)3 Openstack迁移DDH OpenStack简介 1.OpenStack简介 OpenStack是一个由NASA(美国国家航空航天局)和Rackspace合作开发的,是以 Apache许可证授权的自由软件和开放源代码项目。OpenStack是一个开源的云计算 管理平台项目,可以...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,专有宿主机
基因计算工作流
基因计算工作流
场景描述 适合利用容器服务Kubernetes版上的工作流 引擎进行大规模基因测序的场景。阿里云工作流 引擎基于开源项目Argo实现,支持并发、循环、 重试等多种执行策略。典型的基因计算过程会把 数据分批进行计算,按照规定好的步骤依次完成 计算,这符合工作流的特点:多层次,有向无环 图。 解决问题 1.基因计算如何构建工作流 2.容器服务Kubernetes版结合 共享文件存储NAS提供数据 服务 3.构建单POD工作流 产品列表 容器服务Kubernetes版 文件存储NAS
基因计算工作流 最佳实践 架构图 场景...阿里云账号下已开通以下阿里云服务:ᅳ 容器服务 Kubernetes版 ᅳ 文件存储 NAS服务 ᅳ 资源编排(ROS)服务 ᅳ 访问控制(RAM)服务 ᅳ 日志服务(SLS)ᅳ 弹性伸缩服务(ESS)ᅳ 文件存储 NAS服务 下载本文用到的操作命令和代码:以 CentOS主机为例:#yum-y install git#git clone ...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,文件存储NAS,容器服务 ACK
微服务应用问题定位及故障演练
微服务应用问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署, 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮, 容器编排配置是否合理, 以及节点故障引 发的问题等, 方案通过 AHAS 故障注入模拟生 产环境产生的故障, 通过 ARMS 及时发现问题、 定位问题, 并结合 ARMS 的告警功能快速发现 并解决问题。  发现调用下游一个服务实例出现异常。  发现业务 Pod 故障, 验证业务的稳定性。  发现调用数据库延迟故障, 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表  应用高可用服务 AHAS  性能测试 PTS  应用实时监控服务 ARMS  容器服务 kubernetes 版  负载均衡 SLB  专有网络 VPC  日志服务 SLS
微服务应用问题定位及故障演练 最佳实践 业务架构图 场景描述 用户微服务架构应用基于阿里云 ACK部署, 过 ARMS监控发现微服务应用的容错能力是否 健壮,容器编排配置是否合理,以及节点故障引 发的问题等,方案通过 AHAS故障注入模拟生 产环境产生的故障,通过 ARMS及时发现问题、定位问题,并结合 ARMS的告警功能快速...
来自: 最佳实践 | 相关产品:容器服务 ACK,日志服务(SLS),性能测试 PTS,应用实时监控服务 ARMS ,应用高可用服务 AHAS,云速搭
智能媒体服务 IMS
智能媒体服务IMS(Intelligent Media Services),是围绕直播和点播场景下的媒体采集、媒资管理、内容生产、制作和分发能力的一站式服务集,提供广播级、全智能、灵活多样、可多云接入的专业能力,并面向多云复杂业务流场景提供成熟的低代码终端SDK集成方案。
开箱即的音视频管理运营平台,基于智能媒体服务专业音视频能力,为全行业提供多场景音视频管理、生产、分发运营服务 0代码定制视频分发页面,资质证书备案支持,无缝分享至社媒渠道,轻松服务海量用户并发观看.通用媒体管理服务.音视频终端SDK是智能媒体服务IMS提供的音视频一体化产品,覆盖直播、点播业务中的拍摄、编辑...
来自: 云产品
开发工具
阿里云提供一系列开发工具帮助你更快捷、高效地开发与运维。通过云效、API等助力创新创业和数字化转型企业快速实现研发敏捷和组织敏捷。
提供maven私有仓库、通用制品仓库等企业级私有制品仓库,用于maven、npm等软件包和依赖管理.云效AppStack是以应用为中心的云原生应用交付平台,提供对开发者友好的一站式应用交付能力.提供丰富的项目管理功能及效能数据统计,支持单项目管理、跨项目协作等丰富的协作场景.是面向云原生的 WebIDE 产品,只需一个浏览器即可...
来自: 云产品
基于Elasticsearch的订单检索加速最佳实践
基于Elasticsearch的订单检索加速最佳实践
随着企业信息化程度越来越高,核心业务数据存储在传统关系型数据库中不可避免地会遇到一个问题:单表记录不断增多,数据检索速度会变慢,尤其是对中文的模糊查询(建立普通索引完全不起作用)。虽然数据库自身在不断完善,但效果有限且没办法灵活扩展,复杂场景无法应对。 本方案基于阿里云Elasticsearch作为二级索引库,数据集成产品提供Binlog实时订阅,实时解析、增量数据实时更新及二级索引库之间进行数据实时同步,为数据库提供“能力增益”, 不仅能从根本解决主库抗压问题,提升稳定性;同时支持高效率、高性能、高弹性、低成本、多复杂场景的检索加速服务。
基础配置:说明:因为 7.0以下版本的需要指定 mapping的 type,7.0以上版本默认为_doc,这 一点在创建索引的脚本代码中有所区别,本实践的是 7.0以上的版本。配置项 说明 付费模式 按量付费 选择服务 阿里云 Elasticsearch 通用商业版 7.10 场景初始化配置 通用场景 配置完成,单击下一步:集群配置。文档版本:20210517 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,DataWorks,Elasticsearch
BizWorks
Bizworks是阿里云基于中台实践研发运营的一体化数字平台,提供客户业务中台建模设计、开发运维、构建治理的端到端能力,普遍适用于中大型企业/组织构建中台业务并期望实现对中台IT资产的持续治理场景。
BizWorks 提供的一站式云原生应用开发平台,支持微服务应用的全代码开发与轻应用的低代码开发两种模式,并提供了云原生应用架构与组件选型的最佳实践,通过整合各类阿里云产品,降低云产品的使用门槛,大幅提升应用开发与运维效率.提供一站式的微服务开发所需要的工具,开箱即,省去自行维护与升级的工作,大幅提升应用...
来自: 云产品
云效流水线
云效流水线是一款企业级、自动化的研发交付流水线, 提供灵活易用的持续集成、持续验证、持续发布功能,帮助企业高质量、高效率的交付业务。
智能编码助手通义灵.了解云效产品基本功能.缩短学习路径快速进阶.了解免费试用服务条款.云效客户案例.适用于小型企业或团队.云效功能详情.可购买升级基础资源包.适用于较大规模的企业或团队.云效功能详情.适用于资源容量不足的企业和团队.适用于60人以下研发企业或团队.云效产品培训.适用于100人以下研发企业或团队.云效...
来自: 云产品
数据湖-在线学习场景数据分析
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例,使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer,模拟应用中的关键页面,比如登 录、课程内容等,之后构造若干用户使用的模拟 日志数据,投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖(EMR+OSS)搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
新 3.33 文档版本:20200331 I数据湖-在线学习场景数据分析 前言 前言 概述 本实践以WebServer为例来模拟在线教育的应用场景,通过Nginx和Pythonflask 搭建WebServer,模拟应用中的关键页面,比如登录、课程内容等,之后构造若干 户使用的模拟日志数据,投递到数据湖进行分析后获取应用PV、UV、课程内容访问 排行等。...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,访问控制,E-MapReduce
混合云存储构建VMware虚拟化平台
混合云存储构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例,介绍如 何在混合云存储环境下部署VMware虚拟化平台, 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用,比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
解决问题 如有问题请使用钉钉扫联系文档作者:1.如何使用混合云存储部署VMware虚拟化平台。2.存储阵列在混合云环境下的使用,比如虚拟机部 署、扩容、云备份等。产品列表 1.混合云存储阵列 2.对象存储OSS 版本:20191223 阿里云 企业上云实践 混合云存储构建VMware虚拟化平台 最佳实践 文档版本:20150122(发布日期)2 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,访问控制,混合云存储阵列 Hybrid Cloud
云效应用交付平台AppStack
阿里云云效AppStack是以应用为核心的云原生应用交付平台,提供一站式应用交付能力,帮助企业建立应用持续交付整体解决方案,加速企业云原生与DevOps转型,提升团队研发效能。
提供通用问题定位解决能力:容器日志、登录、重建,辅助异常分析.提供对需求、迭代、缺陷各个维度的协同管理以及相关的统计报告,让研发团队高效协作.云效项目协作.提供代码托管、评审和扫描、质量检测等功能,保护企业代码资产,实现安全、稳定、高效的研发生产.云效代码管理.提供基于Maven、Gradle、Helm等软件包管理工具...
来自: 云产品
基于HBR云上统一备份
基于HBR云上统一备份
场景描述 混合云备份(简称HBR)是一种简单易用且高性价 比的在线备份服务,可以为阿里云ECS,NAS,OSS 以及自建机房内的各类数据提供安全,高效的保护。 本文介绍如何通过HBR对云上数据进行统一备份管 理。 解决问题 1.备份阿里云云上数据。 2.备份数据中心数据。 适用云资源 ECS文件系统 NAS文件 OSS文件 ECS上自建的MySQL、Oracle、SQLServer数据库 ESC上自建的SAPHANA数据库 产品列表 1.HBR备份服务 2.云服务器ECS 3.文件系统NAS 4.对象存储OSS 云上统一备份 云下统一备份 上云备份 备份上云
应用范围 通用行业 名词解释 专有网络 VPC:Virtual Private Cloud,简称 VPC,是基于阿里云创建的自定义 私有网络,不同的专有网络之间二层逻辑隔离。您可以在自己创建的专有网络 内创建和管理云产品实例,比如 ECS、负载均衡、RDS等。在部署云资源前,您需要结合具体业务,规划 VPC和交换机的数量及网段等。更多信息,请...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储NAS,混合云备份,云速搭
自然语言处理NLP
自然语言处理是为各类企业及开发者提供的用于文本分析及挖掘的核心工具,已经广泛应用在电商、文化娱乐、金融、物流等行业客户的多项业务中。自然语言处理API可帮助用户搭建内容搜索、内容推荐、舆情识别及分析、文本结构化、对话机器人等智能产品,也能够通过合作,定制个性化的解决方案。
更多产品与服务.基础服务版和高级服务版的详细定价说明。请查看.产品规格-预付费资源包.标准化接口封装,大大降低研发人力投入.服务可用性高达 99.9%,根据调用量动态调整,支持上亿量级的调用及业务监控.支持中文语义解析中的...获取AccessKey.5分钟接入NLP.SDK代码示例.API接口使用文档.NLP2.0常见问题.常见问题故障排查.
来自: 云产品
图计算服务GraphCompute
阿里云图计算服务GraphCompute是一站式图数据管理和分析平台,支持图数据建模、导入与修改,支持Gremlin语言进行图查询,具备数据加载快、规模可扩展、查询延时低等优势。
图模型进行全流程可视化页面搭建,无需输入代码,即可以完成图数据的建模和发布.支持丰富的索引类型kv、kkv、向量、倒排,满足各种复杂查询逻辑,更好适配业务场景.基于开源Gremlin语法,同时扩展Gremlin算子Field、Sack、向量计算等.图计算服务(GraphCompute)基于阿里巴巴自研引擎并结合自研IndexLib索引技术,提供一站...
来自: 云产品
文件存储NAS
文件存储(Network Attached Storage,简称NAS),是阿里云对外提供的兼容POSXI接口的分布式文件存储,容量和处理能力的弹性扩展,按实际容量付费真正使您专注于核心业务。
高性能网站需要将服务组成集群将代码文件、配置文件或图片等业务数据放置在NAS存储上共享访问,大部分都为几十KB级的小文件,对系统响应速度有较高要求.共享访问:多个前端服务需要持久化数据保持一致.高IOPS:网站后台存在大量小文件,在业务高峰存在大量并发.弹性扩展:存储空间可以随时扩展.场景需求与痛点.多台无状态...
来自: 云产品
智能数据建设与治理Dataphin
Dataphin遵循阿里巴巴集团多年实战沉淀的大数据建设OneData体系(OneModel、OneID、OneService),集产品、技术、方法论于一体,一站式地为您提供集数据引入、规范定义、智能建模研发、数据萃取、数据资产管理、数据服务等的全链路智能数据构建及管理服务。助您打造属于自己的标准统一、资产化、服务化和闭环自优化的智能数据体系,驱动创新。
立即开通(半托管版).<查看全部产品.Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出,一站式提供数据采、建、管、全生命周期的大数据能力,以助力企业显著提升数据治理水平,构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin提供多种计算平台支持及可拓展的开放能力,以适应各行业企业的...
来自: 云产品
< 1 2 3 4 >
共有4页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用