互联网电商行业离线大数据分析
互联网电商行业离线大<em>数据</em>分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示,如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示,效果震撼,触控大屏支持用户自助查询数据,极大地增强数据的可读性。
大规模存储:超大规模存储自动扩容,最大可支持EB级别的数据。 高性能:同时性能更稳定。 低成本:比自建成本更低。 安全:原生的多租户系统,以项目进行隔离,所有计算任务在安全沙箱中运行。 图形编辑界面,拖拽就可以完成专业级大数据可视。产品介绍  专有网络(VirtualPrivateCloud,简称VPC):帮助您...
来自: 最佳实践 相关产品:云服务器ECS,云数据库RDS MySQL 版,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,API网关,云速搭CADT
数据传输服务DTS
阿里云数据传输服务集数据迁移、订阅及实时同步功能于一体,能够解决公共云、混合云场景下,远距离、毫秒级异步数据传输难题,支持关系型数据库、NoSQL、大数据(OLAP)等数据源,其底层基础设施采用阿里双11异地多活架构,为数千下游应用提供实时数据流,已在线上稳定运行7年之久。
可以将源端数据库数据实时同步到数据仓库,构建实时分析数仓,也可以根据调度策略的配置,定期地将源库中的结构和存量数据迁移至目标库中,构建更加灵活的数据仓库(例如构建T+1的周期性数仓).实时同步功能支持将并发粒度缩小到事务级别,能够并发同步同张表的更新数据,提升同步性能;支持多并发压缩传输,降低传输链路对...
来自: 云产品
Function Compute构建高弹性大数据采集系统
Function Compute构建高弹性大<em>数据</em>采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中,对数据进行处理、分析,形成业务闭环。比如游戏行业中的游戏发行、游戏运营,产互行业中的数字营销,物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点,给整个数据采集传输系统带来很大的挑战。在这个场景中,有三个关键的环节,数据采集、数据传输、数据处理。该最佳实践主要涉
Function Compute构建高弹性大数据采集系统 最佳实践 业务架构 场景描述 当前互联网很多场景都存在需要将大量的数据 信息采集起来然后传输到后端的各类系统服务 中,对数据进行处理、分析,形成业务闭环。比 如游戏行业中的游戏发行、游戏运营,产互行业 中的数字营销,物联网、车联网行业中的硬件、车辆信息上报等等。这些...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,日志服务(SLS),函数计算,消息队列 Kafka 版,云速搭CADT
Spark on ECI大数据分析
Spark on ECI大<em>数据</em>分析
场景描述 方案优势 1.计算引擎弹性扩缩容,兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构,结合阿里云原生云 存储产品,海量数据湖优势。 3.Kubernetes原生的调度性能优势,提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足,计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离,大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
应用范围 需要使用 Spark on Kubernetes解决方案的用户 对 Spark大数据分析平台计算资源成本控制考虑的用户 需要有灵活可扩展计算平台资源弹性及管控的用户 名词解释 文件存储 HDFS:阿里云文件存储 HDFS是面向阿里云 ECS实例及容器服务等计 算资源的文件存储服务,允许用户像在 Hadoop分布式文件系统中管理和访问 ,...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,容器服务 ACK,弹性容器实例 ECI,文件存储HDFS
企业构建统一CMDB数据
企业构建统一CMDB<em>数据</em>源
典型场景 l 企业/ISV构建多云CMDB平台,对接数十款产品的API,拉取、清洗、格式化、存储配置数据是复杂且高成本的工作。 l 企业日常的资源管理,需依赖资源配置历史、资源关系数据进行故障溯源和影响评估。 解决方案 l 企业管理账号设置Config配置数据投递,将所有账号的资源配置快照和历史归集到统一地址留存。 l 使用OSS做长期归档,使用SLS做实时分析和监听。获取全量资源数据并及时感知云上资源的变更。 l 将数据集成到自有CMDB平台 客户价值 l 基于配置审计简单便捷的持续收集云上资源配置数据,在自建CMDB过程中节省大量人力和时间成本。 l 跨账号统一收集数据,实现中心化的资源配置管理。 l 实现资源配置数据的持续收集和监听,及时感知云上资源的增删改,洞察异常变更。
获取ECS网络信息 本章节,我们以ECS资源的网络配置数据为例,使用 python脚本模拟将资源配置 导入企业自有系统。用到了配置审计的 API,在使用前需要导入阿里云 SDK 核心库:aliyun-python-sdk-core:在多账号情况下,列出主账号下指定账号 组的所有资源数据:在多账号情况下,查询指定资源的详细数据 注意:上述两个...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务(SLS),配置审计
基于弹性计算的AI推理
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前,模型已经训练完成。例如,刷脸 支付中,我们在刷脸的时候,就是推理的一个过 程。再比如图像分类,目标检测,语音识别,语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
ᅳ.meta文件是 MetaGraphDef序列化的二进制文件,保存了网络结构相关的数 ,包括 graph_def和 saver_def等。ᅳ.index文件为数据文件提供索引,存储的核心内容是以 tensor name为键以 BundleEntry为值的表格 entries,BundleEntry主要内容是权值的类型、形状、偏移、校验和等信息。ᅳ.data文件保存所有变量的值,即网络...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
远程办公-AD管控下的弹性云桌面
远程办公-AD管控下的弹性云桌面
在弹性云桌面中部署企业基础办公环境时,IT人员通常会面临以下问题,本文希望通过场景实践的方式,示范如何结合使用不同阿里云产品,来解决这些问题:用户如何管理?企业已有AD用户如何上云?云上共享文件服务权限怎么管?数据安全问题有保障吗?该如何设置?云桌面能使用本地机房或IDC中的服务吗? 本文使用的应用场景: 场景1:客户A在云上新建Windows ActiveDirectory(以下简称AD);弹性云桌面,和NAS文件存储服务部署在AD所在的VPC内。场景2:客户B在阿里云上已有AD和NAS。弹性云桌面创建在与AD不同的VPC中。AD与云桌面的VPC通过CEN连接。场景3:客户C在云下IDC有自建AD和文件服务。弹性云桌面创建在阿里云上。云下机房与阿里云弹性云桌面所在VPC通过IPsec VPN连接。 方案优势: 易部署:弹性云桌面支持快速便捷的桌面环境创建、部署、统一管控与运维。 CEN和VPN网关服务开通即用,配置实时生效,快速完成部署。 低成本:弹性云桌面无需前期传统硬件投资,帮您快速构建安全、高性能、低成本的桌面办公体系。可广泛应用于具有高数据安全管控、高性能计算等要求的金融、设计、视频、教育等领域。VPN网关基于Internet建立加密通道,比建立专线更便宜,快速实现混合云。 安全性:VPN网关使用IKE(秘钥交换协议)和IPSec对传输数据或进行加密,保证数据安全可靠。云桌面自带的安全策略保证数据不落地。 集中管控:通过Windows AD对云桌面用户和共享文件服务进行统一权限管控。可实现AD用户自动同步上云,和文件级别的权限管控。
文档版本:20201210 100 远程办公-AD管控下的弹性云桌面最佳实践 附录 3:管理策略-数据不落地 附录 3:管理策略 – 数据不落地 云桌面的数据不落地特性(数据只进不出)由“策略”实现。策略是一组安全规则的集合,可以控制终端用户使用云桌面的相关权限,提高数据安 全性。本文介绍策略包含的安全规则配置项,并给出效果...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,文件存储NAS,NAT网关,云企业网,VPN网关,云桌面,云速搭CADT
基于Elasticsearch的订单检索加速最佳实践
基于Elasticsearch的订单检索加速最佳实践
随着企业信息化程度越来越高,核心业务数据存储在传统关系型数据库中不可避免地会遇到一个问题:单表记录不断增多,数据检索速度会变慢,尤其是对中文的模糊查询(建立普通索引完全不起作用)。虽然数据库自身在不断完善,但效果有限且没办法灵活扩展,复杂场景无法应对。 本方案基于阿里云Elasticsearch作为二级索引库,数据集成产品提供Binlog实时订阅,实时解析、增量数据实时更新及二级索引库之间进行数据实时同步,为数据库提供“能力增益”, 不仅能从根本解决主库抗压问题,提升稳定性;同时支持高效率、高性能、高弹性、低成本、多复杂场景的检索加速服务。
基于 Elasticsearch的订单检索加速最佳实践 业务架构 场景描述 随着企业信息程度越来越高,核心业 务数据存储在传统关系型数据库中不可避 免地会遇到一个问题:单表记录不断增多,数据检索速度会变慢,尤其是对中文的模糊 查询(建立普通索引完全不起作用)。虽然 数据库自身在不断完善,但效果有限且没办 法灵活扩展,...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,DataWorks,Elasticsearch
基于Flink的资讯场景实时数仓
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景,Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
文档版本:20220223(发布日期)5 基于 Flink的资讯场景实时数仓 实时数仓介绍 在数据架构设计上,可以依据数仓的基本方法论来构建 ODS/DWD/DWS层,从而 减少数据冗余,降低 OLAP系统的数据存储成本,并且使数据结构具有更好的可 扩展性。4.数据分析:经过数据加工处理好的数据,一部分可以直接被业务方使用,如 APP 当日...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,NAT网关,云原生数据仓库AnalyticDB My,云速搭CADT
阿里云盘企业版
阿里云盘企业版(Cloud Drive Enterprise Edition, 简称 CDE)是基于阿里云存储高可用及高安全能力提供的一项企业级云存储服务
阿里云盘企业版(Cloud Drive for Enterprises,简称CDE,原网盘与相册服务企业版)是基于阿里云存储高可用及高安全能力提供的一项企业级云存储服务,帮助企业轻松实现数据的存储、共享、管理和备份,解决办公文件的搜索、共享、审计等管理难题,助力企业实现数据存储到商业价值变现的一站式文件管理和存储解决方案....
来自: 云产品
基于链路追踪+ECI的流量洪峰应对
基于链路追踪+ECI的流量洪峰应对
云原生技术已经为越来越多的互联网客户接受,对于在线教育、互动娱乐、电商等类型的客户会由于业务的原因存在突增业务流量,因此对于系统的稳定性非常关注,结合阿里云的容器服务、链路追踪、弹性容器ECI等产品,帮助客户业务实现容器化改造,并且方便发现系统应用架构中的瓶颈等问题,实现系统高弹性的同时优化客户的云资源使用成本。 l 方案优势 ᅳ 支持分布式追踪、调用链分析、DB调用分析、链路拓扑分析、业务指标统计等系统链路调用分析。 ᅳ 运维研发效率提高,链路追踪服务端全托管,免运维。 ᅳ 链路追踪的应用调用链分析能力结合ECI高弹性能力,提升应用系统在洪峰流量冲击下的稳定性。 ᅳ 链路追踪接入方便,ECI POD弹性伸缩,节省用户运维成本和云资源使用成本。 ᅳ 结合SLS Ingress可以基于应用前端访问性能指标做弹性伸缩,更丰富的云原生弹性能力。
文档版本:20201222 9 基于链路追踪+ECI的应用高可用弹性实践 应用部署 环境变量 SQL_ENVIRONMENT配置 mysql的访问地址,按照 1.3章节创建的数 库服务访问地址进行配置,如下图所示:环境变量 TRACE_ENDPOINT配置链路跟踪接入点地址,获取方式如下:a.登录链路跟踪控制台(https://tracing.console.aliyun.com/)b.获取到...
来自: 最佳实践 | 相关产品:容器服务 ACK,日志服务(SLS),性能测试 PTS,容器镜像服务 ACR,弹性容器实例 ECI
E-MapReduce Serverless StarRocks 版
E-MapReduce Serverless StarRocks版简称EMR StarRocks,是阿里云提供的全托管服务,内核100%兼容StarRocks,性能比传统OLAP引擎提升3-10倍,助力企业高效构建湖仓分析、高并发查询及实时分析等大数据应用。
第一,如何统一湖仓的元数据和建表语句,让用户获得一个统一的数据目录和表结构;第二,如何完善湖仓的实时能力,来解决不同场景的实时性需求;第三,如何让湖仓架构能够有超过数仓的性能。EMR Serverless StarRocks 非常好的解决了湖仓架构遇到的难题.屏蔽了解底层数据源细节,异构数据源数据联合分析,实时和离先联合分析...
来自: 云产品
云数据库 RDS MySQL 版
阿里云云数据库RDS MySQL是一种稳定可靠、可弹性伸缩的在线MySQL数据库服务, 提供了高可用、高可靠、高安全、易运维等一站式的数据库解决方案,帮助您免除MySQL运维的烦恼。
查看更多了解 RDS MySQL 定价策略,持续管控和优化成本安全合规云数据库 RDS MySQL 基于飞天分布式系统和全 SSD 盘高性能存储,在网络通信、数据存储、访问控制、安全审计、实例容灾等多个维度提供全方位多样化的安全加固功能,一站式保障用户数据的可靠性和安全性。网络安全攻击防护:RDS 提供多种攻击防护的手段,包括防 ...
来自: 云产品
向量检索服务
向量检索服务基于阿里云自研的向量引擎 Proxima 内核,提供具备水平拓展、全托管、云原生的高效向量检索服务。向量检索服务将强大的向量管理、查询等能力,通过简洁易用的 SDK/API 接口透出,方便在大模型知识库搭建、多模态AI搜索等多种应用场景上集成。
支持自定义数据结构,灵活查询.支持通过 SDK 和 API 方式调用.向量检索服务.图像/视频/多模态搜索.图像/视频/多模态搜索.模型服务灵积.将向量检索服务与大语言模型(LLM)相结合,构建专属领域的知识问答系统。我们将客户提问的文本和知识库的内容,都先转化为高质量向量,再通过向量检索将匹配过程转化为语义搜索,更加...
来自: 云产品
跨账号资源全局视图及搜索
当客户在阿里云上使用了多个云账号时,跨账号的资源查看和管理将会变得复杂。资源中心为您提供跨账号、跨产品、跨地域的资源统一视图及资源搜索能力。
相关产品资源管理云服务器 ECS对象存储 OSS在线咨询方案优势方便快速定位资源基于资源ID或资源名称等过滤条件,一键搜索定位资源。无需频繁登入登出不同账号,无需在不同产品控制台的不同地域下切换搜索,极大提升资源定位的效率。全局资源视图支持在一个控制面板内查看和检索跨账号、跨产品、跨地域的资源。方便客户进行...
来自: 解决方案
离线实时一体数仓
将OLAP分析、即席分析、在线服务等多个系统统一, 能够极大简化数仓架构,并实现一份数据、多种查询分析与服务,为企业大数据平台降本提效。
日志等半结构化数据分析随着移动端应用的普及,应用埋点、用户标签计算等场景开始诞生,为了更好地支撑这类场景,越来越多的大数据系统开始使用半结构化JSON格式来存储此类数据,以获得更加灵活的开发和处理。该方案中做到了在保持JSON易用性和灵活性的同时,兼顾了OLAP查询性能,也降低存储成本。方案部署01部署准备开通...
来自: 解决方案
云数据库HBase
阿里云云数据库 HBase 版(ApsaraDB for HBase)是基于 Hadoop 且100%兼容HBase协议的高性能、可弹性伸缩、面向列的分布式数据库,轻松支持PB级大数据存储,满足千万级QPS高吞吐随机读写场景。
帮助用户整合分析用户交易、企业数据和爬虫抓取信息,构建反欺诈、用户画像库,提供大数据风控SaaS服务.HBase采用稀疏存储模式,支撑PB级结构化/非结构化存储,提供全量详单查询.Phoneix+二级索引支持实时OLTP查询,提供OLAP查询.海量数据HTAP处理.与传统数仓的B+树相比,HBase 支持LSM存储模式,专门应对高并发写入场景.云...
来自: 云产品
云原生多模数据库Lindorm
云原生多模数据库Lindorm提供各规模、多模型的云原生数据库服务。可兼容HBase/Cassandra、OpenTSDB、Solr、SQL、HDFS等多种开源标准接口。支持海量数据的低成本存储处理和弹性按需付费,是互联网、IoT、车联网、广告、社交等场景首选数据库,也是为阿里核心业务提供支撑的数据库之一。
面向海量非结构化数据,具备弹性低成本、HDFS协议兼容的文件存储能力,与多模引擎共享存储,同时支持外部系统直接访问多模引擎的底层文件,适用于大数据分析、数据湖等场景,可使用开源HDFS客户端直接访问.深度集成阿里云时空数据库引擎Ganos,具备高效的时空多维索引和空间/时空查询能力,可结合流引擎与计算引擎实现复杂...
来自: 云产品
云基础产品与基础设施
云基础产品与基础设施作为阿里云产品六大版块之一,主要包含弹性计算、存储、网络、安全、云原生应用平台以及无影和基础设施类产品,向客户提供高度自动化的标准化产品对网络功能、计算机(虚拟或专用硬件)和数据存储空间进行访问,同时支持灵活扩展,可以直接使用自助服务界面。
十分钟掌握阿里自研零运维分布式结构化数据存储 Tablestore,轻松构建百亿量级数据存储架构.一站式结构化数据存储Tablestore实战手册.docker原理及在运维工作的地位和作用,运维工作进化论,docker、微服务、k8s的联系,devops和docker的关系,docker的前世今生。容器,镜像和仓库,容器和虚拟化,优势和劣势,底层核心;...
来自: 云产品
< 1 2 3 4 ... 13 >
共有13页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用