基于MaxCompute的大数据BI分析
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例,将业务数据和日志数据使用 MaxCompute做ETL之后,同步到ADB进行实时 分析,之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
MaxCompute(原 ODPS):是一项大数据计算服务,它能提供快速、完全托管的 PB级数据仓库解决方案,使您可以经济并高效的分析处理海量数据。更多信息请 参见(https://www.aliyun.com/product/odps)。数据管理 DMS:数据管理 DMS源自阿里数据库服务平台,是一个免安装、免运 维、即开即用、多环境来源、多种数据库类型统一...
来自: 最佳实践 相关产品:日志服务(SLS),大数据计算服务 MaxCompute,云原生数据仓库AnalyticDB My,Quick BI,云速搭CADT
大模型RAG对话系统部署
大模型RAG对话系统部署
大模型RAG对话系统最佳实践,旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术,从而显著提升对话系统的性能,使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践,您可以掌握构建一个大模型RAG对话系统的完整开发链路。
云原生数据仓库 AnalyticDB PostgreSQL版(原 HybridDB for PostgreSQL)提供 简单、快速、经济高效的 PB级云端数据仓库解决方案。兼容 Greenplum开源 仓库,MPP全并行架构,广泛兼容 PostgreSQL/Oracle的语法生态,新一代向 量引擎性能超越传统数据库引擎 10倍以上,分布式 SQL优化器实现复杂查询语 句免调优。实现了...
来自: 最佳实践 | 相关产品:Elasticsearch,机器学习PAI-EAS,机器学习平台,云速搭
阿里云最佳实践离线大数据workshop
阿里云最佳实践离线大数据workshop
本最佳实践,首先搭建一个简化的电商 demo 系统,然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统,学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建,学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
详见:https://www.aliyun.com/product/datahub  Maxcompute:大数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托 管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入 以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有 效 降 低 企 业 成 本,并 保 障 安 全。...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务(SLS),大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
通过ES兼容接口方式使用Kibana访问SLS数据
通过ES兼容接口方式使用Kibana访问SLS<em>数据</em>
自建ELK日志系统的客户迁移到阿里云日志服务SLS后,对SLS查询分析语法不太熟悉的客户,可以继续沿用原有的查询分析习惯,在不改变使用方式习惯的情况下,通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
步骤2 搜索关键字,找到“通过ES兼容接口方式使用Kibana访问SLS数据”,单击基于 新建。文档版本:20240418 2通过ES兼容接口方式使用Kibana访问SLS数据最佳实践 部署基础环境 步骤3 双击ack_wordpress,相关参数按照下图配置,设置worker节点的登录密码 文档版本:20240418 3通过ES兼容接口方式使用Kibana访问SLS数据...
来自: 最佳实践 | 相关产品:云服务器ECS,容器服务 ACK,日志服务(SLS)
企业标准版数据分析解决方案
企业标准版数据分析解决方案通过实时数仓+离线数仓的组合方案,实现多源数据采集、集成、计算和展现,满足客户不同维度、不同查询时效性的要求,解决企业客户普遍会遇到的数据分析瓶颈,帮助业务决策,提升销售转化。
支持流式数据实时写入并在数据仓库中开展分析,满足秒级并发查询需求.支持流式采集和近实时分析.面向分析的企业级 SaaS 模式云数据仓库,预铺设的大规模集群资源支持弹性扩展.全托管的在线数据仓库服务.实时计算 Flink 版.企业标准版数据分析解决方案.离线大数据分析最佳实践>.互联网电商行业离线大数据分析.实时大数据分析...
来自: 解决方案
数据传输解决方案
数据传输解决方案支持关系型数据库、NoSQL、大数据(OLAP)等数据源间的数据传输。 它是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。数据传输致力于在公共云、混合云场景下,解决远距离、毫秒级异步数据传输难题。
数据传输解决方案.根据您提交的需求,将有售前专家免费服务!根据您提交的需求,将有售前专家免费服务!售前专家免费服务.DTS实例的创建.创建数据传输DTS迁移、同步、订阅实例.创建数据迁移任务.选择不同的数据源和数据目标进行结构、全量和增量迁移.创建数据同步作业.支持MySQL、PolarDB-X、ADS、Redis、Elasticsearch等....
来自: 解决方案
数据安全解决方案
数据是企业的核心资产,如何保护企业的云上数据,是每个企业管理者都应当重视的课题。在云平台提供更为安全便捷的数据保护能力的同时,阿里云根据自身多年的经验积累,结合大量云上客户的最佳实践,提供了一套完整的数据安全解决方案,帮助企业提升云上数据风险防御能力,实现企业核心及敏感数据安全可控。
数据不再单纯存储在数据库中,各类数据仓库、中台和非结构化文件、缓存都在企业中扮演着重要角色。分散数据的统一治理和权责定义,对企业提出了要求.数据资产盘点、权责明确与分类分级标准.数据安全风险评估是企业信息系统建设的根基,从多个维度进行安全评估可以达到“事半功倍”的效果。在分析的过程中结合数据生命周期各...
来自: 解决方案
工业数据中台解决方案
以企业IT&OT数据为基础,结合数据汇聚&治理能力,实现数据资产化、数据服务化,打造统一标准、稳定可靠的数据资产,发挥数据价值,完成端到端的数据敏捷交付、部署、应用。
工业自身的MES、ERP等系统以及设备传感数据融合,破除数据孤岛,建立统一的数据仓库,将数据库存转化为数据资产.在盘活数据资产之后,针对不同的业务场景,利用数据+智能算法,识别业务机理,提升业务效率.根据业务机理,沉淀优生产经验,以生产目标为导向,调节生产过程参数,反向控制生产流程,终达到预设的生产指标.明确...
来自: 解决方案
AnalyticDB和通义千问快速构建RAG应用
利用AnalyticDB PostgreSQL与DashScope灵积模型服务提供的通义千问模型构建Retrieval-Augmented Generation (RAG) 应用,通过检索相关信息并结合上下文生成准确的自然语言回答,增强语言模型处理和理解复杂查询的深度。
相关产品云服务器 ECS云原生数据仓库 AnalyticDB PostgreSQL 版模型服务灵积 DashScope在线咨询方案优势检索外部知识从外部数据源(例如企业知识)中检索强相关的信息,避免了仅依赖预训练知识的局限性。回答准确度高基于知识检索结果,结合上下文和用户意图的理解,生成准确的答案。由于整合了外部数据源的知识,因此...
来自: 解决方案
MSE云原生网关解析body内容进行路由转发
MSE云原生网关解析body内容进行路由转发
MSE云原生网关中通过自定义插件transformer解析body内容,并用以路由转发规则判断
MSE云原生网关致力于提供给云上用户体系化的流量接入解决方案,其中自定义插件是为了满足用户个性化网关扩展的需求。本最佳实践方案就是介绍如 何在 MSE网关中通过自定义插件(transformer)来实现读取并解析 body内容,并用 作为路由转发规则的配置。方案示意图如下所示:文档版本:20240426 4 MSE云原生网关解析 body内容...
来自: 最佳实践 | 相关产品:负载均衡 SLB,Serverless 应用引擎,微服务引擎,云速搭
基于函数计算FC实现物联网音视频处理
基于函数计算FC实现物联网音视频处理
在物联网场景中,智能设备会产生大量的非结构化数据,并且采集量和频率都很高。比如各类摄像头(家用摄像头、车载摄像头、工业监控摄像头等)采集的数据。企业需要对这些非结构化数据做快速的分析和处理,然后应用到下游业务中,所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
应用场景 在物联网场景中,智能设备会产生大量的非结构化 ,并且采集量和频率都很高。比如各类摄像头(家 用摄像头、车载摄像头、工业监控摄像头等)采集的 数据。企业需要对这些非结构化数据做快速的分析和 处理,然后应用到下游业务中,所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场 景。解决...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
基于函数计算FC镜像部署Stable Diffusion大模型
基于函数计算FC镜像部署Stable Diffusion大模型
在现代AI应用中, Stable Diffusion等模型因其强大的功能而受到关注。然而,这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑,而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境,包括冷启动、弹性伸缩等,确保模型能够在大规模的请求下稳定运行。
基于函数计算 FC的无服务器计算模式为这类模型的 部署提供了全新的解决方案。用户只需关注模型的 部署和调用逻辑,而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算 FC能够自动处 理函数的执行环境,包括冷启动、弹性伸缩等,确 保模型能够在大规模的请求下稳定运行。应用场景 在图像生成、创意设计等领域,...
来自: 最佳实践 | 相关产品:函数计算
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景,Kafka是数据的流转中心,Kafka中的数据一般是原始数据,可能存在多种数据混杂的情况,需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC,可以快速高效的搭建数据处理链路,用户只需要关注数据处理的逻辑,数据的触发,弹性伸缩,运维监控等阿里云函数计算都已经做了集成,函数计算FC也支持多种下游,OSS/数据库/消息队列/ES等都可以自定义的对接
利用函数计算 FC,可以快速高效的搭建数据处理链路,用户只需要关注数据处理的逻辑,数据的触发,弹性 伸缩,运维监控等阿里云函数计算都已经做了集成,函数计算 FC也支持多种下游,OSS/数据 /消息队列/ES等都可以自定义的对接。方案优势 快速搭建起数据处理全链路 全链路自适应弹性,无需为流量峰谷做频繁的手工处理 ...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算,消息队列 Kafka 版
基于函数计算实现直播流录制-存储-通知
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务,大部分场合都需要对直播相关的业务做安全审核,或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
实现了一种完全按需拉起、按量弹性、按实际 使用付费的录制方案。基于本方案还可以扩展实 现直播流截帧、自动化安全审核等能力。产品列表 解决问题 专有网络 VPC•百豪秒弹性能力,应对直播场景的流量波动。阿里云函数计算(FC)•完全按量付费,有效节省使用成本。阿里云对象存储(OSS)•灵活的自定义扩展能力,视频...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
高效构建企业门户网站
使用云效将项目代码部署到云服务器ECS,快速完成一个企业门户网站的开发和部署。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读为什么要搭建门户网站网站搭建流程方案介绍方案部署方案权益高效构建企业门户网站本方案为您介绍如何使用云效将项目代码部署到云服务器ECS,快速完成一个企业门户网站的开发和部署。体验本方案预计费用为15元(假设您配置的ECS与...
来自: 解决方案
云原生数据仓库AnalyticDB PostgreSQL版
阿里云MPP架构的云原生数据仓库,可提供PB级海量数据在线/离线分析服务,是面向各行各业的有竞争力的数仓方案,真正做到“人人可用的数据分析服务”。
阿里云百炼 x AnalyticDB PostgreSQL 版向量引擎推出一站式企业专属大模型开发和应用平台,像搭...数据传输服务.DMS提供免安装、免运维、即开即用、多种数据库类型与多种环境统一的web数据库管理终端,可以为企业用户快速复制搭建与阿里集团同等安全、高效、规范的数据库DevOps研发流程解决方案.数据管理 DMS.查看全部日志.
来自: 云产品
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景,企业的Kafka实例可能存在多种情况,比如使用阿里云Kafka服务,可能是自建开源Kafka,或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例,在这个前提下Kafka实例之间可能会需要消息同步的情况: 同帐号容灾场景:比如Kafka实例都是阿里云Kafka,但是Kafka实例会有主备之分,需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾:这类场景比如主Kafka是阿里云Kafka,备Kafka是IDC开源自建Kafka,或者是其他云上的Kafka。 不同业务之间消息同步:因为现在的业务通常不会是信息孤岛,都需要消息互通,所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例,并且这两个Kafka实例归属不同的RAM角色,有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题(重试机制,容错机制,死信队列等)。 大幅提升构建消息同步架构的效率,降低构建复杂度问题。
文档版本:20240330 4基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步 部署基础环境 步骤3 登录云速搭CADT管理控制台(https://bpstudio.console.aliyun.com/),单击新建>官 方解决方案>模版。搜索关键字,找到“企业级权限精准控制Kafka跨实例消息同步”,单击基于方案新建。步骤4 双击画布中带有跳过字样的CDT...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,函数计算,消息队列 Kafka 版
金融智能数仓解决方案
金融智能数仓解决方案是阿里云自研高性能、海量可扩展数据仓库服务、兼容部分 Oracle/Teradata 语法生态,大量应用于阿里巴巴集团内部电商,物流,文娱,广告等业务部门,服务于阿里云的金融、政企、互联网等各行业用户,支持快速构建新一代云化数据仓库服务。
替代传统数据仓库解决建设成本高、扩容难、运维复杂、兼容生态封闭等问题.构建数据集成、数据建模、数据开发、数据服务一站式数据仓库.使用 MPP 分布式架构可以支撑 PB 级数据分析.支持 HTAP 满足混合负载业务需求.可以解决的问题.专有云企业版.专有云敏捷版.金融智能数仓解决方案.库存共享\\u00A0.使用通用服务器和网络...
来自: 解决方案
MySQL数据库上云选型解决方案
MySQL数据库上云选型解决方案,MySQL数据库成为近十年来数据库使用范围最广,数据库生态最好的开源数据库,本方案以MySQL数据库上云的各种场景为切入点,包括数据库的扩展性、数据库水平拆分、数据库垂直拆分、高弹性数据库、数据库大促支持、MySQL数据库海量数据分析等向上云的企业客户介绍如何选择适合企业的MySQL生态数据库。
基于分析型数据库MySQL版构建的OLAP数据库解决方案,给企业提供PB级实时数据仓库能力,可以毫秒级针对万亿级数据进行即时的多维分析透视和业务探索.MySQL数据库亿级以上数据复杂查询.云Redis.通过DRDS分布式数据库解决方案的垂直拆分能力,客户可以获得RDS MySQL的分布式查询能力以及垂直拆分的管理能力。支持多个RDS ...
来自: 解决方案
容器多云统一监控日志
容器多云统一监控日志
多云、混合云成为常态,Forrester 报告中指出,未来 89% 的企业至少使用两个云,74% 的企业至少使用三个甚至更多公有云,在面对多云/混合云这样大的趋势下,Gartner报告指出,安全、运维复杂性、财务复杂性是多云架构的主要挑战,本方案给出了在多云/混合云场景下,构建基于容器环境下的统一管理、统一监控和统一日志方案,解决多云、混合云场景下,运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商(AWS、Azure、GCP、TencentCloud、HuaweiCloud等)或者IDC基于容器(Kubernetes)运行业务系统,希望构建容器场景下的统一监控日志系统,方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统,在一个平台可以看到不同环境系统的运行情况。
步骤1 登录云速搭CADT管理控制台(https://bpstudio.console.aliyun.com/),单击新建>官方解决方案>模版。步骤2 搜索关键字,找到“容器多云统一监控日志”,单击基于方案新建 步骤3 保存应用(需要替换)文档版本:20240322 5容器多云统一监控日志 部署基础环境 步骤4 CADT画布中双击ECS实例 ecs_k8s_cluster(采用ECS自...
来自: 最佳实践 | 相关产品:专有网络 VPC,容器服务 ACK,日志服务(SLS),应用实时监控服务 ARMS ,微服务引擎
< 1 2 3 4 ... 18 >
共有18页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用