数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
数据湖-在线学习场景数据分析 最佳实践 场景描述 业务架构 本场景以在线教育中一个答题闯关类的应用为例，使用WebServer来模拟演示这类日志数据的分析 处理。通过Nginx和Python flask搭建Web Server，模拟应用中的关键页面，比如登录、课程 内容等，之后构造若干用户使用的模拟日志数据，投递到数据湖进行分析后获取应用PV...
云原生大数据计算服务MaxCompute
阿里云云原生大数据计算服务MaxCompute是面向分析的企业级云数仓，作为一体化大数据智能计算平台ODPS的大规模批量计算引擎，MaxCompute以 Serverless 架构提供快速、全托管的在线数据仓库服务，使您经济高效的分析处理海量数据，进行敏捷的业务洞察。
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测最佳实践.最佳实践团队.大数据近实时数据投递MaxCompute 最佳实践.最佳实践团队.基于MaxCompute的大数据BI分析最佳实践.查看更多>.通用解决方案.云上大数据仓库解决方案.云上数据集成解决方案.个性化搜索和推荐解决方案.湖仓一体解决方案.5分钟的快速大数据分析方案.海量...
来自：
云产品
通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后，对SLS查询分析语法不太熟悉的客户，可以继续沿用原有的查询分析习惯，在不改变使用方式习惯的情况下，通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
一键释放资源.42 文档版本：20240418 III基于MSE云原生网关同城多活最佳实践 最佳实践概述 最佳实践概述 方案概述 对于已经习惯使用Kibana做日志查询和可视化的用户，为了能够将数据从自建ELK 迁移到日志服务后继续沿用Kibana使用习惯，省去SLS的查询分析语法学习成本，日志服务提供了兼容Elasticsearch的接口，实现在...
向量检索与通义千问搭建专属问答服务
本方案介绍如何使用向量检索服务（DashVector）结合通义千问大模型来打造基于垂直领域专属知识等问答服务。解决大模型本身在处理特定领域的知识表示和应用时的局限性。为企业提供部署简单，便于集成，实时高效，专业稳定的应用服务。
智能旅游顾问可通过机器学习进行用户画像和旅游需求分析，提供个性化的旅游路线和景点推荐，并根据用户的反馈进行自动迭代和优化。提供更加个性化、人性化的旅游服务。方案部署01部署准备开通灵积模型服务、向量检索服务，并获得API-KEY、完成Cluster创建。准备开发环境及数据。02本地知识库向量化创建embedding.py文件，并...
来自：
解决方案
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
场景描述 云原生和大数据时代的到来,用户在拥抱云原生进行容器化改造的同时也专注于数据 分析，希望能够将云原生容器化编排改造带来的计算资源弹性、计算资源成本优化、计算与存储分离、资源调度隔离等优势与大数据分析进行结合，因此可以将大数据分 析与容器编排调度主流技术 Kubernetes相结合，同时结合阿里云提供的弹性...
基于函数计算FC实现大语言模型部署
在现代AI应用中， Qwen /chatglm2-6b 和Stable Diffusion等模型因其强大的功能而受到关注。然而，这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑，而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境，包括冷启动、弹性伸缩等，确保模型能够在大规模的请求下稳定运行。
应用场景 在文本理解与创作、智能客服、情感分析等领域，Qwen/chatglm2-6b等模型的部署至关重要。这些场景 通常需要处理大量的数据，并实时生成准确的响应。通过将 Qwen/chatglm2-6b等部署在函数计算 FC 上，提供了高效、弹性、低成本的部署解决方案。解决问题•简化模型部署流程•全链路自适应弹性，无需为流量峰谷做频繁...
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
对象存储 OSS：对象存储 OSS 是一款具有行业领先的安全、稳定、高性价比、高性能的 云存储服务，可以帮助各行业的客户在互联网应用、大数据分析、机器学习、数据归档等 各种使用场景存储任意数量的数据，以及进行任意位置的访问，同时通过丰富的数据处理 能力更便捷地使用数据。云速搭 CADT（Cloud Architect Design Tools...
云原生数据湖分析DLA
阿里云云原生数据湖分析是新一代大数据解决方案，采取计算与存储完全分离的架构，支持对象存储(OSS)、RDS(MySQL等)、NoSQL(MongoDB等)数据源的消息实时归档建仓，提供Presto和Spark引擎，满足在线交互式查询、流处理、批处理、机器学习等诉求。内置大量优化+弹性，比开源自建集群最高降低50%+的成本，最快可1分钟级拉起300个计算节点，快速满足业务资源要求。
不需要长期持有分析成本，升级期间对业务影响小，产品迭代敏捷快速.Presto引擎.Presto引擎是数据湖分析基于Presto打造的交互式分析引擎，接入MySQL协议，可使用任何兼容MySQL协议的工具来进行数据分析，适合Adhoc查询、BI分析、轻量级ETL等数据分析场景.Spark引擎.Spark引擎是基于开源Spark打造的服务化的大数据分析与计算...
来自：
云产品
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户，无法 接受T+1延迟。 3.对数据成本有一定诉求的客户，希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析：依托ADB计算密集型实例， 秒级监控DAU等数据，为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析：打通结构化和非结构化 数据，支撑产品体验分析；广告买量投放效 果实时（分钟级）分析，渠道的评估更准确。 3.低成本：DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析，在满足各种分析场景需求的同时，有效 地降低的客户的总体使用成本。 4.学习成本低：DLA和ADB兼容标准SQL语 法，无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
本最佳实践基于分析型数据库 AnalyticDB、数据湖分析 Data Lake Analytics、日志服务 SLS、对象存储 OSS、关系型数据库服务 RDS、数据传输服务 DTS、数据分析与展现 Quick BI等产品组合，构建新一代游戏数据（热、温、冷三层）运营融合分析一体化解决方案。应用范围 游戏行业有结构化和非结构化数据融合分析需求的客户。...
数据管理与服务
数据管理与服务作为阿里云产品六大版块之一，面向不同业务场景，阿里云提供数据存储、分析、应用等全链路能力，满足企业客户全方位的数据处理需求，实现计算和存储分离、资源解耦、数据移动减化，用以满足行业快速发展的需求和趋势，利用数据重塑其业务。
波克科技股份有限公司通过引入阿里云云原生实时数据仓库AnalyticDB，实现了每日百亿级游戏玩家行为数据的快速分析和处理，大幅降低数据分析成本，相比原有方案，数据处理性能提升10倍以上.云原生数据仓库 AnalyticDB MySQL版.网络安全升级支持IPV6.通过引入Hologres搭建的实时数仓，支撑了百亿级的业务数据复杂多维分析秒级...
来自：
云产品
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测实践 业务架构 场景描述 数据湖和数据仓库是当前大数据技术条件下构建分布式系 统的两种数据架构设计取向，数据湖偏向灵活性，数据仓 库侧重成本、性能、安全、治理等企业级特性。但是数据 湖和数据仓库的边界正在慢慢模糊，数据湖自身的治理能 力、数据仓库延伸到外部...
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
同时，数 据中台的快速推进，使数据应用主要为数据支撑、用户画 像、实时圈人及广告精准投放等核心业务服务。高可靠和 低延时地数据服务成为企业数字化转型的关键。Hologres致力于低成本和高性能地大规模计算型存储和 强大的查询能力，为您提供海量数据的实时数据仓库解决 方案和实时交互式查询服务。解决问题 1.加速查询...
自建数据库迁移到云数据库
本方案介绍如何将网站的自建数据库迁移至云数据库 RDS，解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构，支持跨可用区容灾，给业务带来数据安全、可用性、性能和成本方面收益。方案提供了快速体验教程，模拟了数据库迁移所需的工作，帮助您快速上手。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读背景RDS 解决的问题如何迁移到 RDS迁移前后对比优惠购买自建数据库迁移到云数据库本方案介绍如何将网站的自建数据库迁移至云数据库 RDS，解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构，支持跨可用区容灾，...
来自：
解决方案
MaxFrame
MaxFrame 是由阿里云自研的分布式计算框架，支持 Python 编程接口并可直接使用 MaxCompute 计算资源及数据接口，同时与 MaxCompute Notebook、镜像管理等功能共同构成了 MaxCompute 完整的 Python 开发生态。用户可以以更熟悉、高效的方式进行大规模数据处理、可视化数据分析及科学计算、ML/AI 开发等工作。
处理数据量大、处理逻辑复杂，需要基于 MaxCompute 海量数据及弹性计算资源及 MaxFrame 分布式能力进行大规模数据分析、处理及数据挖掘，提高开发效率.面向 Data+AI 开发，需要依赖第三方或自定义镜像完成数据开发、模型开发等整体流程.推荐搭配使用.海量数据处理、数据科学、机器学习、AI 开发.基于 MaxFrame 进行大规模...
来自：
云产品
大模型RAG对话系统部署
大模型RAG对话系统最佳实践，旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术，从而显著提升对话系统的性能，使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践，您可以掌握构建一个大模型RAG对话系统的完整开发链路。
不仅提供云上开箱即用 的 Elasticsearch、Logstash、Kibana、Beats在内的 Elastic Stack生态组件，还 与 Elastic官方合作提供免费 X-Pack（白金版高级特性）商业插件，集成了安全、SQL、机器学习、告警、监控等高级特性，被广泛应用于实时日志分析处理、信息 检索、以及数据的多维查询和统计分析等场景。云原生数据仓库 ...
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
MaxCompute已与数据集成、DataWorks、QuickBI、机器学习 PAI、ADB、推荐引擎、移动数据分析等大数据产 品打通，可快速集成使用，轻松应对各种大数据应用场景。本文以线下现有业务大数据离线数仓建设为背景，介绍如何在现有业务应用系统零 改造的前提下，从 Kafka集群切入，打通数据上云链路，解决数据复杂类型支持和 动态...
Databricks数据洞察
阿里云Databricks数据洞察是基于Apache Spark的全托管数据分析平台, 内核采用更高效、稳定的商业版Databricks Runtime和Delta Lake。可满足数据分析师、数据工程师和数据科学家在大数据场景下对数据湖分析、实时数仓、离线数仓、BI数据分析、AI机器学习等需求
Databricks数据洞察是基于Apache Spark的全托管数据分析平台,内核采用更高效稳定的商业版Databricks Runtime和Delta Lake，满足用户对数据湖分析、实时数仓、离线数仓、BI数据分析、AI机器学习等场景需求。因产品服务策略调整，本产品将于2023年10月23日停止全面支持，并将于2024年4月23日停止服务.产品下线公告.Databricks...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您