大模型服务平台百炼
阿里云百炼是企业级大模型开发平台，助力企业轻松打造最优落地效果的AI应用，深度聚焦于人工智能与机器学习的前沿技术，它不仅提供了丰富的多模态模型调用服务，还简化了在线模型训练与部署流程，让开发者能够轻松驾驭大模型，加速创新应用的开发，推动AI技术在各行业的广泛应用。
数据安全数据隔离：开发和生产数据隔离，开发和生产环境相关中间件、计算及存储资源隔离，开发过程无客户数据。客户业务数据按业务空间隔离。数据存储及加密：针对客户的OSS数据进行静态加密保存。同时支持打通客户KMS加密。数据权限管理：企业账户级数据权限管理，严谨的数据披露审批流程管理。安全存储环境：知识库，向量...
来自：
云产品
通义大模型
通义大模型是阿里云打造的高性能、低成本的AI基础设施，依托其深厚的训练数据与优化技术，支持全模态高效精准的模型服务调用和AI应用快速搭建，还能实现模型的高效训练。它以卓越的文本生成和理解能力，服务于广泛的领域，为用户提供性价比极高的智能解决方案，重新定义了AI应用的开发与部署标准。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云AI 助理备案控制台通义大模型体系模型优势落地场景选型与定价应用范式安全合规客户案例开始体验立即咨询双重惊喜：直降85%，还送新人千万限免礼通义大模型，企业拥抱 AI 时代首选阿里云自主研发的通义...，凭借万亿级超大规模数据训练和领先的算法框架...
来自：
云产品
开源大数据平台 E-MapReduce 相关资源
阿里云大数据平台 E-MapReduce 提供详细的产品文档，面向开发者提供全方位的服务，有免费的实验课程和解决方案体验馆，帮助您快速上手。在阿里云 E-MapReduce 开发者社区，您可以和更多开发者交流。
EMR Serverless Spark：结合实时计算 Flink 基于 Paimon 实现流批一体本文演示了使用实时计算 Flink 版和 Serverless Spark 产品快速构建 Paimon 数据湖分析的流程，包括数据入湖 OSS、交互式查询，以及离线Compact。Serverless Spark完全兼容Paimon，通过内置的DLF的元数据实现了和其余云产品如实时计算Flink版的元数据...
来自：
云产品
日志服务 SLS 产品概述
阿里云日志服务SLS为 Log/Metric/Trace 等可观测数据提供一站式提供数据采集、加工、分析、告警可视化与投递、存储功能，兼容开源ELK，满足运维监控与分析,业务分析,安全审计等场景需求。
查看更多极致性能近实时日志写入与流式存储，提供高性能日志查询与时序查询分析引擎，支持超大规模、超复杂查询，每秒查询千亿行日志/分析数十亿行日志，百万时间线秒级计算。查看更多高性价比无需从零搭复杂的开源框架，免去人工运维成本；100%Serverless化服务，无需规划资源用量；提供多种按量计费模式，灵活应对业务...
来自：
云产品
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
产品列表 最佳实践频道 阿里云最佳实践分享群 专有网络 VPC 弹性公网 IP EIP 云服务器 ECS 消息队列 Kafka版 云数据库 ClickHouse 实时计算 Flink版 如二维码过期，Quick BI数据可视化分析平台 请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 基于 Flink+ClickHouse 构建实时游戏...
开源大数据平台 E-MapReduce 产品功能
阿里云开源大数据平台 E-MapReduce 为客户提供简单易集成的Hadoop、Hive、Spark、StarRocks、Flink、Presto、ClickHouse等开源大数据计算和存储引擎。EMR计算资源支持灵活的弹性控制。EMR支持on ECS、on ACK以及Serverless多种部署形态。
便捷部署开源大数据框架，无需关心底层的硬件与软件部署。资源扩展通过控制台页面或OpenAPI即可方便地增加或减少已有集群的节点数目。您可以使用 EMR 托管扩展策略轻松设置扩展和缩减，使 EMR 集群自动管理计算资源，以满足您的使用需求和性能需求。这样可提高集群利用率并节约成本。服务配置可以快速添加EMR提供的服务，...
来自：
云产品
实时计算Flink版
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，具备实时应用的作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。内核引擎100%兼容Apache Flink，2倍性能提升，拥有FlinkCDC、动态CEP等企业级增值功能，内置丰富上下游连接器，助力企业构建高效、稳定和强大的实时数据应用。
阿里云实时计算 Flink 版解决方案白皮书.Flink 流批一体场景应用及落地情况.Flink CDC：基于 Apache Flink 的流式数据集成框架.Flink入门训练营.基于Flink+Hologres搭建实时数仓.5小时玩转阿里云实时计算Flink实时湖仓.使用Flink实时发现最热Github项目.活动与推广标准组件ID：65101-最新资讯.标题-产品优势-copy.营销2.0...
来自：
云产品
MRACC加速倚天ECS实例Flink集群性能
希望了解Flink集群on倚天的部署架构。 通过神龙大数据加速引擎 Mracc 提升Flink集群性能。 希望实测了解倚天ECS实例运行Flink集群的性能 架构设计：利用阿里云官方架构设计模版，在此基础上二次定制（调整规格、资源数量、配置调整）。 快速完成PoC和生产环境的设计和部署
数据框架，能显著提升数据湖及数据仓库性能。配合资源管理工具 FastMR 快 速构建大数据计算集群，全面提升研发效率。文档版本：20230801 4 倚天ECS实例加速Flink运行 最佳实践概述 VPC：Virtual Private Cloud，简称 VPC。基于阿里云创建的自定义私有网络,不同的专有网络之间二层逻辑隔离，可以在自己创建的专有网络内创建...
数据集成 Data Integration
阿里云数据集成 Data Integration是跨异构数据、低成本、弹性扩展的数据采集同步平台，为DataX的商业版，支持ETL，支持50+数据源跨网络离线(全量/增量)同步。
实时计算Flink版.随着金融行业发展，传统的离线数仓已经越来越难以满足业务的实时诉求，通过DataWorks构建实时数据仓库，推动行业大数据业务化运营转型.实时客户分析及精准推荐.实时营销活动分析及监控.构建客群标签画像，直观描述群体特征.减少重复营销成本，提高ROI.实时计算Flink版.数据总线DataHub.为了快速数智化转型...
来自：
云产品
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
通过Nginx和Pythonflask搭建WebServer，模拟应用中的关 键页面，比如登录、课程内容等，之后构造若干用户使用的模拟日志数据，投递到数 据湖进行分析后获取应用PV、UV、课程内容访问排行、平均得分等等。方案优势 支持超过10亿条元数据规模的数据管理，同时支持高可靠和高可用。 支持元数据实时备份和重建集群快速恢复...
数据管理与服务
数据管理与服务作为阿里云产品六大版块之一，面向不同业务场景，阿里云提供数据存储、分析、应用等全链路能力，满足企业客户全方位的数据处理需求，实现计算和存储分离、资源解耦、数据移动减化，用以满足行业快速发展的需求和趋势，利用数据重塑其业务。
实时计算 Flink 版.检索分析服务 Elasticsearch 版.开源大数据平台 E-MapReduce.智能用户增长 Quick Audience.图计算服务 Graph Compute.数据湖构建 Data Lake Formation.数据可视化 DataV.数据可视化分析平台 Quick BI.数据总线 DataHub.数据集成 Data Integration.智能数据建设与治理 Dataphin.Databricks 数据洞察....
来自：
云产品
EMR本地盘实例大规模数据集测试
场景描述 阿里云为了满足大数据场景下的存储需求，在云 上推出了本地盘D1机型，这个系列提供了本地 盘而非云盘作为存储，提高了磁盘的吞吐能力， 发挥Hadoop的就近计算优势。阿里云EMR 产品针对本地盘机型，推出了一整套的自动化运 维方案，帮助用户方便可靠地使用本地盘机型， 不需要关注整个运维过程同时数据的高可靠和 服务的高可用。 解决问题 1.云盘多份冗余数据导致成本高 2.磁盘吞吐量不高 3.节点的高可靠分布问题 4.本地盘与节点的故障监控问题 5.数据迁移时自动决策问题 6.自动故障节点迁移与数据平衡问题 产品列表 EMR(E-MapReduce) 本地盘 VPC
Master节点 通常可以生成 1TB的数据进行基准性能测试，首先进入 hive-testbench目录下执行如 下脚本并加载测试数据 参数说明：数据集规模参数单位为 GB,1000表示生成的数据量为 1TB/tpcdata/tpcds 为表数据生成的目录，目录不存在就自动生成，如果不指定目录,数 据目录就默认生成到/tmp/tpcds目录下 cd hive-testbench#如果...
基于弹性供应组构建大数据分析集群
场景描述 基于弹性供应组（APG）搭建spark计算集 群，提供一键开启跨售卖方式、跨可用区、 跨实例规格的计算集群交付模式的实践。 方案优势 1.超低成本：跨售卖方式提供计算实 例，按秒计费，可全部使用spot实例 交付，最高可省90%成本。 2.稳定可靠：跨可用域、跨实例规格， 降低spot被集体释放的风险；自动托 管，分钟级巡检，动态保证集群的算 力。 3.快速交付：单次可在5分钟内交付 2000个实例。 4.多策略组合：可分别指定spot和按量 实例的交付策略，以及差额补足的策 略，包括成本最低、打散和折中。 解决问题 1.大规模计算集群成本高。 2.创建ECS实例方式单一，无法跨计费 方式、可用区及规格等核心参数。 3.当可用区资源紧张，无法自动保证基于 spot类型的稳定算力。 产品列表 专有网络VPC 云服务器ECS
Spark基于内存计算，提高了在大数据环境下数据处 理的实时性，同时保证了高容错性和高可伸缩性。本文采用 spark standalone集群模式演示基于弹性供应组构建大数据分析集群，spark standalone集群如下图所示：鉴于大数据集群对 IO高性能的要求，采用阿里云云服务器 ECS本地盘实例：D系列 和 I系列来作为 spark集群节点。1.2....
实时数仓Hologres
Hologres（原交互式分析）是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与自助分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），与MaxCompute、Flink、DataWorks深度融合，提供离在线一体化全栈数仓解决方案。
大数据团队通过阿里云大数据服务MaxCompute来对餐厅或零售店的进、销、存等数据进行H+1/T+1统计，并利用交互式分析Hologres满足对百亿级离线数据进行高并发、秒级的分析处理，提供近80多种不同类型的报表，包括：营业、订单、菜品、会员等报表，为店铺发展提供多维度分析透视和业务探索.58快狗大数据实时计算负责人 陶王飞...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您