大模型RAG对话系统部署
大模型RAG对话系统最佳实践，旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术，从而显著提升对话系统的性能，使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践，您可以掌握构建一个大模型RAG对话系统的完整开发链路。
Hologres是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时 分析，支持标准 SQL（兼容 PostgreSQL协议），支持 PB级数据多维分析（OLAP）与即席分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），与 MaxCompute、Flink、DataWorks深度融合，提供离在线一体化全栈数仓解决方 案。云速搭 CADT...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
状态为计价成功时，可以单击查看报告，价格清单中的价格信息为当前的实时价格。确认价格符合预期，可以单击下一步：确认订单。应用计价成功后，CADT会实时生成一个应用架构成本分析报告，可以单击查看报告。文档版本：20240229基于SpringCloud应用玩转MSE 如果确认价格符合预期，可以单击下一步：确认订单。步骤8 确认订单...
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
本实例架构图:（注：CADT暂不支持创建实时计算 Flink集群，下一章节将通过页面创建）步骤1 登录 CADT控制台。（https://bpstudio.console.aliyun.com/）步骤2 选择新建>官方模板库新建 文档版本：20201020 5 基于 Dataworks的大数据一站式开发及数据治理 基础环境搭建 步骤3 通过搜索关键字找到“基于 Dataworks的大数据一...
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
如何选择阅读内容 本文以电商场景为例，演示如何将用户的业务数据和日志数据通过 MaxCompute的实 时数据通道汇总到 Hologres进行数据分析，再通过 QuickBI快速进行可视化展现，特 别是对如何通过 MaxCompute和 DataWorks做数据 ETL部分进行了重点介绍。1.2.如何下载源码和脚本文件 使用浏览器访问：...
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
文档版本：20211203 59 SLS多云日志采集、处理及分析 编写 Spark作业源码解读及问题排查 附录 1：编写 Spark作业源码解读及问题排查 Spark作业源码解读 说明：本节介绍 Spark作业源码编写过程、源码解读及常见问题排查。本作业使用了 github 开源的 kafka-spark-consumer...
在线教育流量洪峰
1. 通过Tair缓存的性能增强型解决高并发读的性能问题，通过持久内存型解决大并发写性能及数据可靠性问题。 2. PolarDB作为主数据库保存业务的交易数据，通过弹性能力和并发SQL解决性能瓶颈。 3. ADB+QuickBI提供的数据仓库方案通过分时弹性能力和实时业务展现能力。
场景七：分时弹性 ADB的计算资源支持分时弹性，可以通过设置弹性计划，让集群根据计划在某一段时 文档版本：20210120 34 在线教育流量洪峰最佳实践 数据仓库大流量方案 间自动对资源进行扩容，并在设置的计划还原时间时释放资源。这样能解决规律性的 资源峰谷需求，达到充分合理利用资源的目的。现在开始验证如何实现 ADB...
云数据库 RDS MySQL版
阿里云云数据库RDS MySQL是一种稳定可靠、可弹性伸缩的在线MySQL数据库服务, 提供了高可用、高可靠、高安全、易运维等一站式的数据库解决方案，帮助您免除MySQL运维的烦恼。
RDS MySQL Serverless 实例提供CPU、内存的实时弹性能力，计算资源按需计费，具有资源用量低、简单易用、弹性灵活和价格低廉等优点。在本教程，您将学习如何创建 RDS MySQL Serverless 实例并通过外网连接和查询。16分钟查看教程连接 RDS MySQL 集群并实现读写分离在读多写少的场景，大量的读请求可能会对实例造成压力，...
来自：
云产品
低成本跨境文件传输
场景描述 1.跨境对象存储数据传输需求。 2.对跨境传输成本控制严苛。 3.能接受一定程度网络抖动带来的文件同步 延迟。 4.系统需要有足够的弹性和扩展性应对大规 模文件的写入。 方案优势/解决问题 1.运维低成本：开发人员关注代码逻辑即可； 2.网络成本低：相比CEN高速通道的方式网 络成本降低； 3.同步服务部署成本低：文件发生变化触发函 数计算任务，按量触发，不用准备ECS； 4.弹性高效：一个文件同步触发一个函数工作 流任务，充分利用资源高效同步。 产品列表 专用网络VPC 云服务器ECS 弹性公网IP 函数计算 对象存储OSS 函数工作流
2.8.简单成本测算 相较于 OSS镜像回源到本区域的 ECS，ECS通过高速通道访问跨国的 OSS，实现跨 国数据的实时同步的方式，本方案具有成本低廉，扩展性强，弹性等相关优势。OSS传输加速费用 1.25GB，函数计算有 100万次调用次数的免费额度。详细费用参 考：函数计算计费方式：...
Serverless图片分类和身份证过滤
场景描述 场景一：大型图库智能管理通过深度学习算法，自动识别图像中的常见的场景，客户可以基于函数计算对接智能媒体管理的图像识别功能，轻松实现图片的自动管理和分组，完成大型图像库的智能管理。 场景二：身份证图片过滤 通过扫描存储在OSSbucket中的图片，通 过智能媒体管理进行身份证识别，找到海量图片中的身份证图片，对敏感信息进行处理。 解决问题 1.通过无服务器计算实现图片处理自动化 2.OSS触发器的使用 3.使用函数计算调用阿里云的AIP或SDK 产品列表 函数计算 智能媒体管理IMM 对象存储OSS
自动实时扩容计算资源，按需使用计费，没有闲置资源，减低使用成本。图像快速高效、精准识别，覆盖日常生活各种场景。文档版本：20200120 2 Serverless图片分类和身份证过滤 前置条件 前置条件 在执行本文操作前，请完成以下准备工作：注册阿里云账号，并完成实名认证。您可以登录阿里云控制台，并前往实名认证...
云数据库产品总览（瑶池）
阿里云提供完善的数据库解决方案，多款数据库产品，满足99%的业务场景，荣获Gartner、信通院等国内外多项认证。轻松满足高可靠、高可用性、高性能等数据库需求；运维工作量大幅减少，让企业一站式享受数据上云及分布式架构的技术红利！
基于HBase SQL服务(Phoenix)+Spark构建实时计算和数据仓库解决方案，HBase SQL提供在线查询能力、Spark提供流式处理、复杂分析等能力，满足业务需求.借助PolarDB快速的弹性能力，在业务的高峰期临时增加数据库配置和集群规模，日常业务再进行降配操作，灵活应对业务变化，与之前的方案相比整体成本大大降低.阿里云Redis支持...
来自：
云产品
云数据库MongoDB版
阿里云云数据库MongoDB版是完全兼容MongoDB协议、高度兼容DynamoDB协议的在线文档型数据库服务。支持单节点、双节点、副本集和分片集群四种部署架构，能够满足不同的业务场景需要。
在网络入口实时监测，当发现超大流量攻击时，对源IP进行清洗，清洗无效情况下可以直接将恶意IP拉进黑洞.最多支持配置1000个白名单规则，直接从访问源进行风险控制.数据生态：数据自由流转，应用更灵活.云上云下数据互通，大数据Spark系统对接应用.数据传输服务(Data Transmission Service，简称DTS).数据库传输平台，支持...
来自：
云产品
Serverless 应用引擎SAE
Serverless 应用引擎 SAE（Serverless App Engine）是一款零代码改造、极简易用、自适应弹性的应用全托管平台。SAE 让您免运维 IaaS和 K8s，秒级完成从源代码/代码包/ Docker 镜像部署任何语言的在线应用（如 Web /微服务 /Job任务）到 SAE，并自动伸缩实例按使用量计费，开箱即用日志、监控、负载均衡等配套能力。
一键启停开发测试环境.SAE独具一键启停开发测试环境能力，即开即用，避免闲时保有应用实例导致的资源浪费，往往能节省2/3左右的计算成本.提供系统级别监控，如 CPU、Mem等，以及应用级别&链路级别的监控，如 QPS、RT、接口调用量、慢 SQL、错误数、调用链分析等，快速定位和诊断问题.远程调试&端云联调.提供远程调试的能力...
来自：
云产品
游戏业务分区合服
概述 为了提高游戏玩家的体验,并提高留存率,增强付费率.除了游戏本身的内容趣味性外, 改善用户访问加速体验,并对游戏数据分区合服是很常见的业务运营场景. 本方案适用于: 1游戏业务运营,对多个分区数据库进行合并,增加付费用户积极性的需求. 2游戏业务加速,中心化部署的网络加速需求. 方案优势 1便捷数据迁移. 2内网安全传输 3加速远端用户访问质量体验 4快速应对上层业务运营的技术实现操作. 产品列表 网络产品:VPCSLBNAT网关CEN共享带宽包EIP全球加速GA 计算产品:ECS 数据库产品:RDSDTS 存储产品:OSS 云解析
DTS 提供了数据迁移、实时数据 Data 订阅及数据实时同步等多种数据传输能力，可实现 DTS Transmission 不停服数据迁移、数据异地灾备、异地多活(单元 Service 化)、跨境数据同步、实时数据仓库、查询报表分 流、缓存更新、异步消息通知等多种业务应用场景，助您构建高安全、可扩展、高可用的数据架构。阿里云关系型数据库...
EMR本地盘实例大规模数据集测试
场景描述 阿里云为了满足大数据场景下的存储需求，在云 上推出了本地盘D1机型，这个系列提供了本地 盘而非云盘作为存储，提高了磁盘的吞吐能力， 发挥Hadoop的就近计算优势。阿里云EMR 产品针对本地盘机型，推出了一整套的自动化运 维方案，帮助用户方便可靠地使用本地盘机型， 不需要关注整个运维过程同时数据的高可靠和 服务的高可用。 解决问题 1.云盘多份冗余数据导致成本高 2.磁盘吞吐量不高 3.节点的高可靠分布问题 4.本地盘与节点的故障监控问题 5.数据迁移时自动决策问题 6.自动故障节点迁移与数据平衡问题 产品列表 EMR(E-MapReduce) 本地盘 VPC
EMR本地盘实例大规模数据集测试 最佳实践 方案架构 场景描述 阿里云为了满足大数据场景下的存储需求，在 云上推出了本地盘 D1机型，这个系列提供了 本地盘而非云盘作为存储，提高了磁盘的吞吐 能力，发挥 Hadoop的就近计算优势。阿里 云 EMR产品针对本地盘机型，推出了一整套 的自动化运维方案，帮助用户方便可靠地使用 ...
电商网站数据埋点及分析
场景描述 数据埋点是数据产品经理、数据运营以及数据分 析师，基于业务需求（例如：CPC点击付费广 告中统计每一个广告位的点击次数），产品需求 （例如：推荐系统中推荐商品的曝光次数以及点 击的人数）对用户行为的每一个事件对应的位置 进行开发埋点，并通过SDK上报埋点的数据结 果，记录数据汇总后进行分析，推动产品优化或 指导运营。 解决问题 1.电商网站广告位效果统计分析 2.电网网站推荐商品曝光、点击、购买等行为统 计分析 3.电商网站用户分布分析 4.电商网站页面热点图分析等 产品列表 日志服务SLS Dataworks 云服务器ECS 云数据库RDS版 负载均衡SLB 专有网络VPC
调整应用部署，新版 SLS 控制台 V1.3 2022-01-27 洁谦 增加使用 CADT 部署资 源；更新部分控制台截图。文档版本：20220127 I 电商网站数据埋点及分析 前言 前言 概述 本文以电商网站为例，使用日志服务采集日志，RDS作为后端数据存储服务并使用日 志服务对数据进行分析。数据埋点是数据产品经理、数据运营以及数据分析师，...
互联网电商行业离线大数据分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示，如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示，效果震撼，触控大屏支持用户自助查询数据，极大地增强数据的可读性。
配置项 说明 数据源类型 MaxCompute（ODPS）数据源名称 选择对应的MC系统源 数据源环境 生产 加速方式 MCQA 返回结果分页 打开“返回结果分页”公共服务资源组：未开启分页时，最多返回2000条记录；开启分 页时，每页最多返回2000条记录 独享服务资源组：未开启分页时，最多返回10000条记录；开启分 页时，每页最多返回...
机场视频监控
场景描述 该最佳实践适用于国内机场的视频监控行业，将线下视频文件通过混合云阵列缓存后，通过专线上传到阿里云OSS上。 也适用于其他混合云场景中，利用阵列缓存文件，并通过网络传输到阿里云OSS上的场景。 解决问题 1.通过混合云阵列+专线将线下文件传到阿 里云OSS上 2.通过阿里云OSS跨区域复制功能实现异 地文件备份 3.通过OSS的自动生命周期管理功能实现 文件生命周期管理 产品列表 OSS对象存储 混合云阵列 高速通道（专线）
文件过期策略：选择过期天数，设置对象文件保留天数，以该文件最后修 改时间的天数为起始计算，超过设定天数时即执行规则进行删除或转换为 其他存储类型（低频访问类型或归档类型）。如设置时间为 30 天，最后 修改日期为 2016-1-1 的对象会在2016年 1 月 31 号被后端程序扫描 删除或转换为其他存储类型。 不勾选转换...
Flink+Hologres搭建实时数仓
本方案将Hologres与Flink深度集成，提供一体化的实时数仓联合解决方案，实现了数仓分层之间实时数据的高效流动，解决实时数仓分层问题。本方案能够支撑实时推荐、实时风控等多种实时数仓应用场景，满足企业的实时分析需求，具有中间层数据可查、支持数仓分层复用和架构简单等优势。
具体价格与您选择的资源规格、数据量、运行时长等有关，请以控制台显示的实际报价以及最终账单为准）实时计算 Flink版 实时数仓 Hologres 云数据库 RDS MySQL 版 专有网络VPC 应用场景 技术方案的广泛应用场景 实时报表查询 持各个业务方快速查询交易数据、行为数据、用户画像标签等报表。实时推荐 基于实时用户行为数据，...
来自：
技术解决方案
- 产品推荐
- 这些文档可能帮助您