云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案，本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系，稳定性高，数据倾斜自动均衡。 2. 完善的数据同步链路，可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse，降低研发成本。 3. 平滑升级版本，业务中断小。 冷热分层后透明读取，帮客户节约整体数据存储成本。
热存可存储数据物理大小=云 ClickHouse集群磁盘 空间*(1-数 据 移 动 因 子)，关 于 数 据 移 动 因 子描述 参 考：https://help.aliyun.com/document_detail/202879.html 通过该步骤创建一个宽表并写入大量数据，突破“热存可存储数据物理大小”，触发部 文档版本：20210416 42 云 ClickHouse冷热数据分层存储最佳实践 ...
互联网电商行业离线大数据分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示，如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示，效果震撼，触控大屏支持用户自助查询数据，极大地增强数据的可读性。
DataV：数据可视化DataV是阿里云数据可视化应用搭建平台，旨让更多的人看到数据可视化的魅力，帮助非专业的工程师通过图形化的界面轻松搭建专业水准的可视化应用，满足您会议展览、业务监控、风险预警、地理信息分析等多种业务的展示需求。 云速搭CADT（CloudArchitectDesignTools）是一款为上云应用提供自助式云架构...
电商网站数据埋点及分析
场景描述 数据埋点是数据产品经理、数据运营以及数据分 析师，基于业务需求（例如：CPC点击付费广 告中统计每一个广告位的点击次数），产品需求 （例如：推荐系统中推荐商品的曝光次数以及点 击的人数）对用户行为的每一个事件对应的位置 进行开发埋点，并通过SDK上报埋点的数据结 果，记录数据汇总后进行分析，推动产品优化或 指导运营。 解决问题 1.电商网站广告位效果统计分析 2.电网网站推荐商品曝光、点击、购买等行为统 计分析 3.电商网站用户分布分析 4.电商网站页面热点图分析等 产品列表 日志服务SLS Dataworks 云服务器ECS 云数据库RDS版 负载均衡SLB 专有网络VPC
名词解释 日志服务 SLS：行业领先的日志大数据解决方案，一站式提供数据收集、清洗、分析、可视化和告警功能。全面提升海量日志处理能力，实时挖掘数据价值，智能 助力研发/运维/运营/安全等场景。更多信息，请参见日志服务简介 https://www.aliyun.com/product/sls 专有网络 VPC：Virtual Private Cloud，简称 VPC，是基于...
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
一站式提供数据采集、加工、分析、告警可视 化与投递功能，全面提升研发、运维、运营和安全等场景数字化能力。更多信息，请参见：www.aliyun.com/product/sls Tracing Analysis： 链路追踪 Tracing Analysis为分布式应用的开发者提供了完整 的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具，可以帮助开 发者...
数据安全中心
敏感数据保护（Sensitive Data Discovery and Protection），在满足等保v2.0“安全审计”、等保v3.0及“个人信息保护”的合规要求的基础上，为客户提供敏感数据识别、分级分类、数据安全审计、数据脱敏、智能异常检测等数据安全能力，形成一体化的数据安全解决方案。
细粒度行为审计追溯的能力，可审计用户终端信息、使用工具、数据信息、返回结果等详细信息，全场景还原用户行为轨迹，有效追踪溯源数据的访问行为.细粒度数据审计.支持通过灵活多样的内置或自定义脱敏算法，实现生产类敏感数据脱敏到开发测试等非生产环境使用的场景，并确保脱敏后的数据保真可用.通过智能化检测模型分析...
来自：
云产品
云原生数据仓库AnalyticDB MySQL数据仓库
阿里云云原生数据仓库AnalyticDB MySQL版（简称AnalyticDB）是融合数据库、大数据技术于一体的云原生企业级数据仓库平台。云原生数据仓库AnalyticDB MySQL版支持数据实时写入和同步更新、实时计算和实时服务，可用于构建企业级报表系统、数据仓库和数据服务引擎。
不论在数据湖中的非结构化/半结构化数据，还是在数据库中的结构化数据，都可使用AnalyticDB MySQL同时完成高吞吐离线处理和高性能在线分析，真正做到数据湖的规模，数据库的体验。帮助企业构建数据分析平台，实现降本增效.PolarDB MySQL免费同步.云原生数据仓库AnalyticDB MySQL版.支持按小时设置计算资源弹性扩容规则，...
来自：
云产品
跨链数据可信连接服务
跨链数据连接服务 ODATS 是利用蚂蚁区块链领先技术实现的跨链数据连接服务。通过制定标准化的区块链UDAG全栈跨链协议，保证跨链交易的安全性、可扩展性及可靠性，打破区块链数据孤岛，实现同构及异构链之间的可信互通，助力企业之间可信协作，促进产业生态可信融合。
区块链在供应链场景中也有大量落地，供应商的票据上链存证，为供应商积累信用，如何将供应商的链上票据信息，可信传递到金融机构的区块链上，为供应商融资增信成为当前的诉求。ODATS服务将供应商的链上票据信息进行可信传递，不仅为银行提供了更真实有效的风控依据，同时通过联盟内核心企业为小微企业的背书，也解决了以前...
来自：
云产品
企业构建统一CMDB数据源
典型场景 l 企业/ISV构建多云CMDB平台，对接数十款产品的API，拉取、清洗、格式化、存储配置数据是复杂且高成本的工作。 l 企业日常的资源管理，需依赖资源配置历史、资源关系数据进行故障溯源和影响评估。 解决方案 l 企业管理账号设置Config配置数据投递，将所有账号的资源配置快照和历史归集到统一地址留存。 l 使用OSS做长期归档，使用SLS做实时分析和监听。获取全量资源数据并及时感知云上资源的变更。 l 将数据集成到自有CMDB平台 客户价值 l 基于配置审计简单便捷的持续收集云上资源配置数据，在自建CMDB过程中节省大量人力和时间成本。 l 跨账号统一收集数据，实现中心化的资源配置管理。 l 实现资源配置数据的持续收集和监听，及时感知云上资源的增删改，洞察异常变更。
获取ECS网络信息 本章节，我们以ECS资源的网络配置数据为例，使用 python脚本模拟将资源配置数 据导入企业自有系统。用到了配置审计的 API，在使用前需要导入阿里云 SDK 核心库:aliyun-python-sdk-core：在多账号情况下，列出主账号下指定账号 组的所有资源数据：在多账号情况下，查询指定资源的详细数据 注意：上述两个...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
使用下面命令可以查询转储文件中的 Location信 息：grep-i 'hdfs' hive_databases.sql 步骤3 订正转储文件中的 Location信息。OSS路径：oss:/databricks-data-source/user/hivemeta/warehouse 使用以下命令对转储文件中的 Location信息进行订正：1.首先备份一下原始转储文件 cp hive_databases.sql hive_databases_back.sql...
跨链数据连接服务解决方案
利用蚂蚁区块链领先技术实现的跨链数据连接服务 Open Data Access Trusted Service(ODATS)。通过制定标准化的区块链UDAG全栈跨链协议，保证跨链交易的安全性、可扩展性及可靠性，打破区块链数据孤岛，实现同构及异构链之间的可信互通，助力企业之间可信协作，促进产业生态可信融合。
利用蚂蚁区块链领先技术实现的跨链数据连接服务，通过制定标准化的区块链UDAG全栈跨链协议，保证跨链交易的安全性、可扩展性及可靠性，打破区块链数据孤岛，实现同构及异构链之间的可信互通，助力企业之间可信协作，促进产业生态可信融合.跨链数据连接服务解决方案.超过30个专利的自研跨链技术，通过区块链跨链协议栈，提供...
来自：
解决方案
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
Spark on Kubernetes解决方案的用户 对 Spark大数据分析平台计算资源成本控制考虑的用户 需要有灵活可扩展计算平台资源弹性及管控的用户 名词解释 文件存储 HDFS：阿里云文件存储 HDFS是面向阿里云 ECS实例及容器服务等计 算资源的文件存储服务，允许用户像在 Hadoop分布式文件系统中管理和访问数 据，无需对数据分析应用做...
云数据库 SelectDB 版
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务，内核基于业界领先的开源分析型数据库 Apache Doris 研发，由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求，广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景，致力于为客户提供极致性能、简单易用的数据分析服务。
监控告警监控信息：提供多维度、可视化、实时的基础资源监控和查询性能监控信息。用户可以随时查看多达 18 项监控指标的历史数据曲线，用以辅助排查定位问题或优化配置。告警方式：用户可以设置阈值告警规则，随时随地接收告警电话、短信或邮件，及时掌握数仓运行的异常状态，快速响应处理解决，避免或减少负面影响。常见...
来自：
云产品
RDS MySQL迁移至PolarDB MySQL版
RDS MySQL的数据可在线实时同步到PolarDB MySQL版，并且升级切换后的PolarDB集群包含源RDS实例的账号信息、数据库、IP白名单和必要的参数。
一键部署手动部署方案权益优惠购买免费试用解决方案推荐RDS+ClickHouse构建一站式HTAP通过融合MySQL和ClickHouse的数据同步能力，用户可以在一个可视化窗口中简单灵活地配置和管理实时数据同步，这为业务报表统计、交互式运营分析和实时数仓构建提供了便利。在这个窗口中，用户可以轻松选择需要同步的表和字段，设置同步...
来自：
解决方案
在线教育流量洪峰
1. 通过Tair缓存的性能增强型解决高并发读的性能问题，通过持久内存型解决大并发写性能及数据可靠性问题。 2. PolarDB作为主数据库保存业务的交易数据，通过弹性能力和并发SQL解决性能瓶颈。 3. ADB+QuickBI提供的数据仓库方案通过分时弹性能力和实时业务展现能力。
1.查课/选课业务数据内容大多是静态信息，数据量不大但峰值期间访问频繁，数据 可靠性要求不高，需重点解决高并发访问问题，此处部署 Tair性能增强型，以支 持 Redis协议的高性能缓存承载大并发业务。2.下单/约课业务并发低于查课，但峰值时段依旧面临极高流量洪峰，此部分数据涉 及到信息认证，订单确认，库存扣减等，需...
阿里云数据库快速搭建疫情分析系统最佳实践
疫情态势分析和防控任务迫在眉睫，如果快速搭建高效的疫情态势分析系统是众多部门和单位的难题，阿里云polardb for PG+Ganos解决方案可在极短时间内完成分析系统搭建，有效助力疫情防。 方案优势： 1、性能优越：Ganos作为自研的时空数据库引擎，相比postgis性能更优秀。 2、安全稳定：故障自动切换自愈，资源隔离，多副本存储。 3、简单易用：开箱即用，兼容postgresql，打通quickbi快速搭建数据分析展示。 4、功能强大：相比postgis在时空模型上做了较多扩充，支持几何模型，栅格模型，网络模型，时空轨迹模型，点云模型，拓扑网络模型。
通过 ogr2ogr工具导入地理信息数据#文档版本：20210725 13 阿里云数据库快速搭建疫情分析系统最佳实践 环境配置 ogr2ogr-nln hk_tpu-nlt MultiPolygon-geomfield geom-f PostgreSQL PG:"dbname='ganos' host='xxxx.rwlb.polardb-pg-public.rds.aliyuncs.com' port='1921' user='xxx' password='xxx'" "hk_tpu_84.shp" 步骤5...
终端访问控制系统UEM
阿里云终端访问控制系统UEM是以网络安全准入、终端安全管理、应用管理为基础的远程办公零信任解决方案产品，帮助用户构建安全、高效、易用的远程办公能力，支持基于多因素动态安全分析及准入，支持全终端类型全生命周期的管理能力
支持对设备硬件信息、系统信息以及软件列表信息抓取，并支持对软件数据进行可视化报表统计.终端安全基线检查.支持对不符和安全基线要求的终端禁止入网或告警，如安装了黑名单应用的设备禁止入网.终端入网管理.对指定的人或者设备，进行冻结、锁定以及挂失等操作，以实现禁止非法设备入网.支持管理Windows、macOS、Android和...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您