云Clickhouse冷热数据分层存储
云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案,本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系,稳定性高,数据倾斜自动均衡。 2. 完善的数据同步链路,可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse,降低研发成本。 3. 平滑升级版本,业务中断小。 冷热分层后透明读取,帮客户节约整体数据存储成本。
造出 7亿左右的宽数据后,有部分数据通过 TTL设置存储在冷存空间中,查看有哪些 数据在冷存空间。从 2021-01-01到 2021-02-08的数据存储在冷存,共 32天的数据。由于数据量较大,造数据预计耗时 1-2小时。文档版本:20210416 46 云 ClickHouse冷热数据分层存储最佳实践 使用云 ClickHouse进行数据冷热分层存储和查询 步骤4 ...
来自: 最佳实践 相关产品:云数据库RDS MySQL 版,数据传输,日志服务(SLS),云数据库 ClickHouse
OA云资源申请流程自动化
OA云资源申请流程自动化
在企业级客户场景中,对云资源的使用通常需要经过内部OA流程审批通过后再进行部署。本最佳实践致力于提供一个通用解决方案,以解决OA云资源申请流程中的自动化问题,提高运维效率,以更好地支撑业务创新。
文档版本:20240130 24 OA云资源申请流程自动化 CADT自动化集成配置 步骤5 在流程引擎中新建表单。文档版本:20240130 25 OA云资源申请流程自动化 CADT自动化集成配置 添加表字段。其中,云产品模板选择步骤 3创建的数据展现集成。对字段进行分组。文档版本:20240130 26 OA云资源申请流程自动化 CADT自动化集成配置 步骤6 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,云速搭
向量检索服务
向量检索服务基于阿里云自研的向量引擎 Proxima 内核,提供具备水平拓展、全托管、云原生的高效向量检索服务。向量检索服务将强大的向量管理、查询等能力,通过简洁易用的 SDK/API 接口透出,方便在大模型知识库搭建、多模态AI搜索等多种应用场景上集成。
产品功能子项.产品功能子项描述.产品功能描述.极简 SDK 功能设计.通过简洁易用的 SDK/API 接口透出,方便...图像搜索以深度学习和机器视觉为核心,提取图片内容特征、建立图像搜索引擎。用户通过输入图片,用以图搜图的方式可快速在图片库中检索到与输入图片相似的图片集合。可广泛应用于拍照购物、商品推荐、版权保护等场景.
来自: 云产品
MRACC加速倚天ECS实例Flink集群性能
MRACC加速倚天ECS实例Flink集群性能
希望了解Flink集群on倚天的部署架构。 通过神龙大数据加速引擎 Mracc 提升Flink集群性能。 希望实测了解倚天ECS实例运行Flink集群的性能 架构设计:利用阿里云官方架构设计模版,在此基础上二次定制(调整规格、资源数量、配置调整)。 快速完成PoC和生产环境的设计和部署
步骤6 CADT应用部署完成后,请稍等 3分钟左右再执行后续章节,ECS初始化操作 预计耗时 3分钟左右。文档版本:20230801 16 倚天ECS实例加速Flink运行 CADT部署压测环境 步骤7 返回当前应用页面,双击 flink10图标,单击远程登录。文档版本:20230801 17 MRACC加速倚天 ECS实例 Spark集群性能 部署基础环境 输入模板中配置...
来自: 最佳实践 | 相关产品:云服务器ECS,云速搭
微服务引擎的线上流量治理
微服务<em>引擎</em>的线上流量治理
随着业务不断创新,微服务架构及数字化转型不断落地,在这个过程中,大量企业采用了开源的组件构建了微服务,比如有开源微服务全家桶之称的Spring Cloud体系或Apache Dubbo等,微服务的好处之一,在于快速迭代,如何在迭代过程中保障线上流量不受损? 开源产品无运维工具,常常需要投入较大的运维人力和成本。 本实践将重点介绍如何快速集成主流开源微服务框架,实现业务零改造,解决开源框架在生产落地过程中的痛点,例如无损上下线、标签路由等,并通过托管微服务开源组件(API网关、注册中心、配置中心等)的服务,提供白屏化监控告警、容灾、宕机重启、扩缩容等能力,帮助企业释放业务无关的运维成本,聚焦业务本身的运维和发展。 方案优势 快速集成:通过JavaAgent技术实现Sping Cloud和Dubbo框架可以实现业务零改造接入。 免运维:托管微服务依赖开源中间件的服务,提供白屏化监控告警、容灾、宕机重启、扩缩容等能力,帮助我们客户释放业务无关的运维成本,聚焦自身业务本身的运维和发展。 开源增强:提供开源框架在生产落地过程中的痛点,例如应用无损上下线/金丝雀发布/南北+东西流量打通等,帮助客户的业务提高自身SLA和降低自研成本。
微服务引擎的线上流量治理 最佳实践 业务架构 背景描述 随着业务不断创新,微服务架构及数字化转型不 断落地,在这个过程中,大量企业采用了开源的 组件构建了微服务,比如开源微服务全家桶之 称的 Spring Cloud体系或 Apache Dubbo等,微服务的好处之一,在于快速迭代,如何在迭代 过程中保障线上流量不受损?...
来自: 最佳实践 | 相关产品:容器服务 ACK,微服务引擎,云速搭CADT
数字证书管理服务(原SSL证书)
阿里云为您提供证书服务,在云上签发DigiCert、GlobalSign、GeoTrust、CFCA、WoSign证书,实现网站HTTPS化,使网站可信,防劫持、防篡改、防监听。并对云上证书进行统一生命周期管理,简化证书部署,一键分发到云上产品。
提升搜索引擎排名.数据传输期间,建立起安全信息传输加密通道,保证信息传输的机密性。保护账户安全,有效防止信息篡改,避免信息泄露.信息防篡改/防泄露.提升搜索引擎排名.Web应用防火墙.推荐搭配使用.网站/APP/小程序HTTPS加密.网站/APP/小程序HTTPS加密.<产品聚合页.选购SSL证书.选购客户端证书.数字证书管理服务集云上...
来自: 云产品
智能媒资服务
智能媒资服务是阿里云提供的媒体内容资产管理和处理服务,提供标签、审核、检索、视频封面、智能处理等核心功能,提高海量内容的利用分发管理效率。
视频内容检索用于音视频间相似片段搜索,通过深度模型理解视频,提取视频内容特征,建立视频搜索引擎。支持以图像搜索视频、以视频搜索包含相似片段的视频和音频搜索相似片段的音频,有效避免视频格式转换、编辑、剪辑拼接、压缩旋转等变换对视频搜索的影响。可广泛用于版权鉴定、广告跟踪、视频检索、短查长推荐、极速审核...
来自: 云产品
基于Elasticsearch的订单检索加速最佳实践
基于Elasticsearch的订单检索加速最佳实践
随着企业信息化程度越来越高,核心业务数据存储在传统关系型数据库中不可避免地会遇到一个问题:单表记录不断增多,数据检索速度会变慢,尤其是对中文的模糊查询(建立普通索引完全不起作用)。虽然数据库自身在不断完善,但效果有限且没办法灵活扩展,复杂场景无法应对。 本方案基于阿里云Elasticsearch作为二级索引库,数据集成产品提供Binlog实时订阅,实时解析、增量数据实时更新及二级索引库之间进行数据实时同步,为数据库提供“能力增益”, 不仅能从根本解决主库抗压问题,提升稳定性;同时支持高效率、高性能、高弹性、低成本、多复杂场景的检索加速服务。
性能优越:PB级数据准实时搜索引擎,查询结果毫秒级返回。功能强大:支持多种数据结构的复杂查询及字段级的全文匹配、模糊匹配、同时集 成了阿里达摩院 NLP分词器等多种分词插件,性能效果双保障。文档版本:20210517 1 基于 Elasticsearch的订单检索加速最佳实践 最佳实践概述 高弹性低成本:集群一键平滑弹性扩缩容,灵活...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,DataWorks,Elasticsearch
云速搭部署云数据库专属集群Mybase
云速搭部署云数据库专属集群Mybase
通过云速搭设计一个Mybase专属集群部署架构包含AliSQL及Tair
资源分类 资源名称 资源值 Region 北京-VPC VPC-Mybase 192.168.0.0/16 AZ-H VSW-ALISQL 192.168.1.0/24 AZ-H VSW-TAIR 192.168.2.0/24 云数据库专属集群-1 Mybase-Alisql 私有部署集群-Alisql引擎 云数据库专属集群-2 Mybase-Tair 私有部署集群-Tair引擎 文档版本:20220207 5 云速搭部署云数据库专属集群Mybase CADT设计...
来自: 最佳实践 | 相关产品:专有网络 VPC,云数据库专属集群MyBase,云速搭CADT
Function Compute构建高弹性大数据采集系统
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中,对数据进行处理、分析,形成业务闭环。比如游戏行业中的游戏发行、游戏运营,产互行业中的数字营销,物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点,给整个数据采集传输系统带来很大的挑战。在这个场景中,有三个关键的环节,数据采集、数据传输、数据处理。该最佳实践主要涉
基于阿里云分布式文件系统和 SSD盘高性能 存储,RDS支持 MySQL、SQL Server、PostgreSQL、PPAS(Postgre Plus Advanced Server,高度兼容 Oracle数据库)和 MariaDB TX引擎,并且提供了 容灾、备份、恢复、监控、迁移等方面的全套解决方案,彻底解决数据库运维的烦 恼。更多信息,请参见:www.aliyun.com/product/rds 函数...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,日志服务(SLS),函数计算,消息队列 Kafka 版,云速搭CADT
云上持续审计合规最佳实践
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计,提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云,涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求,如等保2.0法规要求。 同时当云上资源达到一定规模时,在内部会制定合规管控的基线,满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志,还需依赖云平台提供的持续监控和自动告警能力,实现合规性的自主监管。
基于阿里云分布式文件系统和 SSD盘高性能存储,RDS支 持 MySQL、SQL Server、PostgreSQL、PPAS和 MariaDB引擎,提供了容灾、备份、恢复、监控、迁移等方面全套解决方案,彻底解决数据库运维烦恼。详见:https://www.aliyun.com/product/rds/mysql 文档日期:20210726 V 云上持续审计合规最佳实践 目录 目录 文档版本信息.I ...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,函数计算,操作审计,配置审计
数据库异地灾备
数据库异地灾备
场景描述 适用于不满足于单地域,对数据可靠性 (RPO)和服务可用性(RTO)要求更高 的,希望防范断电、断网等机房故障,抵 御地震、台风等自然灾害,具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份,RPO达到秒级 2.表级恢复,故障恢复时间大大缩短 3.长期归档,自动管理备份生命周期 4.异地灾备,构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP(EIP) 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
基于阿里云分布式文件系统和 SSD盘高性 能存储,RDS支持 MySQL、SQL Server、PostgreSQL、PPAS和 MariaDB ,提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案,彻底解决数据 库运维的烦恼。MySQL 是全球最受欢迎的开源数据库之一,作为开源软件组合 LAMP(Linux+Apache+MySQL+Perl/PHP/Python)中的重要一环,...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,数据管理,数据湖分析,数据库备份DBS,云速搭CADT
自建ElasticSearch迁移阿里云
自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例,演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道,介绍如何通过快照 的方式,将ElasticSearch索引数据安全备份到 阿里云OSS存储空间,以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例,进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC,ECS,VPN网关,OSS,阿里云ElasticSearch,云速搭CADT
文档版本:20210802 13 自建 ElasticSearch的索引快照备份 OSS 基础环境搭建 步骤5 Index Pattern创建完成后,查看索引信息,可以看到日志信息已经保存在 ElasticSearch的索引中,使用者可以尝试搜索某个 IP地址或者其他关键字来验证 功能。文档版本:20210802 14 自建 ElasticSearch的索引快照备份 OSS 基础环境搭建 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,Elasticsearch,云速搭
基于Flink+ClickHouse构建实时游戏数据分析
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中,常常需要对用户行为日志进行分析,通过数据挖掘,来更好地支持业务运营,比如用户轨迹,热力图,登录行为分析,实时业务大屏等。当业务数据量达到千亿规模时,常常导致分析不实时,平均响应时间长达10分钟,影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据,实现秒级响应的实时用户行为分析,并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析,得到用户特征和画像,实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓,对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能,千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高,支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用,免运维,全球多Region部署,快速支持新游戏开服。 Flink+ClickHouse+QuickBI
ClickHouse提 供了大约28种表引擎,各各的用途,比如 Lo系列用来做小表数据分析,MergeTree 系列用来做大数据量分析,而 Integration系列则多用于外表数据集成。MergeTree系 列是官方主推的存储引擎,支持几乎所有 ClickHouse核心功能。本实践以 MergeTree 系列为例进行介绍,关于如何选择 ClickHouse 表引擎,详情请...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,实时计算,Quick BI,消息队列 Kafka 版,云数据库 ClickHouse
基于弹性供应组构建大数据分析集群
基于弹性供应组构建大数据分析集群
场景描述 基于弹性供应组(APG)搭建spark计算集 群,提供一键开启跨售卖方式、跨可用区、 跨实例规格的计算集群交付模式的实践。 方案优势 1.超低成本:跨售卖方式提供计算实 例,按秒计费,可全部使用spot实例 交付,最高可省90%成本。 2.稳定可靠:跨可用域、跨实例规格, 降低spot被集体释放的风险;自动托 管,分钟级巡检,动态保证集群的算 力。 3.快速交付:单次可在5分钟内交付 2000个实例。 4.多策略组合:可分别指定spot和按量 实例的交付策略,以及差额补足的策 略,包括成本最低、打散和折中。 解决问题 1.大规模计算集群成本高。 2.创建ECS实例方式单一,无法跨计费 方式、可用区及规格等核心参数。 3.当可用区资源紧张,无法自动保证基于 spot类型的稳定算力。 产品列表 专有网络VPC 云服务器ECS
最佳实践频道 阿里云最佳实践分享群 如二维码过期,请搜索群号:31852400 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 企业上云实践 基于弹性供应组构建大数据 分析集群最佳实践 文档版本:20200619 文档版本:20150122(发布日期)II 基于弹性供应组构建大数据集群分析 文档版本信息 文档版本信息 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP
电商网站业务安全
电商网站业务安全
场景描述 业务运营活动是电商行业开展业务必不可少的 手段,但大流量带来的系统可用性、优惠券带来 的“薅羊毛”等问题屡见不鲜,都会影响到运营 效果、甚至出现负面影响。阿里云基于集团电商 业务多年的运营经验,为云上客户提供完整的电 商网站运营期间的防护方案。 解决问题 1.保障业务运维活动系统稳定运行 2.防止“薅羊毛” 3.运营优惠给到真实的客户 产品列表 爬虫风险管理 风险识别 DDoS防护包
如果特殊需要(比如不想让百度爬虫),可以单独针对搜索引擎来关闭爬 虫。操作步骤 步骤1 点击精细化配置,找到合法爬虫,并将状态按钮打开,然后点击前去配置 步骤2 根据需要,设置右边的启用状态。文档版本:20210806 48 企业上云实践 电商网站业务安全最佳实践|开通爬虫风险管理 2.8.阻断来自威胁情报地址的请求 威胁...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,负载均衡 SLB,DDoS防护,风险识别,爬虫风险管理,云速搭CADT
图像搜索
图像搜索是阿里云自研的一款用于图片间相似性检索的平台型产品。通过输入图片,可高精度、高效率的在图库网站中检索到与输入图片相似的图片集合,并支持定制化服务。以图搜图可广泛的应用于拍照购物、 商品推荐、版权保护、图片相似推荐等场景。
图片分享和社交类网站通常大量通用图片供用户搜索使用,利用图片搜索服务,可在云端快速构建百亿级图像搜索引擎,提供以图搜图功能,提升用户体验.深度学习算法训练,满足搜索精度要求.大规模检索引擎可支持百亿级别数据.支持实时更新维护数据.API调用便捷,满足服务快速搭建的需求.快速搭建服务.对象存储 OSS.推荐搭配...
来自: 云产品
跨境电商AI一体化解决方案-阿里云
跨境电商AI一体化解决方案基于阿里巴巴多年跨境行业实践经验,基于阿里云业界领先的大数据及人工智能的能力,为跨境行业客户提供图像搜索、素材变换、视频生产、语言翻译、商品推荐搜索等一站式解决方案,帮助跨境业务降本增效,助力跨境电商扬帆远航。
集成跨境场景的自然语言处理技术,海量的高质量电商领域语料,高可用的千人千面推荐和搜索,打造专属跨境电商的引擎,持续打磨优化,相比业界通用引擎,质量优势明显.跨境高质量稳定服务.阿里巴巴多年跨境行业实践经验,基于阿里云大数据和人工智能的产品能力,为跨境行业客户提供图像搜索、素材变换、视频生产、语言翻译、...
来自: 解决方案
云速搭部署 Elasticsearch 应用
云速搭部署 Elasticsearch 应用
本实践通过云速搭实现一个 DTS+Elasticsearch 的搜索引擎架构,构建一个快速分析和检索 业务数据的系统。
更多信息,请参见:http://www.aliyun.com/product/bigdata/product/elasticsearch 文档版本:20211029 3 云速搭部署 Elasticsearch应用 云速搭架构设计入门 云速搭架构设计入门 方案架构 通过云速搭实现一个 DTS+Elasticsearch的搜索引擎架构,构建一个快速分析和检索 业务数据的系统。文档版本:20211029 4 云速搭部署 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,数据传输,Elasticsearch,云速搭CADT
< 1 2 3 4 ... 6 >
共有6页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用