基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
文档版本：20201224 53 基于 Flink+ClickHouse构建实时游戏数据分析 实时流处理 步骤5 修改云数据库 ClickHouse配置文件,本案例代码实现已经做了代码和配置分离，请直 接打开 clickhouse.properites，将 clickhouse的 JDBC连接字符串更新为自己创建的 实例（注意这里采用 ClickHouse内网地址）。步骤6 修改云数据库 Kafka...
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
II 文档版本：20150122（发布日期）文档版本：20240417（发布日期）利用交互式分析工具进行数据查询 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 利用交互式分析工具进行数据查询最佳实践 文档编号 176 文档版本 V1.9 版本日期 2022-04-25 文档状态 外部发布 制作人 六稻，阿瑟 审阅人 扬流 文档变更记录 版本...
金融行业从经典网络向VPC容器化改造
本实践介绍经典网络向VPC容器化改造实践 以及配置步骤，可适用于金融等行业 方案优势 容器化完成经典网络完成向VPC网络改 造 应用发布灵活 运维效率提升 解决问题 1.经典网络管理困难 2.应用发布不灵活 3.运维效率低 产品列表 专有网络VPC 容器服务Kubernetes版 日志服务SLS 云数据库RDS版 NAT网关 容器镜像服务ACR 云盘
金融行业从经典网络向VPC容器化改造 最佳实践 业务架构 场景描述 本实践介绍经典网络向VPC容器化改造实践 以及配置步骤，可适用于金融等行业 方案优势 容器化完成经典网络完成向VPC网络改 造 应用发布灵活 运维效率提升 解决问题 1.经典网络管理困难 2.应用发布不灵活 3.运维效率低 产品列表 专有网络VPC ...
多账号下企业分账
场景描述 财务分账，是根据企业的成本中心，将云上资源的成本划分到给各个项目组/业务部门；助力企业快速梳理云上成本结构，搭建复杂组织架构下的成本关系，便捷地进行财务和云上成本的管理。 大型企业或集团公司，由于组织架构复杂，业务复杂等原因，通常拥有多个阿里云账号来管理规模庞大的云上资源。针对云上资源，如何建立有效的分账方案，是财务关注的重要问题。 解决问题 解决CIO/CTO最关心的云上IT治理，IT成本核算等问题。 弄清楚企业内各部门成本及云上IT成本结构。 让CIO/CTO准确地掌握云上资源成本情况，清楚业务与成本的关系。 让采购/运维轻松搞定每月的IT成本汇报。
本例以 介绍分账方法为主，不涉及资源选型及服务配置，资源规划部分此处略过，有需要的 读者可从附录 1：资源规划清单中查阅。资源的创建除了通过控制台来创建以外，还可以通过云架构设计工具 CADT来一键拉 起。CADT是一款为上云应用提供自助式云架构管理的产品，显著地降低应用云上管理的 难度和时间成本。CADT提供大量...
智能外呼机器人
阿里云智能外呼机器人即通过业务的场景自动发起的电话外呼任务。支持灵活画布配置，精准语音识别、自然人声合成、丰富开放API。通过人与机器人的语音对话交互收集业务结果，并对数据加以统计处理，获取用户反馈，帮助客户轻松实现智能化外呼。能够降低呼叫中心人力外呼成本，提升信息筛选及反馈效率。
能实现从对话录音或者对话文本中，基于智能规则，分析对话内容，挖掘对话中可能存在的问题和机会。能帮助企业提升服务质量、监控舆情风险、优化服务策略，典型应用场景有智能客服质检、销售机会分析等.智能对话分析.云联络中心为企业提供整体的企业智能化客服平台。打通热线电话、网站、小程序、APP等用户与企业的联系渠道...
来自：
云产品
日志服务sls
日志服务（Log Service，简称Log）是针对实时数据一站式服务，在阿里集团经历大量大数据场景锤炼而成。无需开发就能快捷完成数据采集、消费、投递以及查询分析等功能，帮助提升运维、运营效率，建立DT时代海量日志处理能力。
提供关键词、SQL92、AIOps函数等多种方式，支持面向文本+结构化数据实时查询分析，异常巡检与智能分析.秒级分析十亿级数据，且完整支持SQL、PromQL等分析接口，HTTP、Kafka、JDBC、Prometheus等协议.企业级设计，多租户隔离，PB级容量设计，数万企业用户选择.经过阿里经济体实践的AIOps能力，支持智能异常巡检与根因分析....
来自：
云产品
智能语音交互
阿里云智能语音交互（Intelligent Speech Interaction），提供语音识别、语音合成、自然语言理解等基础技术，应用于智能客服、智能质检、庭审实时记录、实时演讲字幕、访谈录音转写等场景。提供自学习平台等应用工具，辅助实现语音识别效果的定制优化。语音交互产品可进行公共云和私有化部署，在金融、保险、司法、电商等多个领域均有成功应用案例。
借助阿里云智能语音交互能力将实时通话录音转为文本，并进行文本分析,实现客服实时监控、离线质检等多种应用场景.通过智能语音识别，完成电话坐席的全量、实时质检；避服务风险及服务违规，保证服务质量.实时语音转写.推荐搭配使用.智能客服质检.智能客服质检.用户在公共交通或公共场合看直播，无法打开音量，观看不过瘾。...
来自：
云产品
基于日志服务构建业务可观测性系统
现在已知的各种监控数据的工具，以及对应的监控系统有非常多的选择，比如ZABBIX，Prometheus，Skywalking等。但是这些系统都存在同样的一个问题，只覆盖了可观察性的一部分，举个简单的类比，大家在日常开车的过程中，会用到很多的辅助设备，仪表盘，行车记录仪，导航，倒车影像等等，这些设备都各自承载了一部分的功能，但是都存在着如下的问题： l 数据覆盖不完整 l 存在数据孤岛（无法关联协同） l 使用门槛高，不够人性化 核心价值 l 全覆盖，统一协议，支持各类平台。 l 数据关联，统一Schema，关联Metrics/Logs。 l 云原生，SaaS服务，拥抱云原生。 l 简单易用，自动化埋点，数十项易用功能。 智能化，异常诊断，根因分析。
能够提供异常诊断和根因分 文档版本：20210616 5 基于日志服务构建业务可观察性系统 架构设计 析等智能算法能力的核心优势。全覆盖，统一协议，支持各类平台。数据关联，统一 Schema，关联 Metrics/Logs。云原生，SaaS服务，拥抱云原生。简单易用，自动化埋点，数十项易用功能。智能化，异常诊断，根因分析。文档版本：...
云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
在本案例里，采用 serverless版本的 Kubernetes来模拟业务应用的运行平台，这种 类型的托管服务，无需创建和管理 K8s里面的 Master和 worker，其底层基于 ECI容 器实例，按容器实例的使用资源量和时长（秒）计费 ASK的主要有以下几点优势：降低用户 kubernetes的门槛，无需管理 Node节点 无需考虑节点的容量规划 以 Pod为...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
E-HPC低成本实现量化策略回测
在量化交易场景下，量化策略的构建流程一般包括：想法、数据获取、建模、回测、结果分析等，在回测过程中往往需要海量的算力，进行大量数据的分析和处理，如何快速、高效和低成本的进行批量任务的调度，并快速获取结果是量化领域遇到的普遍挑战，这也是云计算能够带给客户的巨大优势。
本案例中，我们已 有部分测试数据存放于本地，考虑通过 ossutil命令将本地数据上传至阿里云 OSS。回测过程中，直接从 OSS拉取历史数据。步骤1 在首次使用 ossutil 工具前，需要对该工具进行设置。运行如下命令：/ossutil64 config endpoint为 oss-cn-zhangjiakou.aliyuncs.com。Access Key和 Access Key Secret则根据生成的...
自建ELK迁移阿里云日志服务
场景描述 ELK Stack（Elastic/Logstash/Kibana） 通常 被用于日志实时分析， 在开源社区中有大量 的内容和使用案例。 本文介绍如何将自建的 ELK 系统迁移到阿里云 SLS 日志服务。 解决问题 1. 自建 ELK 如何迁移到阿里云日志服务。 2. 如何使用 Logtail 采集日志。 3. 如何使用阿里云日志服务对日志进行查 询、 分析。 产品列表 阿里云日志服务（SLS） VPN 网关 IPSec VPN 云服务器
自建 ELK迁移阿里云日志服务 SLS最佳实践 业务架构 场景描述 ELKStack（Elastic/Logstash/Kibana）通常被用于日 志实时分析场景，在开源社区中有大量的内容和使用 案例。通常自建的ELK系统在弹性、功能、成本、优化、稳定性等方面客户会遇到较多问题，本文介绍 如何将自建的ELK系统迁移到阿里云SLS日志服 务。应用场景 1.自...
SAP S/4HANA上云最佳实践
本实践以SAP S/4HANA上阿里云的场景为原型，阐述了如何通过CADT在阿里云上快速交付符合最佳实践的基础云架构。
本实践选择 VPN方案作为架构演示，详细的网络打通方案可以咨询阿里云解决方 案架构师 4.从性能需求 2分析，应用和数据库必须在同一个可用区以达到 RTT小于 0.7ms，提前规划在同一个交换机下，确保应用和数据库实例在同一个可用区。从上述需求分析结果，整体可以得出如下网络架构图：2.2.云资源选型 需求分析：1.服务器资源...
云上日志集中审计
场景描述 云上的各类云产品和客户部署的业务系统会产生各类 日志，企业合规及安全运营等都需要在一个地方能 集中的查看和分析日志；目前各云产品日志大部分 都进了sls，但都是产品独立的project，不方便集中 审计；客户的业务系统日志各种形态都有；多云和混 合云的场景，日志也需要能集中审计。 解决问题 1.所有日志集中到SLS一个中心project下。 2.满足等保合规和内部合规需求。 3.满足运维和安全运营需求。 产品列表 日志服务SLS 专有网络VPC 弹性公网IPEIP 负载均衡SLB 云服务器ECS 云数据库RDS 云防火墙CFW
本章节以云防火墙产品为例，迁移云防火产品的日志到日志审计服务的中心 project下。其他产品的接入，都可以采用相同的方法。5.1.开通云防火墙 步骤1 通过产品与服务导航，定位到云防火墙，单击进入云防火墙管理控制台。步骤2 立即购买。文档版本：20200630（发布日期）34 云上日志集中审计 集中云安全产品日志 步骤3 根据...
RAPIDS加速图像搜索
场景描述 本方案适用于使用RAPIDS加速平台 +GPU云服务器来对图像搜索任务进行加 速的场景。相比CPU，利用GPU+ RAPIDS在图像搜索场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速图像搜索环境 2.使用容器服务Kubernetes版部署图 像搜索环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
本案例中使用方法 2，并且 GPU显存比 例默认设置为 0.3，即 Tensorflow可以使用整块 GPU显存的 30%，您可以依据应 用场景修改比例。30 RAPIDS加速图像搜索 单机部署图搜应用 config.gpu_options.per_process_gpu_memory_fraction=0.3 2.下载ResNet50（notop）预训练模型。连接公网下载模型（大小约 91M），下载完成后默认...
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务（包含Datastream、Table/SQL、PyFlink任务）迁移至阿里云实时计算全托管版。
本方 案接受如何将自建开源 Flink集群的流式任务（包含 Datastream、Table/SQL、PyFlink 任务）迁移至阿里云实时计算全托管版。名词解释 Flink全托管产品（Flink VVP）：是阿里云基于 Apache Flink 构建的企业级、高 性能实时大数据处理系统，由 Apache Flink 创始团队官方出品，拥有全球统一商 业化品牌，完全兼容开源 ...
数据迁移上云
随着越来越多的企业选择将业务系统上云，各种类型的数据如何便捷、平滑的迁移上 云，成了用户上云较为关注的点；业务上云后，因为业务或者其他方面调整等因素， 也存在如跨区域，跨账号等数据迁移的场景。针对以上需求，阿里云上提供了较为丰 富的工具（如ossimport）、服务(在线迁移服务)，旨在能够帮助客户便捷进行数据迁 移。 本文通过云架构设计工具CADT来快速创建云上基础资源，并以杭州区域来模拟线 下IDC（或友商），深圳区域模拟阿里云云上资源。通过云上的工具命令、服务来提 供常见数据迁移场景的最佳实践。
本案例以 FTP服务器为例，具体 FTP服 26 文档版本：20201013 数据迁移上云最佳实践 使用阿里云在线迁移服务进行数据迁移 务器搭建过程本文不再赘述。3.2.创建目的地址 步骤1 选择在线迁移服务>数据地址，并选择“OSS”的数据类型，数据所在区域选择“华南 1（深圳）”，然后点击创建数据地址 步骤2 在跳出的创建数据窗口中...
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前，模型已经训练完成。例如,刷脸 支付中，我们在刷脸的时候，就是推理的一个过 程。再比如图像分类，目标检测，语音识别，语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
MobileNet是小型、低延迟、低功耗的参数化模型，可以满足有限资源下的各种应用案 例。它们可以像其他流行的大规模模型（如 Inception）一样用于分类、检测、嵌入和 分割任务等。更多信息，请参见 https://github.com/tensorflow/models/tree/master/research/slim/nets/mobilenet。训练是一个利用大量数据不断进行模型修正...
通义万相文本绘图与人像美化
利用通义万相AIGC在Web服务中实现图像生成，包括文本到图像、涂鸦转换、人像风格重塑以及人物写真创建等功能，加快创作流程，提高创意效率。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读方案介绍方案优势应用场景方案部署方案权益创意加速器：AI 绘画创作本方案展示了如何利用自研的通义万相AIGC技术在Web服务中实现先进的图像生成。其中包括文本到图像、涂鸦转换、人像风格重塑以及人物写真创建等功能。这些能力可以...
来自：
解决方案
- 产品推荐
- 这些文档可能帮助您