基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
Presto,支持 SQL 并提供了一个标准数据库的语法特性，但其不是一个通常意义上的 关系数据库，而是定位在数据仓库和数据分析业务的分布式 SQL引擎，为交互式查询 而设计，比较适合的应用场景有 ETL、Ad-Hoc查询、海量结构化数据与半结构化数据 分析以及海量多维数据聚合与报表。在如下的两个测试场景下，ClickHouse明显比 ...
远程办公-AD管控下的弹性云桌面
在弹性云桌面中部署企业基础办公环境时，IT人员通常会面临以下问题，本文希望通过场景实践的方式，示范如何结合使用不同阿里云产品，来解决这些问题：用户如何管理？企业已有AD用户如何上云？云上共享文件服务权限怎么管？数据安全问题有保障吗？该如何设置？云桌面能使用本地机房或IDC中的服务吗？ 本文使用的应用场景： 场景1：客户A在云上新建Windows ActiveDirectory（以下简称AD）；弹性云桌面，和NAS文件存储服务部署在AD所在的VPC内。场景2：客户B在阿里云上已有AD和NAS。弹性云桌面创建在与AD不同的VPC中。AD与云桌面的VPC通过CEN连接。场景3：客户C在云下IDC有自建AD和文件服务。弹性云桌面创建在阿里云上。云下机房与阿里云弹性云桌面所在VPC通过IPsec VPN连接。 方案优势： 易部署：弹性云桌面支持快速便捷的桌面环境创建、部署、统一管控与运维。 CEN和VPN网关服务开通即用，配置实时生效，快速完成部署。 低成本：弹性云桌面无需前期传统硬件投资，帮您快速构建安全、高性能、低成本的桌面办公体系。可广泛应用于具有高数据安全管控、高性能计算等要求的金融、设计、视频、教育等领域。VPN网关基于Internet建立加密通道，比建立专线更便宜，快速实现混合云。 安全性：VPN网关使用IKE（秘钥交换协议）和IPSec对传输数据或进行加密，保证数据安全可靠。云桌面自带的安全策略保证数据不落地。 集中管控：通过Windows AD对云桌面用户和共享文件服务进行统一权限管控。可实现AD用户自动同步上云，和文件级别的权限管控。
名词解释 弹性云桌面 弹性云桌面(Elastic Cloud Desktop），是一种易用、安全、高效的云上桌面服 务。它支持快速便捷的桌面环境创建、部署、统一管控与运维。无需前期传统 硬件投资，帮您快速构建安全、高性能、低成本的企业桌面办公体系。可广泛 应用于具有高数据安全管控、高性能计算等要求的安全办公、金融、设计、影 视...
地址标准化
地址标准化（Address Purification）是依托阿里云海量的地址语料库，及超强的NLP算法实力所沉淀出的高性能、高准确率、功能覆盖最全的标准地址算法服务。可为企业、政府机关及开发者提供地址数据清洗。地址标准化通过地址解析、补全、匹配等赋能业务的上层应用。
支持智能化搜索与内容返填，提升用户体验价值及服务效率.自然语言处理.推荐搭配使用.助力金融风控，规避业务风险.查看全部日志.适用于各类长文本地址抽取和姓名、电话号码抽取等.长文本地址抽取.电话号码抽取.行政区划识别.对输入地址中的关键元素缺失、错误进行纠正和补全的标准化整理，支持地址异常错误判断.异常质检判定...
来自：
云产品
自然语言处理NLP
自然语言处理是为各类企业及开发者提供的用于文本分析及挖掘的核心工具，已经广泛应用在电商、文化娱乐、金融、物流等行业客户的多项业务中。自然语言处理API可帮助用户搭建内容搜索、内容推荐、舆情识别及分析、文本结构化、对话机器人等智能产品，也能够通过合作，定制个性化的解决方案。
搜索算法：面向非算法开发者，可结合大模型交互，提供高效、高准确率的搜索服务产品，满足知识问答、搜索增强、通讯录搜索、地址搜索、文档搜索等不同搜索场景需求；基于自然语音处理、机器学习技术和企业内部知识，从相关性到认知智能，将语义、知识融入搜索过程和结果，提供精准的多源异构搜索算法api.多轮对话搜索：基于...
来自：
云产品
基于k8s多集群隔离环境下的devops实现
场景描述 DevOps是一组过程、方法与系统 的统称，并通过工具实现自动化部署， 确保部署任务的可重复性、减少部署出 错的可能性。随着微服务、中台架构的 兴起，devops重要性日益显著。 本方案使用两个独立的k8s集群： 用户已有的k8s模拟测试，ack集群模 拟生产环境，保证环境的高度隔离，互 不影响。通过gitlab+Jenkins的黄金组 合，实现容器应用的自动化构建和持续 部署，提高迭代效率。 解决问题 1.微服务应用的CI/CD。 2.测试和生产环境的高度隔离。 3.自动化的测试与部署。 4.现有CI对接ACK。 产品列表 专有网络VPC 容器服务ACK 容器镜像服务ACR 弹性公网IP 负载均衡SLB
前言 前言 概述 本文简介了使用传统的 Gitlab+jenkins的组合实现持续集成，并对接阿里云的容器服 务 ACK，实现应用的自动化部署、升级，同时满足测试与生产环境的高度隔离。本文 以第三方开源项目 Piggymetrics为例，提供了从源码编译、镜像构建、应用测试、生 产上线的全流程，同时也介绍了如何通过 ACK管理自有 ...
自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例，演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道，介绍如何通过快照 的方式，将ElasticSearch索引数据安全备份到 阿里云OSS存储空间，以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例，进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC，ECS，VPN网关，OSS，阿里云ElasticSearch，云速搭CADT
文档版本：20210802 13 自建 ElasticSearch的索引快照备份 OSS 基础环境搭建 步骤5 Index Pattern创建完成后，查看索引信息，可以看到日志信息已经保存在 ElasticSearch的索引中，使用者可以尝试搜索某个 IP地址或者其他关键字来验证搜 索功能。文档版本：20210802 14 自建 ElasticSearch的索引快照备份 OSS 基础环境搭建 ...
人工智能平台 PAI
阿里云人工智能平台 PAI 涵盖交互式建模、可视化建模、分布式训练到模型在线部署全流程；快速搭建人工智能推荐系统；深度学习模型训练速度提升数十倍；减少50%GPU成本
人工智能平台 PAI是面向开发者和企业的AI工程化平台，提供了覆盖数据准备、模型开发、模型训练、模型部署的全流程服务.人工智能平台 PAI产品功能.在数据准备阶段，PAI-iTAG 提供智能化数据标注服务，支持图像、文本、视频、音频等不同类型数据标注，支持多模态数据标注；提供丰富的标注内容组件和题目组件，用户可以直接...
来自：
云产品
人工智能-自然语言处理-信息抽取
抽取文本中具有特定意义的实体，当前已支持合同领域的文本信息抽取。如需更多实体类型的定制化抽取，请使用NLP自学习平台。
从非结构化信息中抽取的实体与关系，可用于建立语义搜索与导航系统.基于抽取的结构化实体与关系，可建立知识库问答系统.支持文本实体抽取、文本分类等NLP定制化算法能力，用户无需拥有丰富的算法背景，仅需标注或上传适量文档数据，即可通过平台快速创建算法模型并使用.NLP自学习平台.基于电商行业的大量语料研发，对消费者...
来自：
云产品
文本纠错
准确识别输入文本中出现的拼写错别字及段落位置信息，并针对性给出正确的建议文本内容。 文本纠错支持短文本、长文本、语音识别结果等多种文本内容，在搜索引擎、人机对话、语音识别、内容审核等方面有广泛的应用，能显著提高这些场景下的语义准确性和用户体验。
自动分析文本中的依存句法结构信息，对自然语言的进行深度理解.依存句法分析.将连续的自然语言文本，切分成具有语义合理性和完整性的词汇序列.为自然语言文本中的每个词汇赋予一个词性.命名实体识别.将文本中特定类型的事物名称或符号识别出来.图片56*56(不可与icon共存）.图片logo.icon名称(不可与图片logo共存）.icon名称...
来自：
云产品
人工智能-自然语言处理-中心词识别
多语言中心词（目前支持中文及英文）基于海量数据，使用电商标题中心词以及类目进行训练，通过给每个词计算一个相关性分数来衡量每个词与句子的相关性程度，进而识别并提取出句子的中心词。适用于提取电商搜索query、标题及其他类似短文本（一般小于25个词）的中心词。
基于电商行业的大量语料研发，对消费者历史评价和新增评价的商品维度属性自动解析，将文本转化为结构化属性字段，高效甄别正负面评价，同时根据情感强烈程度进行-1分~1分的打分，可统计可分析，大幅度节省客服人工.商品评价解析.将连续的自然语言文本，切分成具有语义合理性和完整性的词汇序列，同时保持对数据、模型的不断...
来自：
云产品
人工智能-自然语言处理-词性标注
通过词性标注服务，用户可以快速的为每一个词附上对应的词性，结合分词服务，可以快速进行更深层次的文本挖掘处理，无需担心新词发现、歧义消除等问题。
基于电商行业的大量语料研发，对消费者历史评价和新增评价的商品维度属性自动解析，将文本转化为结构化属性字段，高效甄别正负面评价，同时根据情感强烈程度进行-1分~1分的打分，可统计可分析，大幅度节省客服人工.商品评价解析.将连续的自然语言文本，切分成具有语义合理性和完整性的词汇序列，同时保持对数据、模型的不断...
来自：
云产品
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
Function Compute构建高弹性大数据采集系统 最佳实践 业务架构 场景描述 当前互联网很多场景都存在需要将大量的数据 信息采集起来然后传输到后端的各类系统服务 中，对数据进行处理、分析，形成业务闭环。比 如游戏行业中的游戏发行、游戏运营，产互行业 中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些...
- 产品推荐
- 这些文档可能帮助您