阿里云日志服务SLS多云统一日志方案之腾讯云日志采集最佳实践
使用日志服务SLS统一采集、存储、查询和分析阿里云、腾讯云等不同云厂商上的业务日志、系统日志和云产品日志，实现在一个平台上管理多云架构下的所有日志。
阿里云 SLS多云日志统一管理方案-腾讯云日志采集 最佳实践 业务架构 场景描述 使用日志服务 SLS统一采集、存储、查询和分析 阿里云、腾讯云等不同云厂商上的业务日志、系 统日志和云产品日志，实现在一个平台上管理多 云架构下的所有日志。产品列表 方案适用的场景和优势 阿里云 多云：使用多云架构的用户都需要有一个统一...
基于FC实现的Web端视频录制最佳实践
场景描述在很多互娱场景，在线教育领域会有直播视频录制的需求，但是往往一个页面上的内容是多种多样的，不止有直播流，可能还有白板，评论等其他元素，如果只是录直播流，那内容是不完整的，所以需要将整个屏幕的内容录制为视频。该最佳实践可以有效解决这个场景。
验证录制 步骤1 我们使用央视的网站（https://tv.cctv.com/live/cctv1/）进行录制验证，使用 Postman工 具对上述 record函数的公网访问地址进行请求，配置正确的 Header和 Body信息。文档版本：20240325 13 基于 FC实现的 Web端视频录制最佳实践 场景验证 Body这里选择 RAW方式，对应的 Json代码如下 {"record_time":"30",...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
5.1.ACK集群部署应用 步骤1登录ACK集群，新建命名空间project-qa（如果修改了命名空间名称，需要对应修改后续yaml文 件的namespace参数）文档版本：20240229基于SpringCloud玩转MSE 步骤2：在命名空间中，通过YAML分别创建4个应用：基线版应用：mseconsumer、mseprovider 灰度版应用：mseconsumer-gray、mseprovider-gray ...
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
II 文档版本：20150122（发布日期）文档版本：20240417（发布日期）利用交互式分析工具进行数据查询 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 利用交互式分析工具进行数据查询最佳实践 文档编号 176 文档版本 V1.9 版本日期 2022-04-25 文档状态 外部发布 制作人 六稻，阿瑟 审阅人 扬流 文档变更记录 版本...
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
场景描述 云原生和大数据时代的到来,用户在拥抱云原生进行容器化改造的同时也专注于数据 分析，希望能够将云原生容器化编排改造带来的计算资源弹性、计算资源成本优化、计算与存储分离、资源调度隔离等优势与大数据分析进行结合，因此可以将大数据分 析与容器编排调度主流技术 Kubernetes相结合，同时结合阿里云提供的弹性...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
最佳实践 文档版本：20201224 文档版本：20150122（发布日期）II 基于 Flink+ClickHouse构建实时游戏数据分析 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 基于 Flink+ClickHouse构建实时游戏数据分析 文档编号 188 文档版本 V1.0 版本日期 2020-12-24 文档状态 对外发布 制作人 七凌、凤豪、胡零 审阅人 阿瑟...
互联网电商行业离线大数据分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示，如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示，效果震撼，触控大屏支持用户自助查询数据，极大地增强数据的可读性。
互联网电商行业离线大数据分析 最佳实践 业务架构 场景描述 本实践介绍了使用阿里云MaxCompute、数据库（RDS）、DataWorks等产品实现电商网站离线数据分 析，分析后的业务指标数据实时在大屏展示。通过完整 的实践Demo为例，提供从电商网站搭建，数据从RDS 同步到MaxCompute、再到DataWorks进行数据分析，最后在大屏上展示...
阿里云数据库快速搭建疫情分析系统最佳实践
疫情态势分析和防控任务迫在眉睫，如果快速搭建高效的疫情态势分析系统是众多部门和单位的难题，阿里云polardb for PG+Ganos解决方案可在极短时间内完成分析系统搭建，有效助力疫情防。 方案优势： 1、性能优越：Ganos作为自研的时空数据库引擎，相比postgis性能更优秀。 2、安全稳定：故障自动切换自愈，资源隔离，多副本存储。 3、简单易用：开箱即用，兼容postgresql，打通quickbi快速搭建数据分析展示。 4、功能强大：相比postgis在时空模型上做了较多扩充，支持几何模型，栅格模型，网络模型，时空轨迹模型，点云模型，拓扑网络模型。
最佳实践频道 阿里云最佳实践分享群 如二维码过期，请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 数据库快速搭建疫情分析系统 最佳实践 文档版本：20210725 文档版本：20150122（发布日期）II 阿里云数据库快速搭建疫情分析系统最佳实践 文档版本信息 文档版本信息 文本信息 ...
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户，无法 接受T+1延迟。 3.对数据成本有一定诉求的客户，希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析：依托ADB计算密集型实例， 秒级监控DAU等数据，为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析：打通结构化和非结构化 数据，支撑产品体验分析；广告买量投放效 果实时（分钟级）分析，渠道的评估更准确。 3.低成本：DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析，在满足各种分析场景需求的同时，有效 地降低的客户的总体使用成本。 4.学习成本低：DLA和ADB兼容标准SQL语 法，无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
游戏厂商对于渠道、用户和游戏表现的评估需要更加细化和 准确的数据的要求，希望利用优秀的数据分析工具来帮助团队更全面的分析市场和用 户的趋势，同时玩家的游戏行为和喜好也在慢慢变化，如何能够及时发现这些变化并 针对性地调整产品和游戏设计也是非常重要的，因此提出了如下业务要求：提供全面的游戏运营指标分析功能...
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
文档版本：20211203 24 SLS多云日志采集、处理及分析 Logtail日志采集处理分析 注意：查询分析设置的修改操作只会对新写入的数据生效，如果您需要提前对查询分 析设置的某些字段分析统计生效，请使用指定字段查询的自定义方式在日志写入到日 志库之前进行开启统计查询。步骤4 再次启动日志发生器和停止日志发生器。按云...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
数据湖-在线学习场景数据分析 最佳实践 场景描述 业务架构 本场景以在线教育中一个答题闯关类的应用为例，使用WebServer来模拟演示这类日志数据的分析 处理。通过Nginx和Python flask搭建Web Server，模拟应用中的关键页面，比如登录、课程 内容等，之后构造若干用户使用的模拟日志数据，投递到数据湖进行分析后获取应用PV...
云数据库 SelectDB 版
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务，内核基于业界领先的开源分析型数据库 Apache Doris 研发，由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求，广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景，致力于为客户提供极致性能、简单易用的数据分析服务。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台云数据库 SelectDB 版产品简介产品优势产品功能产品选型入门与试用技术解决方案产品定价安全合规常见问题社区云数据库 SelectDB 版基于 Apache Doris 的云原生实时数据仓库，致力于为客户提供极致性能、简单易用的数据分析服务。...
来自：
云产品
Oracle数据库与应用迁移PolarDB
场景描述 本最佳实践适用于Oracle数据库及应用迁 移到阿里云PolarDB数据库（Oracle兼容 版）。通过ADAM将Oracle数据库迁移到 PolarDB数据库，可以降低应用升级、运 维成本，同时提升系统弹性，实现数据库 及应用全栈上云。 解决问题 1.解决Oracle及其应用迁移上阿里云， 通过ADAM评估迁移工具，降低迁移 风险，提高迁移效率。 2.使用PolarDB（Oracle兼容版）数据 库，提升数据库并发读能力，降低运维 成本。 产品列表 数据库和应用迁移（ADAM） PolarDB（Oracle兼容版） 云服务器（ECS） 专有网络（VPC）
此外，ADAM 提 供 了 线 上 分 析 SQL 兼 容 度 的 工 具：https://adam.console.aliyun.com/tools 输入 SQL后，可以针对不同目标库，提供 SQL转换能力，并给出转换建议：查看变更列表，可以看到修改的地方：文档版本：20220210 63 Oracle数据库与应用迁移 PolarDB 应用评估及改造 对于复杂的应用 SQL转换，可以申请阿里...
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景，使用神龙 GPU云服务器（SCCGN6）+CPFS进行NLP的 训练，采用Bert模型。这里不使用容器，直接 使用裸机进行NLP的Bert训练，使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器（SCCGN6） SCC超级计算集群 CPFS共享存储
自然语言处理的训练场景，训练出的模型可以用于预测、分 类、文本分析和文本对答等。方案架构 本方案使用了sccgn6机型的GPU云服务器，是一种弹性裸金属的神龙服务器，每台配置8个V100的GPU，并配置50Gb/s的RDMA网络。 并行文件系统CPFS作为共享存储，提供高带宽低延迟的数据访问服务。 Ali-Perseus框架加速分布式...
自然语言处理NLP
自然语言处理是为各类企业及开发者提供的用于文本分析及挖掘的核心工具，已经广泛应用在电商、文化娱乐、金融、物流等行业客户的多项业务中。自然语言处理API可帮助用户搭建内容搜索、内容推荐、舆情识别及分析、文本结构化、对话机器人等智能产品，也能够通过合作，定制个性化的解决方案。
自然语言处理（NLP）是为各类企业及开发者提供的用于文本分析及挖掘的核心工具，已经广泛应用在电商、文化娱乐、金融、物流等行业客户的多项业务中。自然语言处理（NLP）可用于搭建内容搜索、内容推荐、舆情识别及分析、文本结构化、对话机器人等智能产品.自然语言处理 NLP.新用户免费开通后，可享50万次/接口的免费调用....
来自：
云产品
地址标准化
地址标准化（Address Purification）是依托阿里云海量的地址语料库，及超强的NLP算法实力所沉淀出的高性能、高准确率、功能覆盖最全的标准地址算法服务。可为企业、政府机关及开发者提供地址数据清洗。地址标准化通过地址解析、补全、匹配等赋能业务的上层应用。
自然语言处理是为各类企业及开发者提供的用于文本分析及挖掘的核心工具，已经广泛应用在电商、文化娱乐、金融、物流等行业客户的多项业务中。自然语言处理API可帮助用户搭建内容搜索、内容推荐、舆情识别及分析、文本结构化、对话机器人等智能产品，也能够通过合作，定制个性化的解决方案.自然语言处理.将输入的地址文本...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您