数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
文档版本：20200331 6数据湖-在线学习场景数据分析 数据湖 JindoFS块存储模式 数据以Block形式存储在后端存储OSS上，本地Namespace服务维护元数据信息，该模式在性能上较优，无论是数据性能还是元数据性能。JindoFS块存储模式具有以下几个特点： 海量弹性的存储空间，基于OSS作为存储后端，存储不受限于本地集群，而且本 ...
智能数据建设与治理Dataphin
Dataphin遵循阿里巴巴集团多年实战沉淀的大数据建设OneData体系（OneModel、OneID、OneService），集产品、技术、方法论于一体，一站式地为您提供集数据引入、规范定义、智能建模研发、数据萃取、数据资产管理、数据服务等的全链路智能数据构建及管理服务。助您打造属于自己的标准统一、资产化、服务化和闭环自优化的智能数据体系，驱动创新。
基于Dataphin的数据管理能力，数据量庞大的地产企业做了数据治理的工作，进行数据采集，构建数据模型，进行多维数据分析，比如描述性分析、预测性分析、诊断性分析，而它们之间是一步一步进阶的。数据中台大幅度降低了数据运营成本与决策时间成本，提高了速度和准确性.集成超过50个数据源涉及的数据，地产、物业、营销、...
来自：
云产品
企业构建统一CMDB数据源
典型场景 l 企业/ISV构建多云CMDB平台，对接数十款产品的API，拉取、清洗、格式化、存储配置数据是复杂且高成本的工作。 l 企业日常的资源管理，需依赖资源配置历史、资源关系数据进行故障溯源和影响评估。 解决方案 l 企业管理账号设置Config配置数据投递，将所有账号的资源配置快照和历史归集到统一地址留存。 l 使用OSS做长期归档，使用SLS做实时分析和监听。获取全量资源数据并及时感知云上资源的变更。 l 将数据集成到自有CMDB平台 客户价值 l 基于配置审计简单便捷的持续收集云上资源配置数据，在自建CMDB过程中节省大量人力和时间成本。 l 跨账号统一收集数据，实现中心化的资源配置管理。 l 实现资源配置数据的持续收集和监听，及时感知云上资源的增删改，洞察异常变更。
获取ECS网络信息 本章节，我们以ECS资源的网络配置数据为例，使用 python脚本模拟将资源配置数 据导入企业自有系统。用到了配置审计的 API，在使用前需要导入阿里云 SDK 核心库:aliyun-python-sdk-core：在多账号情况下，列出主账号下指定账号 组的所有资源数据：在多账号情况下，查询指定资源的详细数据 注意：上述两个...
电商网站数据埋点及分析
场景描述 数据埋点是数据产品经理、数据运营以及数据分 析师，基于业务需求（例如：CPC点击付费广 告中统计每一个广告位的点击次数），产品需求 （例如：推荐系统中推荐商品的曝光次数以及点 击的人数）对用户行为的每一个事件对应的位置 进行开发埋点，并通过SDK上报埋点的数据结 果，记录数据汇总后进行分析，推动产品优化或 指导运营。 解决问题 1.电商网站广告位效果统计分析 2.电网网站推荐商品曝光、点击、购买等行为统 计分析 3.电商网站用户分布分析 4.电商网站页面热点图分析等 产品列表 日志服务SLS Dataworks 云服务器ECS 云数据库RDS版 负载均衡SLB 专有网络VPC
文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 电商网站数据埋点及分析最佳实践 文档编号 031 文档版本 V1.3 版本日期 2022-01-27 文档状态 外部发布 制作人 洁谦 审阅人-文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-04-24 弦望 创建文档 V1.1 2019-05-06 弦望 增加最佳实践概述、优化 模板 V1.2 ...
互联网电商行业离线大数据分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示，如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示，效果震撼，触控大屏支持用户自助查询数据，极大地增强数据的可读性。
首先使用时，需要先进行授权DataWorks系统默认角色来进行辅助数据同步任务配 置、元数据采集等。再重试如上配置。互联网电商行业离线大数据分析 步骤5（可选）如果上述步骤测试连通性结果为无法连通，可基于连通性诊断工具进行自 助排查。互联网电商行业离线大数据分析 步骤6 测试连通性通过后，查看已将RDS加入到数据源中...
数据集成 Data Integration
阿里云数据集成 Data Integration是跨异构数据、低成本、弹性扩展的数据采集同步平台，为DataX的商业版，支持ETL，支持50+数据源跨网络离线(全量/增量)同步。
主要通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（称之为 Reader）、数据写入插件（称之为 Writer），并基于此框架设计一套简化版的中间数据传输格式，从而达到任意结构化、半结构化数据源之间数据传输的目的.抽取、转换、导入.数据集成支持在数据抽取过程中进行简单的ETL数据转换操作（如日期...
来自：
云产品
数据库和应用迁移 ADAM
数据库和应用迁移 Advanced Database & Application Migration（以下简称 ADAM）是一款把数据库和应用迁移到阿里云（公共云或专有云）的产品，支持 Oracle、Teradata、Db2 的异构迁移上云。ADAM 全面评估上云可行性、成本和云存储选型，内置实施协助、数据迁移、应用迁移等工具，确保可靠、快速、低成本上云。
运行环境信息采集、数据去重、数据脱敏.收集并汇总 Oracle 数据库信息，包含：环境信息、对象信息、SQL 信息、空间信息、性能信息、事务信息六大部分，全面覆盖数据库实际运行状况.存储与运行环境信息采集.信息采集同时，针对数据冗余、信息安全问题，数据采集器对采集结果中 SQL 数据进行脱敏、去重、一致性校验等处理，...
来自：
云产品
混合云使用Ali-Perseus
场景描述 本文介绍了混合云场景中，自建 Kubernetes服务，线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具，并采用阿里云CPFS存储，运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC， 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
运行推理任务.62 V 混合云使用飞天AI加速工具 最佳实践概述 最佳实践概述 AI数据处理流程 AI数据处理一般分为三个步骤，数据采集，清洗标注，模型训练，模型部署与推 理。方案场景描述 在混合云场景中，可以自建 Kubernetes服务，线下集群+云上弹性扩展阿里云 GPU 服务实例+飞天 AI加速工具加速框架，并采用阿里云 CPFS存储...
工业数字孪生解决方案
工业数字孪生是以人工智能技术为手段，结合了空间地理信息技术，自主研发出了全产业链的数字孪生一站式服务，并通过综合运用大数据和物联网技术为数据赋能，驱动“智能+”在各个细分领域的渗透，为工业4.0和行业客户提供全产业链的数字孪生（DigitalTwin）解决方案。
1、有信息化基础，能够采集设备数据；2、有无人巡检、设备远程管理的需求；3、设备数据的数字化实时展现；4、生产流程的虚拟化管理；5、有设备健康管理体系的需求；6、追求3D可视化渲染效果和视觉体验.应用领域客户特性.DTwin数字孪生产品平台采用阿里云自研的工业可视化孪生平台，高度融合模块化的可视化框架引擎、支持...
来自：
解决方案
云数据库RDS PostgreSQL
云数据库RDS PostgreSQL 版完全兼容开源PostgreSQL，基于云原生架构，软硬协同优化，提供稳定可靠、高性价比的数据库服务。通过丰富的插件拓展，支撑各领域场景化业务，如自研Ganos多维多模时空引擎及开源PostGIS地理信息引擎、向量引擎、时序引擎等百余款插件。
数据在用户侧加密后传入云数据库，数据库中存储的、网络中传输的、内存中缓存的的都是加密后的数据，数据拥有者以外的任何人无法接触到用户的明文数据，端到端全链路避免数据泄漏的发生.OSS云存储扩展.通过外部表的方式将OSS云存储中的CSV格式化文件当成本地数据表进行使用，支持与本地数据表进行JOIN、数据读写，借助OSS...
来自：
云产品
云上日志集中审计
场景描述 云上的各类云产品和客户部署的业务系统会产生各类 日志，企业合规及安全运营等都需要在一个地方能 集中的查看和分析日志；目前各云产品日志大部分 都进了sls，但都是产品独立的project，不方便集中 审计；客户的业务系统日志各种形态都有；多云和混 合云的场景，日志也需要能集中审计。 解决问题 1.所有日志集中到SLS一个中心project下。 2.满足等保合规和内部合规需求。 3.满足运维和安全运营需求。 产品列表 日志服务SLS 专有网络VPC 弹性公网IPEIP 负载均衡SLB 云服务器ECS 云数据库RDS 云防火墙CFW
当同步到区域数据采集并开启同步到中心后,区域的数据只是临时的,并不需要保存 很长时间,根据用户配置默认是 7天或更久。中心日志库的区域可以由客户自行选择，目前支持如下 6个区域：北京、上海、深圳、杭州、呼和浩特、新加坡。对于开通了云安全的产品（云安全中心、云防火墙、WAF等），我们强烈建议您的中 心日志库选在...
金融行业从经典网络向VPC容器化改造
本实践介绍经典网络向VPC容器化改造实践 以及配置步骤，可适用于金融等行业 方案优势 容器化完成经典网络完成向VPC网络改 造 应用发布灵活 运维效率提升 解决问题 1.经典网络管理困难 2.应用发布不灵活 3.运维效率低 产品列表 专有网络VPC 容器服务Kubernetes版 日志服务SLS 云数据库RDS版 NAT网关 容器镜像服务ACR 云盘
20200703（发布日期）1 金融行业从经典网络向VPC容器化改造最佳实践【公开|阿里巴巴集团保密信息|普通商秘|核心商秘】文档版本信息 文本信息 属性 内容 文档名称 金融行业从经典网络向VPC容器化改造最佳实践 文档编号 043 文档版本 V1.0 版本日期 2019-05-16 文档状态 外部发布 制作人 明誉 审阅人 文档变更记录 版本编号 ...
RPA
RPA（Robotic Process Automation）是阿里云出品的企业自动化流程数字员工，也可以称之为机器人流程自动化。阿里云RPA易于部署及其低代码开发特性，为企业带来速度和敏捷性提升。比如将企业内部工作流程自动化，打通系统间的数据孤岛，能显著提高生产效率。
批量采集网页数据.某些工作，如电商活动报名，可能需要准备成百上千个商品信息，逐一填入到报名页面中，这种不断复制粘贴的工作，浪费了企业大量人力时间，不但容易出错，而且还需要经常返回修改。通过使用阿里云RPA，您只需准备好这上千个商品信息，即可一键自动完成报名.更高效：效能提升80%，为客户每月节省15-25小时...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您