MSE云原生网关解析body内容进行路由转发
MSE云原生网关中通过自定义插件transformer解析body内容，并用以路由转发规则判断
文档版本：20240426 10 MSE云原生网关解析 body内容进行路由转发 方案验证 步骤3 单击 transformer自定义插件打开插件的配置界面，在插件配置的右上角点击【编辑】链接 更新插件 YAML 在 YAML编辑窗口中输入以下内容（注意缩进）：reqRules:operate:map headers:fromKey:userId toKey:version mapSource:body 该脚本的含义...
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
创 建 ECS实例过程不再赘述 步骤2 创建弹性公网 IP 在购买的 ECS服务器同一 Region创建购买弹性公网 IP(EIP)，创建过程不再赘述。注：EIP的作用是为了方便绑定 ECS日志服务器演示在日志服务器上安装 Logtail客 户端和日志发生器，安装完毕以后可以解除 EIP和 ECS日志服务器的绑定 步骤3 在 ECS服务器上安装 Logtail以及日志...
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
创建RAM用户 MaxCompute的命令行脚本需要AK参数，为避免使用主账号的AK，此处创建一个支 持编程访问的RAM用户，用户在DataWorks控制台创建项目以及运行命令行创建外 部项目。步骤1 参考https://help.aliyun.com/document_detail/93720.html创建支持控制台访问和编 程访问的RAM用户。基于湖仓一体架构使用MaxCompute对OSS湖...
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
文档版本：20240419 53 大数据近实时数据投递 MaxCompute 解析 tmp表数据至 final表节点周期实例列表界面，可以看到今天的周期实例已创 建，等待调度周期的时间后，定位到相应时间点，可以到到实例执行状态。在工作空间的数据开发界面，选择临时查询，打开之前创建的 ODPS SQL节点。文档版本：20240419 54 大数据近实时数据...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
1.在 Apache日志发生器的 ECS上启动 Flume，将日志文件中的内容发送到预先创 建好的 Kafka队列。首先通过 SSH登录到后台，然后执行如下命令。cd/root/apache-flume-1.8.0-bin nohup./bin/flume-ng agent-conf conf/-name a1-conf-file job_test/flume-kafka.conf&2.在 Kafka队列的 ECS上启动一个 Consumer（消费者）进程，...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
普通优先级允许您为相同的资源创 建另一个策略来覆盖从 Sentry 导入的策略。3.1.3.转换规则 从 Sentry到 Ranger的转换规则如下：授予角色的 Sentry权限将授予 Ranger中的 group。授予父对象的 Sentry权限也会被授予子对象。迁移过程保留了应用于子对象的权 限。例如，在数据库级别应用的权限也将应用于该数据库内的表。文档...
- 产品推荐
- 这些文档可能帮助您