Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
步骤3 打开 ssh 终端工具（MAC上使用 terminal工具，windows上使用 putty工具），登录 ECS。ssh root@$ECS_IP 文档版本：20210806（发布日期）22 Function Compute构建高弹性大数据采集系统 创建削峰填谷函数 3.1.2.安装 Fun 步骤1 因为 fun依赖 nodejs和 npm，首先安装 nodejs和 npm。yum-y install nodejs npm git 步骤2 ...
Cloud Toolkit阿里云开发者插件工具
Cloud Toolkit - 阿里云集开发、测试、诊断、部署为一体的免费本地多IDE插件，帮助开发者真正实现任意服务器或 ECS、EDAS、Kubernetes、SAE、函数计算等一键式研发部署，支持Java规约、高效执行终端命令和 SQL等常见工具，研发速度提升8倍以上，大幅降低研发成本。
支持标准 SSH 协议，无需在一系列运维工具之间切换，只需在图形界面上选择目标服务器，即可实现应用快速部署.针对阿里云 EDAS 开发者，可以将本地代码和云端应用进行关联，实现自动化的部署.针对阿里云 SAE 开发者，可以将应用快速部署到 SAE，适用于快速迭代更新应用的场景.部署到 Kubernetes.针对阿里云 Kubernetes ...
来自：
云产品
机场视频监控
场景描述 该最佳实践适用于国内机场的视频监控行业，将线下视频文件通过混合云阵列缓存后，通过专线上传到阿里云OSS上。 也适用于其他混合云场景中，利用阵列缓存文件，并通过网络传输到阿里云OSS上的场景。 解决问题 1.通过混合云阵列+专线将线下文件传到阿 里云OSS上 2.通过阿里云OSS跨区域复制功能实现异 地文件备份 3.通过OSS的自动生命周期管理功能实现 文件生命周期管理 产品列表 OSS对象存储 混合云阵列 高速通道（专线）
59 企业上云实践 机场视频监控最佳实践 打开终端或者ssh工具，登录CentOS终端:#ssh root@ip[输入密码] 将SDK文件拷贝到CentOS主机：[jinghai@aliDownloads]>scpaliyun-oss-python-sdk-master.zip root@39.105.67.158:/root/aliyun-oss-python-sdk-master.zip 100%339KB 5.6MB/s 00:00 安装unzip工具，用于解压...
自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例，演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道，介绍如何通过快照 的方式，将ElasticSearch索引数据安全备份到 阿里云OSS存储空间，以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例，进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC，ECS，VPN网关，OSS，阿里云ElasticSearch，云速搭CADT
VPN网关 VPN网关是一款基于 Internet的网络连接服务，通过加密通道的方式实现企业 数据中心、企业办公网络或 Internet终端与阿里云专有网络（VPC）安全可靠 的连接。VPN网关提供 IPsec-VPN连接和 SSL-VPN连接。IPSec VPN 基于路由的 IPsec-VPN，不仅可以更方便的配置和维护 VPN策略，而且还提供 了灵活的流量路由方式。您...
弹性裸金属自建ORACLE数据库单机版
场景描述 1.客户业务系统选型ORACLE数据库且不愿 做业务改造：由于历史原因，客户业务系统 只支持ORACLE数据库。适配开源数据库 业务改造量大，客户没有技术/时间去做改 造。 2.高性能：客户希望拥有比虚拟机更高的性能 和稳定性，以保障数据库高性能，支撑高并 发的业务系统； 3.高可用：在单机条件下，极端情况下数据库 发生宕机时，客户希望能快速拉起数据库服 务，减少停机时间； 4.数据安全性：极端情况下能找回数据。数据 备份和恢复更方便。
rm-rf~/.ssh/*ssh root@公网 IP#查看文件挂载是否正常。df-lh#建立用户和组 groupadd oinstall groupadd dba useradd –g oinstall –G dba oracle echo“12345”|passwd-stdin oracle chmod-R 775/orcl/app chown-R oracle:oinstall/orcl chown-R oracle:oinstall/opt/oracle#修改环境变量 vim~oracle/.bash_profile#在...
互联网业务全球化互通组网
场景描述 本方案适用从事全球化业务的客户，希望借助全球 互通的网络，实现多地域的互通。 同时在全球互联的网络下，搭建应用多地部署。如果 业务中涉及到高速通道，提供高速通道迁移云企业网 的操作演练；涉及到跨账号多VPC下的数据迁移和 同步，本方案提供详细的操作步骤，帮助客户快速完 成演练。 解决问题 借助云企业网解决网络互通 高速通道到云企业网的平滑迁移 RDS的数据互通，特别是跨账号多VPC的数据同步 应用的快速部署 产品列表 云企业网（CEN）、云服务器（ECS）、数据库（RDS）、 数据库（Redis）、数据传输（DTS）、负载均衡（SLB） 块存储、专有网络（VPC）
安装 wordpress 步骤1 通过弹性公网 IP，使用本地 ssh 工具登录新创建的 ECS 实例，安装基本软件程序。工具介绍：unzip 和 zip——压缩和解压缩程序，后续解压 zip 文件使用。安装命令通过附件 SampleCode.sh 获取。步骤2 安装 Apache和 PHP组件。步骤3 启动 Apache服务，并设置开机默认启动 Apache。文档版本：20191217 31...
混合云多云统一安全
场景描述 有些客户的业务系统部分上云、或者还没上 云，但想使用阿里云公共云的安全服务；或 者业务系统部署在多个云平台上，想使用阿 里云的安全来提供统一服务。 解决问题 1.通过阿里云的安全产品和服务，统一管理阿 里云、IDC和它云的资产； 2.满足混合云、多云的等保需求。 产品列表 云安全中心 堡垒机 数据库审计 高防IP Web应用防火墙 证书服务 日志服务 VPN网关
运维一台服务器 步骤1 通过 SSH命令行工具，登录堡垒机。IP地址是堡垒机实例的公网 ip，用户名是运维账号，端口默认是 60022（后台可以修 改）。文档版本：20200630 45 混合云多云统一安全 统一运维管理 步骤2 输入密码。步骤3 通过上下移动鼠标，选择要运维的服务器；本最佳实践中只授权了一台服务器，选中 后回车，直接...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
Hadoop集群环境搭建 ssh master2"cat/root/.ssh/id_rsa.pub">>/root/.ssh/authorized_keys ssh slave1"cat/root/.ssh/id_rsa.pub">>/root/.ssh/authorized_keys ssh slave2"cat/root/.ssh/id_rsa.pub">>/root/.ssh/authorized_keys ssh slave3"cat/root/.ssh/id_rsa.pub">>/root/.ssh/authorized_keys cat/root/.ssh/...
EHPC混合云渲染
介绍在混合云环境下，利用E-HPC及其文件缓存机制，无缝读取线下存储中的项目资产，免去复杂繁琐的文件同步问题；充分利用云上资源弹性、按使用付费的优势，构建高性能、高可靠和可扩展的渲染服务。 解决问题 l混合云环境下本地集群与云端集群一体化的渲染服务。 l避免繁琐复杂的本地与云端的文件同步问题。 l低成本、高效率应对渲染业务峰值。 产品列表 l云服务器、GPU云服务器 l高性能计算E-HPC l专有网络VPC l云企业网CEN l弹性公网IP EIP l访问控制RAM l文件存储NAS
开发工具准备 1.1.SSH工具 首先打开SSH工具，连接集群。在MAC OS上，找到终端应用，图标如，如下图所示。在 Windows系统上，建议使用 Putty，下载地址如下：https://www.putty.org/ 文档版本：20220325 5 E-HPC混合云渲染最佳实践 部署本地渲染服务 文档版本：20220325 6 E-HPC混合云渲染最佳实践 部署本地渲染服务 2.开通...
EHPC药物筛选
场景描述 本方案适用于使用弹性高性能计算 EHPC和文件存储NAS来搭建基础环 境，运行药物筛选应用AutodockVina 的场景中，这里采用批处理方式来提交 作业，并可以可视化计算结果。 方案架构 1.计算之前，将数据通过互联网/闪电立方/高速通道上传到阿里云OSS 2.计算时，将数据从OSS拉取到文件共享存储NAS上 3.计算时，在EHPC集群上进行，计算节点从NAS上读写数据 • 容量型NAS：低成本，大容量 • 性能型NAS：适合高IOPS应用，作为临时目录 • CPFS：适合超大规模，并行度极高的作业 4.计算节点： • 如果对计算时间不敏感，希望低成本运算，可选ECS实例 • 如果时效性要求高，建议采用SCC超级计算集群 5.可视化 • 如果可视化部分计算量不大，可以采用EHPC自带的可视化服务 解决问题 1.使用EHPC运行药物筛选应用 2.使用nas存储计算数据 3.使用OSS保存计算结果 • 通过分子对接（moleculardocking）模拟计算进行药物筛选，是模拟小分子配体和生物大分子受体的 相互作用，预测配体和受体的结合模式和亲和力。 • 通常，有很多已有的配体库，如商业化的Specs、Enamine和ChemDiv化合物库。提供大量配体，模 拟计算就是计算这些配体和给定受体的相互作用。 • 每次模拟计算通常处理一个配体和一个受体，不同配体之间没有依赖，因此可以同时大规模并行处 理。 本解决方案同样适用于有批量、高并发处理需求的其它生物、医药等场景。 产品列表 弹性高性能计算E-HPC 文件存储NAS 对象存储OSS
文档版本：20210811 III 企业上云实践 EHPC药物筛选最佳实践 开发工具准备 1.1.SSH工具 首先打开SSH工具，连接集群。在MAC OS上，找到终端应用，图标如，如下图所示。在 Windows 系统上，建议使用 Putty，下载地址如下：https://www.putty.org/ 文档版本：20210811 IV 企业上云实践 EHPC药物筛选最佳实践 文档版本：...
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景，使用神龙 GPU云服务器（SCCGN6）+CPFS进行NLP的 训练，采用Bert模型。这里不使用容器，直接 使用裸机进行NLP的Bert训练，使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器（SCCGN6） SCC超级计算集群 CPFS共享存储
步骤2 打开终端工具，登录scc001。[jinghai@aliconnect]>ssh root@106.*.196.249#替换成你的IP地址 步骤3 下载驱动，并安装。[root@scc001~]#wget https://us.download.nvidia.com/tesla/410.129/NVIDIA-Linux-x86_64-410.129-diagno stic.run [root@scc001~]#ls NVIDIA-Linux-x86_64-410.129-diagnostic.run[root@scc001~]...
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户，无法 接受T+1延迟。 3.对数据成本有一定诉求的客户，希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析：依托ADB计算密集型实例， 秒级监控DAU等数据，为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析：打通结构化和非结构化 数据，支撑产品体验分析；广告买量投放效 果实时（分钟级）分析，渠道的评估更准确。 3.低成本：DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析，在满足各种分析场景需求的同时，有效 地降低的客户的总体使用成本。 4.学习成本低：DLA和ADB兼容标准SQL语 法，无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
融合分析架构特点：数据采集：ￚ 通过阿里云日志服务广泛的日志采集能力，通过泛在的日志服务等产品、开 源工具，从服务器、终端采集多维度、多种类游戏日志，行为、指标数据。数据存储与投递：ￚ 利用 OSS近乎无限的云数据湖存储能力，利用 DLA内建的灵活可定制的 ETL能力。ￚ 打通 SLS->OSS->DLA->ADB,进行数据湖投递、...
RAPIDS加速图像搜索
场景描述 本方案适用于使用RAPIDS加速平台 +GPU云服务器来对图像搜索任务进行加 速的场景。相比CPU，利用GPU+ RAPIDS在图像搜索场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速图像搜索环境 2.使用容器服务Kubernetes版部署图 像搜索环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
登录终端，启动 ssh服务 默认的镜像没有启动 ssh服务，无法直接登录，需要通过控制台进入，启动 ssh服 务，然后才可以用 ssh工具远程登录。某些版本的镜像第一次登录后，会弹出 Please enter your NGC API Key to login to the NGC Registery，这时输入之前保存的 API Key 并单击 Enter即可。21 RAPIDS加速图像搜索 登录...
RAPIDS加速机器学习
场景描述 本方案适用于使用RAPIDS加速库+GPU 云服务器来对机器学习任务或者数据科学 任务进行加速的场景。相比CPU，利用 GPU+RAPIDS在某些场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速机器学习环境 2.使用容器服务Kubernetes版部署 RAPIDS环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
登录终端，启动 ssh服务 默认的镜像没有启动 ssh服务，无法直接登录，需要通过控制台进入，启动 ssh服 务，然后才可以用 ssh工具远程登录。某些版本的镜像第一次登录后，会弹出“Please enter your NGC API Key to login to the NGC Registery”,这时输入之前保存的 API Key 并点击 Enter。19 文档版本信息：20191209 ...
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前，模型已经训练完成。例如,刷脸 支付中，我们在刷脸的时候，就是推理的一个过 程。再比如图像分类，目标检测，语音识别，语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
Arena是阿里云容器服务团队为 AI任务运行在 Kubernetes集群中提供的效率工 具，大大简化机器学习技术栈的部署、使用中的复杂性，把异构计算和云原生技术的 发布日期：20220320 II 企业上云实践 基于弹性计算的 AI推理最佳实践|前言 最佳实践通过友好的用户体验交付出来。Arena通过命令行工具，支持深度学习工作 流中模型...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
cat/root/.ssh/id_rsa.pub>>/root/.ssh/authorized_keys ssh slave1"cat/root/.ssh/id_rsa.pub">>/root/.ssh/authorized_keys ssh slave2"cat/root/.ssh/id_rsa.pub">>/root/.ssh/authorized_keys ssh slave3"cat/root/.ssh/id_rsa.pub">>/root/.ssh/authorized_keys 3.查看 master节点生产的文件。cat/root/.ssh/...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
cat/root/.ssh/id_rsa.pub>>/root/.ssh/authorized_keys 文档版本：20211029 10 CDH迁移升级 CDP最佳实践 基础环境搭建 ssh slave1"cat/root/.ssh/id_rsa.pub">>/root/.ssh/authorized_keys ssh slave2"cat/root/.ssh/id_rsa.pub">>/root/.ssh/authorized_keys ssh slave3"cat/root/.ssh/id_rsa.pub">>/root/.ssh/...
KVM on弹性裸金属
场景描述 神龙是一款兼具虚拟机弹性和物理机性能及特性的 新型计算产品，为用户上云提供便捷。上一篇《阿里 云弹性裸金属最佳实践之VMwareon神龙》介绍了 基于阿里云神龙部署VMware，本篇指导用户基于神 龙自行创建KVM虚拟机。用户在将线下基于KVM 的业务灵活部署上云的同时，可充分管理和利用云上 计算资源。 解决问题 1.为传统企业提供在阿里云上自建KVM虚拟化平 台的解决方案。 2.基于KVM虚拟化平台的系统如何迁移上云。 产品列表 1.弹性裸金属服务器 2.文件系统NAS 3.弹性公网IP
公网带宽 勾选分配公网IPv4地址 按使用流量 50Mbps 安全组 默认安全组（自定义端口）确认勾选了22端口、3389端口、ICMP协议。弹性网卡（1）网卡名称 输入符合要求的网卡名称。本例设置为eni5。专有网络 选择在第1章节创建的kvm。文档版本：20191213 3 KVMon弹性裸金属 演示环境说明 交换机 选择在第1章节创建的subnet2。主...
函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用，每天 有大量的上传视频，需要及时转码处理以适配各 种终端及网络条件，要求短时间内准备大量的计 算资源进行大规模并行转码处理，同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
带宽计费模式：按使用流量 带宽峰值：5Mbps 安全组 选择默认安全组，确认勾选开放了 22端口、3389端口和 ICMP协议。步骤6 在系统配置页面，完成以下配置，并单击确认订单。文档版本：20201228（发布日期）31 Function Compute 实现弹性音视频处理系统 应用测试 配置项 说明 登录凭证 自定义密码 登录名 root 登录密码 按...
- 产品推荐
- 这些文档可能帮助您