基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测实践 业务架构 场景描述 数据湖和数据仓库是当前大数据技术条件下构建分布式系 统的两种数据架构设计取向，数据湖偏向灵活性，数据仓 库侧重成本、性能、安全、治理等企业级特性。但是数据 湖和数据仓库的边界正在慢慢模糊，数据湖自身的治理能 力、数据仓库延伸到外部...
云原生数据库 PolarDB
阿里云云原生数据库 PolarDB是一款超级MySQL和PostgreSQL分布式云原生数据库，100%兼容MySQL和PostgreSQL，高度兼容Oracle，无论是集中式部署还是分布式架构，都能轻松融入现有系统，助力企业轻松数据迁移上云。
查看安全合规文档客户案例PolarDB具有容量大、高性价比、分钟级弹性、读一致性等优点，在互联网金融、汽车、物流、SaaS等行业沉淀了丰富的实践案例，为广大客户解决了诸多业务挑战01富友支付高并发交易和海量数据给富友的数据库带来性能瓶颈、扩展性差、运维复杂等挑战，通过云原生架构升级+引入云原生数据库PolarDB，富友...
来自：
云产品
向量检索服务 Milvus 版
阿里云向量检索服务Milvus版是一款云原生开源向量检索引擎，为用户提供多模态检索服务和高效稳定的向量数据检索能力,与云计算等产品集成对接，为AI应用场景的数据工程提供便利。
并体验更多功能技术解决方案多模态检索智能问答&大模型多模态检索结合 AI 推理、训练等工程平台和 Embedding 模型的能力，Milvus 可高效索引和检索不同类型的数据，如：图片、视频、声纹、办公文档和一些半结构化文档，支持快速精准地跨媒体类型进行信息检索，并提供强大的扩展性和灵活的接口。相关产品向量检索服务 Milvus...
来自：
云产品
通义灵码助力函数计算FC实现函数编写
现在社会软件开发的复杂性不断增加，服务器配置和运维管理更复杂、开发效率变低。函数计算FC采用无服务器计算模式，用户只需要关注业务逻辑的实现，无需关心底层的服务器配置和运维管理，从而大大降低了运维成本和复杂性，而且具有弹性伸缩、快速部署、按需使用按量付费的特点。通义灵码是阿里云出品的一款基于通义大模型的智能编码辅助工具，可以帮助开发者快速编写高质量的代码，为开发者提供了强大的编程辅助功能。两者的结合让开发者可以更高效地编写函数代码，简化部署流程，提高开发效率。
通义灵码助力函数计算FC实现函数编写 业务架构 场景描述 现在社会软件开发的复杂性不断增加，服务器配置和运维管理更复杂、开发效率变低。函数计算FC采用 无服务器计算模式，用户只需要关注业务逻辑的实现，无需关心底层的服务器配置和运维管理，从而大大 降低了运维成本和复杂性，而且具有弹性伸缩、快速部署、按需使用按...
可观测链路 OpenTelemetry版结合日志服务SLS关联分析最佳实践
可观测链路 OpenTelemetry 版为分布式应用的开发者提供了完整的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具，可以帮助开发者快速分析和诊断分布式应用架构下的性能瓶颈，当应用出现业务异常问题时，您可以在可观测链路 OpenTelemetry 版控制台关联查看日志进行分析，精准定位业务异常。
日志服务 SLS：日志服务 SLS是云原生观测与分析平台，为 Log、Metric、Trace 等数据提供大规模、低成本、实时的平台化服务。一站式提供数据采集、加工、查 询与分析、可视化、告警、消费与投递等功能，全面提升您在研发、运维、运营、安全等场景的数字化能力。云速搭 CADT（Cloud Architect Design Tools）：是一款为上云...
阿里云日志服务SLS多云统一日志方案之腾讯云日志采集最佳实践
使用日志服务SLS统一采集、存储、查询和分析阿里云、腾讯云等不同云厂商上的业务日志、系统日志和云产品日志，实现在一个平台上管理多云架构下的所有日志。
日志平台数据量大，查询慢，日志平台维护难度 高，工作量大；阿里云日志服务 SLS 多云统一日志方案 之腾讯云日志采集 最佳实践 文档版本：20240422（发布日期）阿里云SLS多云统一日志方案之腾讯云日志采集最佳实践 文档版本信息 文档版本信息 文档信息 属性 内容 文档名称 阿里云日志服务 SLS多云统一日志方案之腾讯云日志...
RocketMQ性能压测快速方案
在客户对产品性能存疑或者给客户进行POC验证时可以用本实践来快速完成性能测试。
销毁环境 文档版本：20240506 4RocketMQ性能压测快速方案 最佳实践概述 部署架构 架构说明 两台ECS，挂载EIP以便于登录和拉取压测客户端的软件。本实验中压测软件采用 RocketMQ官方提供的压测软件，可参考：https://openmessaging.cloud/docs/benchmarks/rocketmq/。1个RocketMQ实例，配置如下：实例版本 5.0系列，按量付费...
MSE云原生网关解析body内容进行路由转发
MSE云原生网关中通过自定义插件transformer解析body内容，并用以路由转发规则判断
测试结束释放环境 文档版本：20240426 5 MSE云原生网关解析 body内容进行路由转发 最佳实践概述 部署架构 架构说明 本方案涉及的云产品包括 1个 MSE实例（前面挂公网 CLB）、2个私网 CLB、2个部 署在 SAE中的测试应用。产品介绍 专有网络 VPC（Virtual Private Cloud）：是用户基于阿里云创建的自定义私有网 络,不同的专有...
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
方案优势 快速搭建起数据处理全链路 全链路自适应弹性，无需为流量峰谷做频繁的手工处理 内置 CICD平台能力，灰度，回滚，监控开箱即用 按量付费，没有资源闲置费用 部署架构 架构说明 该架构图直观的表现出了该方案中使用到的网络（VPC，交换机，安全组）、Kafka、函数计算 FC、OSS之间的关系。网络架构：◼ 整个方案会在...
基于函数计算FC实现大语言模型部署
在现代AI应用中， Qwen /chatglm2-6b 和Stable Diffusion等模型因其强大的功能而受到关注。然而，这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑，而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境，包括冷启动、弹性伸缩等，确保模型能够在大规模的请求下稳定运行。
基于函数计算 FC实现大语言模型部署最佳实践 业务架构 方式一：魔搭 SwingDeploy模型到 FC 方式二：FC3.0应用模板部署 场景描述 在现代 AI应用中，Qwen/chatglm2-6b等社区模型因其强大的功能而受到关注。然而，这些模型对计算 资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算 FC的无服务器计算模式为这类模型...
基于函数计算FC镜像部署Stable Diffusion大模型
在现代AI应用中， Stable Diffusion等模型因其强大的功能而受到关注。然而，这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑，而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境，包括冷启动、弹性伸缩等，确保模型能够在大规模的请求下稳定运行。
基于函数计算 FC镜像部署 Stable Diffusion大模型 最佳实践 业务架构 场景描述 在现代 AI应用中，Stable Diffusion等模型因其 强大的功能而受到关注。然而，这些模型对计算资 源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算 FC的无服务器计算模式为这类模型的 部署提供了全新的解决方案。用户只需关注模型的 ...
云原生数据仓库AnalyticDB PostgreSQL版
阿里云MPP架构的云原生数据仓库，可提供PB级海量数据在线/离线分析服务，是面向各行各业的有竞争力的数仓方案，真正做到“人人可用的数据分析服务”。
云数据平台降本增效.升级云数仓，大幅降本增效.随着云数仓部署的普及，企业寻求持续增加IT的投入产出比；AnalyticDB PostgreSQL版本发布了云原生Serverless版，支持秒级付费，按需启停，存算分离，分时弹性等能力，赋能IT精细化运维，支持企业用于升级替换现有云数仓；ADBPG Serverless版相较于友商产品，可提供4~10倍的性...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您