python pandas中DataFrame类型数据操作函数

_相关内容
$textbanner2
点击展开卡片icon

创建DataFrame

DataFrame中包含LIST或DICT列,系统不会推断该列的类型,必须手动使用as_type指定类型as_type参数类型必须是DICT。df2= DataFrame(df,unknown_as_string=True,as_type={'null_col2':'float'}) df2.dtypes odps.Schema { sepallength ...

DataFrame概述

PyODPS提供了DataFrame API,它提供了类似Pandas的接口,但是能充分利用MaxCompute的计算能力。同时能在本地使用同样的接口,用Pandas进行计算。快速入门:为您介绍如何创建和操作DataFrame对象,以及使用Dataframe完成基本的数据处理。...

函数计算

阿里云函数计算是事件驱动的全托管计算服务。通过函数计算,您无需管理服务器等基础设施,只需编写代码并上传。函数计算会为您准备好计算资源,以弹性、可靠的方式运行您的代码,并提供日志查询、性能监控、报警等功能。

概述

对于Pandas自定义函数,输入数据类型是Pandas中定义的数据结构,例如pandas.Series和pandas.DataFrame等,您可以在Pandas自定义函数中使用Pandas和Numpy等高性能的Python库,开发出高性能的Python自定义函数,详情请参见Vectorized ...

HybridDB for MySQL

数据库HybridDB for MySQL(原名PetaData)是同时支持海量数据在线事务(OLTP)和在线分析(OLAP)的HTAP(Hybrid Transaction/Analytical Processing)关系型数据库。\n\nHybridDB for MySQL采用一份数据存储来进行OLTP和OLAP处理,解决...

PyODPS

DataFrame聚合性能更高,推荐您使用DataFrame执行聚合操作,详情请参见聚合操作。如何使用PyODPS下载全量数据?PyODPS默认不限制从Instance读取的数据量。但是对于受保护的项目,您通过Tunnel下载数据将受限。此时,如果未设options.tunnel...

概述

经常使用PyODPS DataFrame的to_pandas()方法,将PyODPS DataFrame转成Pandas DataFrame的场景。熟悉Pandas接口,但不愿意学习PyODPS DataFrame接口的场景。使用索引的场景。创建DataFrame后需要保证数据顺序的场景。Mars DataFrame通过iloc...

在DataWorks上使用PyODPS

请避免在PyODPS任务写额外的Python数据处理代码。在DataWorks上编写代码并进行调试效率较低,为提升运行效率,建议本地安装IDE进行代码开发。在DataWorks上使用PyODPS时,为了防止对DataWorks的Gate Way造成压力,对内存和CPU都有限制,...

Python SDK

如果需要对单行数据应用一个Python函数,或者执行一行变多行的操作,这时使用PyODPS DataFrame就可以轻松完成,并且可以完全发挥MaxCompute的并行计算能力。例如有一份JSON串数据,需要把JSON串按Key-Value对展开成一行,代码如下所示。In...

执行

将表数据读出,PyODPS可以执行open_reader方法,通过reader.to_pandas()转成Pandas DataFrame。立即运行设置运行参数 对于立即执行的方法,例如execute、persist、to_pandas等,您可以通过以下方法设置它们运行时的参数(仅对ODPS SQL...

绘图

详细的参数说明请参见pandas.DataFrame.plot。kind 说明 line 线图。bar 竖向柱状图。barh 横向柱状图。hist 直方图。box Box图。kde 核密度估计。density 和Kde相同。area Area图。pie 饼图。scatter 散点图。hexbin Hexbin图。除上表所示...

Sequence

DataFrame支持的数据类型有INT8、INT16、INT32、INT64、FLOAT32、FLOAT64、BOOLEAN、STRING、DECIMAL、DATETIME、LIST、DICT。LIST和DICT必须填写其包含值的类型,否则会报错。目前DataFrame暂不支持MaxCompute 2.0新增的TIMESTAMP及...

使用自定义函数Python第三方库

本文为您介绍如何使用自定义函数及Python第三方库。使用自定义函数 DataFrame函数支持对Sequence使用map,它会对它的每个元素调用自定义函数。iris.sepallength.map(lambda x:x+1).head(5)sepallength 0 6.1 1 5.9 2 5.7 3 5.6 4 6.0 说明 ...

常见问题与最佳实践

PyODPS DataFrame处理笛卡尔积的方式 请参见云栖社区了解如何使用PyODPS DataFrame API执行笛卡尔积的操作。DataWorks PyODPS节点实现结巴中文分词 请参见PyODPS节点实现结巴中文分词了解如何在DataWorks使用PyODPS节点实现结巴中文分词...

调试指南

由于PyODPS DataFrame本身会对整个操作执行优化,为了更直观地反应整个过程,您可以使用可视化的方式显示整个表达式的计算过程。可视化DataFrame 可视化需要依赖graphviz软件和graphvizPython包。df= iris.groupby('name').agg(id=iris....

创建PyODPS 3节点

3的部分语法(例如Python 3.8的finally block)时,执行会报错,建议您选择Python 3.7。PyODPS 3节点获取到本地处理的数据不能超过50 MB,节点运行时占用的内存不能超过1 GB,否则节点任务会结束运行。请避免在PyODPS 3节点写入过多...

聚合操作

本文为您介绍DataFrame支持的聚合操作,以及如何实现分组聚合和编写自定义聚合。DataFrame提供对列进行HyperLogLog计数的接口。from odps.df import DataFrame iris=DataFrame(o.get_table('pyodps_iris'))常用聚合操作如下: 使用describe...

版本更新记录

本文为您介绍Mars近期版本的更新说明,基于此您可以了解Mars对应版本的新增功能、增强功能等内容。Mars近期版本的更新说明如下,详细信息请单击对应版本链接获取。版本 变更类型 描述 v0.6.3 新功能 DataFrame: md.Index添加更多功能,...

快速入门

PyODPS是MaxCompute的Python版本的SDK,提供简单方便的Python编程接口。PyODPS支持类似Pandas的快速、灵活和富有表现力的数据结构。您可以通过PyODPS提供的DataFrame API使用Pandas数据结果处理功能。本文用于帮助您快速开始使用PyODPS,...

函数可以相互调用吗?

函数中调用其他函数与您在本地调用其他函数相同,需要使用InvokeFunction API调用指定函数。您可以参考各个不同语言的SDK,更多信息,请参见:Node.js Python Java 说明 您可以从入口函数参数Context对象中获取相关的临时Token来构造对应...

创建PyODPS 3节点

3的部分语法(例如Python 3.8的finally block)时,执行会报错,建议您选择Python 3.7。PyODPS 3节点获取到本地处理的数据不能超过50 MB,节点运行时占用的内存不能超过1 GB,否则节点任务会结束运行。请避免在PyODPS 3节点写入过多...

PL/Python 使用

云原生数据仓库AnalyticDB PostgreSQL版支持用户使用 PL/Python 过程语言自定义函数。限制 不支持在 PL/Python 使用触发器。不支持可更新的游标(比如 UPDATE.WHERE CURRENT OF and DELETE.WHERE CURRENT OF)。只支持python2,暂不支持...

Python事件函数

函数计算服务使用Python编程,需要定义一个函数作为入口函数,本文介绍Python事件函数。背景信息 函数计算目前支持以下Python运行环境: Python 2.7(runtime=python 2.7)Python 3.6(runtime=python 3)事件函数示例 一个最简单的...

当我运行Python语言的函数时,遇到报错NoneType ...

可能原因 入口函数定义错误,例如您在Python事件函数的入口函数中,创建了HTTP触发器。解决方案 请参考以下不同的函数类型定义您的入口函数: Python事件函数的入口函数定义。详细信息,请参见Python事件函数。def handler(event,context):...

IoT物联网平台

您可以使用规则引擎数据流转,将数据转发至函数计算(FC),然后由函数计算运行函数脚本进行业务处理。前提条件 已创建函数计算的服务和函数,配置函数,并验证函数能正常执行。函数计算使用方法,请参见函数计算文档。已创建数据转发...

使用VSCode插件创建函数

本文介绍了如何通过VSCode插件创建函数。前提条件 您已完成以下操作:开通服务 下载安装Visual Studio Code 安装Docker 编译代码、安装依赖及在本地运行调试等操作都是在Docker镜像进行的。安装Aliyun Serverless VSCode Extension插件 ...

Jupyter Notebook增强

PyODPS针对Jupyter Notebook下的探索性数据分析功能进行了增强,包括结果探索功能以及进度展示功能。结果探索 PyODPS在Jupyter Notebook中为SQL Cell和DataFrame提供了数据探索功能。对于已拉到本地的数据,可使用交互式的数据探索工具浏览...

部署基于python wsgi web框架构建的工程

本文介绍如何将基于WSGI Web框架构建的工程部署到函数计算。背景信息 函数计算HTTP触发器 HTTP触发器是众多函数计算触发器的一种,通过发送HTTP请求触发函数执行,主要适用于快速构建Web服务等场景。HTTP触发器支持HEAD、POST、PUT、GET...

Python HTTP函数

fc.context:和Python事件函数中的context参数意义相同。fc.request_uri:请求的URL,格式为String。说明 environ中的HTTP_Variables里包含请求头,例如某个请求头是'x-Custom-key':'value', 在environ中会表现为environ['...

中文和时间

数据类型 Python 2.x支持以下两种数据类型:数据类型 描述 str 字符串。对应Python 3.x的bytes类型。unicode unicode流。其长度是字符,如u'中文'的长度是2。Python 3.x支持以下两种数据类型:数据类型 描述 str 字符串。对应Python 2....

函数操作

同一个服务下可以创建多个函数,这些函数共享服务配置的日志资源和角色信息,但彼此相互独立,互不影响。本文介绍如何通过函数计算控制台创建、配置和删除函数。前提条件 创建服务 背景信息 函数计算提供了以下方式来管理函数函数计算...

Python Initializer函数

Initializer函数是实例的初始化函数,保证同一实例成功且仅成功执行一次。本文介绍Python Initializer入口的结构和特点。背景信息 函数计算目前支持以下Python运行环境:Python 2.7(runtime=python 2.7)Python 3.6(runtime=python 3)...

优化数据转换

Databricks使用嵌套类型优化高阶函数DataFrame ...请参阅以下文章以了解如何开始使用这些优化的高阶函数和复杂数据类型:Higher-order functionsTransform complex data types说明 详细内容可参考Databricks官网文章:优化数据转换

配置选项

False df.odps.sort.limit DataFrame有排序操作时,默认添加的Limit条。10000 机器学习配置 选项 说明 默认值 ml.xflow_settings Xflow执行配置。None ml.xflow_project 默认Xflow工程名。algo_public ml.use_model_transfer 是否使用...

存储过程

比如,可以创建复杂的条件计算函数,并随后将之用于定义操作符或者用于函数索引。PL/Python-Python 过程语言 PL/Python 过程语言允许用 Python语言编写AnalyticDB PostgreSQL版过程函数。要在特定数据安装 PL/Python,使用CREATE ...

基本概念

您可以将数据库场景下连接池构建、函数依赖库加载等耗时长的业务逻辑放到Initializer函数中,避免每次运行函数都会做重复的操作,降低函数延时。Initializer函数在函数计算平台分配实例后执行,早于入口函数的执行。虽然HTTP函数与事件函数...

创建触发器

HTTP触发器相关参数是在创建函数的过程中配置,而其他类型的触发器相关参数是在已创建的函数中配置。操作步骤 登录函数计算控制台。在顶部菜单栏,选择地域。在左侧导航栏中,单击服务及函数。在服务及函数页面,单击目标服务,然后单击...

Python SDK概述

本文为您介绍Python SDK及其常见方法。背景信息 PyODPS是MaxCompute的Python SDK,提供DataFrame框架和MaxCompute对象的基本操作方法。您可以通过MaxCompute轻松地分析数据。PyODPS支持的底层Python版本为Python2(2.6以上版本)和Python3...

函数简介

函数是系统调度和运行的单位。函数必须从属于服务,同一个服务下的所有函数共享一些相同的设置,例如服务授权、日志配置。函数属性 在创建函数时,您需要指定以下信息:属性 是否必选 描述 FunctionName 是 函数名称。在当前服务内唯一,并...
< 1 2 3 4 ... 159 >
共有159页 跳转至: GO

你可能感兴趣

热门推荐

新人福利专场 阿里云试用中心 企业支持计划 飞天会员助力企业低成本上云 智能财税30天免费试用 云解析DNS新用户首购低至36元/年起 ECS限时升级特惠6.5折