脚本

#脚本#

已有3人关注此标签

内容分类

unliklll

PyODPS脚本任务不定时出现 IncompleteRead问题

from odps import ODPSfrom odps import options options.tunnel.use_instance_tunnel = Trueoptions.tunnel.limit_instance_tunnel = False sql_query="select * from dwd.table_name where day='20190101'"instance = o.run_sql(sql_query)instance.wait_for_success() with instance.open_reader() as reader: print(u'共加载到%d条数据' % reader.count) for item in reader: print (item) 使用上述方法读取odps上的数据时,会不定时的出现: ...... http.client.IncompleteRead: IncompleteRead(284 bytes read, 2785 more expected) During handling of the above exception, another exception occurred: ...... raise ProtocolError('Connection broken:%r' %e, e) urllib3,exceptions.ProtocolError:('Connection broken:IncompleteRead(7455 bytes read)',IncompleteRead(7455 bytes read) ) 安装pyodps时,需要urllib3依赖,从错误日志中可以看出,上述现象和odps.tunnel.io.reader_c.TunnelRecordReader.__next__odps.tunnel.io.reader_c.BaseTunnelRecordReader.read 有关系。 请问,这是什么原因导致的,怎样解决?

Fowrks

外网与云服务器ECS无法建立Socket连接的问题

ECS内网ip为:N.N.N.N公网IP为:G.G.G.G ECS云服务器上python脚本为:……sk = socket.socket()sk.bind(("N.N.N.N",5126)) #绑定在"0.0.0.0"也试过了,同样不可以sk.listen(5)conn,address = sk.accept()…… 自己设备上的脚本为:……sk = socket.socket()sk.connect(("G.G.G.G",5126))…… 安全组规则设置为: 已经打开了端口 可是就是连接不上,是啥原因?

游客v5iscfxtv4tju

在maxcompute下提交原生pyspark任务 报错odps-0420031 具体情况如下

刚刚开始接触阿里云大数据开发平台,通过官方文档看到,是完全支持原生spark的任务的提交,于是按照文档的环境配置,搭建了spark-2.3.0版本的客户端环境,但是在提交任务的过程中,已local[N]的模式提交,运行spark下的example的demo没有问题,运行自己的测试代码也没有任何问题,但是一旦以yarn-cluster模式提交,就会出现一个错误,目前没有解决的相关头绪,报错截图如下,往各位前辈,能指点一下,任务是以pyspark的方式提交,任务脚本为python开发 提交命令如下: spark-submit --master yarn-cluster --jars odps-spark-datasource_2.11.3.3.3_public.jar example/pi.py 报错内容大致为 发送请求时,对某个xml文件解析出现问题,但是我没有找到任何关于xml文件的信息

李博 bluemind

求助,springboot中使用配置可以在创建data-source时读取resources下的sql脚本文件,但是 我在代码中需要动态创建数据库并创建data source 怎么样才能够在每次创建data-source

时也读取脚本在对应的库中创建表呢这里的setSchema.sql只能设置Schema的名字 但是并不会运行脚本文件有人知道怎么回事吗? 本问题来自云栖社区【阿里Java技术进阶2群】。https://yq.aliyun.com/articles/690084 点击链接欢迎加入社区大社群。

hbase小能手

【精品问答合集】Hbase热门问答

hbase 大量写入很慢https://yq.aliyun.com/ask/50074 发现hbase文件大规模的丢失了https://yq.aliyun.com/ask/46584 hbase启动脚本start-hbase的疑问https://yq.aliyun.com/ask/42409 公网访问emr hbase的问题https://yq.aliyun.com/ask/39720 Hbase数据是否可以同步到OSS中https://yq.aliyun.com/ask/23711 hbase源码调试https://yq.aliyun.com/ask/438657 HBase import时产生得bughttps://yq.aliyun.com/ask/438638 使用Java API访问phoenix报错?https://yq.aliyun.com/ask/439917 Hbase异步客户端https://yq.aliyun.com/ask/439907 Hbase 在大规模用户画像标签,标签有近百个左右,适合吗?https://yq.aliyun.com/ask/448741 hbase 2 内置现在的事务做的怎么样?支持到什么隔离级别?如果有的话,hbase分布式事务依靠什么做的?https://yq.aliyun.com/ask/448740 批量删除hbase的数据用什么方式比较快https://yq.aliyun.com/ask/447406 hbase作为实时的储存数据库,用spark和fink怎么实现呢?https://yq.aliyun.com/ask/448802 CDH 最新版已经集成了HBase2.0,不知道有没有体统HBCKhttps://yq.aliyun.com/ask/448792 tidb这类new sql 会对hbase造成很大冲击吗?https://yq.aliyun.com/ask/448782 HBase 2.0 的查询性能怎样优化?https://yq.aliyun.com/ask/448780 hbase中如何每天更新千万级别的用户标签数据?https://yq.aliyun.com/ask/450137 Hbase的bulkload有全量与增量的概念么?https://yq.aliyun.com/ask/450133 Hive on hbase 分析10亿以上数据不是特别好?https://yq.aliyun.com/ask/450103 直接读HFile与 通过hbase读,它们性能提升多少https://yq.aliyun.com/ask/455599 HBase region个数如何划分?https://yq.aliyun.com/ask/455593 请问阿里云上可以搭建虚拟机吗,我需要搭建一个hbase的数据存储平台,至少3个服务器,可以在云服务器上搭建吗https://yq.aliyun.com/ask/48679 以下问题已有400+用户浏览过但至今还未有人回答,你愿意来挑战下吗? cdh安装如何在host中配置多个iphttps://yq.aliyun.com/ask/450144 java连接hbase开启kerberos失败https://yq.aliyun.com/ask/451214 请问hbase advanced user是什么,如何成为advanced user?https://yq.aliyun.com/ask/452248 建表时加盐怎么加性能比较好https://yq.aliyun.com/ask/498250 cdh5.11-hbase1.2 这个版本的hbase,出现了region 下的store file 全部丢失的问题,且hbck 恢复不了,在写入的时候已经确认写入了,会不会是手动marjor_compact导致的?或者有遇到相似问题的怎么恢复?https://yq.aliyun.com/ask/498344 技术交流群 HBase生态+Spark社区大群 点击链接入群 https://dwz.cn/Fvqv066s 或扫码进群

k8s小能手

构建后面单元测试针对的是docker镜像吗?

"构建后面单元测试针对的是docker镜像吗?自动部署到单元测试环境跑测试脚本?"

激情小笨笨

是否可以将flink部署在运行在JDK1.7的YARN上?

目前YARN集群全部采用JDK1.7的环境。正在尝试使用FLINK来处理流处理业务场景部署的时候发现FLINK ON YARN模式执行一个session任务总是报错,YARN的AM日志显示Unsupported major. minor version 52.0,尝试采用官网邮件列表中推荐的flink-conf.yaml中添加env.java.home: 和启动脚本添加-yD yarn.taskmanager.env.JAVA_HOME=、-yD containerized.master.env.JAVA_HOME=、-yD containerized.taskmanager.env.JAVA_HOME=以上三个参数。均无法实现YARN中flink session以jdk1.8的环境运行AM任务。FLINK是否可以在一个JDK7环境的yarn中执行相关ON YARN部署?

游客886

请教一下双机压力情况下倒换后,主备机异步流复制不能同步的问题:

各位大拿,请教一下双机压力情况下倒换后,主备机异步流复制不能同步的问题: 条件:主机38,备机42,keepalived浮动地址40,用pg_bench向浮动地址施压,主备机的同步正常 测试:1.在主机38上reboot2.keepalived通知42做新主机,42脚本做pg_promote3.pg_bench因浮动地址换了设备,重新手工启动进程施压4.原主机38机器重启后,keep通知成为备机,做pg_rewind(返回值0,但提示的是时间线一致,没有rewind),再pg_ctl start后,pg_log有wal同步不正常报错 如果没有pg_bench持续加压,而是手工向主机插数据,测试后同步是没问题的 第四步start之前有生成recovery.conf 本问题来自云栖社区【PostgreSQL技术进阶社群】。https://yq.aliyun.com/articles/690084 点击链接欢迎加入社区大社群。

宋淑婷

在CloudFormation中为EMR主节点专用IP地址创建记录

我想知道是否有办法AWS::Route53::RecordSet在CloudFormation配置中声明一个指向同一配置中定义的EMR集群上主节点的私有IP地址? CloudFormation脚本应该是不言自明的: rVPC: Type: AWS::EC2::VPC # ... rMyEMRCluster: Type: AWS::EMR::Cluster # ... rPrivateHostedZone: Type: AWS::Route53::HostedZone Properties: Name: "example.com" VPCs: - VPCId: !Ref rVPC VPCRegion: ${AWS::Region} rMyRecordSet: Type: AWS::Route53::RecordSet Properties: HostedZoneId: !Ref rPrivateHostedZone Name: !Sub "sub.example.com" Region: ${AWS::Region} Type: A ResourceRecords: # TODO: How can I do something like this: # - GetAtt rMyEMRCluster.MasterNodePrivateIpAddress

宋淑婷

在EMR中添加S3同步步骤

执行完所有步骤后,我想执行最后一步将S3数据复制到另一个存储桶。 我没有找到任何支持的运行shell命令的脚本 https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-commandrunner.html 支持s3-dist-cp,如果允许我覆盖目标目录数据,我可以使用它。 我需要这样的东西: { action_on_failure = "CONTINUE" name = "copy s3 data" hadoop_jar_step = [{ args = ["bash" , " aws s3 sync s3://bucket1/data s3://bucket2/data"] jar = "command-runner.jar" }] }

宋淑婷

使用docker exec执行主机上存在的shell脚本时出现问题

我正在尝试在AWS EMR集群的主节点上执行脚本。目的是创建一个新的conda env并将其链接到jupyter。我正在关注AWS的这个文档。问题是,无论脚本的内容是什么,我都会遇到同样的错误:bash: /home/hadoop/scripts/bootstrap.sh: No such file or directory执行时sudo docker exec jupyterhub bash /home/hadoop/scripts/bootstrap.sh。我确保sh文件位于正确的位置。 但是如果我将bootstrap.sh文件复制到容器内,然后运行相同的docker exec cmd,它就可以了。我在这里错过了什么?我已尝试使用带有以下条目的简单脚本,但它会抛出相同的错误: #!/bin/bashecho "Hello"该文件清楚地说: 内核安装在Docker容器中。完成此操作的最简单方法是使用安装命令创建bash脚本,将其保存到主节点,然后使用sudo docker exec jupyterhub script_name命令在jupyterhub容器中运行脚本。

宋淑婷

如何配置spark以便在S3中创建“_ $ folder $”条目?

当我使用时将数据帧写入S3 df.write .format("parquet") .mode("overwrite") .partitionBy("year", "month", "day", "hour", "gen", "client") .option("compression", "gzip") .save("s3://xxxx/yyyy")我在S3中得到以下内容 year=2018year=2019但我想改为: year=2018year=2018_$folder$year=2019year=2019_$folder$从S3位置读取的脚本取决于*_$folder$条目,但我还没有找到一种方法来配置spark / hadoop来生成它们。 有关hadoop或spark配置设置的任何想法控制*_$folder$文件的生成?

情殇殇~

shell脚本中的kill命令无效

脚本是这样的: #!/bin/bash PID=$(ps -ef | grep xx.jar | grep -v grep | awk '{ print $2 }') echo Application is already stopped echo kill $PID kill $PID 文件名为stop.sh使用sh stop.sh运行后结束不掉进程,文件权限为777

宋淑婷

如何在当前shell的上下文中执行Ruby系统调用

我正在执行rvm use ...一个Ruby脚本内部的调用: system "rvm use 2.5.5"当上述执行时,我明白了 RVM is not a function, selecting rubies with 'rvm use ...' will not work. You need to change your terminal emulator preferences to allow login shell.我很确定我是以登录shell身份登录的。在我打开的终端中使用普通的RVM命令没有问题。system命令是否在当前shell上获取或默认情况下是否使用其他内容?如果它使用其他东西,那么让Ruby在当前shell的上下文中运行命令的最佳方法是什么?

宋淑婷

JSON到CSV,跳过某些列并重新排序其他列 - Ruby

我有一个很好地将JSON文件转换为CSV文件的工作脚本,但是我正在尝试编辑脚本以在保存之前对CSV文件进行一些更改,目前没有任何成功。 这是我目前的转换脚本: require 'csv'require 'json'require 'set' def get_recursive_keys(hash, nested_key=nil) hash.each_with_object([]) do |(k,v),keys| k = "#{nested_key}.#{k}" unless nested_key.nil? if v.is_a? Hash keys.concat(get_recursive_keys(v, k)) else keys << k end endend json = JSON.parse(File.open(ARGV[0]).read)headings = Set.newjson.each do |hash| headings.merge(get_recursive_keys(hash))end headings = headings.to_aCSV.open(ARGV[0] + '.csv', 'w') do |csv| csv << headings json.each do |hash| row = headings.map do |h| v = hash.dig(*h.split('.')) v.is_a?(Array) ? v.join(',') : v end csv << row endend我用这个命令运行: for file in directory/*; do ruby json-to-csv.rb "$file"; done如何编辑此脚本以: 删除包含特定标题的列,例如“score”和“original_name”(将剩余的列从左到右按字母顺序重新排序) - 如果可能的话?到目前为止,我所尝试的一切都完全破坏了脚本 - 哪里是开始进行这些更改的最佳位置?

宋淑婷

使用脚本同时运行两个服务器(Ruby和Rails)

在我的rails rails应用程序中,我使用了两台服务器。一个是rails服务器,另一个是简单的ruby server.rb文件。我需要启动服务器并使用Start.sh脚本进行部署。 我尝试了下面的Start.sh文件代码。但问题是铁路服务器没有启动,除非我停止ruby server.rb。 start.sh文件代码 rake ts:停止 rake ts:开始 rake ts:index ruby server.rb rails服务器 我想通过单个脚本运行两个服务器

李博 bluemind

php安装redis扩展成功但是显示找不到redis.so

wget redis 解压,phpize 生成配置,然后 ./configure --with-php-config=/usr/bin/php-config配置 php.ini然后 extension='redis.so', redis.so文件在 /usr/lib/php/modules/里面存在 然后 php -m redis也显示安装成功, 在一个脚本里面 new Redis()时候但是就是在启动时候显示找不到 /usr/local/php/lib/php/extensions/no-debug-non-zts-20131226/redis.so'

shangdao

想在一个javaweb项目中打包另一个使用gradle构建的android项目生成apk,该如何做呢

最近工作需要在一个javaweb项目中打包生成apk,然后android是另一个项目,里面通过gradle进行构建,我觉得可以用gradle脚本进行构建,但是对java如何去执行gradle的脚本然后把打包出来的apk找到不是很清楚,麻烦各位大佬支个招,谢谢!!

日拱一卒999

node js 中怎么获得当前脚本所在目录?

如题,怎么获得当前脚本所在目录?

许校长

阿里云物联网平台WEB可视化里的服务开发功能节点中的脚本节点用代码怎样获取设备的属性?

进入阿里云物联网平台,在开发服务项中点击Iot Studio进入WEB可视化项目中,下方有一个服务发开,服务开发里左侧有节点的使用,其中有一个脚本节点,我想利用脚本节点,编写js代码,实现对产品设备属性或事件的获取,这段代码,我实现不出来,还请前辈们指引。我的节点编辑是这样的我的设备节点是这样的我的脚本节点代码是这样运行结果获取的值却是null