python爬虫类项目,requests无法正常get网页

开发者论坛 > 云服务器> 帖子正文


python爬虫类项目,requests无法正常get网页

goojia 01-05 回复 3 浏览 1143
我的系统是centos7,想在服务器上测试一个python脚本,通过requests模块发送get请求,访问https://www。footlocker。com。程序在自己的电脑上win10系统测试是成功的,但是一旦部署到ECS服务器端的时候,就无法访问了,显示read time out,port=443。 我测试了服务器上,能够ping通这个网站,但是到脚本里就无法get到了。 代码: [code]from bs4 import BeautifulSoup import requests import urllib.request from requests.packages.urllib3.exceptions import InsecureRequestWarning requests.packages.urllib3.disable_warnings(InsecureRequestWarning) url = 'https://www.footaction.com' print('start') header = {     "Connection":"keep-alive",     "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.75 Safari/537.36", } r = requests.get('https://www.footlocker.com', headers = header, timeout = 5) print(r) content = r.text soup = BeautifulSoup(content, 'html.parser') print(soup)[/code]
<上一篇 下一篇>
goojia 1楼 01-05
求救求救求救吖,新手,在这里卡了一天半了
君斗云 2楼 01-06
你不是来打广告的吧。我尝试了,同样等待超时。应该是对方服务器对阿里云主机请求进行阻拦。不知兄台,云主机是哪里的节点?
goojia 3楼 01-07
哇,终于有人肯回我了,我的主机地址是在上海的,可能那边的网站对阿里云的IP进行了拦截,我使用代理之后就可以get通了。

相关帖子