selenium+PhantomJS+IP代理

首先安装selenium、PhantomJS

• selenium安装

  pip install selenium

• PhantomJS安装
  这个需要手动的到官网下载

开始使用

• 导入需要的包

  import random
  from selenium import webdriver
  from selenium.webdriver.common.proxy import ProxyType
  # 调用键盘按键操作
  from selenium.webdriver.common.keys import Keys
  # 调用鼠标操作
  from selenium.webdriver import ActionChains
  # 设置请求头
  from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

• 操作PhantomJS

  desired_cap = DesiredCapabilities.PHANTOMJS.copy()
  # 设置请求头
  desired_cap['phantomjs.page.settings.User-Agent'] = 'user_agent...'
  # 配置代理IP
  proxy = [
      '--proxy=%s' % "139.199.38.177:8118",  # 设置的代理ip
      '--proxy-type=http',  # 代理类型
      '--ignore-ssl-errors=true',
      ]
  # 启动PhantomJS
  driver = webdriver.PhantomJS(executable_path="./phantomjs-2.1.1-linux-x86_64/bin/phantomjs",
                                   desired_capabilities=desired_cap,
                                   service_args=proxy)
  # 设置屏幕大小
  driver.set_window_size(800, 600)
  # 请求网页
  driver.get("http://www.baidu.com/")
  # 根据html元素的id找到搜索框，并且输入要搜索的内容
  driver.find_element_by_id('kw').send_keys("时光不写博客")
  # 查到搜索按钮，并且点击搜索
  random.choice([
              # 使用鼠标点击操作
              driver.find_element_by_id('su').click(),
              # 使用键盘回车操作
              driver.find_element_by_id('su').send_keys(Keys.RETURN)
              ])
  # 截屏
  driver.save_screenshot('baidu.png')
  # 使用xpath查到标签，并且点击
  driver.find_elements_by_xpath("//div[@id=%s]/h3/a" % 2)[0].click()
  # 拿到当前浏览器的最后一个tab，这是一个列表的形式
  tab = driver.window_handles[-1]
  # 切换到刚刚点击的页面
  driver.switch_to_window(tab)
  driver.save_screenshot('blog.png')
  # 根据标签名查到要点击的数据
  title = driver.find_element_by_tag_name("title")
  # 移动鼠标到title的位置，并且点击
  ActionChains(driver).move_to_element(title).click(title).perform()
  # 刷新页面
  driver.refresh()
  # 打印页面源码
  driver.page_source
  title = driver.find_elements_by_xpath("//a[@href='/.']")[0]
  # 移动到title下10像素位置，并且双点击
  ActionChains(driver).move_to_element_with_offset(title, 0, 10).double_click().perform()
  # 退出
  driver.quit()

• 具体操作命令

本文链接：时光不写博客-selenium+PhantomJS+IP代理