PHP采集商家信息及采集方法概述（下）

 下面我们来上代码

数据库采用PDO 主要用到了预处理 关于预处理的内容

参考：PHP5中PDO(PHP DATA OBJECT)模块基础详解

还有一个phpquery 源码下载 这个稍后在给出具体的教程

第一步：

基本的配置 数据库文件在第一讲里面

数据库连接：conn.php

1. <?php 
2.     define('DB_USER', 'root');  
3.     define('DB_PASSWORD', '');  
4.     define('DB_CHARSET', 'utf8');  
5.     try {  
6.         $DBH = new PDO('mysql:host=localhost;dbname=shopyijia', DB_USER, DB_PASSWORD);  
7.         $DBH->exec('SET CHARACTER SET '.DB_CHARSET);  
8.         $DBH->exec('SET NAMES '.DB_CHARSET);  
9.         /*  
10.          * 如果想要在脚本结束的时候不释放链接那么在参数里面加上array(PDO::ATTR_PERSISTENT => true)不过一般情况下可以不用常链接  
11.         $dbh = new PDO('mysql:host=localhost;dbname=test', $user, $pass, array(  
12.             PDO::ATTR_PERSISTENT => true  
13.             ));  
14.          */  
15.     } catch (PDOException $e) {  
16.         print "Error!: " . $e->getMessage() . "<br/>";  
17.         die();  
18.     }  

第二步：

手动添加一级分类的信息地址

第三步：

爬取二级分类

1. <?php 
2. /* 
3.  * 获取所有商家目录信息 
4.  */ 
5. header("Content-type:text/html;charset=utf8"); 
6. set_time_limit(0); 
7. define('SHOP_BASE_URL', 'http://shop.yijia.com'); 
8. require_once 'conn.php'; //数据库初始化 
9. require('phpQuery/phpQuery.php'); //采集器初始化 
10. $Sql = 'SELECT * FROM yj_shop_category WHERE is_grab=\'0\' AND sc_parent_id=0'; 
11. $un_grab_cat = $DBH->query($Sql)->fetchAll(); //爬取一级分类下面的二级分类页面 
12. //预处理SQL 
13. $stmt = $DBH->prepare('INSERT INTO yj_shop_category(sc_name,sc_parent_id,sc_url,sc_add_time) VALUES (:sc_name,:sc_parent_id,:sc_url,:sc_add_time)');  
14. $sc_name = $sc_parent_id = $sc_url = $sc_add_time = null; 
15.  
16. $stmt->bindParam(':sc_name', $sc_name); //  
17. $stmt->bindParam(':sc_parent_id', $sc_parent_id); 
18. $stmt->bindParam(':sc_url', $sc_url);  
19. $stmt->bindParam(':sc_add_time', $sc_add_time);   
20.  
21. foreach ($un_grab_cat as $_key => $_value){ 
22.     $sc_url = $_value['sc_url']; 
23.     $sc_parent_id = $_value['sc_id'];//父分类id 
24.     $file = file_get_contents($sc_url); 
25.     $dom = phpQuery::newDocument($file);  //初始化对象 
26.     foreach(pq("#dd_open_1 ul > li") as $item){ 
27.         $sc_name =  pq($item)->text(); 
28.         $sc_url =  SHOP_BASE_URL.pq($item)->find('a:first')->attr('href'); 
29.         $sc_add_time = time(); 
30.         $stmt->execute();  
31.     } 
32.     phpQuery::$documents = array(); 
33. } 
34. echo 'over'; 
35. die(); 

第四步：

爬取二级分类的页面更新对应的分页

1. <?php 
2. header("Content-type:text/html;charset=utf8"); 
3. set_time_limit(0); 
4. define('SHOP_BASE_URL', 'http://shop.yijia.com'); 
5. require_once 'conn.php'; //数据库初始化 
6. require('phpQuery/phpQuery.php'); //采集器初始化 
7. $Sql = 'SELECT sc_id,sc_url FROM yj_shop_category WHERE is_grab=\'0\' AND sc_parent_id!=0'; 
8. $un_grab_cat = $DBH->query($Sql)->fetchAll(); //爬取一级分类下面的二级分类页面 
9. //预处理SQL 
10. $stmt = $DBH->prepare('UPDATE yj_shop_category SET sc_page_num = :sc_page_num WHERE sc_id = :sc_id');  
11. $sc_page_num = $sc_id  = null; 
12.  
13. $stmt->bindParam(':sc_page_num', $sc_page_num); //  
14. $stmt->bindParam(':sc_id', $sc_id);   
15.  
16. foreach ($un_grab_cat as $_key => $_value){ 
17.     $sc_id = $_value['sc_id']; 
18.     $sc_url = $_value['sc_url']; 
19.     $file = file_get_contents($sc_url); 
20.     $dom = phpQuery::newDocument($file);  //初始化对象 
21.     $last_a = pq('div.pager > a:last'); 
22.     $A_parm = explode('_', pq($last_a)->attr('href')); 
23.     $sc_page_num = intval($A_parm[5]); 
24.     $stmt->execute(); 
25.     phpQuery::$documents = array(); 
26.     sleep(1); 
27. } 
28. echo 'over'; 
29. die(); 

第五步：

爬取二级分类所有分页的商家信息

1. <?php 
2. /* 
3.  * 获取所有商家信息 
4.  */ 
5. header("Content-type:text/html;charset=utf8"); 
6. set_time_limit(0); 
7. error_reporting(E_ALL); 
8. define('SHOP_BASE_URL', 'http://shop.yijia.com'); 
9. require_once 'conn.php'; //数据库初始化 
10. require('phpQuery/phpQuery.php'); //采集器初始化 
11. $Sql = 'SELECT sc_id,sc_url,sc_page_num,sc_current_page_num FROM yj_shop_category WHERE is_grab=\'0\' AND sc_parent_id!=0'; 
12. $un_grab_cat = $DBH->query($Sql)->fetchAll(); //获取所有的未被抓取的二级分类信息 
13.  
14. foreach ($un_grab_cat as $_key => $_value){ 
15.     $sc_url = $_value['sc_url']; 
16.     $sc_id = $_value['sc_id'];//父分类id 
17.     if($_value['sc_page_num'] == '0'){ //如果只有一页  
18.         $sc_tmp_url = $sc_url; 
19.         if(getPageShopInfo($sc_tmp_url,$sc_id)){ 
20.             $DBH->exec('UPDATE yj_shop_category SET is_grab=1 WHERE sc_id='.$sc_id);             
21.         } 
22.     }else{ //如果有多页 
23.         for($i=$_value['sc_current_page_num'];$i<=$_value['sc_page_num'];$i++){ 
24.             $A_param = explode('_', $sc_url); 
25.             $A_param[2] = intval($A_param[2]).'_0_0_'.$i.'/'; 
26.             $sc_tmp_url = implode('_',$A_param);//拼接出来一个的url 要符合当前的规则哦 以后可能会有变动哦             
27.             if(getPageShopInfo($sc_tmp_url, $sc_id)){ 
28.                 $DBH->exec('UPDATE yj_shop_category SET sc_current_page_num='.$i.' WHERE sc_id='.$sc_id); 
29.                 $last_page = $i; 
30.             } 
31.         } 
32.         if($last_page == $_value['sc_page_num']){ //如果后一个分页爬取完成 那么更新当前 这个分类的状态为已抓取 
33.             $DBH->exec('UPDATE yj_shop_category SET is_grab=1 WHERE sc_id='.$sc_id); 
34.         } 
35.          
36.     } 
37. } 
38.  
39. function getPageShopInfo($url,$sc_parent_id){ 
40.     global $DBH; 
41.     $stmt = $DBH->prepare('INSERT INTO yj_shop_information(si_name,si_cat_id,si_yijia_url,si_logo_url,si_front_desc,si_add_time) VALUES (:si_name,:si_cat_id,:si_yijia_url,:si_logo_url,:si_front_desc,:si_add_time)');  
42.     $si_name = $si_cat_id = $si_yijia_url = $si_logo_url = $si_front_desc =  $si_add_time = null; 
43.     $stmt->bindParam(':si_name', $si_name);  
44.     $stmt->bindParam(':si_cat_id', $si_cat_id);  
45.     $stmt->bindParam(':si_yijia_url', $si_yijia_url);  
46.     $stmt->bindParam(':si_logo_url', $si_logo_url);  
47.     $stmt->bindParam(':si_front_desc', $si_front_desc);  
48.     $stmt->bindParam(':si_add_time', $si_add_time);  
49.      
50.     $file = file_get_contents($url); 
51.     $dom = phpQuery::newDocument($file);  //初始化对象 
52.     foreach ($dom->find('div.shopping_list') as $item){ //循环节点 
53.         $si_name = pq($item)->find('h2:first > a:first')->text(); //店铺名称 
54.         $si_cat_id = $sc_parent_id; //分类名称 
55.         $si_yijia_url = SHOP_BASE_URL.pq($item)->find('h2:first > a:first')->attr('href'); //一家网中商家介绍页面 
56.         $si_logo_url =  pq($item)->find('div.fl > a > img:first')->attr('src'); 
57.         $si_front_desc =  pq($item)->find('div.shopping_description:first')->text(); 
58.         $si_add_time = time(); 
59.         $stmt->execute(); 
60.     } 
61.     phpQuery::$documents = array(); 
62.     sleep(1);//休息一秒 友情点 不要给他们太大压力是吧 
63.     return true; 
64. } 
65.  
66.  
67. echo 'over'; 
68. die(); 

第六步：获取商家的真实url 和具体的描述

1. <?php 
2. /* 
3.  * 获取商家的具体信息 
4.  */ 
5. header("Content-type:text/html;charset=utf8"); 
6. set_time_limit(0); 
7. define('SHOP_BASE_URL', 'http://shop.yijia.com'); 
8. require_once 'conn.php'; //数据库初始化 
9. require('phpQuery/phpQuery.php'); //采集器初始化 
10. $Sql = 'SELECT si_id,si_yijia_url  FROM yj_shop_information WHERE si_shop_url =\'\' '; 
11. $un_grab_cat = $DBH->query($Sql)->fetchAll(); //所有的没有被重新爬取的商家url 
12.  
13. //更新预处理SQL 
14.  
15. $stmt = $DBH->prepare('UPDATE yj_shop_information SET si_shop_url=:si_shop_url,si_true_url=:si_true_url,si_desc=:si_desc WHERE si_id=:si_id');  
16.  
17. $si_true_url = $si_shop_url  = $si_desc = $si_id = $sc_add_time = null; 
18.  
19. $stmt->bindParam(':si_true_url', $si_true_url); //  
20. $stmt->bindParam(':si_shop_url', $si_shop_url); //  
21. $stmt->bindParam(':si_desc', $si_desc); 
22. $stmt->bindParam(':si_id', $si_id);  
23. $i=1; 
24. foreach ($un_grab_cat as $_key => $_value){ 
25.     $si_yijia_url = $_value['si_yijia_url']; 
26.     $si_id = $_value['si_id'];//id 
27.     $file = file_get_contents($si_yijia_url); 
28.     $dom = phpQuery::newDocument($file);  //初始化对象 
29.     $si_shop_url = SHOP_BASE_URL.pq('div.shop_logo > a:first')->attr('href'); 
30.     $http_info = getContents($si_shop_url); 
31.     $si_true_url = $http_info['url']; 
32.     $si_desc = pq('div.shop_detailinfo > strong:first')->text(); 
33.     $stmt->execute(); 
34.     if(fmod($i,3) == 0) 
35.     sleep(1); 
36.  
37.     $i++; 
38.     phpQuery::$documents = array(); 
39. } 
40.  
41. function getContents($url){ 
42.   $header = array("Referer:http://www.tx29.com/"); 
43.   $ch = curl_init(); 
44.   curl_setopt($ch, CURLOPT_URL, $url); 
45.   curl_setopt($ch, CURLOPT_TIMEOUT, 30); 
46.   curl_setopt($ch, CURLOPT_HTTPHEADER,$header); 
47.   curl_setopt($ch, CURLOPT_FOLLOWLOCATION,1); 
48.   ob_start(); 
49.   curl_exec($ch); 
50.   ob_end_clean(); 
51.   $x = curl_getinfo($ch); 
52.   curl_close($ch); 
53.   return $x; 
54. } 
55.  
56.  
57.  
58. echo 'over'; 
59. die(); 

最后算了下时间 如果友情爬取的话需要48个小时。可以分几个ip多个脚本跑没问题。 那个我 这里爬取好的数据如果非同行需要的话 留言联系.....同行的就自己抓取把

这里最后说下不要暴力爬取哦

    本文转自kefirking 51CTO博客，原文链接：http://blog.51cto.com/phpzf/799555，如需转载请自行联系原作者