很多站长都是从做“垃圾站”起家了。什么是“垃圾站”？说白了就是采集别人的数据存入自己的数据库，加以聚合、整理、归类，或增加自己的一些小修改，然后自己做一个节目，成为自己的网站。一直以来最流行的“垃圾站”多是文章内的，因为文章内比较容易采集，而且数据量大，有利于搜索引擎。前两三年开始有人做视频采集站，甚至还有了一些很完善的视频采集系统（如马克思CMS，非常专业），也让一些站长发了一笔横财。可是随着用马克思的人越来越多，越晚开始做的站就越没搞头了，呵呵。解决方法其实也简单，就是趁现在视频采集站还不够泛滥，自己写视频采集站，不用别人做的通用系统，只需要稍微做一点SEO，搜索引擎就会照顾你咯～ o(∩_∩)o。
下面以采集土豆为例，谈谈如何以最简单粗暴的方式采集视频。
成功案例：http://www.kangxiyoulaile.com/( 康熙又来了）
自从Youtube出来之后，视频采集站就根本不需要采集视频了——它只需要采集Flash播放器参数即可。
比如以下这个视频，我们只需要采集到它的参数“K1hf2uocE1Y”就可以了。当然，为了显得更专业，我们还要采集视频的相关信息，比如视频名字、视频时长、观看次数、网友评论、内容简介等等，这都是举一反三的事了，^_^，通通都存入我们自己的数据库中！
既然是做垃圾站，那么一定要有自己的分类。我们就把这作为起点吧！用土豆搜索功能！
搜索“康熙来了”+日期，就可以得到某日期内的“康熙来了”节目，如“康熙来了20090720”，我们就来到了http://so.tudou.com/isearch.do?kw=%BF%B5%CE%F5%C0%B4%C1%CB20090720
明白了吧？我们定期让程序打开http://so.tudou.com/isearch.do?kw=%BF%B5%CE%F5%C0%B4%C1%CB + ‘当前日期’ 就可以了达到自动采集的效果了。
如何用ASP.NET获取HTML呢？这是一个没有技术含量的问题。我们直接给代码。
/// <summary> /// 获取网页内容 /// </summary> /// <param name="url"></param> /// <returns></returns> public static string GetHtml(string url) { string result = ""; try { WebRequest request = WebRequest.Create(url); WebResponse response = request.GetResponse(); StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding("GBK")); result = reader.ReadToEnd(); } catch { result = ""; } return result; }
接下来，我们分析得到的HTML。现在这个年代，大家都采用div+css，这也让我们的采集变得很容易。嘿嘿，仔细想想，土豆在采用div+css来做界面的时候，肯定会为每一个“节目”单独做一个css的class吧？ 嗯，这就对了！分析源文件后，果然，我们发现在搜索节目列表中，每一个节目都采用了“pack pack_video_card”这个css的class。
我们应该怎么做呢？ 将整个源文件作为一个字符串，然后以“<div class="pack pack_video_card">” 作为分隔符，将字符串切割到一个字符串数组中。这样，在得到的字符串数组中，除了第一个字符串不是视频以外，其他的每一个字符串都包含我们需要的视频信息！
代码如下：
string[] list=html.Split(new string[]{"<div class=\"pack pack_video_card\">"},StringSplitOptions.RemoveEmptyEntries);
加一些简单的控制条件，然后从每一个字符串片段中提取信息放入类里。
如采集视频缩略图：
foreach (string s in list) {
begin = s.IndexOf("src")+5; end = s.IndexOf("</a>")-4; v.ImgUrl = s.Substring(begin, end - begin + 1);
…………
}
有了这样的基础，就可以进一步封装成一些函数，便于快速采集了。如：
/// <summary> /// 获取两个日期段之间的所有视频实体 /// </summary> /// <param name="beginDate"></param> /// <param name="endDate"></param> /// <param name="everydayMax">每天的最大视频数</param> /// <returns></returns> public static List<Video> GetVideoByDate(DateTime beginDate, DateTime endDate,int everydayMax) { ByDateVideoList = new List<Video>(); DateTime dt = beginDate; while (dt <= endDate) { ByDateVideoList.AddRange(GetTopVideo(GetTudouString(dt.ToString("yyyyMMdd")),everydayMax)); dt = dt.AddDays(1); } return ByDateVideoList; }
还有一个小细节。土豆网采用的是GBK编码，我们如果也采用GBK编码，搜索引擎就会发现重复数据太大，所以我们必须要修改编码。假设我们的网站使用UTF8编码，如何将采集到的GBK编码数据转换成UTF8进行展示呢? 参考以下函数：
public static string ConvertEncoding(Encoding oldEncoding, Encoding newEncoding, string oldString) { byte[] oldBytes = oldEncoding.GetBytes(oldString); byte[] newsBytes = Encoding.Convert(oldEncoding, newEncoding, oldBytes); char[] newChars = new char[newEncoding.GetCharCount(newsBytes, 0, newsBytes.Length)]; newEncoding.GetChars(newsBytes, 0, newsBytes.Length, newChars, 0); string newString = new string(newChars); return newString; }
最后，很重要了！做一个简单的URL Rewrite，方便搜索引擎搜录。按照Google排PR的原则，离根目录越近、地址越短、get参数越少的地址更容易收录并靠前。
我们可以这样来做，在Global.asax.cs里这样写
protected void Application_BeginRequest(object sender, EventArgs e)
{
robot();
string Id = Request.Path.Substring(Request.Path.LastIndexOf('/') + 1);
if (Id.Length==16)
{
Server.Transfer("~/V.aspx?Id=" + Id.Substring(0,11));
}
}
这样，原本是 http://www.kangxiyoulaile.com/v.aspx?id=3IPFQqeKtKc 的地址就可以通过
http://www.kangxiyoulaile.com/3IPFQqeKtKc.aspx 来访问。把网站上所有带参数形式的内部链接都改成后者，就可以瞒过搜索引擎了。
我们还可以贱一点，做一些针对搜索引擎的优化。例如以下代码是判断搜索引擎蜘蛛访问的。我们大可以在判断到访问者是搜索引擎蜘蛛之后，对页面数据做一些更改。。嘿嘿。。由于这招太贱了，以下不演示具体细节。稍微改改下面的代码你就可以……
/// <summary>
/// 判断蜘蛛是否来过
/// </summary>
/// <returns></returns>
protected bool robot()
{
bool brtn = false;
string king_robots = "mailto:Baiduspider+@Baidu%7CGooglebot@Google%7Cia_archiver@Alexa%7CIAArchiver@Alexa%7CASPSeek@ASPSeek%7CYahooSeeker@Yahoo%7Csohu-search@Sohu%7Chelp.yahoo.com/help/us/ysearch/slurp@Yahoo%7Csohu-search@SOHU%7CMSNBOT@MSN";
string ls_spr;
ls_spr = Request.ServerVariables["http_user_agent"].ToString();
char[] delimiterChars = { '|' };
char[] x = { '@' };
string[] I1 = king_robots.Split(delimiterChars);
for (int i = 0; i < I1.Length; i++)
{
string[] spider = I1[i].Split(x);
if (ls_spr.IndexOf(spider[0].ToString()) > -1)
{
brtn = true;
logrobots(spider[1].ToString()+"|"+Request.Path+"|");
break;
}
}
return brtn;
}
好了！关键的技术都分析完了，我们点到为止吧，靠大家自己了！o(∩_∩)o
本文转自 流牛木马 博客园博客，原文链接：http://www.cnblogs.com/azure/archive/2009/07/30/KangXiLaiLe_CAIJI_TUDOU_KANGXIYOULAILE_DEMO.html，如需转载请自行联系原作者
