Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 2.0.50727; .NET CLR 1.1.4322)



2008-8-13 14:43:27

Mozilla/4.0 (compatible; MSIE 7.0; Windows NT " /> 精品国产无限资源免费观看,日韩伦,黄色一级录像片

一区二区久久-一区二区三区www-一区二区三区久久-一区二区三区久久精品-麻豆国产一区二区在线观看-麻豆国产视频

asp.net(c#)捕捉搜索引擎蜘蛛和機器人

下面是訪問日志文件
2008-8-13 14:43:22

Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 2.0.50727; .NET CLR 1.1.4322)



2008-8-13 14:43:27

Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 2.0.50727; .NET CLR 1.1.4322)



2008-8-13 14:44:18

Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)



2008-8-13 14:44:26

Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Maxthon; QQDownload 1.7; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.04506.648; .NET CLR 3.5.21022)



2008-8-13 14:45:17

Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

打開這個文件,這個文件用于記錄訪問搜索吧的正常訪客或者機器人蜘蛛,從中提取的蜘蛛有: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Gigabot/3.0 (http://www.gigablast.com/spider.html)

Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/; )

Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

msnbot/1.1 (+http://search.msn.com/msnbot.htm)

Baiduspider+(+http://www.baidu.com/search/spider.htm)

代碼也十分的簡單:
復制代碼 代碼如下:
string agent = System.Web.HttpContext.Current.Request.ServerVariables["HTTP_USER_AGENT"];
if (agent == null)
{
Response.Write("Other");
}
else
{
Response.Write(agent);
}

你可以自己用這個代碼試下,發現會輸出類似: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0; .NET CLR 2.0.50727; .NET CLR 1.1.4322)
結合這個你就可以寫一個蜘蛛訪問記錄了,如何判斷正常用戶或者蜘蛛?可以粗略的這樣來判斷:通過判斷用戶的訪問來源頁面,比如從jb51.NET/index.htm這個文件點進show.ASP?id=11那么他的來源頁面我們知道就是jb51.NET/index.htm,那么粗略判斷他就是正常客戶。而蜘蛛的來源則不是,把這部分不是的記錄下來,再從中選擇。可以結合數據庫進行記錄。

AspNet技術asp.net(c#)捕捉搜索引擎蜘蛛和機器人,轉載需保留來源!

鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播更多信息之目的,如作者信息標記有誤,請第一時間聯系我們修改或刪除,多謝。

主站蜘蛛池模板: 91色拍| 好吊操视频这里只有精品 | 亚洲福利网站 | 免费精品视频 | 日产欧产va高清 | 目韩一区二区三区系列片丶 | 免费popnhub国产在线视频 | 日本一区二区三区高清在线观看 | 四虎影视永久在线精品免费播放 | 华人亚洲欧美精品国产 | 九一视频在线免费观看 | 中国女人真人一级毛片 | 成人中文字幕一区二区三区 | 精品日韩在线视频一区二区三区 | 玖玖爱国产 | 91精品综合国产在线观看 | 美女无遮挡免费网站 | 涩视频成人永久免费观看网站 | 男人女人无遮掩免费视频 | 综合久久一区二区三区 | 福利片在线观看 | 中文字幕综合久久久久 | 久久一日本道色综合久 | 国产精品免费一区二区三区四区 | 美女一级毛片毛片在线播放 | 色综合久久婷婷天天 | 国产91久久精品一区二区 | 亚洲激情专区 | 日韩精品国产自在久久现线拍 | 精品欧美一区二区vr在线观看 | 国产成人一区二区视频在线观看 | 亚洲精品国自产拍影院 | 青草99 | 日韩在线不卡一区在线观看 | 2021国产麻豆剧 | 免费观看福利视频 | 91在线网站 | 国产麻豆视频 | 特大巨黑吊在线播放 | 亚洲欧美激情视频 | 久久香蕉国产精品一区二区三 |