博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
C#使用xpath简单爬取网站的内容
阅读量:6938 次
发布时间:2019-06-27

本文共 2674 字,大约阅读时间需要 8 分钟。

public static void Get()        {            // string xpathtrI = "//*[@id='classify-list']/dl/dd/a/cite/span/i";            #region 获取首页的分类            ////主页的html地址            //string urlHome = "http://www.qidian.com/";            //HtmlWeb web = new HtmlWeb();            //HtmlAgilityPack.HtmlDocument htmlDoc = web.Load(urlHome);            ////创建html的节点            //HtmlNode rootNode1 = htmlDoc.DocumentNode;            //string xpathtrA = "//*[@id='classify-list']/dl/dd";            //HtmlNodeCollection classList = rootNode1.SelectNodes(xpathtrA);            //List
listINode = new List
(); //foreach (HtmlNode item in classList) //{ // //获取分类 // string inode = item.SelectSingleNode("//a/cite/span/i").InnerText; // listINode.Add(inode); //} #endregion #region 分类及明细 //string urlDetail = "http://xuanhuan.qidian.com/"; //List
urlList = new List
(); //urlList.Add("http://xuanhuan.qidian.com/"); //urlList.Add("http://qihuan.qidian.com/"); //urlList.Add("http://wuxia.qidian.com/"); //urlList.Add("http://xianxia.qidian.com/"); //urlList.Add("http://dushi.qidian.com/"); //urlList.Add("http://zhichang.qidian.com/"); //urlList.Add("http://junshi.qidian.com/"); //urlList.Add("http://lishi.qidian.com/"); //urlList.Add("http://youxi.qidian.com/"); //urlList.Add("http://tiyu.qidian.com/"); //urlList.Add("http://kehuan.qidian.com/"); //urlList.Add("http://lingyi.qidian.com/");//foreach (string url in urlList) //{ // HtmlAgilityPack.HtmlDocument htmlDetail = web.Load(url); // HtmlNode rootNode2 = htmlDetail.DocumentNode; // string a = "//*[@class='book-info']"; // HtmlNodeCollection classList2 = rootNode2.SelectNodes(a); // List
listINode2 = new List
(); // foreach (HtmlNode item in classList2) // { // //获取分类 // string inode = item.InnerHtml; // listINode2.Add(inode); // } //} #endregion #region 文章内容 HtmlWeb web = new HtmlWeb(); string u = "http://read.qidian.com/chapter/zOGI9RYmNdFhO--gcH8iFg2/h3iHSEH1cSpMs5iq0oQwLQ2"; HtmlAgilityPack.HtmlDocument htmlDocment = web.Load(u); //创建html的节点 HtmlNode htmlNode = htmlDocment.DocumentNode; string x = "//*[@class='read-content j_readContent']"; HtmlNode htmlNodeP = htmlNode.SelectSingleNode(x); string htmlD = htmlNodeP.InnerText; #endregion }

                 只是拿一个例子而已。

转载地址:http://bpfnl.baihongyu.com/

你可能感兴趣的文章
linux关于bashrc与profile的区别(转)
查看>>
文件互斥
查看>>
成为一名优秀程序员所需要知道的那些事
查看>>
Java回顾之Spring基础
查看>>
在UIImageView中旋转图像代码例子
查看>>
写商业计划书的建议
查看>>
项目的阶段性目标管理
查看>>
结构体如何使用NSData包装
查看>>
[转]Stop Sharing Session State between Multiple Tabs of Browser
查看>>
[转]Backbone.js简单入门范例
查看>>
使用BusyBox制作根文件系统
查看>>
alpha预乘
查看>>
windows7 64位下git和tortoisegit的安装和使用
查看>>
【转】iOS程序自动检测更新的实现 -- 思路不错
查看>>
Win7 远程桌面 错误代码:5 异常处理(您的远程桌面会话即将结束 此计算机的虚拟内存可能不足。请关闭其他程序,然后重试连接远程计算机。如果问题仍然存在,请联系网络管理员或技术支持。)...
查看>>
Java JVM proxy setting
查看>>
par函数mgp 参数-控制坐标轴的位置
查看>>
android 算定义view 打包 jar(一次开发多次使用)
查看>>
苏州:宝俭堂 隐匿太湖之滨的千年私家园林
查看>>
性能分析工具firebug.console.profile(title)
查看>>