• 分类

  • 重置

HttpClient抓取网页的两种方式

    一、利用NodeFilter对网页进行分析

    1、生成一个Parser
    a.通过url提取网络上的网页

    复制代码 代码如下:

    Parser parser = new Parser();
    parser.setURL(“http://www.yahoo.com.cn”);


    b.提取本地网页文件
    通过读文件把网页文件转化成字符串;

    复制代码 代码如下:

    Parser parser=Parser.createParser(html,charset);


    2、利用NodeFilter做一个filter
    a.利用Tag Name
    NodeFilter filter=new TagNameFilter(“IMG”);
    b.利用Tag Class
    NodeFilter filter = new NodeClassFilter(ImageTag.class);

    3、通过匹配filter,得到所有符合条件的Tag
    NodeList list=parser.extractAllNodesThat(filter);
    for(int i=0;i String content=list.elementAt(i).toHtml();//得到符合条件的Tag 内容
    如果针对具体情况进行更加详细的处理,则:

    复制代码 代码如下:

    ImageTag imageTag=(ImageTag)list.elementAt(i);
    …………
    }


    然后根据需要做相应的处理。

    二、利用Visitor对网页进行分析
    1、生成一个Parser
    a.通过url提取网络上的网页

    复制代码 代码如下:

    Parser parser = new Parser();
    parser.setURL(“http://www.yahoo.com.cn”);


    b.提取本地网页文件
    通过读文件把网页文件转化成字符串;

    复制代码 代码如下:

    Parser parser=Parser.createParser(html,charset);


    2、用visitor访问页面

    复制代码 代码如下:

    ex:ObjectFindingVisitor visitor=new ObjectFindingVisitor();
    parser.visitAllNodesWith(visitor);


    3、通过特定的visitor得到符合条件的Tag

    复制代码 代码如下:

    Node[] nodes=visitor.getTags();
    for(int i=0;i ImageTag imageTag=(ImageTag)nodes[i];
    …………
    //根据需要做特定处理
    }

发表评论

发表评论