cn.tyoui.httpclient

类 HttpCrawler

java.lang.Object

cn.tyoui.httpclient.HttpCrawler

public class HttpCrawler
extends java.lang.Object

爬虫网页

作者:

Tyoui

构造器概要

构造器

构造器和说明
HttpCrawler()

方法概要

限定符和类型	方法和说明
void	close() 关闭爬取流
java.util.List<ProxyIP>	getList() 获取代理ip链表
void	proxyInit(java.lang.String proxyText) 代理初始化
void	setDir(java.lang.String dir) 保存爬取网页发的文件夹
void	setList(java.util.List<ProxyIP> list) 设置代理IP
void	startCrawler(java.lang.String webURL, int min, int max) 开始爬取

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

构造器详细资料

HttpCrawler

public HttpCrawler()

方法详细资料

proxyInit

public void proxyInit(java.lang.String proxyText)
               throws java.lang.Exception

代理初始化

参数:

proxyText - 自定义代理ip文本

抛出:

java.lang.Exception - 代理错误

startCrawler

public void startCrawler(java.lang.String webURL,
                         int min,
                         int max)
                  throws java.lang.Exception

开始爬取

参数:

webURL - 要爬取的网址

max - 最长时间爬一次

min - 最短时间爬一次

抛出:

java.lang.Exception - 爬取失败

setDir

public void setDir(java.lang.String dir)

保存爬取网页发的文件夹

参数:

dir - 文件夹

close

public void close()

关闭爬取流

getList

public java.util.List<ProxyIP> getList()

获取代理ip链表

返回:

代理ip链表

setList

public void setList(java.util.List<ProxyIP> list)

设置代理IP

参数:

list - 代理IP链表