cn.wanghaomiao.seimi.def

类 BaseSeimiCrawler

java.lang.Object

cn.wanghaomiao.seimi.def.BaseSeimiCrawler

所有已实现的接口:

SeimiCrawler, java.io.Serializable

public abstract class BaseSeimiCrawler
extends java.lang.Object
implements SeimiCrawler

从以下版本开始:

2015/8/17.

作者:

SeimiMaster seimimaster@gmail.com

另请参阅:

序列化表格

字段概要

字段

限定符和类型	字段和说明
protected java.lang.String	crawlerName
protected java.lang.String[]	defUAs
protected org.slf4j.Logger	logger

构造器概要

构造器

构造器和说明
BaseSeimiCrawler()

方法概要

限定符和类型	方法和说明
java.lang.String[]	allowRules() 用于设置允许的请求URL匹配规则
java.lang.String[]	denyRules() 用于设置要放弃访问的请求URL匹配规则
java.lang.String	getCrawlerName()
java.lang.String	getUserAgent()
void	handleErrorRequest(Request request) 当一个请求处理异常次数超过开发者所设置或是默认设置的最大重新处理次数时会调用该方法记录异常请求
java.lang.String	proxy()
protected void	push(Request request)
void	setCrawlerName(java.lang.String crawlerName)
java.util.List<Request>	startRequests()

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

从接口继承的方法 cn.wanghaomiao.seimi.core.SeimiCrawler

start, startUrls

字段详细资料

logger

protected org.slf4j.Logger logger

crawlerName

protected java.lang.String crawlerName

defUAs

protected java.lang.String[] defUAs

构造器详细资料

BaseSeimiCrawler

public BaseSeimiCrawler()

方法详细资料

push

protected void push(Request request)

getUserAgent

public java.lang.String getUserAgent()

指定者:

getUserAgent 在接口中 SeimiCrawler

allowRules

public java.lang.String[] allowRules()

从接口复制的说明: SeimiCrawler

用于设置允许的请求URL匹配规则

指定者:

allowRules 在接口中 SeimiCrawler

返回:

白名单规则正则表达式列表

denyRules

public java.lang.String[] denyRules()

从接口复制的说明: SeimiCrawler

用于设置要放弃访问的请求URL匹配规则

指定者:

denyRules 在接口中 SeimiCrawler

返回:

黑名单规则正则表达式列表

proxy

public java.lang.String proxy()

指定者:

proxy 在接口中 SeimiCrawler

返回:

可以自定义返回随机的代理

handleErrorRequest

public void handleErrorRequest(Request request)

从接口复制的说明: SeimiCrawler

当一个请求处理异常次数超过开发者所设置或是默认设置的最大重新处理次数时会调用该方法记录异常请求

指定者:

handleErrorRequest 在接口中 SeimiCrawler

参数:

request - --

startRequests

public java.util.List<Request> startRequests()

指定者:

startRequests 在接口中 SeimiCrawler

返回:

起始的Request，可以应对更复杂的情况，当String[] startUrls();无法满足需求的情况下推荐使用

setCrawlerName

public void setCrawlerName(java.lang.String crawlerName)

getCrawlerName

public java.lang.String getCrawlerName()