cn.wanghaomiao.seimi.core

接口 SeimiCrawler

所有超级接口:

java.io.Serializable

所有已知实现类:

BaseSeimiCrawler

public interface SeimiCrawler
extends java.io.Serializable

作者:

github.com/zhegexiaohuozi seimimaster@gmail.com Date: 2015/5/28.

方法概要

限定符和类型	方法和说明
java.lang.String[]	allowRules() 用于设置允许的请求URL匹配规则
java.lang.String[]	denyRules() 用于设置要放弃访问的请求URL匹配规则
java.lang.String	getUserAgent()
void	handleErrorRequest(Request request) 当一个请求处理异常次数超过开发者所设置或是默认设置的最大重新处理次数时会调用该方法记录异常请求
java.lang.String	proxy()
void	start(Response response) 针对startUrl生成首批的response回调这个初始接口
java.util.List<Request>	startRequests()
java.lang.String[]	startUrls()

方法详细资料

getUserAgent

java.lang.String getUserAgent()

proxy

java.lang.String proxy()

返回:

可以自定义返回随机的代理

startUrls

java.lang.String[] startUrls()

返回:

设置起始url

startRequests

java.util.List<Request> startRequests()

返回:

起始的Request，可以应对更复杂的情况，当String[] startUrls();无法满足需求的情况下推荐使用

allowRules

java.lang.String[] allowRules()

用于设置允许的请求URL匹配规则

返回:

白名单规则正则表达式列表

denyRules

java.lang.String[] denyRules()

用于设置要放弃访问的请求URL匹配规则

返回:

黑名单规则正则表达式列表

start

void start(Response response)

针对startUrl生成首批的response回调这个初始接口

参数:

response - --

handleErrorRequest

void handleErrorRequest(Request request)

当一个请求处理异常次数超过开发者所设置或是默认设置的最大重新处理次数时会调用该方法记录异常请求

参数:

request - --