cn.wanghaomiao.seimi.core

接口 SeimiCrawler

所有已知实现类:

BaseSeimiCrawler

public interface SeimiCrawler

作者:

汪浩淼 [et.tw@163.com] Date: 2015/5/28.

方法概要

方法

限定符和类型	方法和说明
String[]	allowRules() 用于设置允许的请求URL匹配规则
String[]	denyRules() 用于设置要放弃访问的请求URL匹配规则
org.apache.http.client.CookieStore	getCookieStore() 如果开启cookies通过此方法获取cookiesStore
String	getUserAgent()
void	handleErrorRequest(Request request) 当一个请求处理异常次数超过开发者所设置或是默认设置的最大重新处理次数时会调用该方法记录异常请求
String	proxy() 可以自定义返回随机的代理
String	seimiAgentHost() 设置SeimiAgent的主机地址，如 seimi.wanghaomiao.cn or 10.10.15.211
int	seimiAgentPort() seimiAgent监听端口
void	start(Response response) 针对startUrl生成首批的response回调这个初始接口
String[]	startUrls() 设置起始url

方法详细资料

getUserAgent

String getUserAgent()

proxy

String proxy()

可以自定义返回随机的代理

返回:

getCookieStore

org.apache.http.client.CookieStore getCookieStore()

如果开启cookies通过此方法获取cookiesStore

返回:

CookieStore

startUrls

String[] startUrls()

设置起始url

返回:

allowRules

String[] allowRules()

用于设置允许的请求URL匹配规则

返回:

白名单规则正则表达式列表

denyRules

String[] denyRules()

用于设置要放弃访问的请求URL匹配规则

返回:

黑名单规则正则表达式列表

start

void start(Response response)

针对startUrl生成首批的response回调这个初始接口

参数:

response -

handleErrorRequest

void handleErrorRequest(Request request)

当一个请求处理异常次数超过开发者所设置或是默认设置的最大重新处理次数时会调用该方法记录异常请求

参数:

request -

seimiAgentHost

String seimiAgentHost()

设置SeimiAgent的主机地址，如 seimi.wanghaomiao.cn or 10.10.15.211

返回:

seimiAgentPort

int seimiAgentPort()

seimiAgent监听端口

返回: