cn.wanghaomiao.seimi.def

类 DefaultLocalQueue

java.lang.Object

cn.wanghaomiao.seimi.def.DefaultLocalQueue

所有已实现的接口:

SeimiQueue

@Queue
public class DefaultLocalQueue
extends Object
implements SeimiQueue

从以下版本开始:

2015/7/21.

作者:

汪浩淼 et.tw@163.com

构造器概要

构造器

构造器和说明
DefaultLocalQueue()

方法概要

方法

限定符和类型	方法和说明
void	addProcessed(Request req) 记录一个处理过的请求
Request	bPop(String crawlerName) 阻塞式出队一个请求
ConcurrentSkipListSet<String>	getProcessedSet(String crawlerName)
LinkedBlockingQueue<Request>	getQueue(String crawlerName)
boolean	isProcessed(Request req) 判断一个URL是否处理过了
long	len(String crawlerName) 任务队列剩余长度
boolean	push(Request req) 入队一个请求
long	totalCrawled(String crawlerName) 目前总共的抓取数量

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

构造器详细资料

DefaultLocalQueue

public DefaultLocalQueue()

方法详细资料

bPop

public Request bPop(String crawlerName)

从接口复制的说明: SeimiQueue

阻塞式出队一个请求

指定者:

bPop 在接口中 SeimiQueue

返回:

push

public boolean push(Request req)

从接口复制的说明: SeimiQueue

入队一个请求

指定者:

push 在接口中 SeimiQueue

返回:

len

public long len(String crawlerName)

从接口复制的说明: SeimiQueue

任务队列剩余长度

指定者:

len 在接口中 SeimiQueue

返回:

isProcessed

public boolean isProcessed(Request req)

从接口复制的说明: SeimiQueue

判断一个URL是否处理过了

指定者:

isProcessed 在接口中 SeimiQueue

返回:

addProcessed

public void addProcessed(Request req)

从接口复制的说明: SeimiQueue

记录一个处理过的请求

指定者:

addProcessed 在接口中 SeimiQueue

totalCrawled

public long totalCrawled(String crawlerName)

从接口复制的说明: SeimiQueue

目前总共的抓取数量

指定者:

totalCrawled 在接口中 SeimiQueue

返回:

getQueue

public LinkedBlockingQueue<Request> getQueue(String crawlerName)

getProcessedSet

public ConcurrentSkipListSet<String> getProcessedSet(String crawlerName)