cn.wanghaomiao.seimi.def

类 DefaultLocalQueue

java.lang.Object

cn.wanghaomiao.seimi.def.DefaultLocalQueue

所有已实现的接口:

SeimiQueue, java.io.Serializable

@Queue
public class DefaultLocalQueue
extends java.lang.Object
implements SeimiQueue

从以下版本开始:

2015/7/21.

作者:

SeimiMaster seimimaster@gmail.com

另请参阅:

序列化表格

构造器概要

构造器

构造器和说明
DefaultLocalQueue()

方法概要

限定符和类型	方法和说明
void	addProcessed(Request req) 记录一个处理过的请求
Request	bPop(java.lang.String crawlerName) 阻塞式出队一个请求
void	clearRecord(java.lang.String crawlerName) 清除抓取记录
java.util.concurrent.ConcurrentSkipListSet<java.lang.String>	getProcessedSet(java.lang.String crawlerName)
java.util.concurrent.LinkedBlockingQueue<Request>	getQueue(java.lang.String crawlerName)
boolean	isProcessed(Request req) 判断一个URL是否处理过了
long	len(java.lang.String crawlerName) 任务队列剩余长度
boolean	push(Request req) 入队一个请求
long	totalCrawled(java.lang.String crawlerName) 目前总共的抓取数量

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

构造器详细资料

DefaultLocalQueue

public DefaultLocalQueue()

方法详细资料

bPop

public Request bPop(java.lang.String crawlerName)

从接口复制的说明: SeimiQueue

阻塞式出队一个请求

指定者:

bPop 在接口中 SeimiQueue

参数:

crawlerName - --

返回:

--

push

public boolean push(Request req)

从接口复制的说明: SeimiQueue

入队一个请求

指定者:

push 在接口中 SeimiQueue

参数:

req - 请求

返回:

--

len

public long len(java.lang.String crawlerName)

从接口复制的说明: SeimiQueue

任务队列剩余长度

指定者:

len 在接口中 SeimiQueue

参数:

crawlerName - --

返回:

num

isProcessed

public boolean isProcessed(Request req)

从接口复制的说明: SeimiQueue

判断一个URL是否处理过了

指定者:

isProcessed 在接口中 SeimiQueue

参数:

req - --

返回:

--

addProcessed

public void addProcessed(Request req)

从接口复制的说明: SeimiQueue

记录一个处理过的请求

指定者:

addProcessed 在接口中 SeimiQueue

参数:

req - --

totalCrawled

public long totalCrawled(java.lang.String crawlerName)

从接口复制的说明: SeimiQueue

目前总共的抓取数量

指定者:

totalCrawled 在接口中 SeimiQueue

参数:

crawlerName - --

返回:

num

clearRecord

public void clearRecord(java.lang.String crawlerName)

从接口复制的说明: SeimiQueue

清除抓取记录

指定者:

clearRecord 在接口中 SeimiQueue

参数:

crawlerName - --

getQueue

public java.util.concurrent.LinkedBlockingQueue<Request> getQueue(java.lang.String crawlerName)

getProcessedSet

public java.util.concurrent.ConcurrentSkipListSet<java.lang.String> getProcessedSet(java.lang.String crawlerName)