@Queue public class DefaultLocalQueue extends java.lang.Object implements SeimiQueue
| 构造器和说明 |
|---|
DefaultLocalQueue() |
| 限定符和类型 | 方法和说明 |
|---|---|
void |
addProcessed(Request req)
记录一个处理过的请求
|
Request |
bPop(java.lang.String crawlerName)
阻塞式出队一个请求
|
void |
clearRecord(java.lang.String crawlerName)
清除抓取记录
|
java.util.concurrent.ConcurrentSkipListSet<java.lang.String> |
getProcessedSet(java.lang.String crawlerName) |
java.util.concurrent.LinkedBlockingQueue<Request> |
getQueue(java.lang.String crawlerName) |
boolean |
isProcessed(Request req)
判断一个URL是否处理过了
|
long |
len(java.lang.String crawlerName)
任务队列剩余长度
|
boolean |
push(Request req)
入队一个请求
|
long |
totalCrawled(java.lang.String crawlerName)
目前总共的抓取数量
|
public Request bPop(java.lang.String crawlerName)
SeimiQueuebPop 在接口中 SeimiQueuecrawlerName - --public boolean push(Request req)
SeimiQueuepush 在接口中 SeimiQueuereq - 请求public long len(java.lang.String crawlerName)
SeimiQueuelen 在接口中 SeimiQueuecrawlerName - --public boolean isProcessed(Request req)
SeimiQueueisProcessed 在接口中 SeimiQueuereq - --public void addProcessed(Request req)
SeimiQueueaddProcessed 在接口中 SeimiQueuereq - --public long totalCrawled(java.lang.String crawlerName)
SeimiQueuetotalCrawled 在接口中 SeimiQueuecrawlerName - --public void clearRecord(java.lang.String crawlerName)
SeimiQueueclearRecord 在接口中 SeimiQueuecrawlerName - --public java.util.concurrent.LinkedBlockingQueue<Request> getQueue(java.lang.String crawlerName)
public java.util.concurrent.ConcurrentSkipListSet<java.lang.String> getProcessedSet(java.lang.String crawlerName)
Copyright © 2019. All Rights Reserved.