@Queue public class DefaultRedisQueue extends Object implements SeimiQueue
| 构造器和说明 |
|---|
DefaultRedisQueue() |
| 限定符和类型 | 方法和说明 |
|---|---|
void |
addProcessed(Request req)
记录一个处理过的请求
|
Request |
bPop(String crawlerName)
阻塞式出队一个请求
|
String |
getHost() |
String |
getPassword() |
int |
getPort() |
String |
getQuueNamePrefix() |
redis.clients.jedis.Jedis |
getWClient() |
redis.clients.jedis.JedisPool |
getWritePool() |
void |
init() |
boolean |
isProcessed(Request req)
判断一个URL是否处理过了
|
long |
len(String crawlerName)
任务队列剩余长度
|
boolean |
push(Request req)
入队一个请求
|
void |
refresh() |
void |
setHost(String host) |
void |
setPassword(String password) |
void |
setPort(int port) |
void |
setQuueNamePrefix(String quueNamePrefix) |
long |
totalCrawled(String crawlerName)
目前总共的抓取数量
|
@PostConstruct public void init()
public void refresh()
public redis.clients.jedis.JedisPool getWritePool()
public redis.clients.jedis.Jedis getWClient()
public Request bPop(String crawlerName)
SeimiQueuebPop 在接口中 SeimiQueuepublic boolean push(Request req)
SeimiQueuepush 在接口中 SeimiQueuepublic long len(String crawlerName)
SeimiQueuelen 在接口中 SeimiQueuepublic boolean isProcessed(Request req)
SeimiQueueisProcessed 在接口中 SeimiQueuepublic void addProcessed(Request req)
SeimiQueueaddProcessed 在接口中 SeimiQueuepublic long totalCrawled(String crawlerName)
SeimiQueuetotalCrawled 在接口中 SeimiQueuepublic String getHost()
public void setHost(String host)
public int getPort()
public void setPort(int port)
public String getPassword()
public void setPassword(String password)
public String getQuueNamePrefix()
public void setQuueNamePrefix(String quueNamePrefix)
Copyright © 2016. All Rights Reserved.