cn.wanghaomiao.seimi.core

Interface SeimiQueue

All Known Implementing Classes:

DefaultLocalQueue, DefaultRedisQueue

public interface SeimiQueue

定义系统队列的基本接口，可自由选择实现，只要符合规范就行。

Since:

2015/6/2.

Author:

汪浩淼 et.tw@163.com

Method Summary

Methods

Modifier and Type	Method and Description
void	addProcessed(Request req) 记录一个处理过的请求
Request	bPop(String crawlerName) 阻塞式出队一个请求
boolean	isProcessed(Request req) 判断一个URL是否处理过了
long	len(String crawlerName) 任务队列剩余长度
boolean	push(Request req) 入队一个请求
long	totalCrawled(String crawlerName) 目前总共的抓取数量

Method Detail

bPop

Request bPop(String crawlerName)

阻塞式出队一个请求

Returns:

push

boolean push(Request req)

入队一个请求

Parameters:

req -

Returns:

len

long len(String crawlerName)

任务队列剩余长度

Returns:

isProcessed

boolean isProcessed(Request req)

判断一个URL是否处理过了

Parameters:

req -

Returns:

addProcessed

void addProcessed(Request req)

记录一个处理过的请求

Parameters:

req -

totalCrawled

long totalCrawled(String crawlerName)

目前总共的抓取数量

Returns: