跳过导航链接
A B C D E G H I L M N O P Q R S T U V X 

A

add(String, HttpRequestProcessor) - 类 中的方法cn.wanghaomiao.seimi.httpd.SeimiHttpHandler
 
addCookie(URI, Cookie) - 类 中的方法cn.wanghaomiao.seimi.http.okhttp.CookiesManager
 
addCookies(String, List<SeimiCookie>) - 接口 中的方法cn.wanghaomiao.seimi.core.SeimiDownloader
添加自定义cookies
addCookies(String, List<SeimiCookie>) - 类 中的方法cn.wanghaomiao.seimi.http.hc.HcDownloader
 
addCookies(String, List<SeimiCookie>) - 类 中的方法cn.wanghaomiao.seimi.http.okhttp.OkHttpDownloader
 
addProcessed(Request) - 接口 中的方法cn.wanghaomiao.seimi.core.SeimiQueue
记录一个处理过的请求
addProcessed(Request) - 类 中的方法cn.wanghaomiao.seimi.def.DefaultLocalQueue
 
addProcessed(Request) - 类 中的方法cn.wanghaomiao.seimi.def.DefaultRedisQueue
 
after(Method, Response) - 接口 中的方法cn.wanghaomiao.seimi.core.SeimiInterceptor
可以在目标方法执行之后定义一些处理逻辑
allowRules() - 接口 中的方法cn.wanghaomiao.seimi.core.SeimiCrawler
用于设置允许的请求URL匹配规则
allowRules() - 类 中的方法cn.wanghaomiao.seimi.def.BaseSeimiCrawler
 

B

BASE_THREAD_NUM - 类 中的静态变量cn.wanghaomiao.seimi.Constants
 
BaseSeimiCrawler - cn.wanghaomiao.seimi.def中的类
 
BaseSeimiCrawler() - 类 的构造器cn.wanghaomiao.seimi.def.BaseSeimiCrawler
 
before(Method, Response) - 接口 中的方法cn.wanghaomiao.seimi.core.SeimiInterceptor
可以在目标方法执行之前定义一些处理逻辑
BodyType - cn.wanghaomiao.seimi.struct中的枚举
 
bPop(String) - 接口 中的方法cn.wanghaomiao.seimi.core.SeimiQueue
阻塞式出队一个请求
bPop(String) - 类 中的方法cn.wanghaomiao.seimi.def.DefaultLocalQueue
 
bPop(String) - 类 中的方法cn.wanghaomiao.seimi.def.DefaultRedisQueue
 
build(String, String, Request.SeimiCallbackFunc<T, A1>, HttpMethod, Map<String, String>, Map<String, Object>, int) - 类 中的静态方法cn.wanghaomiao.seimi.struct.Request
 
build(String, String, HttpMethod, Map<String, String>, Map<String, Object>) - 类 中的静态方法cn.wanghaomiao.seimi.struct.Request
 
build(String, String) - 类 中的静态方法cn.wanghaomiao.seimi.struct.Request
 
build(String, Request.SeimiCallbackFunc<T, A1>) - 类 中的静态方法cn.wanghaomiao.seimi.struct.Request
 
build(String, String, int) - 类 中的静态方法cn.wanghaomiao.seimi.struct.Request
 

C

call(T, A1) - 接口 中的方法cn.wanghaomiao.seimi.struct.Request.SeimiCallbackFunc
 
castTo(String) - 接口 中的方法cn.wanghaomiao.seimi.core.CastToNumber
 
CastToNumber - cn.wanghaomiao.seimi.core中的接口
String转数字接口
castToNumber(Class, String) - 类 中的静态方法cn.wanghaomiao.seimi.utils.GenericUtils
 
checkRequest(Request) - 类 中的方法cn.wanghaomiao.seimi.struct.CrawlerModel
 
clearRecord(String) - 接口 中的方法cn.wanghaomiao.seimi.core.SeimiQueue
清除抓取记录
clearRecord(String) - 类 中的方法cn.wanghaomiao.seimi.def.DefaultLocalQueue
 
clearRecord(String) - 类 中的方法cn.wanghaomiao.seimi.def.DefaultRedisQueue
清除抓取记录
cliBuilder(int) - 类 中的静态方法cn.wanghaomiao.seimi.http.hc.HttpClientFactory
 
cn.wanghaomiao.seimi - 程序包 cn.wanghaomiao.seimi
 
cn.wanghaomiao.seimi.annotation - 程序包 cn.wanghaomiao.seimi.annotation
 
cn.wanghaomiao.seimi.annotation.validate - 程序包 cn.wanghaomiao.seimi.annotation.validate
 
cn.wanghaomiao.seimi.boot - 程序包 cn.wanghaomiao.seimi.boot
 
cn.wanghaomiao.seimi.config - 程序包 cn.wanghaomiao.seimi.config
 
cn.wanghaomiao.seimi.core - 程序包 cn.wanghaomiao.seimi.core
 
cn.wanghaomiao.seimi.def - 程序包 cn.wanghaomiao.seimi.def
 
cn.wanghaomiao.seimi.exception - 程序包 cn.wanghaomiao.seimi.exception
 
cn.wanghaomiao.seimi.http - 程序包 cn.wanghaomiao.seimi.http
 
cn.wanghaomiao.seimi.http.hc - 程序包 cn.wanghaomiao.seimi.http.hc
 
cn.wanghaomiao.seimi.http.okhttp - 程序包 cn.wanghaomiao.seimi.http.okhttp
 
cn.wanghaomiao.seimi.httpd - 程序包 cn.wanghaomiao.seimi.httpd
 
cn.wanghaomiao.seimi.spring.boot - 程序包 cn.wanghaomiao.seimi.spring.boot
 
cn.wanghaomiao.seimi.spring.common - 程序包 cn.wanghaomiao.seimi.spring.common
 
cn.wanghaomiao.seimi.struct - 程序包 cn.wanghaomiao.seimi.struct
 
cn.wanghaomiao.seimi.utils - 程序包 cn.wanghaomiao.seimi.utils
 
CommonObject - cn.wanghaomiao.seimi.struct中的类
 
CommonObject() - 类 的构造器cn.wanghaomiao.seimi.struct.CommonObject
 
Constants - cn.wanghaomiao.seimi中的类
 
Constants() - 类 的构造器cn.wanghaomiao.seimi.Constants
 
consumeRequest(Request) - 类 中的静态方法cn.wanghaomiao.seimi.spring.common.CrawlerCache
 
CookiesManager - cn.wanghaomiao.seimi.http.okhttp中的类
okhttp cookie管理
CookiesManager() - 类 的构造器cn.wanghaomiao.seimi.http.okhttp.CookiesManager
 
Crawler - cn.wanghaomiao.seimi.annotation中的注释类型
用于定义一个类为爬虫规则文件
CrawlerCache - cn.wanghaomiao.seimi.spring.common中的类
 
CrawlerCache() - 类 的构造器cn.wanghaomiao.seimi.spring.common.CrawlerCache
 
CrawlerModel - cn.wanghaomiao.seimi.struct中的类
 
CrawlerModel(Class<? extends BaseSeimiCrawler>, ApplicationContext) - 类 的构造器cn.wanghaomiao.seimi.struct.CrawlerModel
 
crawlerName - 类 中的变量cn.wanghaomiao.seimi.def.BaseSeimiCrawler
 
crawlerName - 类 中的变量cn.wanghaomiao.seimi.httpd.HttpRequestProcessor
 
CrawlerProperties - cn.wanghaomiao.seimi.spring.boot中的类
 
CrawlerProperties() - 类 的构造器cn.wanghaomiao.seimi.spring.boot.CrawlerProperties
 
CrawlerStatusHttpProcessor - cn.wanghaomiao.seimi.httpd中的类
 
CrawlerStatusHttpProcessor(SeimiQueue, String) - 类 的构造器cn.wanghaomiao.seimi.httpd.CrawlerStatusHttpProcessor
 

D

DefaultLocalQueue - cn.wanghaomiao.seimi.def中的类
 
DefaultLocalQueue() - 类 的构造器cn.wanghaomiao.seimi.def.DefaultLocalQueue
 
DefaultRedisQueue - cn.wanghaomiao.seimi.def中的类
 
DefaultRedisQueue() - 类 的构造器cn.wanghaomiao.seimi.def.DefaultRedisQueue
 
defUAs - 类 中的变量cn.wanghaomiao.seimi.def.BaseSeimiCrawler
 
denyRules() - 接口 中的方法cn.wanghaomiao.seimi.core.SeimiCrawler
用于设置要放弃访问的请求URL匹配规则
denyRules() - 类 中的方法cn.wanghaomiao.seimi.def.BaseSeimiCrawler
 
document() - 类 中的方法cn.wanghaomiao.seimi.struct.Response
 

E

enableDistributedQueue() - 类 中的方法cn.wanghaomiao.seimi.config.SeimiConfig
 
EnableSeimiCrawler - cn.wanghaomiao.seimi.annotation中的注释类型
 

G

GenericUtils - cn.wanghaomiao.seimi.utils中的类
实现工具类,检查参数化类型的参数类型。
GenericUtils() - 类 的构造器cn.wanghaomiao.seimi.utils.GenericUtils
 
getActualClass(Type) - 类 中的静态方法cn.wanghaomiao.seimi.utils.GenericUtils
从参数, 返回值, 基类的: Generic 类型信息获取传入的实际类信息。
getBloomFilterExpectedInsertions() - 类 中的方法cn.wanghaomiao.seimi.config.SeimiConfig
 
getBloomFilterExpectedInsertions() - 类 中的方法cn.wanghaomiao.seimi.spring.boot.CrawlerProperties
 
getBloomFilterFalseProbability() - 类 中的方法cn.wanghaomiao.seimi.config.SeimiConfig
 
getBloomFilterFalseProbability() - 类 中的方法cn.wanghaomiao.seimi.spring.boot.CrawlerProperties
 
getBodyType() - 类 中的方法cn.wanghaomiao.seimi.struct.Response
 
getCallBack() - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
getCallBackFunc() - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
getCharset() - 类 中的方法cn.wanghaomiao.seimi.struct.Response
 
getClazz() - 类 中的方法cn.wanghaomiao.seimi.struct.CrawlerModel
 
getConfig() - 类 中的静态方法cn.wanghaomiao.seimi.spring.common.CrawlerCache
 
getContent() - 类 中的方法cn.wanghaomiao.seimi.struct.Response
 
getContext() - 类 中的方法cn.wanghaomiao.seimi.struct.CrawlerModel
 
getCookieStore() - 类 中的方法cn.wanghaomiao.seimi.struct.CrawlerModel
 
getCrawlerModel(String) - 类 中的静态方法cn.wanghaomiao.seimi.spring.common.CrawlerCache
 
getCrawlerModelContext() - 类 中的静态方法cn.wanghaomiao.seimi.spring.common.CrawlerCache
 
getCrawlerName() - 类 中的方法cn.wanghaomiao.seimi.def.BaseSeimiCrawler
 
getCrawlerName() - 类 中的方法cn.wanghaomiao.seimi.struct.CrawlerModel
 
getCrawlerName() - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
getCurrentReqCount() - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
getCurrentUA() - 类 中的方法cn.wanghaomiao.seimi.struct.CrawlerModel
 
getData() - 类 中的方法cn.wanghaomiao.seimi.struct.Response
 
getDelay() - 类 中的方法cn.wanghaomiao.seimi.struct.CrawlerModel
 
getDodmain(String) - 类 中的静态方法cn.wanghaomiao.seimi.utils.StrFormatUtil
 
getDomain() - 类 中的方法cn.wanghaomiao.seimi.http.SeimiCookie
 
getFirstEmStr(List<Object>, String) - 类 中的静态方法cn.wanghaomiao.seimi.utils.StrFormatUtil
 
getHcPoolInstance() - 类 中的静态方法cn.wanghaomiao.seimi.http.hc.HttpClientConnectionManagerProvider
 
getHeader() - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
getHost(String) - 类 中的静态方法cn.wanghaomiao.seimi.utils.StrFormatUtil
 
getHttpClient() - 类 中的静态方法cn.wanghaomiao.seimi.http.hc.HttpClientFactory
 
getHttpClient(int) - 类 中的静态方法cn.wanghaomiao.seimi.http.hc.HttpClientFactory
 
getHttpClient(int, CookieStore) - 类 中的静态方法cn.wanghaomiao.seimi.http.hc.HttpClientFactory
 
getHttpMethod() - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
getHttpRequestBuilder(Request, CrawlerModel) - 类 中的静态方法cn.wanghaomiao.seimi.http.hc.HcRequestGenerator
 
getHttpTimeOut() - 类 中的方法cn.wanghaomiao.seimi.struct.CrawlerModel
 
getInstance() - 类 中的静态方法cn.wanghaomiao.seimi.http.okhttp.OkHttpClientBuilderProvider
 
getInstance() - 类 中的方法cn.wanghaomiao.seimi.struct.CrawlerModel
 
getMaxReqCount() - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
getMemberMethods() - 类 中的方法cn.wanghaomiao.seimi.struct.CrawlerModel
 
getMeta() - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
getMeta() - 类 中的方法cn.wanghaomiao.seimi.struct.Response
 
getMethodName(Request.SeimiCallbackFunc) - 类 中的方法cn.wanghaomiao.seimi.struct.CrawlerModel
 
getName() - 类 中的方法cn.wanghaomiao.seimi.http.SeimiCookie
 
getNames() - 类 中的方法cn.wanghaomiao.seimi.spring.boot.CrawlerProperties
 
getOkHttpCookiesManager() - 类 中的方法cn.wanghaomiao.seimi.struct.CrawlerModel
 
getOkHttpRequesBuilder(Request, CrawlerModel) - 类 中的静态方法cn.wanghaomiao.seimi.http.okhttp.OkHttpRequestGenerator
 
getParams() - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
getParams() - 类 中的方法cn.wanghaomiao.seimi.struct.Response
 
getPath() - 类 中的方法cn.wanghaomiao.seimi.http.SeimiCookie
 
getProcessedSet(String) - 类 中的方法cn.wanghaomiao.seimi.def.DefaultLocalQueue
 
getProxy() - 类 中的方法cn.wanghaomiao.seimi.struct.CrawlerModel
 
getQueue(String) - 类 中的方法cn.wanghaomiao.seimi.def.DefaultLocalQueue
 
getqueueClass() - 类 中的方法cn.wanghaomiao.seimi.struct.CrawlerModel
 
getQueueInstance() - 类 中的方法cn.wanghaomiao.seimi.struct.CrawlerModel
 
getRealUrl() - 类 中的方法cn.wanghaomiao.seimi.struct.Response
 
getRedirect(HttpRequest, HttpResponse, HttpContext) - 类 中的方法cn.wanghaomiao.seimi.http.hc.SeimiRedirectStrategy
 
getRedissonConfig() - 类 中的方法cn.wanghaomiao.seimi.config.SeimiConfig
 
getReferencedMethod(Class<T>, Request.SeimiCallbackFunc<T, A1>) - 类 中的静态方法cn.wanghaomiao.seimi.utils.GenericUtils
 
getReferer() - 类 中的方法cn.wanghaomiao.seimi.struct.Response
 
getRequest() - 类 中的方法cn.wanghaomiao.seimi.struct.Response
 
getSeimiAgentContentType() - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
getSeimiAgentHost() - 类 中的方法cn.wanghaomiao.seimi.config.SeimiConfig
 
getSeimiAgentHost() - 类 中的方法cn.wanghaomiao.seimi.spring.boot.CrawlerProperties
 
getSeimiAgentPort() - 类 中的方法cn.wanghaomiao.seimi.config.SeimiConfig
 
getSeimiAgentPort() - 类 中的方法cn.wanghaomiao.seimi.spring.boot.CrawlerProperties
 
getSeimiAgentRenderTime() - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
getSeimiAgentScript() - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
getSeimiCookies() - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
getSeimiHttpType() - 类 中的方法cn.wanghaomiao.seimi.struct.CrawlerModel
 
getSeimiHttpType() - 类 中的方法cn.wanghaomiao.seimi.struct.Response
 
getStdProxy() - 类 中的方法cn.wanghaomiao.seimi.struct.CrawlerModel
 
getTargetAnnotationClass() - 接口 中的方法cn.wanghaomiao.seimi.core.SeimiInterceptor
获取目标方法应标记的注解
getUrl() - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
getUrl() - 类 中的方法cn.wanghaomiao.seimi.struct.Response
 
getUserAgent() - 接口 中的方法cn.wanghaomiao.seimi.core.SeimiCrawler
 
getUserAgent() - 类 中的方法cn.wanghaomiao.seimi.def.BaseSeimiCrawler
 
getValue() - 类 中的方法cn.wanghaomiao.seimi.http.SeimiCookie
 
getWeight() - 接口 中的方法cn.wanghaomiao.seimi.core.SeimiInterceptor
当需要控制多个拦截器执行的先后顺序时可以重写这个方法
goRun(boolean, String...) - 类 中的方法cn.wanghaomiao.seimi.core.Seimi
主启动 start master
goRun(String...) - 类 中的方法cn.wanghaomiao.seimi.core.Seimi
 
goRunWithHttpd(int, String...) - 类 中的方法cn.wanghaomiao.seimi.core.Seimi
按名称启动爬虫并开启http服务接口API

H

handle(String, Request, HttpServletRequest, HttpServletResponse) - 类 中的方法cn.wanghaomiao.seimi.httpd.SeimiHttpHandler
 
handleErrorRequest(Request) - 接口 中的方法cn.wanghaomiao.seimi.core.SeimiCrawler
当一个请求处理异常次数超过开发者所设置或是默认设置的最大重新处理次数时会调用该方法记录异常请求
handleErrorRequest(Request) - 类 中的方法cn.wanghaomiao.seimi.def.BaseSeimiCrawler
 
handleHttpRequest(HttpServletRequest, HttpServletResponse) - 类 中的方法cn.wanghaomiao.seimi.httpd.CrawlerStatusHttpProcessor
 
handleHttpRequest(HttpServletRequest, HttpServletResponse) - 类 中的方法cn.wanghaomiao.seimi.httpd.HttpRequestProcessor
 
handleHttpRequest(HttpServletRequest, HttpServletResponse) - 类 中的方法cn.wanghaomiao.seimi.httpd.PushRequestHttpProcessor
 
hcBuilder - 类 中的变量cn.wanghaomiao.seimi.http.okhttp.OkHttpClientBuilderBox
 
HcDownloader - cn.wanghaomiao.seimi.http.hc中的类
 
HcDownloader(CrawlerModel) - 类 的构造器cn.wanghaomiao.seimi.http.hc.HcDownloader
 
HcRequestGenerator - cn.wanghaomiao.seimi.http.hc中的类
 
HcRequestGenerator() - 类 的构造器cn.wanghaomiao.seimi.http.hc.HcRequestGenerator
 
HttpClientCMPBox - cn.wanghaomiao.seimi.http.hc中的类
 
HttpClientCMPBox() - 类 的构造器cn.wanghaomiao.seimi.http.hc.HttpClientCMPBox
 
HttpClientConnectionManagerProvider - cn.wanghaomiao.seimi.http.hc中的类
 
HttpClientConnectionManagerProvider() - 类 的构造器cn.wanghaomiao.seimi.http.hc.HttpClientConnectionManagerProvider
 
HttpClientFactory - cn.wanghaomiao.seimi.http.hc中的类
 
HttpClientFactory() - 类 的构造器cn.wanghaomiao.seimi.http.hc.HttpClientFactory
 
HttpMethod - cn.wanghaomiao.seimi.http中的枚举
 
HttpRequestProcessor - cn.wanghaomiao.seimi.httpd中的类
 
HttpRequestProcessor(SeimiQueue, String) - 类 的构造器cn.wanghaomiao.seimi.httpd.HttpRequestProcessor
 

I

incrReqCount() - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
info(String, Object...) - 类 中的静态方法cn.wanghaomiao.seimi.utils.StrFormatUtil
 
init() - 类 中的静态方法cn.wanghaomiao.seimi.core.SeimiContext
 
init(SeimiConfig) - 类 中的静态方法cn.wanghaomiao.seimi.core.SeimiContext
 
init() - 类 中的方法cn.wanghaomiao.seimi.def.DefaultRedisQueue
 
initRedisson() - 类 中的方法cn.wanghaomiao.seimi.spring.common.SeimiCrawlerBaseConfig
 
instance() - 类 中的方法cn.wanghaomiao.seimi.http.hc.HttpClientCMPBox
 
instance() - 类 中的方法cn.wanghaomiao.seimi.http.okhttp.OkHttpClientBuilderBox
 
Interceptor - cn.wanghaomiao.seimi.annotation中的注释类型
标记一个拦截器,用于解析引擎识别
isEnabled() - 类 中的方法cn.wanghaomiao.seimi.spring.boot.CrawlerProperties
 
isEnableRedissonQueue() - 类 中的方法cn.wanghaomiao.seimi.config.SeimiConfig
 
isEnableRedissonQueue() - 类 中的方法cn.wanghaomiao.seimi.spring.boot.CrawlerProperties
 
isLambdaCb() - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
isNumber(Class) - 类 中的静态方法cn.wanghaomiao.seimi.utils.GenericUtils
判断给定类是否是支持的数字类型
isProcessed(Request) - 接口 中的方法cn.wanghaomiao.seimi.core.SeimiQueue
判断一个URL是否处理过了
isProcessed(Request) - 类 中的方法cn.wanghaomiao.seimi.def.DefaultLocalQueue
 
isProcessed(Request) - 类 中的方法cn.wanghaomiao.seimi.def.DefaultRedisQueue
 
isSeimiAgentUseCookie() - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
isSkipDuplicateFilter() - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
isSpringBoot() - 类 中的静态方法cn.wanghaomiao.seimi.spring.common.CrawlerCache
 
isStop() - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
isUseCookie() - 类 中的方法cn.wanghaomiao.seimi.struct.CrawlerModel
 
isUseSeimiAgent() - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
isUseUnrepeated() - 类 中的方法cn.wanghaomiao.seimi.struct.CrawlerModel
 

L

len(String) - 接口 中的方法cn.wanghaomiao.seimi.core.SeimiQueue
任务队列剩余长度
len(String) - 类 中的方法cn.wanghaomiao.seimi.def.DefaultLocalQueue
 
len(String) - 类 中的方法cn.wanghaomiao.seimi.def.DefaultRedisQueue
 
loadForRequest(HttpUrl) - 类 中的方法cn.wanghaomiao.seimi.http.okhttp.CookiesManager
 
logger - 类 中的变量cn.wanghaomiao.seimi.def.BaseSeimiCrawler
 

M

main(String[]) - 类 中的静态方法cn.wanghaomiao.seimi.boot.Run
 
matches(ConditionContext, AnnotatedTypeMetadata) - 类 中的方法cn.wanghaomiao.seimi.spring.common.StandaloneCondition
 
metaRefresh(String) - 接口 中的方法cn.wanghaomiao.seimi.core.SeimiDownloader
处理meta标签refresh场景
metaRefresh(String) - 类 中的方法cn.wanghaomiao.seimi.http.hc.HcDownloader
 
metaRefresh(String) - 类 中的方法cn.wanghaomiao.seimi.http.okhttp.OkHttpDownloader
 

N

NotNull - cn.wanghaomiao.seimi.annotation.validate中的注释类型
用于校验一个字段是否为空

O

OkHttpClientBuilderBox - cn.wanghaomiao.seimi.http.okhttp中的类
 
OkHttpClientBuilderBox() - 类 的构造器cn.wanghaomiao.seimi.http.okhttp.OkHttpClientBuilderBox
 
OkHttpClientBuilderProvider - cn.wanghaomiao.seimi.http.okhttp中的类
 
OkHttpClientBuilderProvider() - 类 的构造器cn.wanghaomiao.seimi.http.okhttp.OkHttpClientBuilderProvider
 
OkHttpDownloader - cn.wanghaomiao.seimi.http.okhttp中的类
 
OkHttpDownloader(CrawlerModel) - 类 的构造器cn.wanghaomiao.seimi.http.okhttp.OkHttpDownloader
 
OkHttpRequestGenerator - cn.wanghaomiao.seimi.http.okhttp中的类
 
OkHttpRequestGenerator() - 类 的构造器cn.wanghaomiao.seimi.http.okhttp.OkHttpRequestGenerator
 
onApplicationEvent(ContextRefreshedEvent) - 类 中的方法cn.wanghaomiao.seimi.spring.common.SeimiCrawlerBootstrapListener
Handle an application event.

P

parseCharset(String) - 类 中的静态方法cn.wanghaomiao.seimi.utils.StrFormatUtil
 
poolingHttpClientConnectionManager - 类 中的变量cn.wanghaomiao.seimi.http.hc.HttpClientCMPBox
 
postProcessAfterInitialization(Object, String) - 类 中的方法cn.wanghaomiao.seimi.spring.common.SeimiCrawlerBeanPostProcessor
 
postProcessBeforeInitialization(Object, String) - 类 中的方法cn.wanghaomiao.seimi.spring.common.SeimiCrawlerBeanPostProcessor
 
process(Request) - 接口 中的方法cn.wanghaomiao.seimi.core.SeimiDownloader
处理抓取请求生成response
process(Request) - 类 中的方法cn.wanghaomiao.seimi.http.hc.HcDownloader
 
process(Request) - 类 中的方法cn.wanghaomiao.seimi.http.okhttp.OkHttpDownloader
 
proxy() - 接口 中的方法cn.wanghaomiao.seimi.core.SeimiCrawler
 
proxy() - 类 中的方法cn.wanghaomiao.seimi.def.BaseSeimiCrawler
 
push(Request) - 接口 中的方法cn.wanghaomiao.seimi.core.SeimiQueue
入队一个请求
push(Request) - 类 中的方法cn.wanghaomiao.seimi.def.BaseSeimiCrawler
 
push(Request) - 类 中的方法cn.wanghaomiao.seimi.def.DefaultLocalQueue
 
push(Request) - 类 中的方法cn.wanghaomiao.seimi.def.DefaultRedisQueue
 
PushRequestHttpProcessor - cn.wanghaomiao.seimi.httpd中的类
 
PushRequestHttpProcessor(SeimiQueue, String) - 类 的构造器cn.wanghaomiao.seimi.httpd.PushRequestHttpProcessor
 

Q

Queue - cn.wanghaomiao.seimi.annotation中的注释类型
用来指定一个类为消费队列的实现,只有打上这个注解才能被系统真正识别。
queueInfo() - 类 中的方法cn.wanghaomiao.seimi.struct.CrawlerModel
 

R

redisClusterServers() - 类 中的方法cn.wanghaomiao.seimi.config.SeimiConfig
Init cluster servers configuration config.useClusterServers() .setScanInterval(2000) // 集群状态扫描间隔时间,单位是毫秒 //可以用"rediss://"来启用SSL连接 .addNodeAddress("redis://127.0.0.1:7000", "redis://127.0.0.1:7001") .addNodeAddress("redis://127.0.0.1:7002");
redisMasterSlaveServers() - 类 中的方法cn.wanghaomiao.seimi.config.SeimiConfig
Init master/slave servers configuration.
redisReplicatedServers() - 类 中的方法cn.wanghaomiao.seimi.config.SeimiConfig
Init Replicated servers configuration.
redisSentinelServers() - 类 中的方法cn.wanghaomiao.seimi.config.SeimiConfig
Init sentinel servers configuration.
redisSingleServer() - 类 中的方法cn.wanghaomiao.seimi.config.SeimiConfig
Init single server configuration.
registerBeanDefinitions(AnnotationMetadata, BeanDefinitionRegistry) - 类 中的方法cn.wanghaomiao.seimi.spring.boot.SeimiCrawlerBeanRegistar
 
render(Class<T>) - 类 中的方法cn.wanghaomiao.seimi.struct.Response
通过bean中定义的Xpath注解进行自动填充
Request - cn.wanghaomiao.seimi.struct中的类
封装一个抓取请求的基本信息体
Request(String, String, Request.SeimiCallbackFunc<T, A1>, HttpMethod, Map<String, String>, Map<String, Object>, int) - 类 的构造器cn.wanghaomiao.seimi.struct.Request
 
Request(String, String) - 类 的构造器cn.wanghaomiao.seimi.struct.Request
 
Request(String, Request.SeimiCallbackFunc<T, A1>) - 类 的构造器cn.wanghaomiao.seimi.struct.Request
 
Request() - 类 的构造器cn.wanghaomiao.seimi.struct.Request
 
Request.SeimiCallbackFunc<T,A1> - cn.wanghaomiao.seimi.struct中的接口
 
Response - cn.wanghaomiao.seimi.struct中的类
抓取请求的返回结果
Response() - 类 的构造器cn.wanghaomiao.seimi.struct.Response
 
Run - cn.wanghaomiao.seimi.boot中的类
 
Run() - 类 的构造器cn.wanghaomiao.seimi.boot.Run
 
run(String[]) - 类 中的方法cn.wanghaomiao.seimi.boot.Run
 
run() - 类 中的方法cn.wanghaomiao.seimi.core.SeimiProcessor
 

S

saveFromResponse(HttpUrl, List<Cookie>) - 类 中的方法cn.wanghaomiao.seimi.http.okhttp.CookiesManager
 
saveTo(File) - 类 中的方法cn.wanghaomiao.seimi.struct.Response
 
Seimi - cn.wanghaomiao.seimi.core中的类
 
Seimi(SeimiConfig) - 类 的构造器cn.wanghaomiao.seimi.core.Seimi
 
Seimi() - 类 的构造器cn.wanghaomiao.seimi.core.Seimi
 
SEIMI_CRAWLER_BOOTSTRAP_ENABLED - 类 中的静态变量cn.wanghaomiao.seimi.Constants
 
SeimiAgentContentType - cn.wanghaomiao.seimi.http中的枚举
用于指定SeimiAgent处理请求返回的内容的数据格式
SeimiBeanResolveException - cn.wanghaomiao.seimi.exception中的异常错误
 
SeimiBeanResolveException(String) - 异常错误 的构造器cn.wanghaomiao.seimi.exception.SeimiBeanResolveException
 
SeimiConfig - cn.wanghaomiao.seimi.config中的类
 
SeimiConfig() - 类 的构造器cn.wanghaomiao.seimi.config.SeimiConfig
 
SeimiConfig(Config) - 类 的构造器cn.wanghaomiao.seimi.config.SeimiConfig
如果开启分布式设置默认启用分布式队列
SeimiContext - cn.wanghaomiao.seimi.core中的类
初始化上下文环境
SeimiCookie - cn.wanghaomiao.seimi.http中的类
http cookie要素,屏蔽hcclient与okhttp区别
SeimiCookie(String, String, String, String) - 类 的构造器cn.wanghaomiao.seimi.http.SeimiCookie
 
SeimiCrawler - cn.wanghaomiao.seimi.core中的接口
 
SeimiCrawlerAutoConfiguration - cn.wanghaomiao.seimi.spring.boot中的类
 
SeimiCrawlerAutoConfiguration() - 类 的构造器cn.wanghaomiao.seimi.spring.boot.SeimiCrawlerAutoConfiguration
 
SeimiCrawlerBaseConfig - cn.wanghaomiao.seimi.spring.common中的类
 
SeimiCrawlerBaseConfig() - 类 的构造器cn.wanghaomiao.seimi.spring.common.SeimiCrawlerBaseConfig
 
SeimiCrawlerBeanPostProcessor - cn.wanghaomiao.seimi.spring.common中的类
 
SeimiCrawlerBeanPostProcessor() - 类 的构造器cn.wanghaomiao.seimi.spring.common.SeimiCrawlerBeanPostProcessor
 
SeimiCrawlerBeanRegistar - cn.wanghaomiao.seimi.spring.boot中的类
 
SeimiCrawlerBeanRegistar() - 类 的构造器cn.wanghaomiao.seimi.spring.boot.SeimiCrawlerBeanRegistar
 
SeimiCrawlerBootstrapListener - cn.wanghaomiao.seimi.spring.common中的类
 
SeimiCrawlerBootstrapListener() - 类 的构造器cn.wanghaomiao.seimi.spring.common.SeimiCrawlerBootstrapListener
 
SeimiCrawlerBootstrapListener(boolean) - 类 的构造器cn.wanghaomiao.seimi.spring.common.SeimiCrawlerBootstrapListener
 
SeimiDefScanConfig - cn.wanghaomiao.seimi.core中的类
 
SeimiDefScanConfig() - 类 的构造器cn.wanghaomiao.seimi.core.SeimiDefScanConfig
 
SeimiDownloader - cn.wanghaomiao.seimi.core中的接口
 
SeimiHttpHandler - cn.wanghaomiao.seimi.httpd中的类
 
SeimiHttpHandler(Map<String, CrawlerModel>) - 类 的构造器cn.wanghaomiao.seimi.httpd.SeimiHttpHandler
 
SeimiHttpType - cn.wanghaomiao.seimi.http中的枚举
用于指定默认的http请求处理器的实现
SeimiInitExcepiton - cn.wanghaomiao.seimi.exception中的异常错误
启动初始化异常
SeimiInitExcepiton(String) - 异常错误 的构造器cn.wanghaomiao.seimi.exception.SeimiInitExcepiton
 
SeimiInterceptor - cn.wanghaomiao.seimi.core中的接口
爬虫执行方法的通用拦截器
SeimiProcessExcepiton - cn.wanghaomiao.seimi.exception中的异常错误
运行处理异常
SeimiProcessExcepiton(Exception) - 异常错误 的构造器cn.wanghaomiao.seimi.exception.SeimiProcessExcepiton
 
SeimiProcessExcepiton(String) - 异常错误 的构造器cn.wanghaomiao.seimi.exception.SeimiProcessExcepiton
 
SeimiProcessor - cn.wanghaomiao.seimi.core中的类
 
SeimiProcessor(List<SeimiInterceptor>, CrawlerModel) - 类 的构造器cn.wanghaomiao.seimi.core.SeimiProcessor
 
SeimiQueue - cn.wanghaomiao.seimi.core中的接口
定义系统队列的基本接口,可自由选择实现,只要符合规范就行。
seimiQueue - 类 中的变量cn.wanghaomiao.seimi.httpd.HttpRequestProcessor
 
SeimiRedirectStrategy - cn.wanghaomiao.seimi.http.hc中的类
之所以要自行覆盖默认实现,是因为默认实现在post/redirect/post这种情况下不会传递原有请求的数据信息,只会传递一个uri其他的都丢了, 这显然是非常不理想的,所以必须重写覆盖。
SeimiRedirectStrategy() - 类 的构造器cn.wanghaomiao.seimi.http.hc.SeimiRedirectStrategy
 
sendRequest(Request) - 类 中的方法cn.wanghaomiao.seimi.struct.CrawlerModel
 
setBloomFilterExpectedInsertions(long) - 类 中的方法cn.wanghaomiao.seimi.config.SeimiConfig
 
setBloomFilterExpectedInsertions(long) - 类 中的方法cn.wanghaomiao.seimi.spring.boot.CrawlerProperties
 
setBloomFilterFalseProbability(double) - 类 中的方法cn.wanghaomiao.seimi.config.SeimiConfig
 
setBloomFilterFalseProbability(double) - 类 中的方法cn.wanghaomiao.seimi.spring.boot.CrawlerProperties
 
setBodyType(BodyType) - 类 中的方法cn.wanghaomiao.seimi.struct.Response
 
setCallBack(String) - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
setCallBack(Request.SeimiCallbackFunc<SeimiCrawler, Response>) - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
setCharset(String) - 类 中的方法cn.wanghaomiao.seimi.struct.Response
 
setConfig(SeimiConfig) - 类 中的静态方法cn.wanghaomiao.seimi.spring.common.CrawlerCache
 
setContent(String) - 类 中的方法cn.wanghaomiao.seimi.struct.Response
 
setCrawlerName(String) - 类 中的方法cn.wanghaomiao.seimi.def.BaseSeimiCrawler
 
setCrawlerName(String) - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
setCurrentReqCount(int) - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
setData(byte[]) - 类 中的方法cn.wanghaomiao.seimi.struct.Response
 
setDomain(String) - 类 中的方法cn.wanghaomiao.seimi.http.SeimiCookie
 
setEnabled(boolean) - 类 中的方法cn.wanghaomiao.seimi.spring.boot.CrawlerProperties
 
setEnableRedissonQueue(boolean) - 类 中的方法cn.wanghaomiao.seimi.spring.boot.CrawlerProperties
 
setHeader(Map<String, String>) - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
setHttpMethod(HttpMethod) - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
setMaxReqCount(int) - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
setMeta(Map<String, Object>) - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
setMeta(Map<String, Object>) - 类 中的方法cn.wanghaomiao.seimi.struct.Response
 
setName(String) - 类 中的方法cn.wanghaomiao.seimi.http.SeimiCookie
 
setNames(String) - 类 中的方法cn.wanghaomiao.seimi.spring.boot.CrawlerProperties
 
setParams(Map<String, String>) - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
setParams(Map<String, String>) - 类 中的方法cn.wanghaomiao.seimi.struct.Response
 
setPath(String) - 类 中的方法cn.wanghaomiao.seimi.http.SeimiCookie
 
setRealUrl(String) - 类 中的方法cn.wanghaomiao.seimi.struct.Response
 
setReferer(String) - 类 中的方法cn.wanghaomiao.seimi.struct.Response
 
setRequest(Request) - 类 中的方法cn.wanghaomiao.seimi.struct.Response
 
setSeimiAgentContentType(SeimiAgentContentType) - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
setSeimiAgentHost(String) - 类 中的方法cn.wanghaomiao.seimi.config.SeimiConfig
 
setSeimiAgentHost(String) - 类 中的方法cn.wanghaomiao.seimi.spring.boot.CrawlerProperties
 
setSeimiAgentPort(int) - 类 中的方法cn.wanghaomiao.seimi.config.SeimiConfig
 
setSeimiAgentPort(int) - 类 中的方法cn.wanghaomiao.seimi.spring.boot.CrawlerProperties
 
setSeimiAgentRenderTime(long) - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
setSeimiAgentScript(String) - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
setSeimiAgentUseCookie(Boolean) - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
setSeimiCookies(List<SeimiCookie>) - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
setSeimiHttpType(SeimiHttpType) - 类 中的方法cn.wanghaomiao.seimi.struct.Response
 
setSkipDuplicateFilter(boolean) - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
setSpringBoot(boolean) - 类 中的静态方法cn.wanghaomiao.seimi.spring.common.CrawlerCache
 
setStop(boolean) - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
setUrl(String) - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
setUrl(String) - 类 中的方法cn.wanghaomiao.seimi.struct.Response
 
setUseSeimiAgent(boolean) - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 
setValue(String) - 类 中的方法cn.wanghaomiao.seimi.http.SeimiCookie
 
signRequest(Request) - 类 中的静态方法cn.wanghaomiao.seimi.utils.GenericUtils
 
sortParams(Map<String, String>) - 类 中的静态方法cn.wanghaomiao.seimi.utils.GenericUtils
 
StandaloneCondition - cn.wanghaomiao.seimi.spring.common中的类
 
StandaloneCondition() - 类 的构造器cn.wanghaomiao.seimi.spring.common.StandaloneCondition
 
start(String...) - 类 中的方法cn.wanghaomiao.seimi.core.Seimi
已过时。
start(Response) - 接口 中的方法cn.wanghaomiao.seimi.core.SeimiCrawler
针对startUrl生成首批的response回调这个初始接口
startAll() - 类 中的方法cn.wanghaomiao.seimi.core.Seimi
 
startRequest() - 类 中的方法cn.wanghaomiao.seimi.struct.CrawlerModel
 
startRequests() - 接口 中的方法cn.wanghaomiao.seimi.core.SeimiCrawler
 
startRequests() - 类 中的方法cn.wanghaomiao.seimi.def.BaseSeimiCrawler
 
startUrls() - 接口 中的方法cn.wanghaomiao.seimi.core.SeimiCrawler
 
statusCode() - 接口 中的方法cn.wanghaomiao.seimi.core.SeimiDownloader
http请求状态
statusCode() - 类 中的方法cn.wanghaomiao.seimi.http.hc.HcDownloader
 
statusCode() - 类 中的方法cn.wanghaomiao.seimi.http.okhttp.OkHttpDownloader
 
StrFormatUtil - cn.wanghaomiao.seimi.utils中的类
 
StrFormatUtil() - 类 的构造器cn.wanghaomiao.seimi.utils.StrFormatUtil
 
StructValidator - cn.wanghaomiao.seimi.utils中的类
 
StructValidator() - 类 的构造器cn.wanghaomiao.seimi.utils.StructValidator
 

T

toString() - 类 中的方法cn.wanghaomiao.seimi.spring.boot.CrawlerProperties
 
toString() - 类 中的方法cn.wanghaomiao.seimi.struct.CommonObject
 
totalCrawled(String) - 接口 中的方法cn.wanghaomiao.seimi.core.SeimiQueue
目前总共的抓取数量
totalCrawled(String) - 类 中的方法cn.wanghaomiao.seimi.def.DefaultLocalQueue
 
totalCrawled(String) - 类 中的方法cn.wanghaomiao.seimi.def.DefaultRedisQueue
 
typeVal() - 枚举 中的方法cn.wanghaomiao.seimi.http.SeimiAgentContentType
 

U

useSeimiAgent() - 类 中的方法cn.wanghaomiao.seimi.struct.Request
 

V

val() - 枚举 中的方法cn.wanghaomiao.seimi.http.HttpMethod
 
val() - 枚举 中的方法cn.wanghaomiao.seimi.http.SeimiAgentContentType
 
val() - 枚举 中的方法cn.wanghaomiao.seimi.http.SeimiHttpType
 
val() - 枚举 中的方法cn.wanghaomiao.seimi.struct.BodyType
 
validateAllowRules(String[], String) - 类 中的静态方法cn.wanghaomiao.seimi.utils.StructValidator
 
validateAnno(Object) - 类 中的静态方法cn.wanghaomiao.seimi.utils.StructValidator
 
validateDenyRules(String[], String) - 类 中的静态方法cn.wanghaomiao.seimi.utils.StructValidator
 
valueOf(String) - 枚举 中的静态方法cn.wanghaomiao.seimi.http.HttpMethod
返回带有指定名称的该类型的枚举常量。
valueOf(String) - 枚举 中的静态方法cn.wanghaomiao.seimi.http.SeimiAgentContentType
返回带有指定名称的该类型的枚举常量。
valueOf(String) - 枚举 中的静态方法cn.wanghaomiao.seimi.http.SeimiHttpType
返回带有指定名称的该类型的枚举常量。
valueOf(String) - 枚举 中的静态方法cn.wanghaomiao.seimi.struct.BodyType
返回带有指定名称的该类型的枚举常量。
values() - 枚举 中的静态方法cn.wanghaomiao.seimi.http.HttpMethod
按照声明该枚举类型的常量的顺序, 返回 包含这些常量的数组。
values() - 枚举 中的静态方法cn.wanghaomiao.seimi.http.SeimiAgentContentType
按照声明该枚举类型的常量的顺序, 返回 包含这些常量的数组。
values() - 枚举 中的静态方法cn.wanghaomiao.seimi.http.SeimiHttpType
按照声明该枚举类型的常量的顺序, 返回 包含这些常量的数组。
values() - 枚举 中的静态方法cn.wanghaomiao.seimi.struct.BodyType
按照声明该枚举类型的常量的顺序, 返回 包含这些常量的数组。

X

Xpath - cn.wanghaomiao.seimi.annotation中的注释类型
定义一个用于提取数据到指定字段的xpath路径
A B C D E G H I L M N O P Q R S T U V X 
跳过导航链接

Copyright © 2019. All Rights Reserved.