序列化表格

程序包 cn.wanghaomiao.seimi.core

程序包 cn.wanghaomiao.seimi.def

类cn.wanghaomiao.seimi.def.BaseSeimiCrawler扩展java.lang.Object实现可序列化

序列化字段

logger

org.slf4j.Logger logger

crawlerName

java.lang.String crawlerName

defUAs

java.lang.String[] defUAs

类cn.wanghaomiao.seimi.def.DefaultLocalQueue扩展java.lang.Object实现可序列化

序列化字段

queueMap

java.util.Map<K,V> queueMap

processedData

java.util.Map<K,V> processedData

logger

org.slf4j.Logger logger

类cn.wanghaomiao.seimi.def.DefaultRedisQueue扩展java.lang.Object实现可序列化

序列化字段

quueNamePrefix

java.lang.String quueNamePrefix

setNamePrefix

java.lang.String setNamePrefix

logger

org.slf4j.Logger logger

expectedInsertions

long expectedInsertions

默认的数据量预计消耗100M 内存,请根据使用情况自行调整 可参考 bloomfilter

falseProbability

double falseProbability

queueCache

java.util.Map<K,V> queueCache

bloomFilterCache

java.util.Map<K,V> bloomFilterCache

crawlerProperties

CrawlerProperties crawlerProperties

redisson

org.redisson.api.RedissonClient redisson

程序包 cn.wanghaomiao.seimi.exception

类cn.wanghaomiao.seimi.exception.SeimiBeanResolveException扩展java.lang.RuntimeException实现可序列化

类cn.wanghaomiao.seimi.exception.SeimiInitExcepiton扩展java.lang.RuntimeException实现可序列化

类cn.wanghaomiao.seimi.exception.SeimiProcessExcepiton扩展java.lang.RuntimeException实现可序列化

程序包 cn.wanghaomiao.seimi.spring.boot

类cn.wanghaomiao.seimi.spring.boot.CrawlerProperties扩展java.lang.Object实现可序列化

序列化字段

enabled

boolean enabled

names

java.lang.String names

enableRedissonQueue

boolean enableRedissonQueue

bloomFilterExpectedInsertions

long bloomFilterExpectedInsertions

bloomFilterFalseProbability

double bloomFilterFalseProbability

seimiAgentHost

java.lang.String seimiAgentHost

SeimiAgent host address,such as seimi.wanghaomiao.cn or 10.10.121.211

seimiAgentPort

int seimiAgentPort

seimiAgent listening port

程序包 cn.wanghaomiao.seimi.struct

类cn.wanghaomiao.seimi.struct.CommonObject扩展java.lang.Object实现可序列化

serialVersionUID:

-3239260503197729552L

类cn.wanghaomiao.seimi.struct.Request扩展CommonObject实现可序列化

序列化字段

crawlerName

java.lang.String crawlerName

url

java.lang.String url

需要请求的url

httpMethod

HttpMethod httpMethod

要请求的方法类型 get,post,put...

params

java.util.Map<K,V> params

如果请求需要参数，那么将参数放在这里

meta

java.util.Map<K,V> meta

这个主要用于存储向下级回调函数传递的一些自定义数据

callBack

java.lang.String callBack

回调函数方法名

stop

boolean stop

是否停止的信号，收到该信号的处理线程会退出

maxReqCount

int maxReqCount

最大可被重新请求次数

currentReqCount

int currentReqCount

用来记录当前请求被执行过的次数

skipDuplicateFilter

boolean skipDuplicateFilter

用来指定一个请求是否要经过去重机制

useSeimiAgent

boolean useSeimiAgent

针对该请求是否启用SeimiAgent

header

java.util.Map<K,V> header

自定义Http请求协议头

seimiAgentRenderTime

long seimiAgentRenderTime

定义SeimiAgent的渲染时间，单位毫秒

seimiAgentScript

java.lang.String seimiAgentScript

用于支持在SeimiAgent上执行指定的js脚本

seimiAgentUseCookie

java.lang.Boolean seimiAgentUseCookie

指定提交到SeimiAgent的请求是否使用cookie

seimiAgentContentType

SeimiAgentContentType seimiAgentContentType

告诉SeimiAgent将结果渲染成何种格式返回，默认HTML

seimiCookies

java.util.List<E> seimiCookies

支持添加自定义cookie

类cn.wanghaomiao.seimi.struct.Response扩展CommonObject实现可序列化

序列化字段

bodyType

BodyType bodyType

request

Request request

charset

java.lang.String charset

referer

java.lang.String referer

data

byte[] data

content

java.lang.String content

meta

java.util.Map<K,V> meta

这个主要用于存储上游传递的一些自定义数据

url

java.lang.String url

params

java.util.Map<K,V> params

realUrl

java.lang.String realUrl

网页内容真实源地址

seimiHttpType

SeimiHttpType seimiHttpType

此次请求结果的http处理器类型