A B C D E F G H I J L M N O P R S T U W Z

A

AbstractMasterCoordinator<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable> - ml.shifu.guagua.master 中的 类

AbstractMasterCoordinator has some common implementation for both async and sync worker coordinator.

AbstractMasterCoordinator() - 类 ml.shifu.guagua.master.AbstractMasterCoordinator 的构造方法

AbstractMasterCoordinator.FailOverCommand - ml.shifu.guagua.master 中的 类

AbstractMasterCoordinator.FailOverCommand is used to read last iteration before task failed.

AbstractMasterCoordinator.FailOverCommand(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.AbstractMasterCoordinator.FailOverCommand 的构造方法

AbstractMasterCoordinator.MasterElectionCommand - ml.shifu.guagua.master 中的 类

Elect master from several backup masters.

AbstractMasterCoordinator.MasterElectionCommand(String) - 类 ml.shifu.guagua.master.AbstractMasterCoordinator.MasterElectionCommand 的构造方法

AbstractWorkerComputable<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable,KEY extends Bytable,VALUE extends Bytable> - ml.shifu.guagua.worker 中的 类

Abstract implementation to load data one by one.

AbstractWorkerComputable() - 类 ml.shifu.guagua.worker.AbstractWorkerComputable 的构造方法

AbstractWorkerCoordinator<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable> - ml.shifu.guagua.worker 中的 类

AbstractWorkerCoordinator has some common implementation for both async and sync worker coordinator.

AbstractWorkerCoordinator() - 类 ml.shifu.guagua.worker.AbstractWorkerCoordinator 的构造方法

AbstractWorkerCoordinator.FailOverCoordinatorCommand - ml.shifu.guagua.worker 中的 类

AbstractWorkerCoordinator.FailOverCoordinatorCommand(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.AbstractWorkerCoordinator.FailOverCoordinatorCommand 的构造方法

addMasterInterceptors(MasterInterceptor<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.GuaguaMasterService 中的方法

ARGS - 类 ml.shifu.guagua.util.JMap 中的静态变量

Arguments to pass in to command

AsyncCoordinatorFactory<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable> - ml.shifu.guagua 中的 类

Async coordinator factory to create async coordinators for master and workers.

AsyncCoordinatorFactory() - 类 ml.shifu.guagua.AsyncCoordinatorFactory 的构造方法

AsyncMasterCoordinator<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable> - ml.shifu.guagua.master 中的 类

AsyncMasterCoordinator is used to as a barrier for each iteration.

AsyncMasterCoordinator() - 类 ml.shifu.guagua.master.AsyncMasterCoordinator 的构造方法

AsyncWorkerCoordinator<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable> - ml.shifu.guagua.worker 中的 类

AsyncWorkerCoordinator is used to as a worker barrier for each iteration.

AsyncWorkerCoordinator() - 类 ml.shifu.guagua.worker.AsyncWorkerCoordinator 的构造方法

awaitMaster(int) - 类 ml.shifu.guagua.MemoryCoordinator 中的方法

Workers wait for master on each iteration condition

awaitWorkers(int) - 类 ml.shifu.guagua.MemoryCoordinator 中的方法

Master waits for workers on each iteration condition

B

BasicCoordinator<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable> - ml.shifu.guagua 中的 类

BasicCoordinator is a basic implementation for both SyncWorkerCoordinator and SyncMasterCoordinator: 1.

BasicCoordinator() - 类 ml.shifu.guagua.BasicCoordinator 的构造方法

BasicCoordinator.BasicCoordinatorCommand - ml.shifu.guagua 中的 类

BasicCoordinator.BasicCoordinatorCommand is to process exceptions for zookeeper operations.

BasicCoordinator.BasicCoordinatorCommand() - 类 ml.shifu.guagua.BasicCoordinator.BasicCoordinatorCommand 的构造方法

BasicCoordinator.CoordinatorCommand - ml.shifu.guagua 中的 接口

BasicCoordinator.CoordinatorCommand is used for consistent process of zookeeper coordination.

BasicCoordinator.RetryCoordinatorCommand - ml.shifu.guagua 中的 类

BasicCoordinator.RetryCoordinatorCommand is used to wrap retry logic.

BasicCoordinator.RetryCoordinatorCommand(boolean, long) - 类 ml.shifu.guagua.BasicCoordinator.RetryCoordinatorCommand 的构造方法

BasicMasterInterceptor<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable> - ml.shifu.guagua.master 中的 类

Empty MasterIntercepter implementation for user to choose which function should be override.

BasicMasterInterceptor() - 类 ml.shifu.guagua.master.BasicMasterInterceptor 的构造方法

BasicWorkerInterceptor<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable> - ml.shifu.guagua.worker 中的 类

Empty WorkerInterceptor implementation for user to choose which function should be override.

BasicWorkerInterceptor() - 类 ml.shifu.guagua.worker.BasicWorkerInterceptor 的构造方法

Bytable - ml.shifu.guagua.io 中的 接口

Copy from hadoop io writable.

BytableSerializer<RESULT extends Bytable> - ml.shifu.guagua.io 中的 类

BytableSerializer is usingBytable.write(java.io.DataOutput) and Bytable.readFields(java.io.DataInput) to serialize object to bytes and de-serialize bytes to object.

BytableSerializer() - 类 ml.shifu.guagua.io.BytableSerializer 的构造方法

bytesToObject(byte[], String) - 类 ml.shifu.guagua.io.BytableSerializer 中的方法

De-serialize from bytes to object.

bytesToObject(byte[], String) - 类 ml.shifu.guagua.io.Bzip2BytableSerializer 中的方法

De-serialize from bytes to object.

bytesToObject(byte[], String) - 类 ml.shifu.guagua.io.GZIPBytableSerializer 中的方法

De-serialize from bytes to object.

bytesToObject(byte[], String) - 接口 ml.shifu.guagua.io.Serializer 中的方法

Transform byte array to object.

Bzip2BytableSerializer<RESULT extends Bytable> - ml.shifu.guagua.io 中的 类

Bzip2BytableSerializer is usingBytable.write(java.io.DataOutput) and Bytable.readFields(java.io.DataInput) to serialize object to bytes and de-serialize bytes to object.

Bzip2BytableSerializer() - 类 ml.shifu.guagua.io.Bzip2BytableSerializer 的构造方法

C

checkAndSetZooKeeper(Properties) - 类 ml.shifu.guagua.BasicCoordinator 中的方法

Set up connection with given zookeeper settings.

close() - 类 ml.shifu.guagua.coordinator.zk.GuaguaZooKeeper 中的方法

Close this client object.

close() - 接口 ml.shifu.guagua.io.GuaguaRecordReader 中的方法

Close resources at last, for example file descriptors.

closeZooKeeper() - 类 ml.shifu.guagua.BasicCoordinator 中的方法

CMD - 类 ml.shifu.guagua.util.JMap 中的静态变量

The command to run

compute(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 接口 ml.shifu.guagua.master.MasterComputable 中的方法

Computation for each iteration.

compute(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.AbstractWorkerComputable 中的方法

compute(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 接口 ml.shifu.guagua.worker.WorkerComputable 中的方法

Computation for each iteration.

CoordinatorFactory<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable> - ml.shifu.guagua 中的 接口

Coordinator factory to create sync or async coordinator.

createExt(String, byte[], List<ACL>, CreateMode, boolean) - 类 ml.shifu.guagua.coordinator.zk.GuaguaZooKeeper 中的方法

Provides a possibility of a creating a path consisting of more than one znode (not atomic).

createMasterCoordinator() - 类 ml.shifu.guagua.AsyncCoordinatorFactory 中的方法

createMasterCoordinator() - 接口 ml.shifu.guagua.CoordinatorFactory 中的方法

Create coordinator instance for master.

createMasterCoordinator() - 类 ml.shifu.guagua.SyncCoordinatorFactory 中的方法

createOnceExt(String, byte[], List<ACL>, CreateMode, boolean) - 类 ml.shifu.guagua.coordinator.zk.GuaguaZooKeeper 中的方法

Create a znode if there is no other znode there

createOrSetExt(String, byte[], List<ACL>, CreateMode, boolean, int) - 类 ml.shifu.guagua.coordinator.zk.GuaguaZooKeeper 中的方法

Create a znode.

createWorkerCoordinator() - 类 ml.shifu.guagua.AsyncCoordinatorFactory 中的方法

createWorkerCoordinator() - 接口 ml.shifu.guagua.CoordinatorFactory 中的方法

Create coordinator instance for worker.

createWorkerCoordinator() - 类 ml.shifu.guagua.SyncCoordinatorFactory 中的方法

D

DEFAULT_IO_BUFFER_SIZE - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

DEFAULT_MASTER_NUMBER - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

deleteExt(String, int, boolean) - 类 ml.shifu.guagua.coordinator.zk.GuaguaZooKeeper 中的方法

Delete a path recursively.

doCompute(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.AbstractWorkerComputable 中的方法

Real computation logic after data loading.

doExecute() - 类 ml.shifu.guagua.BasicCoordinator.BasicCoordinatorCommand 中的方法

Real method to do coordinator operation.

doExecute() - 类 ml.shifu.guagua.BasicCoordinator.RetryCoordinatorCommand 中的方法

doExecute() - 类 ml.shifu.guagua.master.AbstractMasterCoordinator.FailOverCommand 中的方法

doExecute() - 类 ml.shifu.guagua.master.AbstractMasterCoordinator.MasterElectionCommand 中的方法

doExecute() - 类 ml.shifu.guagua.worker.AbstractWorkerCoordinator.FailOverCoordinatorCommand 中的方法

doReadFields(DataInput) - 类 ml.shifu.guagua.io.HaltBytable 中的方法

Read fields from in stream.

doRun() - 类 ml.shifu.guagua.unit.GuaguaUnitDriver 中的方法

Real running logic

doWrite(DataOutput) - 类 ml.shifu.guagua.io.HaltBytable 中的方法

Write fields to out stream.

E

execute() - 类 ml.shifu.guagua.BasicCoordinator.BasicCoordinatorCommand 中的方法

execute() - 接口 ml.shifu.guagua.BasicCoordinator.CoordinatorCommand 中的方法

Command method.

execute() - 接口 ml.shifu.guagua.coordinator.zk.GuaguaZooKeeperOperation 中的方法

Performs the operation - which may be involved multiple times if the connection to ZooKeeper closes during this operation.

exists(String, boolean) - 类 ml.shifu.guagua.coordinator.zk.GuaguaZooKeeper 中的方法

Return the stat of the node of the given path.

exists(String, Watcher) - 类 ml.shifu.guagua.coordinator.zk.GuaguaZooKeeper 中的方法

Return the stat of the node of the given path.

F

freeMemoryMB() - 类 ml.shifu.guagua.util.MemoryUtils 中的静态方法

Get free memory in megabytes

G

generateWorkerSplits(String) - 类 ml.shifu.guagua.unit.GuaguaUnitDriver 中的方法

Generate file splits according to inputs.

get(String) - 类 ml.shifu.guagua.util.StringUtils 中的静态方法

Return string object.

get(String, boolean) - 类 ml.shifu.guagua.util.StringUtils 中的静态方法

Return string object.

get(String, String) - 类 ml.shifu.guagua.util.StringUtils 中的静态方法

Return string object.

get(String, boolean, String) - 类 ml.shifu.guagua.util.StringUtils 中的静态方法

Return string object.

getAppId() - 类 ml.shifu.guagua.master.AsyncMasterCoordinator 中的方法

getAppId() - 类 ml.shifu.guagua.master.GuaguaMasterService 中的方法

getAppId() - 类 ml.shifu.guagua.master.MasterContext 中的方法

getAppId() - 类 ml.shifu.guagua.worker.AsyncWorkerCoordinator 中的方法

getAppId() - 类 ml.shifu.guagua.worker.GuaguaWorkerService 中的方法

getAppId() - 类 ml.shifu.guagua.worker.WorkerContext 中的方法

getAppNode(String) - 类 ml.shifu.guagua.BasicCoordinator 中的方法

getBaseMasterElectionNode(String) - 类 ml.shifu.guagua.BasicCoordinator 中的方法

getBytesFromZNode(String, String) - 类 ml.shifu.guagua.BasicCoordinator 中的方法

This is reverse method to BasicCoordinator.setBytesToZNode(String, String, byte[], CreateMode).

getChildrenExt(String, boolean, boolean, Comparator<String>) - 类 ml.shifu.guagua.coordinator.zk.GuaguaZooKeeper 中的方法

Get the children of the path with extensions.

getChildrenExt(String, boolean, boolean, boolean) - 类 ml.shifu.guagua.coordinator.zk.GuaguaZooKeeper 中的方法

Get the children of the path with extensions.

getContainerId() - 类 ml.shifu.guagua.master.GuaguaMasterService 中的方法

getContainerId() - 类 ml.shifu.guagua.master.MasterContext 中的方法

getContainerId() - 类 ml.shifu.guagua.worker.GuaguaWorkerService 中的方法

getContainerId() - 类 ml.shifu.guagua.worker.WorkerContext 中的方法

getContext() - 类 ml.shifu.guagua.master.GuaguaMasterService 中的方法

getCoordinator() - 类 ml.shifu.guagua.master.GuaguaMasterService 中的方法

getCoordinator() - 类 ml.shifu.guagua.worker.GuaguaWorkerService 中的方法

getCurrentIteration() - 类 ml.shifu.guagua.master.AsyncMasterCoordinator 中的方法

getCurrentIteration() - 类 ml.shifu.guagua.master.MasterContext 中的方法

getCurrentIteration() - 类 ml.shifu.guagua.worker.AsyncWorkerCoordinator 中的方法

getCurrentIteration() - 类 ml.shifu.guagua.worker.WorkerContext 中的方法

getCurrentKey() - 接口 ml.shifu.guagua.io.GuaguaRecordReader 中的方法

Tmp we only support LongWritable key for byte offset in each line, follow LineRecordReader in hadoop.

getCurrentMasterNode(String, int) - 类 ml.shifu.guagua.BasicCoordinator 中的方法

getCurrentMasterSplitNode(String, int) - 类 ml.shifu.guagua.BasicCoordinator 中的方法

getCurrentValue() - 接口 ml.shifu.guagua.io.GuaguaRecordReader 中的方法

Tmp we only support Text value for whole content in each line, follow LineRecordReader in hadoop.

getCurrentWorkerNode(String, String, int) - 类 ml.shifu.guagua.BasicCoordinator 中的方法

getCurrentWorkerSplitNode(String, String, int) - 类 ml.shifu.guagua.BasicCoordinator 中的方法

getData(String, Watcher, Stat) - 类 ml.shifu.guagua.coordinator.zk.GuaguaZooKeeper 中的方法

Return the data and the stat of the node of the given path.

getData(String, boolean, Stat) - 类 ml.shifu.guagua.coordinator.zk.GuaguaZooKeeper 中的方法

Return the data and the stat of the node of the given path.

getDouble(String, double) - 类 ml.shifu.guagua.util.NumberFormatUtils 中的静态方法

Parse string object to double type.

getDouble(String) - 类 ml.shifu.guagua.util.NumberFormatUtils 中的静态方法

Parse string object to double type.

getDouble(String, boolean) - 类 ml.shifu.guagua.util.NumberFormatUtils 中的静态方法

Parse string object to double type.

getDouble(String, boolean, double) - 类 ml.shifu.guagua.util.NumberFormatUtils 中的静态方法

Parse string object to double type.

getElapsedTime() - 类 ml.shifu.guagua.BasicCoordinator.RetryCoordinatorCommand 中的方法

getFileSplits() - 类 ml.shifu.guagua.worker.WorkerContext 中的方法

getInt(String, int) - 类 ml.shifu.guagua.util.NumberFormatUtils 中的静态方法

Parse string object to int type.

getInt(String) - 类 ml.shifu.guagua.util.NumberFormatUtils 中的静态方法

Parse string object to int type.

getInt(String, boolean) - 类 ml.shifu.guagua.util.NumberFormatUtils 中的静态方法

Parse string object to int type.

getInt(String, boolean, int) - 类 ml.shifu.guagua.util.NumberFormatUtils 中的静态方法

Parse string object to int type.

getLastMasterNode(String, int) - 类 ml.shifu.guagua.BasicCoordinator 中的方法

getLastMasterResult() - 类 ml.shifu.guagua.worker.WorkerContext 中的方法

getLastWorkerNode(String, String, int) - 类 ml.shifu.guagua.BasicCoordinator 中的方法

getLength() - 类 ml.shifu.guagua.io.GuaguaFileSplit 中的方法

getLong(String, long) - 类 ml.shifu.guagua.util.NumberFormatUtils 中的静态方法

Parse string object to long type.

getLong(String) - 类 ml.shifu.guagua.util.NumberFormatUtils 中的静态方法

Parse string object to long type.

getLong(String, boolean) - 类 ml.shifu.guagua.util.NumberFormatUtils 中的静态方法

Parse string object to long type.

getLong(String, boolean, long) - 类 ml.shifu.guagua.util.NumberFormatUtils 中的静态方法

Parse string object to long type.

getMasterBaseNode(String) - 类 ml.shifu.guagua.BasicCoordinator 中的方法

getMasterComputable() - 类 ml.shifu.guagua.master.GuaguaMasterService 中的方法

getMasterElectionNode(String, long) - 类 ml.shifu.guagua.BasicCoordinator 中的方法

getMasterInterceptors() - 类 ml.shifu.guagua.master.GuaguaMasterService 中的方法

getMasterNode(String, int) - 类 ml.shifu.guagua.BasicCoordinator 中的方法

getMasterResult() - 类 ml.shifu.guagua.master.MasterContext 中的方法

getMasterResult() - 类 ml.shifu.guagua.MemoryCoordinator 中的方法

getMasterResultClassName() - 类 ml.shifu.guagua.master.GuaguaMasterService 中的方法

getMasterResultClassName() - 类 ml.shifu.guagua.master.MasterContext 中的方法

getMasterResultClassName() - 类 ml.shifu.guagua.worker.GuaguaWorkerService 中的方法

getMasterResultClassName() - 类 ml.shifu.guagua.worker.WorkerContext 中的方法

getMasterSerializer() - 类 ml.shifu.guagua.BasicCoordinator 中的方法

getMaxRetryAttempts() - 类 ml.shifu.guagua.coordinator.zk.GuaguaZooKeeper 中的方法

getMinWorkersRatio() - 类 ml.shifu.guagua.master.GuaguaMasterService 中的方法

getMinWorkersRatio() - 类 ml.shifu.guagua.master.MasterContext 中的方法

getMinWorkersTimeOut() - 类 ml.shifu.guagua.master.GuaguaMasterService 中的方法

getMinWorkersTimeOut() - 类 ml.shifu.guagua.master.MasterContext 中的方法

getMyBid() - 类 ml.shifu.guagua.master.AbstractMasterCoordinator 中的方法

getOffset() - 类 ml.shifu.guagua.io.GuaguaFileSplit 中的方法

getPath() - 类 ml.shifu.guagua.coordinator.zk.GuaguaZooKeeper.PathStat 中的方法

Get the path of the created znode if it was created.

getPath() - 类 ml.shifu.guagua.io.GuaguaFileSplit 中的方法

getProcessId() - 类 ml.shifu.guagua.util.JMap 中的静态方法

Get the process ID of the current running process

getProps() - 类 ml.shifu.guagua.master.GuaguaMasterService 中的方法

getProps() - 类 ml.shifu.guagua.master.MasterContext 中的方法

getProps() - 类 ml.shifu.guagua.worker.GuaguaWorkerService 中的方法

getProps() - 类 ml.shifu.guagua.worker.WorkerContext 中的方法

getRecordReader() - 类 ml.shifu.guagua.worker.AbstractWorkerComputable 中的方法

getRetryWaitMsecs() - 类 ml.shifu.guagua.coordinator.zk.GuaguaZooKeeper 中的方法

getRootNode() - 类 ml.shifu.guagua.BasicCoordinator 中的方法

getRuntimeMemoryStats() - 类 ml.shifu.guagua.util.MemoryUtils 中的静态方法

Get runtime memory stats

getSleepTime() - 类 ml.shifu.guagua.BasicCoordinator 中的方法

getSplits() - 类 ml.shifu.guagua.worker.GuaguaWorkerService 中的方法

getStat() - 类 ml.shifu.guagua.coordinator.zk.GuaguaZooKeeper.PathStat 中的方法

Get the stat of the set znode if set

getTotalIteration() - 类 ml.shifu.guagua.master.GuaguaMasterService 中的方法

getTotalIteration() - 类 ml.shifu.guagua.master.MasterContext 中的方法

getTotalIteration() - 类 ml.shifu.guagua.worker.GuaguaWorkerService 中的方法

getTotalIteration() - 类 ml.shifu.guagua.worker.WorkerContext 中的方法

getWorkerBaseNode(String) - 类 ml.shifu.guagua.BasicCoordinator 中的方法

getWorkerBaseNode(String, int) - 类 ml.shifu.guagua.BasicCoordinator 中的方法

getWorkerComputable() - 类 ml.shifu.guagua.worker.GuaguaWorkerService 中的方法

getWorkerInterceptors() - 类 ml.shifu.guagua.worker.GuaguaWorkerService 中的方法

getWorkerNode(String, String, int) - 类 ml.shifu.guagua.BasicCoordinator 中的方法

getWorkerResult() - 类 ml.shifu.guagua.worker.WorkerContext 中的方法

getWorkerResultClassName() - 类 ml.shifu.guagua.master.GuaguaMasterService 中的方法

getWorkerResultClassName() - 类 ml.shifu.guagua.master.MasterContext 中的方法

getWorkerResultClassName() - 类 ml.shifu.guagua.worker.GuaguaWorkerService 中的方法

getWorkerResultClassName() - 类 ml.shifu.guagua.worker.WorkerContext 中的方法

getWorkerResults() - 类 ml.shifu.guagua.master.MasterContext 中的方法

getWorkerResults() - 类 ml.shifu.guagua.MemoryCoordinator 中的方法

getWorkers() - 类 ml.shifu.guagua.master.GuaguaMasterService 中的方法

getWorkers() - 类 ml.shifu.guagua.master.MasterContext 中的方法

getWorkerSerializer() - 类 ml.shifu.guagua.BasicCoordinator 中的方法

getZkConnLatch() - 类 ml.shifu.guagua.BasicCoordinator 中的方法

getZooKeeper() - 类 ml.shifu.guagua.BasicCoordinator 中的方法

getZooKeeper() - 类 ml.shifu.guagua.coordinator.zk.GuaguaZooKeeper 中的方法

GUAGUA - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_COMPUTATION_TIME_THRESHOLD - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_COORDINATOR_FIXED_SLEEP - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_COORDINATOR_FIXED_SLEEP_ENABLE - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_COORDINATOR_SLEEP_UNIT - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_DEFAULT_COMPUTATION_TIME_THRESHOLD - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_DEFAULT_MIN_WORKERS_RATIO - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_DEFAULT_MIN_WORKERS_TIMEOUT - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_INIT_DONE_NODE - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_INIT_STEP - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_INPUT_DIR - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_INTERCEPTER_SEPARATOR - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_IO_DEFAULT_SERIALIZER - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_ITERATION_COUNT - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_MASTER_DEFAULT_SYSTEM_INTERCEPTERS - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_MASTER_ELECTION - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_MASTER_INTERCEPTERS - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_MASTER_IO_SERIALIZER - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_MASTER_NUMBER - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_MASTER_RESULT_CLASS - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_MASTER_SYSTEM_INTERCEPTERS - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_MIN_WORKERS_RATIO - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_MIN_WORKERS_TIMEOUT - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_SPLIT_COMBINABLE - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_SPLIT_MAX_COMBINED_SPLIT_SIZE - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_WORKER_DEFAULT_HALT_ENABLE - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_WORKER_DEFAULT_SYSTEM_INTERCEPTERS - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_WORKER_HALT_ENABLE - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_WORKER_INTERCEPTERS - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_WORKER_IO_SERIALIZER - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_WORKER_NUMBER - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_WORKER_RESULT_CLASS - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_WORKER_SYSTEM_INTERCEPTERS - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_ZK_CLEANUP_ENABLE - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_ZK_DATA_LIMIT - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

Zookeeper data limit is 1M, use 1023K for safety.

GUAGUA_ZK_DEFAULT_CLEANUP_VALUE - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_ZK_DEFAULT_MAX_ATTEMPTS - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_ZK_DEFAULT_RETRY_WAIT_MILLS - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_ZK_HEARTBEAT_ENABLED - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_ZK_MASTER_NODE - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_ZK_MAX_ATTEMPTS - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_ZK_RETRY_WAIT_MILLS - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_ZK_ROOT_NODE - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_ZK_SERVERS - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_ZK_SESSION_TIMEOUT - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_ZK_SESSON_DEFAULT_TIMEOUT - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_ZK_SPLIT_NODE - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GUAGUA_ZK_WORKERS_NODE - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

GuaguaConstants - ml.shifu.guagua 中的 类

GuaguaConstants() - 类 ml.shifu.guagua.GuaguaConstants 的构造方法

GuaguaException - ml.shifu.guagua 中的 异常

GuaguaException is checked exception in guagua framework.

GuaguaException() - 异常 ml.shifu.guagua.GuaguaException 的构造方法

Constructs an GuaguaException with null as its error detail message.

GuaguaException(String) - 异常 ml.shifu.guagua.GuaguaException 的构造方法

Constructs an GuaguaException with the specified detail message.

GuaguaException(String, Throwable) - 异常 ml.shifu.guagua.GuaguaException 的构造方法

Constructs an GuaguaException with the specified detail message and cause.

GuaguaException(Throwable) - 异常 ml.shifu.guagua.GuaguaException 的构造方法

Constructs an GuaguaException with the specified cause and a detail message of {@code (cause==null ?

GuaguaFileSplit - ml.shifu.guagua.io 中的 类

GuaguaFileSplit is used for WorkerComputable to read data.

GuaguaFileSplit() - 类 ml.shifu.guagua.io.GuaguaFileSplit 的构造方法

Default constructor.

GuaguaFileSplit(String, long, long) - 类 ml.shifu.guagua.io.GuaguaFileSplit 的构造方法

Constructor which is used to build full GuaguaFileSplit.

GuaguaMasterService<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable> - ml.shifu.guagua.master 中的 类

GuaguaMasterService is the basic implementation as a master to coordinator all workers' work in each iteration.

GuaguaMasterService() - 类 ml.shifu.guagua.master.GuaguaMasterService 的构造方法

GuaguaRecordReader<KEY extends Bytable,VALUE extends Bytable> - ml.shifu.guagua.io 中的 接口

GuaguaRecordReader is used for consistent interface to iterate data through FileSplit provided.

GuaguaRuntimeException - ml.shifu.guagua 中的 异常

GuaguaRuntimeException which is used to wrap all RuntimeExceptions in guagua framework.

GuaguaRuntimeException() - 异常 ml.shifu.guagua.GuaguaRuntimeException 的构造方法

Constructs a new guagua runtime exception with null as its detail message.

GuaguaRuntimeException(String) - 异常 ml.shifu.guagua.GuaguaRuntimeException 的构造方法

Constructs a new guagua runtime exception with the specified detail message.

GuaguaRuntimeException(String, Throwable) - 异常 ml.shifu.guagua.GuaguaRuntimeException 的构造方法

Constructs a new guagua runtime exception with the specified detail message and cause.

GuaguaRuntimeException(Throwable) - 异常 ml.shifu.guagua.GuaguaRuntimeException 的构造方法

Constructs a new guagua runtime exception with the specified cause and a detail message of (cause==null ?

GuaguaService - ml.shifu.guagua 中的 接口

GuaguaService is a common service interface of both master and worker service implementations.

GuaguaUnitDriver<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable> - ml.shifu.guagua.unit 中的 类

GuaguaUnitDriver is a helper class to run master, worker and intercepters in one jvm instance.

GuaguaUnitDriver(Properties) - 类 ml.shifu.guagua.unit.GuaguaUnitDriver 的构造方法

Constructor with GuaguaUnitDriver.props setting.

GuaguaWorkerService<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable> - ml.shifu.guagua.worker 中的 类

GuaguaWorkerService is the basic implementation as a worker for whole application process.

GuaguaWorkerService() - 类 ml.shifu.guagua.worker.GuaguaWorkerService 的构造方法

GuaguaZooKeeper - ml.shifu.guagua.coordinator.zk 中的 类

ZooKeeper provides only atomic operations.

GuaguaZooKeeper(String, int, int, int, Watcher) - 类 ml.shifu.guagua.coordinator.zk.GuaguaZooKeeper 的构造方法

Constructor to connect to ZooKeeper, make progress

GuaguaZooKeeper.PathStat - ml.shifu.guagua.coordinator.zk 中的 类

Data structure for handling the output of createOrSet()

GuaguaZooKeeper.PathStat(String, Stat) - 类 ml.shifu.guagua.coordinator.zk.GuaguaZooKeeper.PathStat 的构造方法

Put in results from createOrSet()

GuaguaZooKeeperOperation<T> - ml.shifu.guagua.coordinator.zk 中的 接口

GuaguaZooKeeperOperation is used as command to process same logic like re-trying.

GZIPBytableSerializer<RESULT extends Bytable> - ml.shifu.guagua.io 中的 类

GZIPBytableSerializer is usingBytable.write(java.io.DataOutput) and Bytable.readFields(java.io.DataInput) to serialize object to bytes and de-serialize bytes to object.

GZIPBytableSerializer() - 类 ml.shifu.guagua.io.GZIPBytableSerializer 的构造方法

H

HaltBytable - ml.shifu.guagua.io 中的 类

Abstract Bytable implementation to read and store halt status.

HaltBytable() - 类 ml.shifu.guagua.io.HaltBytable 的构造方法

heapHistogramDump(int) - 类 ml.shifu.guagua.util.JMap 中的静态方法

Run jmap, print numLines of output from it to stderr.

heapHistogramDump(int, PrintStream) - 类 ml.shifu.guagua.util.JMap 中的静态方法

Run jmap, print numLines of output from it to stream passed in.

I

init(Properties) - 接口 ml.shifu.guagua.GuaguaService 中的方法

Service initialization.

init(Properties) - 类 ml.shifu.guagua.master.GuaguaMasterService 中的方法

Parameter initialization, such as set result class name, iteration number and so on.

init(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.AbstractWorkerComputable 中的方法

Initialization work for the whole computation

init(Properties) - 类 ml.shifu.guagua.worker.GuaguaWorkerService 中的方法

Parameter initialization, such as set result class name, iteration number and so on.

initialize(Properties) - 类 ml.shifu.guagua.BasicCoordinator 中的方法

Coordinator initialization.

initialize(GuaguaFileSplit) - 接口 ml.shifu.guagua.io.GuaguaRecordReader 中的方法

Initialize file split for user to create relative reader instance.

initRecordReader(GuaguaFileSplit) - 类 ml.shifu.guagua.worker.AbstractWorkerComputable 中的方法

Each GuaguaFileSplit must be initialized before loading data.

InternalMasterCoordinator<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable> - ml.shifu.guagua.master 中的 类

InternalMasterCoordinator is local coordinator implementation in one jvm instance.

InternalMasterCoordinator() - 类 ml.shifu.guagua.master.InternalMasterCoordinator 的构造方法

InternalWorkerCoordinator<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable> - ml.shifu.guagua.worker 中的 类

InternalWorkerCoordinator is local coordinator implementation on one jvm instance.

InternalWorkerCoordinator() - 类 ml.shifu.guagua.worker.InternalWorkerCoordinator 的构造方法

isAllWorkersHalt(Iterable<WORKER_RESULT>) - 类 ml.shifu.guagua.master.AbstractMasterCoordinator 中的方法

Check whether all workers are halted.

isFixedTime() - 类 ml.shifu.guagua.BasicCoordinator 中的方法

isHalt() - 类 ml.shifu.guagua.io.HaltBytable 中的方法

Return halt status.

isTerminated(int, int, double, long) - 类 ml.shifu.guagua.BasicCoordinator.RetryCoordinatorCommand 中的方法

Return true for BasicCoordinator.RetryCoordinatorCommand.retryExecution() if in minWorkersTimeout time get (int) (workers * minWorkersRatio)) workers completed.

iterate(MasterContext<MASTER_RESULT, WORKER_RESULT>, int, Progressable) - 类 ml.shifu.guagua.master.GuaguaMasterService 中的方法

Call each iteration computation and preIteration, postIteration in intercepters.

iterate(WorkerContext<MASTER_RESULT, WORKER_RESULT>, int, Progressable) - 类 ml.shifu.guagua.worker.GuaguaWorkerService 中的方法

Call each iteration computation and preIteration, postIteration in intercepters.

J

JMap - ml.shifu.guagua.util 中的 类

Helper to run jmap and print the output.

JMap() - 类 ml.shifu.guagua.util.JMap 的构造方法

Do not construct

L

load(KEY, VALUE, WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.AbstractWorkerComputable 中的方法

Load data one by one before computation.

M

MASTER_COMPUTABLE_CLASS - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

MasterComputable<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable> - ml.shifu.guagua.master 中的 接口

Master computation for an application.

MasterComputableTimer<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable> - ml.shifu.guagua.master 中的 类

MasterComputableTimer is used to get execution time for mastercomputation.

MasterComputableTimer() - 类 ml.shifu.guagua.master.MasterComputableTimer 的构造方法

MasterContext<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable> - ml.shifu.guagua.master 中的 类

MasterContext is a context to contain all objects used in master computation.

MasterContext(int, int, Properties, String, String, String, String, double, long) - 类 ml.shifu.guagua.master.MasterContext 的构造方法

masterInitLock - 类 ml.shifu.guagua.worker.AsyncWorkerCoordinator 中的变量

Lock is used to check register info from master.

MasterInterceptor<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable> - ml.shifu.guagua.master 中的 接口

MasterInterceptor is a entry point for all service in master implementation.

masterIterationLock - 类 ml.shifu.guagua.worker.AsyncWorkerCoordinator 中的变量

Lock is used to check iteration info from master.

MasterTimer<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable> - ml.shifu.guagua.master 中的 类

MasterTimer is used to get execution time of the post intercepters and master computation.

MasterTimer() - 类 ml.shifu.guagua.master.MasterTimer 的构造方法

maxMemoryMB() - 类 ml.shifu.guagua.util.MemoryUtils 中的静态方法

Get maximum memory in megabytes

MemoryCoordinator<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable> - ml.shifu.guagua 中的 类

MemoryCoordinator is helper for in-memory master and worker coordination.

MemoryCoordinator(int, int) - 类 ml.shifu.guagua.MemoryCoordinator 的构造方法

MemoryStatsMasterInterceptor<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable> - ml.shifu.guagua.master 中的 类

MemoryStatsMasterInterceptor is used to print memory usage for each master checkpoint.

MemoryStatsMasterInterceptor() - 类 ml.shifu.guagua.master.MemoryStatsMasterInterceptor 的构造方法

MemoryStatsWorkerInterceptor<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable> - ml.shifu.guagua.worker 中的 类

MemoryStatsWorkerInterceptor is used to print memory usage for each worker checkpoint.

MemoryStatsWorkerInterceptor() - 类 ml.shifu.guagua.worker.MemoryStatsWorkerInterceptor 的构造方法

MemoryUtils - ml.shifu.guagua.util 中的 类

Helper static methods for tracking memory usage.

ml.shifu.guagua - 软件包 ml.shifu.guagua

This package contains some common classes for both master and worker.

ml.shifu.guagua.coordinator.zk - 软件包 ml.shifu.guagua.coordinator.zk

This package contains zookeeper wrapper to talk with ZooKeeper servers.

ml.shifu.guagua.io - 软件包 ml.shifu.guagua.io

This package contains our own io settings for guagua.

ml.shifu.guagua.master - 软件包 ml.shifu.guagua.master

This package contains guagua master implementation.

ml.shifu.guagua.unit - 软件包 ml.shifu.guagua.unit

This package is used to run guagua master-workers in one jvm instance.

ml.shifu.guagua.util - 软件包 ml.shifu.guagua.util

This package contains some useful utility functions to help guagua-core.

ml.shifu.guagua.worker - 软件包 ml.shifu.guagua.worker

This package contains guagua worker implementation.

N

newInstance(Class<T>) - 类 ml.shifu.guagua.util.ReflectionUtils 中的静态方法

Create an object for the given class.

newInstance(String) - 类 ml.shifu.guagua.util.ReflectionUtils 中的静态方法

Create an object for the given class.

nextKeyValue() - 接口 ml.shifu.guagua.io.GuaguaRecordReader 中的方法

Cursor shift to next and set current key value.

NumberFormatUtils - ml.shifu.guagua.util 中的 类

Util class to parse int, long or any other type.

O

objectToBytes(RESULT) - 类 ml.shifu.guagua.io.BytableSerializer 中的方法

Serialize from object to bytes.

objectToBytes(RESULT) - 类 ml.shifu.guagua.io.Bzip2BytableSerializer 中的方法

Serialize from object to bytes.

objectToBytes(RESULT) - 类 ml.shifu.guagua.io.GZIPBytableSerializer 中的方法

Serialize from object to bytes.

objectToBytes(RESULT) - 接口 ml.shifu.guagua.io.Serializer 中的方法

Transform object to byte array.

P

postApplication(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.AbstractMasterCoordinator 中的方法

postApplication(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.BasicMasterInterceptor 中的方法

postApplication(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.MasterComputableTimer 中的方法

postApplication(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 接口 ml.shifu.guagua.master.MasterInterceptor 中的方法

The hook point for each application or each mapreduce job which is after all iterations completed.

postApplication(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.MasterTimer 中的方法

postApplication(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.MemoryStatsMasterInterceptor 中的方法

postApplication(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.TraceMasterInterceptor 中的方法

postApplication(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.AbstractWorkerCoordinator 中的方法

postApplication(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.BasicWorkerInterceptor 中的方法

postApplication(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.MemoryStatsWorkerInterceptor 中的方法

postApplication(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.TraceWorkerInterceptor 中的方法

postApplication(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.WorkerComputableTimer 中的方法

postApplication(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 接口 ml.shifu.guagua.worker.WorkerInterceptor 中的方法

The hook point for each application or each mapreduce job which is after all iterations completed.

postApplication(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.WorkerTimer 中的方法

postIteration(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.AbstractMasterCoordinator 中的方法

postIteration(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.BasicMasterInterceptor 中的方法

postIteration(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.InternalMasterCoordinator 中的方法

postIteration(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.MasterComputableTimer 中的方法

postIteration(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 接口 ml.shifu.guagua.master.MasterInterceptor 中的方法

The hook point for each iteration which is after MasterComputable.compute(MasterContext).

postIteration(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.MasterTimer 中的方法

postIteration(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.MemoryStatsMasterInterceptor 中的方法

postIteration(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.TraceMasterInterceptor 中的方法

postIteration(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.AsyncWorkerCoordinator 中的方法

postIteration(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.BasicWorkerInterceptor 中的方法

postIteration(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.InternalWorkerCoordinator 中的方法

postIteration(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.MemoryStatsWorkerInterceptor 中的方法

postIteration(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.SyncWorkerCoordinator 中的方法

postIteration(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.TraceWorkerInterceptor 中的方法

postIteration(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.WorkerComputableTimer 中的方法

postIteration(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 接口 ml.shifu.guagua.worker.WorkerInterceptor 中的方法

The hook point for each iteration which is after WorkerComputable.compute(WorkerContext).

postIteration(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.WorkerTimer 中的方法

postLoad(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.AbstractWorkerComputable 中的方法

Do some post work before loading data.

preApplication(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.AsyncMasterCoordinator 中的方法

preApplication(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.BasicMasterInterceptor 中的方法

preApplication(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.InternalMasterCoordinator 中的方法

preApplication(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.MasterComputableTimer 中的方法

preApplication(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 接口 ml.shifu.guagua.master.MasterInterceptor 中的方法

The hook point for each application or each mapreduce job which is before all iterations started.

preApplication(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.MasterTimer 中的方法

preApplication(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.MemoryStatsMasterInterceptor 中的方法

preApplication(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.SyncMasterCoordinator 中的方法

preApplication(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.TraceMasterInterceptor 中的方法

preApplication(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.AsyncWorkerCoordinator 中的方法

preApplication(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.BasicWorkerInterceptor 中的方法

preApplication(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.InternalWorkerCoordinator 中的方法

preApplication(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.MemoryStatsWorkerInterceptor 中的方法

preApplication(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.SyncWorkerCoordinator 中的方法

preApplication(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.TraceWorkerInterceptor 中的方法

preApplication(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.WorkerComputableTimer 中的方法

preApplication(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 接口 ml.shifu.guagua.worker.WorkerInterceptor 中的方法

The hook point for each application or each mapreduce job which is before all iterations started.

preApplication(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.WorkerTimer 中的方法

preIteration(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.AsyncMasterCoordinator 中的方法

preIteration(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.BasicMasterInterceptor 中的方法

preIteration(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.InternalMasterCoordinator 中的方法

preIteration(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.MasterComputableTimer 中的方法

preIteration(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 接口 ml.shifu.guagua.master.MasterInterceptor 中的方法

The hook point for each iteration which is before MasterComputable.compute(MasterContext).

preIteration(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.MasterTimer 中的方法

preIteration(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.MemoryStatsMasterInterceptor 中的方法

preIteration(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.SyncMasterCoordinator 中的方法

preIteration(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.TraceMasterInterceptor 中的方法

preIteration(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.AbstractWorkerCoordinator 中的方法

preIteration(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.AsyncWorkerCoordinator 中的方法

preIteration(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.BasicWorkerInterceptor 中的方法

preIteration(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.InternalWorkerCoordinator 中的方法

preIteration(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.MemoryStatsWorkerInterceptor 中的方法

preIteration(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.TraceWorkerInterceptor 中的方法

preIteration(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.WorkerComputableTimer 中的方法

preIteration(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 接口 ml.shifu.guagua.worker.WorkerInterceptor 中的方法

The hook point for each iteration which is before WorkerComputable.compute(WorkerContext).

preIteration(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.WorkerTimer 中的方法

preLoad(WorkerContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.AbstractWorkerComputable 中的方法

Do some pre work before loading data.

process(WatchedEvent) - 类 ml.shifu.guagua.BasicCoordinator 中的方法

process(WatchedEvent) - 类 ml.shifu.guagua.master.AsyncMasterCoordinator 中的方法

process(WatchedEvent) - 类 ml.shifu.guagua.worker.AsyncWorkerCoordinator 中的方法

progress(int, int, String, boolean, boolean) - 接口 ml.shifu.guagua.util.Progressable 中的方法

Report progress to caller.

Progressable - ml.shifu.guagua.util 中的 接口

A facility for reporting progress.

ProgressLock - ml.shifu.guagua.util 中的 类

A lock with a predicate that was be used to synchronize events and keep the job updated while waiting.

ProgressLock() - 类 ml.shifu.guagua.util.ProgressLock 的构造方法

Constructor with default values.

ProgressLock(int) - 类 ml.shifu.guagua.util.ProgressLock 的构造方法

Constructor.

R

readFields(DataInput) - 接口 ml.shifu.guagua.io.Bytable 中的方法

De-serialize the fields of this object from in.

readFields(DataInput) - 类 ml.shifu.guagua.io.HaltBytable 中的方法

ReflectionUtils - ml.shifu.guagua.util 中的 类

ReflectionUtils is used to get instance from java reflection mechanism.

reset() - 类 ml.shifu.guagua.util.ProgressLock 中的方法

retryDelay(int) - 类 ml.shifu.guagua.coordinator.zk.GuaguaZooKeeper 中的方法

Performs a retry delay if this is not the first attempt

retryExecution() - 类 ml.shifu.guagua.BasicCoordinator.RetryCoordinatorCommand 中的方法

retryOperation(GuaguaZooKeeperOperation<T>) - 类 ml.shifu.guagua.coordinator.zk.GuaguaZooKeeper 中的方法

Perform the given operation, retrying if the connection fails

run(Progressable) - 接口 ml.shifu.guagua.GuaguaService 中的方法

Real logic implementation, for example, master and worker iteration logic.

run(Progressable) - 类 ml.shifu.guagua.master.GuaguaMasterService 中的方法

Iterate MasterComputable.compute(MasterContext), and set hook point before and after each iteration.

run() - 类 ml.shifu.guagua.unit.GuaguaUnitDriver 中的方法

To run master-workers iteration.

run(Progressable) - 类 ml.shifu.guagua.worker.GuaguaWorkerService 中的方法

Iterate WorkerComputable.compute(WorkerContext), and set hook point before and after each iteration.

S

Serializer<RESULT extends Bytable> - ml.shifu.guagua.io 中的 接口

Serializer is used to serialize object to bytes and de-serialize bytes to object A CONTRACT here: To make sure halt status in Bytable can be serialized or de-serialized.

setAppId(String) - 接口 ml.shifu.guagua.GuaguaService 中的方法

App id for whole application.

setAppId(String) - 类 ml.shifu.guagua.master.AsyncMasterCoordinator 中的方法

setAppId(String) - 类 ml.shifu.guagua.master.GuaguaMasterService 中的方法

setAppId(String) - 类 ml.shifu.guagua.worker.AsyncWorkerCoordinator 中的方法

setAppId(String) - 类 ml.shifu.guagua.worker.GuaguaWorkerService 中的方法

setBytesToZNode(String, String, byte[], CreateMode) - 类 ml.shifu.guagua.BasicCoordinator 中的方法

Set bytes to znode, if bytes is over zookeeper data limit(1MB), use children znodes to store each part.

setContainerId(String) - 接口 ml.shifu.guagua.GuaguaService 中的方法

Set the unique container id for master or worker.

setContainerId(String) - 类 ml.shifu.guagua.master.GuaguaMasterService 中的方法

setContainerId(String) - 类 ml.shifu.guagua.worker.GuaguaWorkerService 中的方法

setCoordinator(MemoryCoordinator<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.GuaguaMasterService 中的方法

setCoordinator(MemoryCoordinator<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.InternalMasterCoordinator 中的方法

setCoordinator(MemoryCoordinator<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.GuaguaWorkerService 中的方法

setCoordinator(MemoryCoordinator<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.InternalWorkerCoordinator 中的方法

setCurrentIteration(int) - 类 ml.shifu.guagua.master.AsyncMasterCoordinator 中的方法

setCurrentIteration(int) - 类 ml.shifu.guagua.master.MasterContext 中的方法

setCurrentIteration(int) - 类 ml.shifu.guagua.worker.AsyncWorkerCoordinator 中的方法

setCurrentIteration(int) - 类 ml.shifu.guagua.worker.WorkerContext 中的方法

setFixedTime(boolean) - 类 ml.shifu.guagua.BasicCoordinator 中的方法

setHalt(boolean) - 类 ml.shifu.guagua.io.HaltBytable 中的方法

Set status to halt if isHalt is true.

setLastMasterResult(MASTER_RESULT) - 类 ml.shifu.guagua.worker.WorkerContext 中的方法

setLength(long) - 类 ml.shifu.guagua.io.GuaguaFileSplit 中的方法

setMasterComputable(MasterComputable<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.GuaguaMasterService 中的方法

setMasterIntercepters(List<MasterInterceptor<MASTER_RESULT, WORKER_RESULT>>) - 类 ml.shifu.guagua.master.GuaguaMasterService 中的方法

setMasterResult(MASTER_RESULT) - 类 ml.shifu.guagua.master.MasterContext 中的方法

setMasterResult(WorkerContext<MASTER_RESULT, WORKER_RESULT>, String, String) - 类 ml.shifu.guagua.worker.AbstractWorkerCoordinator 中的方法

setMasterResultClassName(String) - 类 ml.shifu.guagua.master.GuaguaMasterService 中的方法

setMasterResultClassName(String) - 类 ml.shifu.guagua.worker.GuaguaWorkerService 中的方法

setMasterSerializer(Serializer<MASTER_RESULT>) - 类 ml.shifu.guagua.BasicCoordinator 中的方法

setMinWorkersRatio(double) - 类 ml.shifu.guagua.master.GuaguaMasterService 中的方法

setMinWorkersTimeOut(long) - 类 ml.shifu.guagua.master.GuaguaMasterService 中的方法

setMyBid(String) - 类 ml.shifu.guagua.master.AbstractMasterCoordinator 中的方法

setOffset(long) - 类 ml.shifu.guagua.io.GuaguaFileSplit 中的方法

setPath(String) - 类 ml.shifu.guagua.io.GuaguaFileSplit 中的方法

setProps(Properties) - 类 ml.shifu.guagua.master.GuaguaMasterService 中的方法

setProps(Properties) - 类 ml.shifu.guagua.worker.GuaguaWorkerService 中的方法

setRecordReader(GuaguaRecordReader<KEY, VALUE>) - 类 ml.shifu.guagua.worker.AbstractWorkerComputable 中的方法

setSleepTime(long) - 类 ml.shifu.guagua.BasicCoordinator 中的方法

setSplits(List<GuaguaFileSplit>) - 接口 ml.shifu.guagua.GuaguaService 中的方法

Assign splits to each worker to make them load that data.

setSplits(List<GuaguaFileSplit>) - 类 ml.shifu.guagua.master.GuaguaMasterService 中的方法

setSplits(List<GuaguaFileSplit>) - 类 ml.shifu.guagua.worker.GuaguaWorkerService 中的方法

setTotalIteration(int) - 类 ml.shifu.guagua.master.GuaguaMasterService 中的方法

setTotalIteration(int) - 类 ml.shifu.guagua.worker.GuaguaWorkerService 中的方法

setUp() - 类 ml.shifu.guagua.unit.GuaguaUnitDriver 中的方法

setWorkerComputable(WorkerComputable<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.worker.GuaguaWorkerService 中的方法

setWorkerInterceptors(List<WorkerInterceptor<MASTER_RESULT, WORKER_RESULT>>) - 类 ml.shifu.guagua.worker.GuaguaWorkerService 中的方法

setWorkerResultClassName(String) - 类 ml.shifu.guagua.master.GuaguaMasterService 中的方法

setWorkerResultClassName(String) - 类 ml.shifu.guagua.worker.GuaguaWorkerService 中的方法

setWorkerResults(MasterContext<MASTER_RESULT, WORKER_RESULT>, String, String, int) - 类 ml.shifu.guagua.master.AbstractMasterCoordinator 中的方法

Set worker result from znodes.

setWorkerResults(Iterable<WORKER_RESULT>) - 类 ml.shifu.guagua.master.MasterContext 中的方法

setWorkers(int) - 类 ml.shifu.guagua.master.GuaguaMasterService 中的方法

setWorkerSerializer(Serializer<WORKER_RESULT>) - 类 ml.shifu.guagua.BasicCoordinator 中的方法

setZooKeeper(GuaguaZooKeeper) - 类 ml.shifu.guagua.BasicCoordinator 中的方法

signal() - 类 ml.shifu.guagua.util.ProgressLock 中的方法

signalMaster(int, int, WORKER_RESULT) - 类 ml.shifu.guagua.MemoryCoordinator 中的方法

Signal master with result setting.

signalWorkers(int, MASTER_RESULT) - 类 ml.shifu.guagua.MemoryCoordinator 中的方法

Master signals workers with result setting.

start() - 接口 ml.shifu.guagua.GuaguaService 中的方法

Start point for the service.

start() - 类 ml.shifu.guagua.master.GuaguaMasterService 中的方法

start() - 类 ml.shifu.guagua.worker.GuaguaWorkerService 中的方法

Start services from intercepters, all services started logic should be wrapperd in WorkerInterceptor.preApplication(WorkerContext);

startHeartbeat() - 类 ml.shifu.guagua.BasicCoordinator 中的方法

stop() - 接口 ml.shifu.guagua.GuaguaService 中的方法

Stop service, resources cleaning should be added in this function.

stop() - 类 ml.shifu.guagua.master.GuaguaMasterService 中的方法

Stop services from intercepters which is used for resource cleaning or servers shutting down.

stop() - 类 ml.shifu.guagua.worker.GuaguaWorkerService 中的方法

Stop services from intercepters which is used for resource cleaning or servers shutting down.

stopHeartBeat() - 类 ml.shifu.guagua.BasicCoordinator 中的方法

StringUtils - ml.shifu.guagua.util 中的 类

StringUtils class for string operation.

SyncCoordinatorFactory<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable> - ml.shifu.guagua 中的 类

Sync coordinator factory to create sync coordinators for master and workers.

SyncCoordinatorFactory() - 类 ml.shifu.guagua.SyncCoordinatorFactory 的构造方法

SyncMasterCoordinator<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable> - ml.shifu.guagua.master 中的 类

SyncMasterCoordinator is used to as a barrier for each iteration.

SyncMasterCoordinator() - 类 ml.shifu.guagua.master.SyncMasterCoordinator 的构造方法

SyncWorkerCoordinator<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable> - ml.shifu.guagua.worker 中的 类

SyncWorkerCoordinator is used to as a worker barrier for each iteration.

SyncWorkerCoordinator() - 类 ml.shifu.guagua.worker.SyncWorkerCoordinator 的构造方法

T

tearDown() - 类 ml.shifu.guagua.unit.GuaguaUnitDriver 中的方法

toString() - 类 ml.shifu.guagua.io.GuaguaFileSplit 中的方法

toString() - 类 ml.shifu.guagua.master.MasterContext 中的方法

toString() - 类 ml.shifu.guagua.worker.WorkerContext 中的方法

totalMemoryMB() - 类 ml.shifu.guagua.util.MemoryUtils 中的静态方法

Get total memory in megabytes

TraceMasterInterceptor<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable> - ml.shifu.guagua.master 中的 类

TraceMasterInterceptor is used to trace whole application for master.

TraceMasterInterceptor() - 类 ml.shifu.guagua.master.TraceMasterInterceptor 的构造方法

TraceWorkerInterceptor<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable> - ml.shifu.guagua.worker 中的 类

TraceWorkerInterceptor is used to trace whole application process.

TraceWorkerInterceptor() - 类 ml.shifu.guagua.worker.TraceWorkerInterceptor 的构造方法

U

updateMasterHaltStatus(MasterContext<MASTER_RESULT, WORKER_RESULT>) - 类 ml.shifu.guagua.master.AbstractMasterCoordinator 中的方法

Check whether GuaguaConstants.GUAGUA_WORKER_HALT_ENABLE) is enabled, if yes, check whether all workers are halted and update master status.

usedMemoryMB() - 类 ml.shifu.guagua.util.MemoryUtils 中的静态方法

Get used memory in megabytes

W

WAIT_SLOT_MILLS - 类 ml.shifu.guagua.BasicCoordinator 中的静态变量

Default waiting time to check master or worker progress from zookeeper servers.

waitForever() - 类 ml.shifu.guagua.util.ProgressLock 中的方法

waitMsecs(int) - 类 ml.shifu.guagua.util.ProgressLock 中的方法

WORKER_COMPUTABLE_CLASS - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

WorkerComputable<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable> - ml.shifu.guagua.worker 中的 接口

Worker computation interface for an application.

WorkerComputableTimer<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable> - ml.shifu.guagua.worker 中的 类

WorkerComputableTimer is used to get execution time for computation.

WorkerComputableTimer() - 类 ml.shifu.guagua.worker.WorkerComputableTimer 的构造方法

WorkerContext<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable> - ml.shifu.guagua.worker 中的 类

WorkerContext is a context to contain all objects used in master computation.

WorkerContext(int, String, Properties, String, List<GuaguaFileSplit>, String, String) - 类 ml.shifu.guagua.worker.WorkerContext 的构造方法

workerInitLock - 类 ml.shifu.guagua.master.AsyncMasterCoordinator 中的变量

Lock is used to check register info from all workers.

WorkerInterceptor<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable> - ml.shifu.guagua.worker 中的 接口

WorkerInterceptor is a entry point for all services in worker implementation.

workerIterationLock - 类 ml.shifu.guagua.master.AsyncMasterCoordinator 中的变量

Lock is used to check iteration info from all workers.

WorkerTimer<MASTER_RESULT extends Bytable,WORKER_RESULT extends Bytable> - ml.shifu.guagua.worker 中的 类

WorkerTimer is used to get execution time of the post intercepters and computation.

WorkerTimer() - 类 ml.shifu.guagua.worker.WorkerTimer 的构造方法

write(DataOutput) - 接口 ml.shifu.guagua.io.Bytable 中的方法

Serialize the fields of this object to out.

write(DataOutput) - 类 ml.shifu.guagua.io.HaltBytable 中的方法

Z

ZOOKEEPER_SEPARATOR - 类 ml.shifu.guagua.GuaguaConstants 中的静态变量

A B C D E F G H I J L M N O P R S T U W Z