cn.tenmg.sqltool.spark

类 SparkDataLoader

java.lang.Object

cn.tenmg.sqltool.spark.SparkDataLoader

所有已实现的接口:

Serializable

public class SparkDataLoader
extends Object
implements Serializable

Spark数据加载器

作者:

赵伟均

另请参阅:

序列化表格

构造器概要

构造器

构造器和说明
SparkDataLoader(SqltoolFactory sqltoolFactory)

方法概要

限定符和类型	方法和说明
org.apache.spark.sql.Dataset<org.apache.spark.sql.Row>	load(org.apache.spark.sql.SparkSession sparkSession, Map<String,String> options, String dsql, Map<String,Object> params) 从数据库加载数据集
org.apache.spark.sql.Dataset<org.apache.spark.sql.Row>	load(org.apache.spark.sql.SparkSession sparkSession, Map<String,String> options, String dsql, Object... params) 从数据库加载数据集
org.apache.spark.sql.Dataset<org.apache.spark.sql.Row>	sql(org.apache.spark.sql.SparkSession sparkSession, String dsql, Map<String,Object> params) 执行SparkSQL查询
org.apache.spark.sql.Dataset<org.apache.spark.sql.Row>	sql(org.apache.spark.sql.SparkSession sparkSession, String dsql, Object... params) 执行SparkSQL查询

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

构造器详细资料

SparkDataLoader

public SparkDataLoader(SqltoolFactory sqltoolFactory)

方法详细资料

load

public org.apache.spark.sql.Dataset<org.apache.spark.sql.Row> load(org.apache.spark.sql.SparkSession sparkSession,
                                                                   Map<String,String> options,
                                                                   String dsql,
                                                                   Object... params)

从数据库加载数据集

参数:

sparkSession - spark会话

options - 数据库配置项

dsql - 动态结构化查询语言

params - 查询参数集

返回:

返回加载的数据集

load

public org.apache.spark.sql.Dataset<org.apache.spark.sql.Row> load(org.apache.spark.sql.SparkSession sparkSession,
                                                                   Map<String,String> options,
                                                                   String dsql,
                                                                   Map<String,Object> params)

从数据库加载数据集

参数:

sparkSession - Spark会话

options - 数据库配置项

dsql - 动态结构化查询语言

params - 查询参数集

返回:

返回加载的数据集

sql

public org.apache.spark.sql.Dataset<org.apache.spark.sql.Row> sql(org.apache.spark.sql.SparkSession sparkSession,
                                                                  String dsql,
                                                                  Object... params)

执行SparkSQL查询

参数:

sparkSession - spark会话

dsql - 动态结构化查询语言

params - 查询参数集

返回:

返回查询的数据集

sql

public org.apache.spark.sql.Dataset<org.apache.spark.sql.Row> sql(org.apache.spark.sql.SparkSession sparkSession,
                                                                  String dsql,
                                                                  Map<String,Object> params)

执行SparkSQL查询

参数:

sparkSession - spark会话

dsql - 动态结构化查询语言

params - 查询参数集

返回:

返回查询的数据集