cn.tenmg.sparktool.dao

类 DSQLSparkDao

java.lang.Object

cn.tenmg.sparktool.dao.DSQLSparkDao

所有已实现的接口:

SparkDao, Serializable

public class DSQLSparkDao
extends Object
implements SparkDao

基于DSQL的Spark数据访问对象

作者:

赵伟均 wjzhao@aliyun.com

另请参阅:

序列化表格

构造器概要

构造器

构造器和说明
DSQLSparkDao(cn.tenmg.dsql.DSQLFactory DSQLFactory)

方法概要

限定符和类型	方法和说明
static DSQLSparkDao	build(cn.tenmg.dsql.DSQLFactory DSQLFactory)
org.apache.spark.sql.Dataset<org.apache.spark.sql.Row>	load(org.apache.spark.sql.SparkSession sparkSession, Map<String,String> options, String dsql, Map<String,Object> params) 从数据库加载数据集
org.apache.spark.sql.Dataset<org.apache.spark.sql.Row>	load(org.apache.spark.sql.SparkSession sparkSession, Map<String,String> options, String dsql, Object... params) 从数据库加载数据集
org.apache.spark.sql.Dataset<org.apache.spark.sql.Row>	sql(org.apache.spark.sql.SparkSession sparkSession, String dsql, Map<String,Object> params) 执行SparkSQL查询
org.apache.spark.sql.Dataset<org.apache.spark.sql.Row>	sql(org.apache.spark.sql.SparkSession sparkSession, String dsql, Object... params) 执行SparkSQL查询

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

构造器详细资料

DSQLSparkDao

public DSQLSparkDao(cn.tenmg.dsql.DSQLFactory DSQLFactory)

方法详细资料

build

public static DSQLSparkDao build(cn.tenmg.dsql.DSQLFactory DSQLFactory)

load

public org.apache.spark.sql.Dataset<org.apache.spark.sql.Row> load(org.apache.spark.sql.SparkSession sparkSession,
                                                                   Map<String,String> options,
                                                                   String dsql,
                                                                   Object... params)

从接口复制的说明: SparkDao

从数据库加载数据集

指定者:

load 在接口中 SparkDao

参数:

sparkSession - Spark会话

options - 数据库配置项

dsql - 动态结构化查询语言

params - 查询参数集

返回:

返回加载的数据集

load

public org.apache.spark.sql.Dataset<org.apache.spark.sql.Row> load(org.apache.spark.sql.SparkSession sparkSession,
                                                                   Map<String,String> options,
                                                                   String dsql,
                                                                   Map<String,Object> params)

从接口复制的说明: SparkDao

从数据库加载数据集

指定者:

load 在接口中 SparkDao

参数:

sparkSession - Spark会话

options - 数据库配置项

dsql - 动态结构化查询语言

params - 查询参数集

返回:

返回加载的数据集

sql

public org.apache.spark.sql.Dataset<org.apache.spark.sql.Row> sql(org.apache.spark.sql.SparkSession sparkSession,
                                                                  String dsql,
                                                                  Object... params)

从接口复制的说明: SparkDao

执行SparkSQL查询

指定者:

sql 在接口中 SparkDao

参数:

sparkSession - spark会话

dsql - 动态结构化查询语言

params - 查询参数集

返回:

返回查询的数据集

sql

public org.apache.spark.sql.Dataset<org.apache.spark.sql.Row> sql(org.apache.spark.sql.SparkSession sparkSession,
                                                                  String dsql,
                                                                  Map<String,Object> params)

从接口复制的说明: SparkDao

执行SparkSQL查询

指定者:

sql 在接口中 SparkDao

参数:

sparkSession - spark会话

dsql - 动态结构化查询语言

params - 查询参数集

返回:

返回查询的数据集