cn.tenmg.sparktool

接口 SparkDao

所有超级接口:

Serializable

所有已知实现类:

DSQLSparkDao

public interface SparkDao
extends Serializable

Spark数据访问对象

作者:

赵伟均 wjzhao@aliyun.com

方法概要

限定符和类型	方法和说明
org.apache.spark.sql.Dataset<org.apache.spark.sql.Row>	load(org.apache.spark.sql.SparkSession sparkSession, Map<String,String> options, String dsql, Map<String,Object> params) 从数据库加载数据集
org.apache.spark.sql.Dataset<org.apache.spark.sql.Row>	load(org.apache.spark.sql.SparkSession sparkSession, Map<String,String> options, String dsql, Object... params) 从数据库加载数据集
org.apache.spark.sql.Dataset<org.apache.spark.sql.Row>	sql(org.apache.spark.sql.SparkSession sparkSession, String dsql, Map<String,Object> params) 执行SparkSQL查询
org.apache.spark.sql.Dataset<org.apache.spark.sql.Row>	sql(org.apache.spark.sql.SparkSession sparkSession, String dsql, Object... params) 执行SparkSQL查询

方法详细资料

load

org.apache.spark.sql.Dataset<org.apache.spark.sql.Row> load(org.apache.spark.sql.SparkSession sparkSession,
                                                            Map<String,String> options,
                                                            String dsql,
                                                            Object... params)

从数据库加载数据集

参数:

sparkSession - Spark会话

options - 数据库配置项

dsql - 动态结构化查询语言

params - 查询参数集

返回:

返回加载的数据集

load

org.apache.spark.sql.Dataset<org.apache.spark.sql.Row> load(org.apache.spark.sql.SparkSession sparkSession,
                                                            Map<String,String> options,
                                                            String dsql,
                                                            Map<String,Object> params)

从数据库加载数据集

参数:

sparkSession - Spark会话

options - 数据库配置项

dsql - 动态结构化查询语言

params - 查询参数集

返回:

返回加载的数据集

sql

org.apache.spark.sql.Dataset<org.apache.spark.sql.Row> sql(org.apache.spark.sql.SparkSession sparkSession,
                                                           String dsql,
                                                           Object... params)

执行SparkSQL查询

参数:

sparkSession - spark会话

dsql - 动态结构化查询语言

params - 查询参数集

返回:

返回查询的数据集

sql

org.apache.spark.sql.Dataset<org.apache.spark.sql.Row> sql(org.apache.spark.sql.SparkSession sparkSession,
                                                           String dsql,
                                                           Map<String,Object> params)

执行SparkSQL查询

参数:

sparkSession - spark会话

dsql - 动态结构化查询语言

params - 查询参数集

返回:

返回查询的数据集