1.开启thriftServer服务
命令:./start-thriftserver.sh --master local[2]
2.启动后,查看服务的http://hd1:4040 页面
3.启动spark bin目录下的beeline:
命令:bin/beeline -u jdbc:hive2://localhost:10000 -n root
4.连接成功后,多次执行sql(我本地测试用的select * from a),然后查看服务的 http://hd1:4040/SQL/ 和 http://hd1:4040/sqlserver/ 页面
通过这个页面可以发现几点:
- 可以区分出提交的用户
- 页面展示是有序的,按照时间倒叙(最新的展示在最前面)
- 但是没有分页(我本地测试提交了200多次,依然没看到分页)
- 即使关闭了beeline连接,因为thriftServer服务还在,所以依然可以看到已交的sql的执行情况
相关推荐
spark-hive-thriftserver_2.11-2.1.spark-hive-thrift
spark-hive_2.11-2.3.0...spark-hive-thriftserver_2.11-2.3.0.jar log4j-2.15.0.jar slf4j-api-1.7.7.jar slf4j-log4j12-1.7.25.jar curator-client-2.4.0.jar curator-framework-2.4.0.jar curator-recipes-2.4.0.jar
spark和hive结合依赖,如何使用请看我博客https://blog.csdn.net/z1987865446/article/details/109372818
spark-sql_2.11-2.4.0-cdh6.1.1.jar
这是每个学习spark必备的jar包,是根据我的个人试验后所得,官网正版,在spark官网下载。 资源包里不仅有需要的jar包,并且给不会再官网上下载的新手官方网址,可以自由下载资源
spark-sql_2.11-2.1.3-SNAPSHOT_bak.jar
Spark零基础思维导图(内含spark-core ,spark-streaming,spark-sql),总结的很全面。 Spark零基础思维导图(内含spark-core ,spark-streaming,spark-sql)。 Spark零基础思维导图(内含spark-core ,spark-streaming,...
Spark零基础思维导图(内含spark-core ,spark-streaming,spark-sql)
Jacek Laskowski的mastering-spark-sql.pdf,该资源为spark-sql部分
关于spark-sql的英文文档,详细介绍了spark-sql的使用
内容概要:由于cdh6.3.2的spark版本为2.4.0,并且spark-sql被阉割,现基于cdh6.3.2,scala2.12.0,java1.8,maven3.6.3,,对spark-3.2.2源码进行编译 应用:该资源可用于cdh6.3.2集群配置spark客户端,用于spark-sql
cmd = "ssh root@10.195.11.200 \"/usr/local/spark-3.1.2-bin-hadoop2.7/bin/spark-sql --master spark://gpmaster:7077 --executor-memory 2G --total-executor-cores 2 --conf spark.sql.storeAssignmentPolicy=...
1.Spark及其生态圈简介.pdf 2.Spark编译与部署(上)--基础环境搭建.pdf 2.Spark编译与部署(下)--Spark编译安装.pdf 2.Spark编译与部署(中)--Hadoop编译安装.pdf 3.Spark编程模型(上)--概念及SparkShell实战....
spark-sql课堂讲义.docx
spark-3.1.2.tgz版本 & spark-3.1.2-bin-hadoop2.7.tgz版本
大数据开发,spark连接数据库,spark连接数据库,spark连接数据库
mastering-spark-sql
spark和hive结合依赖,如何使用请看我博客https://blog.csdn.net/z1987865446/article/details/109372818
本文详细的描述了spark-sql的一些常用的命令等。。。。。