Spark SQL也支持直接运行SQL查询的接口,不用写任何代码。
运行Thrift JDBC/ODBC服务器
./sbin/start-thriftserver.sh
这个脚本接受任何的
bin/spark-submit
命令行参数,加上一个
--hiveconf
参数用来指明Hive属性。你可以运行
./sbin/start-thriftserver.sh --help
来获得所有可用选项的完整列表。默认情况下,服务器监听
localhost:10000
。你可以用环境变量覆盖这些变量。
export HIVE_SERVER2_THRIFT_PORT= < listening-port> export HIVE_SERVER2_THRIFT_BIND_HOST= < listening-host> ./sbin/start-thriftserver.sh \ --master < master-uri> \ ...
./bin/beeline
Spark SQL CLI是一个便利的工具,它可以在本地运行Hive元存储服务、执行命令行输入的查询。注意,Spark SQL CLI不能与Thrift JDBC服务器通信。
在Spark目录运行下面的命令可以启动Spark SQL CLI。
Spark SQL CLI是一个便利的工具,它可以在本地运行Hive元存储服务、执行命令行输入的查询。注意,Spark SQL CLI不能与Thrift JDBC服务器通信。
在Spark目录运行下面的命令可以启动Spark SQL CLI。