当前位置: 首页 > backend >正文

解决sparksql创建出来的数据库路径错误的问题

首先启动 sparksql 的远程服务:start-thriftserver 服务

启动成功,datagrip 连接正常:

在控制台,创建数据库:

hive 的元数据库中,abc 这个数据库的地址错误:

解决方案:在hive 下修改hive-site.xml

<property><name>hive.metastore.schema.verification</name><value>false</value>
</property>

将hive-site.xml 复制到 spark的conf 下

cp /opt/installs/hive/conf/hive-site.xml /opt/installs/spark/conf

修改spark下的hive-site.xml

<property><name>hive.server2.thrift.port</name><value>10001</value><description>Port number of HiveServer2 Thrift interface when hive.server2.transport.mode is 'binary'.</description></property>

接着分发一下:

xsync.sh /opt/installs/spark/conf/hive-site.xml

重启thrift服务:

/opt/installs/spark/sbin/stop-thriftserver.sh/opt/installs/spark/sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=10001 --hiveconf hive.server2.thrift.bind.host=bigdata01 --master yarn --conf spark.sql.shuffle.partitions=2

使用datagrip 重新连接一下,记得刷新一下连接。

测试一下:

至此,成功!

接着我们编写一个 spark 远程服务启停脚本:

在/usr/local/bin 下创建一个脚本:spark-service-manager.sh

#!/bin/bash# 使用方式: spark-server-manager.sh [start|stop|]
help_info() {echo "参数异常,请重新输入"exit -1
}# 获取操作命令
op=$1# 检查参数是否正确
if [ ! $op ]; thenhelp_info
elif [ $op != "start" -a $op != "stop" ]; thenhelp_info
fi# 开启服务
start_thrift() {/opt/installs/spark/sbin/start-thriftserver.sh \--hiveconf hive.server2.thrift.port=10001 \--hiveconf hive.server2.thrift.bind.host=bigdata01 \--master yarn \--conf spark.sql.shuffle.partitions=2
}
# 停止服务
stop_thrift() {sh /opt/installs/spark/sbin/stop-thriftserver.sh
}# 控制操作
${op}_thrift
chmod 777 spark-service-manager.sh
spark-service-manager.sh start
spark-service-manager.sh stop
http://www.xdnf.cn/news/16115.html

相关文章:

  • 音视频中一些常见的知识点
  • 《狼道》:生存智慧与处世哲学
  • sqlsuger 子表获取主表中的一个字段的写法
  • Python 程序设计讲义(8):Python 的基本数据类型——浮点数
  • 基于springboot的乡村旅游在线服务系统/乡村旅游网站
  • 使用Imgui和SDL2做的一个弹球小游戏-Bounze
  • 回顾 Palantir:八年之旅的反思
  • RCLAMP0502A.TCT Semtech:超低电容TVS二极管,高速接口+军工级防护!
  • lumerical——光纤布拉格光栅(Fiber Bragg gratings)
  • 2025 ACT 汽车功能安全相关PPT分享
  • Python-初学openCV——图像预处理(一)
  • 【盘古100Pro+开发板实验例程】FPGA学习 | Modelsim 的使用和 do 文件编写
  • IO补充.
  • WebGIS 中常用空间数据格式
  • UE 模型动画播放控制
  • Linux下的lcd屏幕显示操作
  • Java学习---Spring及其衍生(上)
  • S段和G段到底有什么区别
  • 算法笔记之归并排序
  • Windows 用 Python3 快速搭建 HTTP 服务器
  • linux驱动开发笔记--GPIO驱动开发
  • WPF的一些基础知识学习记录
  • 应用层自定义协议【序列化+反序列化】
  • TODAY()-WEEKDAY(TODAY(),2)+1
  • 彻底掌握双列集合——Map接口以及实现类和常用API及其底层原理
  • python学智能算法(二十九)|SVM-拉格朗日函数求解中-KKT条件
  • Python爬虫--Xpath的应用
  • 分布式限流算法与组件
  • jenkins 入门指南:从安装到启动的完整教程
  • 分布式系统中的缓存设计与应用