当前位置: 首页 > ds >正文

hive/spark sql中unix_timestamp 函数的坑以及时间戳相关的转换

我用的是hive版本是3.1.3,spark版本是3.3.1,它们的unix_timestamp 函数在同样的语句下转换出来的时间戳是完全不同的,如下试验所示

1.unix_timestamp 函数的坑

在这里插入图片描述
上图试验中我同样的计算 2025-07-11 10:00:00 时间点对应的时间戳,但是尽管在我换了时区的情况下,他们得到的是同一个答案,都是 1752228000 ,没错,这个时间戳就是UTC+0时间下的对应2025-07-11 10:00:00的时间戳,这点就有点坑,因为我们变化了时区,肯定是想要它转成对应时区下的时间戳。
spark
在spark-sql中是会根据所给的时间戳改变的,这里有一个细节,特别需要注意,spark.sql.session.timeZone Zone一定要大写,如果小写的话,就会跟hive一样达不到随着时间戳改变而变化

2. 时间戳和对应时区的时间之间的转换

首先需要明确的一点是时间戳的定义:它是指从自"Unix纪元"(1970-01-01 00:00:00 UTC)以来经过的秒数或毫秒数 所有它是一个绝对值,不会应为时区的变化而变化,而时区是指全球各个地区自己定义一天时间的方法。

基于上面对时间戳和时区概念的理解,我们提出一个结论,给定一个时间戳比如 1752163200 ,它是绝对的,也是不会变化的,根据这个时间戳,然后各地区根据自己所在的时区可以解析出不同的时间,比如,它表示 Asia/Shanghai(UTC+8) 时区的 2025-07-11 00:00:00 ,同时也表示Asia/Seoul(UTC+9) 时区的2025-07-11 01:00:00,同时也表示America/New_York(UTC-4)2025-07-10 12:00:00时区的等等
这是时间戳转根据时区转时间,我们可以明显看出来在时间戳转时间的时候,如果知道了一个转的结果,比如知道 Asia/Shanghai(UTC+8) 转出来的时间是 2025-07-11 00:00:00 ,那对应的 America/New_York(UTC-4) 的时间不用再用时间戳转,直接用目标时区的值(-4)减去前面基础时区的值(+8),得到-12(-4-8=-12),最后用基础时间加上前面计算出来的值就可以了,也就是2025-07-11 00:00:00加上-12个小时也就是2025-07-10 12:00:00。
如果是时间转时间戳的时候,就正好相反,用基础时区的值减去目标时区的值(由于这是时间戳计算,最后需要进行6060处理),然后和对基础时区转出来的时间戳做加法(减出来是负数就是减)

http://www.xdnf.cn/news/15265.html

相关文章:

  • 串行数据检测器,检测到011,Y输出1,否则为0.
  • RabbitMQ 之顺序性保障
  • 从零实现一个GPT 【React + Express】--- 【4】实现文生图的功能
  • uniapp-在windows上IOS真机运行(含开发证书申请流程)
  • 重振索尼复古微型电脑——计划以OrangePi CM5 作为主板升级
  • uniapp小程序tabbar跳转拦截与弹窗控制
  • 学习笔记(34):matplotlib绘制图表-房价数据分析与可视化
  • 【数据结构与算法】203.移除链表元素(LeetCode)图文详解
  • 05 唤醒词检测:让语音助手随时待命
  • 平板柔光屏与镜面屏的区别有哪些?技术原理与适用场景全解析
  • Kotlin 常用语法糖完整整理
  • 如何准确查看服务器网络的利用率?
  • 云防火墙有什么用?
  • SoC程序如何使用单例模式运行
  • 企业网络安全的“金字塔”策略:构建全方位防护体系的核心思路
  • OSCP官方靶场-Solstice WP
  • AI驱动的业务系统智能化转型:从静态配置到动态认知的范式革命
  • 【办公类-107-01】20250710视频慢速与视频截图
  • mysql join语句、全表扫描 执行优化与访问冷数据对内存命中率的影响
  • MySQL索引:数据库的超级目录
  • 第35周—————糖尿病预测模型优化探索
  • Android 插件化实现原理详解
  • Apache Dubbo实战:JavaSDK使用
  • 动态物体滤除算法
  • MyBatis-Plus 中使用 Wrapper 自定义 SQL
  • Linux C 文件基本操作
  • 【oscp】超长攻击链vulhub靶机,TommyBoy1dot0
  • 登录为图片验证时,selenium通过token直接进入页面操作
  • ResolvableType 解密Java泛型反射
  • 【会员专享数据】2013-2024年我国省市县三级逐月SO₂数值数据(Shp/Excel格式)