使用Python从GHCN-Daily数据库下载和处理历史天气数据：完整指南

文章大纲：

引言：历史天气数据的重要性与GHCN-Daily简介

历史天气数据在多个领域中扮演着至关重要的角色。无论是气候变化研究、农业生产规划，还是灾害风险评估和政策制定，长期的天气记录都为我们提供了宝贵的数据支持。通过分析历史数据，科学家能够识别气候模式，预测未来趋势，而农业从业者则可以根据过去的气温与降水规律优化种植计划。同时，政府和机构也依赖这些数据制定适应性政策，以应对极端天气事件。

在众多历史天气数据资源中，GHCN-Daily（Global Historical Climatology Network-Daily）数据库是一个权威且广泛使用的公开数据集。由美国国家海洋和大气管理局（NOAA）维护，GHCN-Daily收录了全球超过100,000个气象站的每日天气记录，涵盖了气温、降水、风速等多种气象要素，时间跨度长达数十年甚至上百年。其数据覆盖范围广，质量经过严格校验，是研究人员和数据分析师的首选资源。

本文旨在为读者提供一个完整的指南，详细介绍如何使用Python编程语言从GHCN-Daily数据库中下载、处理和分析历史天气数据。我们将从环境设置开始，逐步讲解数据结构、下载流程、解析方法，并最终通过可视化工具展示分析结果。无论您是气候研究新手还是资深数据科学家，本文都将帮助您高效利用这一宝贵资源，开启数据驱动的探索之旅。

准备工作：环境设置与工具安装

为了顺利完成从GHCN-Daily数据库下载和处理历史天气数据的任务，首先需要搭建一个合适的Python开发环境。您可以选择在本地环境中操作，也可以使用云端平台如Google Colaboratory（Colab）。本地环境需要安装Python 3.6或更高版本，确保您已从Python官方网站下载并完成安装。而Colab则无需安装，直接通过浏览器访问，提供免费的计算资源，非常适合快速实验。

接下来，我们需要安装一些必要的Python库来支持数据下载、解析和分析。以下是主要工具及其用途：

• requests：用于从NOAA服务器下载数据文件。安装命令为 pip install requests。
• dataclasses：用于创建结构化的数据类，便于解析和存储索引文件内容（Python 3.7+内置，无需额外安装）。
• sqlite3：用于将处理后的数据保存到本地数据库，方便后续查询（Python内置模块）。
• pandas：用于数据处理和初步分析，安装命令为 pip install pandas。
• matplotlib：用于数据可视化，绘制温度趋势图，安装命令为 pip install matplotlib。

在本地环境中，您可以通过终端运行上述pip命令完成安装。如果使用Colab，只需在代码单元格中运行 !pip install <库名> 即可。建议在项目开始前确认所有库已正确安装，例如通过 import requests 测试导入是否成功。此外，准备一个工作目录用于存储下载的文件和生成的数据库，确保有足够的磁盘空间（GHCN-Daily的部分文件较大）。通过这些准备工作，您将具备完成后续数据处理任务的基础环境。

数据源概览：了解GHCN-Daily数据集结构

GHCN-Daily（Global Historical Climatology Network-Daily）数据集是一个由美国国家海洋和大气管理局（NOAA）维护的全球历史天气数据库，提供了丰富的每日气象记录，适合用于气候研究和数据分析。其数据存储在NOAA的FTP服务器上，结构清晰且有详细的文档支持。了解数据集的组织方式和关键文件的内容是成功下载和处理数据的第一步。

数据集的根目录包含多个子目录和文件，其中最重要的是几个索引文件和数据存储目录。核心文件之一是 readme.txt，这是数据集的官方说明文档，详细描述了数据格式、字段定义、质量控制标志以及更新频率等信息。通过仔细阅读 readme.txt，用户可以快速掌握数据集的使用规则，例如如何解读每日天气记录中的缺失值标志（如 -9999）以及各种气象要素的缩写（如 TMAX 表示最高温度，PRCP 表示降水量）。

在数据目录方面，GHCN-Daily提供了多种组织形式以满足不同需求。all 目录包含所有气象站的完整每日数据文件，每个站点的文件以 .dly 扩展名存储，文件名对应站点的唯一ID。gsn 目录则包含经过特殊筛选的全球总结网络（Global Summary Network）站点数据，适合需要高质量长期记录的用户。此外，by_year 目录按年份组织数据，每个年份文件夹内包含全球范围内的每日记录，适用于按时间段分析的用户。

除了数据文件，两个关键索引文件对数据筛选和定位至关重要。ghcnd-inventory.txt 是一个库存文件，记录了每个气象站可用的数据类型（即气象要素，如温度、降水等）以及数据覆盖的时间范围（起始和结束年份）。该文件以固定宽度格式存储，字段包括站点ID、纬度、经度、要素类型和时间范围，便于用户根据需求筛选站点。另一个文件 ghcnd-stations.txt 则提供了所有气象站的元数据，包括站点ID、地理位置（纬度、经度、海拔）、站点名称、所属州或国家等详细信息。通过结合这两个文件，用户可以快速找到符合地理位置和时间要求的站点，为后续数据下载和分析奠定基础。

总之，GHCN-Daily数据集结构设计合理，提供了灵活的数据访问方式。熟悉 readme.txt 的内容以及索引文件的用途，将帮助您高效地定位和处理所需的历史天气数据。在接下来的步骤中，我们将基于这些文件，使用Python实现数据的下载和解析。

下载数据：获取readme和关键索引文件

在开始处理GHCN-Daily数据集之前，我们需要从NOAA的FTP服务器下载一些关键文件，以便了解数据结构和筛选目标站点。这些文件包括 readme.txt（数据集的说明文档）、ghcnd-inventory.txt（数据库存文件）和 ghcnd-stations.txt（站点元数据文件）。通过Python的 requests 库，我们可以轻松实现文件的下载，并将其保存到本地以避免重复操作。

首先，确保您已经安装了 requests 库（可以通过 pip install requests 安装）。以下是一个简单的代码示例，展示如何从NOAA的服务器下载上述文件并保存到本地工作目录：

import requests
import os# 定义文件URL和本地保存路径
base_url = "https://www1.ncdc.noaa.gov/pub/data/ghcn/daily/"
files_to_download = {"readme.txt": "readme.txt","ghcnd-inventory.txt": "ghcnd-inventory.txt","ghcnd-stations.txt": "ghcnd-stations.txt"
}# 创建本地目录（如果不存在）
output_dir = "ghcn_data"
if not os.path.exists(output_dir):os.makedirs(output_dir)# 下载文件
for remote_file, local_file in files_to_download.items():local_path = os.path.join(output_dir, local_file)if not os.path.exists(local_path):print(f"正在下载 {remote_file}...")response = requests.get(base_url + remote_file)if response.status_code == 200:with open(local_path, 'wb') as f:f.write(response.content)print(f"{remote_file} 下载完成，已保存到 {local_path}")else:print(f"下载 {remote_file} 失败，状态码：{response.status_code}")else:print(f"{local_file} 已存在，跳过下载")

上述代码首先定义了NOAA FTP服务器的基本URL和需要下载的文件列表。然后，它会检查本地目录是否存在，若不存在则创建该目录。接着，代码会遍历文件列表，检查本地是否已有文件，若没有则通过 requests.get() 方法从服务器获取文件内容，并以二进制模式写入本地磁盘。如果文件已经存在，则跳过下载以节省时间和网络资源。

下载完成后，您可以在 ghcn_data 目录下找到这三个文件。readme.txt 是数据集的使用说明，建议仔细阅读以了解数据格式和字段定义。ghcnd-inventory.txt 和 ghcnd-stations.txt 是后续筛选站点和解析数据的关键索引文件。通过这种方式，我们为后续的数据处理奠定了基础，同时避免了重复下载带来的资源浪费。如果网络连接不稳定，可以在代码中加入重试机制（如使用 time.sleep() 和循环重试），以确保下载成功。

解析索引文件：理解数据格式与内容

在成功下载GHCN-Daily数据集的关键索引文件后，下一步是解析这些文件以理解其内容和格式，为后续的站点筛选和数据分析奠定基础。ghcnd-inventory.txt 和 ghcnd-stations.txt 是两个核心文件，结合 readme.txt 提供的字段说明，我们可以使用Python工具（如 dataclasses）高效地读取和结构化这些数据。

首先，让我们关注 ghcnd-inventory.txt，这是一个库存文件，记录了每个气象站可用的气象要素及其数据覆盖的时间范围。该文件采用固定宽度格式，每行代表一个记录，字段包括站点ID（11个字符）、纬度（8个字符）、经度（9个字符）、气象要素（如 TMAX 表示最高温度，TMIN 表示最低温度，PRCP 表示降水量，长度为4个字符）、起始年份（4个字符）和结束年份（4个字符）。例如，一行数据可能是 USW00094728 40.7789 -73.9692 TMAX 1920 2023，表示纽约拉瓜迪亚机场的最高温度数据从1920年到2023年可用。readme.txt 中详细列出了这些字段的起始位置和含义，建议仔细查阅以确保解析准确。

接下来是 ghcnd-stations.txt，该文件包含所有气象站的元数据，同样采用固定宽度格式。每个记录包含站点ID（11个字符）、纬度（8个字符）、经度（9个字符）、海拔（7个字符）、站点名称（30个字符）、州（仅适用于美国站点，2个字符）以及其他信息（如GSN标志）。例如，一行数据可能是 USW00094728 40.7789 -73.9692 3.4 LA GUARDIA AIRPORT NY US，提供了纽约拉瓜迪亚机场的地理位置和名称等信息。这些元数据在后续分析中非常有用，可以帮助我们了解站点的具体背景。

为了高效解析这些固定宽度格式的文件，我们可以使用Python的 dataclasses 模块创建自定义数据类来存储解析后的记录。以下是一个简单的代码示例，展示如何定义数据类并读取 ghcnd-inventory.txt：

from dataclasses import dataclass@dataclass
class InventoryRecord:station_id: strlatitude: floatlongitude: floatelement: strfirst_year: intlast_year: int# 读取库存文件
inventory_records = []
with open("ghcn_data/ghcnd-inventory.txt", "r") as f:for line in f:record = InventoryRecord(station_id=line[0:11].strip(),latitude=float(line[12:20].strip()),longitude=float(line[21:30].strip()),element=line[31:35].strip(),first_year=int(line[36:40].strip()),last_year=int(line[41:45].strip()))inventory_records.append(record)# 示例：打印前5条记录
for record in inventory_records[:5]:print(f"站点ID: {record.station_id}, 要素: {record.element}, 时间范围: {record.first_year}-{record.last_year}")

在上述代码中，我们定义了一个 InventoryRecord 数据类，包含库存文件中的所有字段。然后，通过逐行读取文件并根据固定宽度切分字符串，我们将数据转换为结构化的对象存储在列表中。类似地，可以为 ghcnd-stations.txt 创建另一个数据类（如 StationRecord），包含站点ID、纬度、经度、海拔和名称等字段，并以相同方式解析。

通过这种方法，我们将文本文件中的原始数据转换为易于操作的Python对象，为后续的筛选和分析提供了便利。例如，可以轻松筛选出特定要素（如 TMAX）或时间范围内的站点记录。解析时需注意，文件中可能存在空格或格式异常，建议加入错误处理（如 try-except）以提高代码健壮性。此外，readme.txt 中还提到了一些特殊情况（如字段值可能为空）&#x