Python Excel 通用筛选函数

案例目的

第一个函数从指定文件路径读取CSV数据并转换为DataFrame，第二个函数使用灵活的条件筛选DataFrame。

示例数据

假定数据来源是字典

import pandas as pd
import csv
from io import StringIOdef csv_to_dataframe(csv_data=None, file_path=None, delimiter='\t'):"""将CSV数据转换为DataFrame参数:csv_data: CSV格式的字符串数据file_path: CSV文件路径delimiter: 分隔符，默认为制表符返回:pandas DataFrame对象"""if csv_data:# 从字符串读取数据df = pd.read_csv(StringIO(csv_data), delimiter=delimiter)elif file_path:# 从文件读取数据df = pd.read_csv(file_path, delimiter=delimiter)else:raise ValueError("必须提供csv_data或file_path参数")return dfdef filter_dataframe(df, **kwargs):"""根据多列条件筛选DataFrame参数:df: 要筛选的DataFrame**kwargs: 筛选条件，格式为 列名=值 或 列名=[值1, 值2, ...]返回:筛选后的DataFrame"""# 初始化筛选条件condition = pd.Series([True] * len(df))# 处理每个筛选条件for column, values in kwargs.items():if column not in df.columns:raise ValueError(f"列名 '{column}' 不存在于DataFrame中")# 如果值是列表，使用isin方法if isinstance(values, list):condition = condition & df[column].isin(values)# 如果是单个值，使用等号比较else:condition = condition & (df[column] == values)# 应用筛选条件filtered_df = df[condition]return filtered_df# 示例使用
if __name__ == "__main__":# 示例数据csv_data = """!+&	idx	Market	CURR	PM	TERMANT
*	1	JP	USD	1	0
*	1	CHINA	EUD	0	0
*	1	USA	USD	1	0
*	2	JP	JPY	1	0
*	3	USA	CNY	1	1
*	4	CHINA	CNY	0	0
*	5	JP	USD	1	1
*	6	JP	JPY	0	0"""# 使用第一个函数将CSV数据转换为DataFramedf = csv_to_dataframe(csv_data=csv_data, delimiter='\t')print("原始数据:")print(df)print("\n" + "="*50 + "\n")# 示例1: 筛选出Market为JP且CURR为JPY的所有行result1 = filter_dataframe(df, Market='JP', CURR='JPY')print("示例1 - Market为JP且CURR为JPY:")print(result1)print("\n" + "="*50 + "\n")# 示例2: 筛选出Market为日本和美国，CURR为USD和CNYresult2 = filter_dataframe(df, Market=['JP', 'USA'], CURR=['USD', 'CNY'])print("示例2 - Market为JP或USA，CURR为USD或CNY:")print(result2)print("\n" + "="*50 + "\n")# 示例3: 筛选出Market为JP，CURR为USD、CNY和EUDresult3 = filter_dataframe(df, Market='JP', CURR=['USD', 'CNY', 'EUD'])print("示例3 - Market为JP，CURR为USD、CNY或EUD:")print(result3)

这两个函数提供了灵活的筛选功能：

1. csv_to_dataframe 函数可以从字符串或文件读取CSV数据并转换为DataFrame
2. filter_dataframe 函数接受任意数量的列筛选条件，每个条件可以是单个值或值列表

优化：通用CSV数据处理函数

import pandas as pd
import csvdef read_csv_to_dataframe(file_path, delimiter='\t', encoding='utf-8'):"""从指定文件路径读取CSV数据并转换为DataFrame参数:file_path: CSV文件的路径delimiter: 分隔符，默认为制表符encoding: 文件编码，默认为utf-8返回:pandas DataFrame对象"""try:# 读取CSV文件df = pd.read_csv(file_path, delimiter=delimiter, encoding=encoding)print(f"成功读取文件: {file_path}")print(f"数据形状: {df.shape}")return dfexcept FileNotFoundError:print(f"错误: 文件 '{file_path}' 不存在")return Noneexcept Exception as e:print(f"读取文件时出错: {str(e)}")return Nonedef filter_dataframe(df, **kwargs):"""根据多列条件筛选DataFrame参数:df: 要筛选的DataFrame**kwargs: 筛选条件，格式为 列名=值 或 列名=[值1, 值2, ...]返回:筛选后的DataFrame"""if df is None or df.empty:print("错误: DataFrame为空或未提供有效数据")return None# 初始化筛选条件condition = pd.Series([True] * len(df))# 处理每个筛选条件for column, values in kwargs.items():if column not in df.columns:print(f"警告: 列名 '{column}' 不存在于DataFrame中，已跳过此条件")continue# 如果值是列表，使用isin方法if isinstance(values, list):condition = condition & df[column].isin(values)# 如果是单个值，使用等号比较else:condition = condition & (df[column] == values)# 应用筛选条件filtered_df = df[condition]print(f"筛选后数据形状: {filtered_df.shape}")return filtered_df# 示例使用
if __name__ == "__main__":# 示例文件路径file_path = "data.csv"# 使用第一个函数读取CSV文件df = read_csv_to_dataframe(file_path)if df is not None:print("\n原始数据前5行:")print(df.head())print("\n" + "="*50 + "\n")# 示例1: 筛选出Market为JP且CURR为JPY的所有行result1 = filter_dataframe(df, Market='JP', CURR='JPY')print("示例1 - Market为JP且CURR为JPY:")print(result1)print("\n" + "="*50 + "\n")# 示例2: 筛选出Market为日本和美国，CURR为USD和CNYresult2 = filter_dataframe(df, Market=['JP', 'USA'], CURR=['USD', 'CNY'])print("示例2 - Market为JP或USA，CURR为USD或CNY:")print(result2)print("\n" + "="*50 + "\n")# 示例3: 筛选出Market为JP，CURR为USD、CNY和EUDresult3 = filter_dataframe(df, Market='JP', CURR=['USD', 'CNY', 'EUD'])print("示例3 - Market为JP，CURR为USD、CNY或EUD:")print(result3)# 可选: 将筛选结果保存到新文件if result1 is not None and not result1.empty:result1.to_csv("filtered_result.csv", index=False, sep='\t')print("筛选结果已保存到 filtered_result.csv")

使用说明

1. read_csv_to_dataframe 函数:

   • 输入: 文件路径、分隔符(默认为制表符)、编码格式(默认为utf-8)
   • 输出: pandas DataFrame对象
   • 功能: 从指定路径读取CSV文件并转换为DataFrame

2. filter_dataframe 函数:

   • 输入: DataFrame对象和任意数量的筛选条件
   • 输出: 筛选后的DataFrame
   • 功能: 根据提供的列名和值进行筛选，支持单个值或值列表

使用示例

# 读取CSV文件
df = read_csv_to_dataframe("your_data.csv", delimiter='\t')# 筛选Market为JP且CURR为JPY的行
result = filter_dataframe(df, Market='JP', CURR='JPY')# 筛选Market为JP或USA，且CURR为USD或CNY的行
result = filter_dataframe(df, Market=['JP', 'USA'], CURR=['USD', 'CNY'])# 筛选Market为JP，且CURR为USD、CNY或EUD的行
result = filter_dataframe(df, Market='JP', CURR=['USD', 'CNY', 'EUD'])

注意事项

1. 请确保文件路径正确，并且有读取权限
2. 根据实际CSV文件的分隔符调整delimiter参数
3. 如果文件包含非ASCII字符，可能需要调整encoding参数
4. 如果列名包含空格或特殊字符，请确保在筛选条件中正确引用