Pandas 分位数：深入理解与高效运用

简介

在数据分析领域，分位数是一种强大的工具，用于理解数据的分布情况。Pandas 作为 Python 中最受欢迎的数据处理库之一，提供了便捷的方法来计算分位数。通过计算分位数，我们可以快速获取数据的统计特征，如中位数（50% 分位数）、四分位数等，这对于数据探索、异常值检测以及数据预处理等任务都具有重要意义。本文将详细介绍 Pandas 分位数的基础概念、使用方法、常见实践以及最佳实践，帮助读者更好地掌握这一重要工具。

基础概念

分位数（Quantile）是将数据按照从小到大的顺序排列后，分割数据的点。常见的分位数包括：

中位数（Median）：即 50% 分位数，将数据分为两部分，一半的数据小于等于中位数，另一半大于等于中位数。
四分位数（Quartiles）：包括第一四分位数（Q1，25% 分位数）、第二四分位数（Q2，即中位数，50% 分位数）和第三四分位数（Q3，75% 分位数）。四分位数将数据分为四个相等的部分，每个部分包含 25% 的数据。
百分位数（Percentiles）：将数据分为 100 个相等的部分，第 k 个百分位数表示有 k% 的数据小于等于该值。

使用方法

计算单个分位数

首先，我们需要导入 Pandas 库，并创建一个示例数据集。

import pandas as pd

# 创建一个示例 Series
data = pd.Series([1, 2, 3, 4, 5, 6, 7, 8, 9, 10])

# 计算中位数（50% 分位数）
median = data.quantile(0.5)
print("中位数:", median)

计算多个分位数

我们可以通过传递一个分位数列表来计算多个分位数。

# 计算多个分位数
quantiles = data.quantile([0.25, 0.5, 0.75])
print("四分位数:\n", quantiles)

按分组计算分位数

当我们处理 DataFrame 数据时，可能需要按某个列进行分组，并计算每个组的分位数。

# 创建一个示例 DataFrame
df = pd.DataFrame({
    'group': ['A', 'A', 'B', 'B', 'B'],
    'value': [1, 2, 3, 4, 5]
})

# 按 'group' 列分组并计算 'value' 列的中位数
grouped_median = df.groupby('group')['value'].quantile(0.5)
print("按组计算的中位数:\n", grouped_median)

常见实践

数据探索

在数据探索阶段，分位数可以帮助我们快速了解数据的分布范围和集中趋势。

import seaborn as sns
import matplotlib.pyplot as plt

# 加载泰坦尼克号数据集
titanic = sns.load_dataset('titanic')

# 计算 'fare' 列的四分位数
fare_quantiles = titanic['fare'].quantile([0.25, 0.5, 0.75])
print("'fare' 列的四分位数:\n", fare_quantiles)

# 绘制 'fare' 列的箱线图
sns.boxplot(x=titanic['fare'])
plt.show()

异常值检测

基于四分位数的方法可以用于检测异常值。通常，我们将数据中小于 Q1 - 1.5 * IQR 或大于 Q3 + 1.5 * IQR 的值视为异常值，其中 IQR = Q3 - Q1。

# 计算 'fare' 列的四分位数
Q1 = titanic['fare'].quantile(0.25)
Q3 = titanic['fare'].quantile(0.75)
IQR = Q3 - Q1

# 检测异常值
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR
outliers = titanic[(titanic['fare'] < lower_bound) | (titanic['fare'] > upper_bound)]
print("异常值:\n", outliers)

数据标准化

在某些机器学习算法中，数据标准化是必要的步骤。分位数标准化可以将数据转换为具有相同的分布。

from sklearn.preprocessing import QuantileTransformer

# 创建一个示例 DataFrame
data = pd.DataFrame({
    'col1': [1, 2, 3, 4, 5],
    'col2': [10, 20, 30, 40, 50]
})

# 初始化分位数转换器
transformer = QuantileTransformer(output_distribution='normal')

# 对数据进行标准化
transformed_data = transformer.fit_transform(data)
transformed_df = pd.DataFrame(transformed_data, columns=data.columns)
print("标准化后的数据:\n", transformed_df)

最佳实践

选择合适的插值方法

quantile 方法提供了 interpolation 参数，用于指定在计算分位数时如何处理插值。常见的插值方法包括 linear（默认）、lower、higher、midpoint 和 nearest。选择合适的插值方法取决于数据的特点和分析目的。

# 使用'midpoint' 插值方法计算分位数
quantiles_midpoint = data.quantile(0.5, interpolation='midpoint')
print("使用'midpoint' 插值方法的中位数:", quantiles_midpoint)

处理缺失值

在计算分位数之前，需要处理数据中的缺失值。可以使用 dropna 方法删除包含缺失值的行或列，或者使用 fillna 方法填充缺失值。

# 创建一个包含缺失值的示例 Series
data_with_nan = pd.Series([1, 2, None, 4, 5])

# 删除包含缺失值的行
data_without_nan = data_with_nan.dropna()
quantiles_without_nan = data_without_nan.quantile(0.5)
print("删除缺失值后的中位数:", quantiles_without_nan)

# 填充缺失值后计算分位数
filled_data = data_with_nan.fillna(data_with_nan.mean())
quantiles_filled = filled_data.quantile(0.5)
print("填充缺失值后的中位数:", quantiles_filled)

结合其他统计方法

分位数可以与其他统计方法结合使用，以更全面地了解数据。例如，可以结合均值、标准差等统计量来分析数据的分布情况。

# 计算 'fare' 列的均值、标准差和四分位数
mean_fare = titanic['fare'].mean()
std_fare = titanic['fare'].std()
quantiles_fare = titanic['fare'].quantile([0.25, 0.5, 0.75])

print("'fare' 列的均值:", mean_fare)
print("'fare' 列的标准差:", std_fare)
print("'fare' 列的四分位数:\n", quantiles_fare)

小结

本文详细介绍了 Pandas 分位数的基础概念、使用方法、常见实践以及最佳实践。通过计算分位数，我们可以更好地理解数据的分布特征，进行数据探索、异常值检测和数据预处理等任务。在实际应用中，需要根据数据的特点和分析目的选择合适的方法和参数，以充分发挥分位数的作用。