量化交易之数学与统计学基础2.4——线性代数与矩阵运算 | 矩阵分解
量化交易之数学与统计学基础2.4——线性代数与矩阵运算 | 矩阵分解
第二部分:线性代数与矩阵运算
第4节:矩阵分解:奇异值分解(SVD)在数据压缩和风险分解的应用
一、奇异值分解(SVD)基础:矩阵的“积木分解”
奇异值分解是一种强大的矩阵分解方法,它可以将任意矩阵分解为三个矩阵的乘积,为数据处理和分析提供了有力的工具。
1. 数学定义
对于一个 m × n m\times n m×n 的矩阵 A \mathbf{A} A,其奇异值分解可以表示为:
A = U Σ V T \mathbf{A}=\mathbf{U}\mathbf{\Sigma}\mathbf{V}^T A=UΣVT
其中, U \mathbf{U} U 是 m × m m\times m m×m 的正交矩阵( U T U = I m \mathbf{U}^T\mathbf{U}=\mathbf{I}_m UTU=Im),其列向量称为左奇异向量; Σ \mathbf{\Sigma} Σ 是 m × n m\times n m×n 的对角矩阵,对角线上的元素 σ 1 ≥ σ 2 ≥ ⋯ ≥ σ r > 0 \sigma_1\geq\sigma_2\geq\cdots\geq\sigma_r>0 σ1≥σ2≥⋯≥σr>0 称为奇异值, r = rank ( A ) r = \text{rank}(\mathbf{A}) r=rank(A); V \mathbf{V} V 是 n × n n\times n n×n 的正交矩阵( V T V = I n \mathbf{V}^T\mathbf{V}=\mathbf{I}_n VTV=In),其列向量称为右奇异向量。
2. 求解方法
通常可以通过计算 A T A \mathbf{A}^T\mathbf{A} ATA 的特征值和特征向量来得到 V \mathbf{V} V 和 Σ \mathbf{\Sigma} Σ,然后通过 A V = U Σ \mathbf{A}\mathbf{V}=\mathbf{U}\mathbf{\Sigma} AV=UΣ 计算 U \mathbf{U} U。在实际应用中,可以使用数值计算库(如 NumPy)来高效地完成 SVD 分解。
二、数据压缩:用 SVD 减少数据存储与计算成本
在量化交易中,我们经常需要处理大规模的数据矩阵,如历史价格数据、因子暴露矩阵等。SVD 可以帮助我们对这些数据进行压缩,减少存储和计算成本。
1. 低秩近似
矩阵 A \mathbf{A} A 的 SVD 分解中,奇异值 σ i \sigma_i σi 反映了矩阵的重要信息。通常,大部分重要信息集中在前面几个较大的奇异值上。因此,我们可以只保留前 k k k 个奇异值( k < r k < r k<r),得到矩阵 A \mathbf{A} A 的低秩近似:
A k = U k Σ k V k T \mathbf{A}_k=\mathbf{U}_k\mathbf{\Sigma}_k\mathbf{V}_k^T Ak=UkΣkVkT
其中, U k \mathbf{U}_k Uk 是 U \mathbf{U} U 的前 k k k 列, Σ k \mathbf{\Sigma}_k Σk 是 Σ \mathbf{\Sigma} Σ 的前 k k k 个奇异值构成的 k × k k\times k k×k 对角矩阵, V k \mathbf{V}_k Vk 是 V \mathbf{V} V 的前 k k k 列。
2. 量化应用
- 历史数据存储:对于历史价格数据矩阵,通过 SVD 压缩可以减少存储空间,同时保留大部分重要信息。
- 因子数据处理:在多因子模型中,对因子暴露矩阵进行 SVD 压缩,可以减少因子数量,提高计算效率。
三、风险分解:用 SVD 剖析投资组合的风险来源
在投资组合管理中,了解投资组合的风险来源至关重要。SVD 可以帮助我们将投资组合的风险分解为不同的风险因子。
1. 风险矩阵分解
假设投资组合的协方差矩阵为 Σ \mathbf{\Sigma} Σ,对其进行 SVD 分解:
Σ = U Λ U T \mathbf{\Sigma}=\mathbf{U}\mathbf{\Lambda}\mathbf{U}^T Σ=UΛUT
其中, Λ \mathbf{\Lambda} Λ 是对角矩阵,对角线上的元素是 Σ \mathbf{\Sigma} Σ 的特征值, U \mathbf{U} U 是特征向量矩阵。每个特征值对应一个风险因子,特征向量表示投资组合在该风险因子上的暴露。
2. 风险贡献分析
通过 SVD 分解,我们可以计算每个风险因子对投资组合总风险的贡献。例如,第 i i i 个风险因子的风险贡献可以表示为:
R C i = w T U i λ i U i T w RC_i = w^T\mathbf{U}_i\lambda_i\mathbf{U}_i^Tw RCi=wTUiλiUiTw
其中, w w w 是投资组合的权重向量, U i \mathbf{U}_i Ui 是第 i i i 个特征向量, λ i \lambda_i λi 是第 i i i 个特征值。
四、投资组合优化:用 SVD 寻找最优投资组合
投资组合优化的目标是在给定的风险水平下最大化投资组合的收益,或者在给定的收益水平下最小化投资组合的风险。SVD 可以帮助我们在优化过程中处理高维的协方差矩阵。
1. 优化问题
经典的马科维茨投资组合优化问题可以表示为:
min w w T Σ w s.t. w T μ = r p , w T 1 = 1 \min_{w} w^T\mathbf{\Sigma}w\quad\text{s.t.}\quad w^T\mathbf{\mu}=r_p,\quad w^T\mathbf{1}=1 wminwTΣws.t.wTμ=rp,wT1=1
其中, w w w 是投资组合的权重向量, Σ \mathbf{\Sigma} Σ 是协方差矩阵, μ \mathbf{\mu} μ 是预期收益率向量, r p r_p rp 是目标收益率。
2. SVD 辅助优化
通过对协方差矩阵 Σ \mathbf{\Sigma} Σ 进行 SVD 分解,可以将优化问题转化为低维空间中的问题,减少计算复杂度。同时,SVD 可以帮助我们处理协方差矩阵的病态问题,提高优化结果的稳定性。
五、Python 实践:用 SVD 进行数据压缩和风险分解
import numpy as np
import matplotlib.pyplot as plt# 生成模拟数据矩阵(100 行,20 列)
np.random.seed(42)
A = np.random.randn(100, 20)# 1. SVD 分解
U, Sigma, Vt = np.linalg.svd(A)# 2. 数据压缩:保留前 5 个奇异值
k = 5
U_k = U[:, :k]
Sigma_k = np.diag(Sigma[:k])
Vt_k = Vt[:k, :]
A_k = U_k @ Sigma_k @ Vt_k# 3. 可视化原始矩阵和压缩后的矩阵
plt.figure(figsize=(12, 5))
plt.subplot(1, 2, 1)
plt.imshow(A, cmap='hot', interpolation='nearest')
plt.title('原始矩阵')
plt.subplot(1, 2, 2)
plt.imshow(A_k, cmap='hot', interpolation='nearest')
plt.title(f'压缩后的矩阵(保留 {k} 个奇异值)')
plt.show()# 4. 风险分解:假设 A 是协方差矩阵
eigenvalues = Sigma**2
total_risk = np.sum(eigenvalues)
risk_contributions = eigenvalues / total_risk# 可视化风险贡献
plt.figure(figsize=(8, 5))
plt.bar(np.arange(len(risk_contributions)), risk_contributions)
plt.xlabel('风险因子')
plt.ylabel('风险贡献')
plt.title('风险因子的风险贡献')
plt.show()
本节总结
- 奇异值分解是一种强大的矩阵分解方法,可以将任意矩阵分解为三个矩阵的乘积。
- 在数据压缩方面,SVD 可以通过低秩近似减少数据存储和计算成本。
- 在风险分解和投资组合优化中,SVD 可以帮助我们剖析投资组合的风险来源,处理高维协方差矩阵,提高优化结果的稳定性。