跨境支付接口RT从300ms突增至2000ms，但CPU/Memory无异常，如何排查？

1. 分析：

 跨境支付接口的RT突增，但系统资源（CPU、内存）正常。这意味着问题可能不在应用程序本身的资源使用上，而是其他因素导致的延迟。可能的因素包括网络延迟、外部服务依赖、数据库查询性能、锁竞争、中间件问题或代码逻辑变更等。

2. 排查：

系统性排查方案（非资源型RT突增）
一、网络层排查（跨境支付关键因素）

# 1. 跨境网络质量检测（从Pod内部执行）
mtr -r -c 100 第三方支付网关IP

# 2. 抓包分析（过滤支付接口端口）
tcpdump -i eth0 -w payment.pcap port 443 or port 8443
# 使用Wireshark分析TCP重传率、TLS握手耗时
 

重点指标：
国际链路TCP重传率 >1%即影响性能
TLS握手时间超过300ms（跨境RTT较高时建议启用会话复用）

3.外部依赖检查：
支付网关异常检测

# 使用grpcurl测试基础延迟（示例）
grpcurl -plaintext 支付网关地址:端口 list
grpcurl -d '{"req_id":"1"}' -plaintext 网关地址:端口 服务路径
 

2.依赖服务熔断状态

// Hystrix Dashboard检查熔断器状态
@HystrixCommand(fallbackMethod = "fallback", 
               commandProperties = {
                   @HystrixProperty(name="execution.isolation.thread.timeoutInMilliseconds", value="500")
               })

3. 数据库/缓存专项

-- 1. 实时慢查询监控（MySQL示例）
SELECT * FROM performance_schema.events_statements_summary_by_digest 
ORDER BY SUM_TIMER_WAIT DESC LIMIT 5;

-- 2. 锁等待分析
SHOW ENGINE INNODB STATUS\G
 

缓存问题特征：
突然出现的大量缓存穿透（日志搜索Cache Miss）
分布式锁竞争加剧（Redisson看门狗线程增长）

4. 线程池阻塞分析

# Arthas快速诊断（示例）
[arthas@1234]$ thread --state BLOCKED
[arthas@1234]$ watch com.payment.service.*Service * '{params,returnObj}' -x 3 -n 5
 

典型阻塞场景：
JDBC驱动等待数据库响应（java.lang.Thread.State: RUNNABLE但卡在socketRead）
同步锁竞争（查找parking to wait for <0x0000000713f0d2b8>）

5.全链路追踪定位
SkyWalking/Tracing分析   关注跨国家网络跳转的Span耗时

/* 典型异常Span特征 */
{
  "operationName": "CurrencyConvert",
  "duration": 1560ms,
  "tags": {
    "http.status_code": 200,
    "peer.hostname": "exchangerate-api.com" 
  }
}
 

应急优化措施
临时超时调整

# Spring Cloud Feign配置示例
feign:
  client:
    config:
      default:
        connectTimeout: 3000
        readTimeout: 10000
 

跨境加速方案   启用云服务商的全球加速服务（如AWS Global Accelerator/AliCloud GA）

graph TD
    A[RT突增] --> B{资源指标正常?}
    B -->|是| C[网络层分析]
    B -->|否| D[资源瓶颈排查]
    C --> E[跨境链路质量检测]
    C --> F[TCP重传率分析]
    E -->|异常| G(联系云厂商优化路由)
    F -->|正常| H[全链路追踪分析]
    H --> I[识别异常Span]
    I --> J{数据库/外部服务?}
    J -->|数据库| K[慢查询优化]
    J -->|外部服务| L[降级熔断策略]
 

以上只是 简单的分析 ，并不全面，也没有标准的答案，最终以解决问题为导向。