Day 0014：信息收集工具链

目录

一、理论学习：OSINT框架与核心原理

1. theHarvester - 多维度信息聚合引擎

2. Shodan - 物联网设备的“X光机”

3. DNS记录类型全解析

二、实操演练：从命令行到实战分析

1. 域名信息收集实战

2. DNS记录深度查询

3. Shodan物联网设备搜索

三、复习巩固：信息收集流程与案例

1. 标准化流程图（带案例）

2. 进阶技巧与工具链整合

四、防御视角：如何应对信息收集

---

一、理论学习：OSINT框架与核心原理

1. theHarvester - 多维度信息聚合引擎

• 工作原理：
  • 模拟浏览器行为，向搜索引擎/社交平台发送查询请求。
  • 解析返回的HTML/JSON数据，提取域名、邮箱、子域名等信息。
• 数据源详解：

  数据源	参数	特点
  Google	-b google	需处理反爬机制，结果质量高
  Bing	-b bing	对爬虫较友好，适合快速抓取
  LinkedIn	-b linkedin	可获取员工姓名/职位，需登录
  DNSdumpster	-b dnsdumpster	专注DNS记录分析

• 高级技巧：

  bash

  theHarvester -d example.com -b all --limit 1000 # 限制抓取数量

  theHarvester -d example.com -b baidu -l 500 # 指定百度并限制深度

                注：-d指定域名，-b选择数据源（all为全量）

2. Shodan - 物联网设备的“X光机”

• 核心功能：
  • 扫描全球45亿+联网设备，支持按IP范围、地理位置、端口、服务 banner 过滤。
• 数据价值：
  • 发现未授权访问的摄像头，路由器，工业控制系统（如 "default password" 过滤）。
  • 识别工业控制系统（如 "Siemens S7" 协议，未打补丁的Apache 2.4.49）。
• API密钥管理：
  • 注册后获取密钥，通过 ~/.shodanrc 配置文件管理。
  • 免费版每月100次搜索限制，企业版支持批量导出。

3. DNS记录类型全解析

记录类型	示例	典型用途
MX	dig example.com MX	邮件服务器路由（如 mx1.example.com）
TXT	dig example.com TXT	SPF/DKIM验证、域名所有权声明
NS	dig example.com NS	域名授权DNS服务器

记录类型	协议层	示例命令	安全风险点
A	IPv4	dig A example.com	暴露Web服务器真实IP
AAAA	IPv6	dig AAAA example.com	下一代网络攻击面
CNAME	别名	dig CNAME sub.example.com	CDN回源IP泄露
PTR	反向解析	dig -x 1.2.3.4	邮件反垃圾过滤
SOA	权威记录	dig SOA example.com	域名管理联系方式

二、实操演练：从命令行到实战分析

1. 域名信息收集实战

bash

# 使用theHarvester进行深度抓取

theHarvester -d example.com -b all --source all -f example_results.html

# 使用theHarvester全量抓取example.com信息

theHarvester -d example.com -b all

• 输出解读：
  • emails 字段：关注 admin@、support@ 等关键账号。
  • hosts 字段：验证子域名真实性（如 test.example.com 是否存活）。
  • vulnerabilities 字段：直接关联CVE编号（如 CVE-2021-44228）。

2. DNS记录深度查询

bash

# 查询MX记录（邮件服务器），MX记录优先级（数值越小优先级越高）

dig example.com MX +short  # 输出示例：10 mail.example.com.

# 查询TXT记录（SPF策略），TXT记录中的SPF/DMARC策略可能暴露邮件服务商

dig example.com TXT +short      # 输出示例："v=spf1 include:spf.example.com ~all"

# 查询所有记录类型（A/MX/TXT/NS/SOA）

dig example.com ANY +noall +answer

# 批量查询子域名记录

for subdomain in $(cat subdomains.txt); do

dig $subdomain.example.com A +short

done

• 高级技巧：
  • 使用 dnsrecon 工具自动化：

    bash

    dnsrecon -d example.com -t axfr # 尝试区域传输漏洞

3. Shodan物联网设备搜索

bash

# 搜索中国地区运行Apache的设备

shodan search "apache country:CN" --key YOUR_API_KEY

# 导出结果为CSV

shodan download apache_results.json.gz "apache port:8080"

shodan parse --fields ip_str,port,org,hostnames apache_results.json.gz

• 过滤语法：
  • 按端口过滤：port:8080
  • 按国家过滤：country:CN
  • 按版本过滤：apache:2.4.49
  • product:"Apache HTTPD"：精确匹配服务名称。
  • os:"Ubuntu"：过滤操作系统。
  • after:"2024-01-01"：按上线时间筛选。

三、复习巩固：信息收集流程与案例

1. 标准化流程图（带案例）

graph TD

A[目标: example.com] --> B(子域名枚举)

B --> C{发现dev.example.com?}

C -->|是| D[端口扫描(Nmap -p 1-65535)]

C -->|否| E[扩大搜索范围至历史DNS记录]

D --> F[服务识别(Nmap -sV -sC)]

F --> G[漏洞关联(CVE-2023-XXXX)]

G --> H[生成攻击面地图]

• 案例解析：
  • 子域名枚举：通过 theHarvester 发现 dev.example.com。
  • 端口扫描：nmap 发现开放8080端口（可能为管理后台）。
  • 服务识别：确认运行Apache Tomcat 8.5（存在CVE-2020-1938漏洞）。

2. 进阶技巧与工具链整合

• 被动侦察：
  • 使用 CertSpotter 监控证书透明日志：

    bash

    certspotter -d example.com --search "*.example.com"

  • 分析 Wayback Machine 历史快照：

    bash

    waybackurls example.com | grep "\.php"

• 自动化工具链：

  bash

  	# 使用ReconDog进行一站式收集
  	python3 recondog.py -d example.com -t all
  	# 整合子域名枚举+漏洞检测
  	cat subdomains.txt | nuclei -t cves/ -stats -c 100

四、防御视角：如何应对信息收集

• DNS隐私保护：
  • 启用DNS-over-TLS（DoT）或DNS-over-HTTPS（DoH）。
  • 限制DNS区域传输（禁用 axfr 权限）。
• Shodan防护：
  • 修改默认端口（如将SSH从22改为非标准端口）。
  • 部署防火墙规则（如 ufw 限制访问IP）。
• 邮箱安全：
  • 使用 SPF/DKIM/DMARC 防止邮件伪造。
  • 避免在公开渠道暴露 admin@ 等敏感邮箱。