Ajax动态数据抓取

网络爬虫专题 · 掌握动态数据抓取技术

专题：Python网络爬虫系统学习

关键词：Python, 网络爬虫, Ajax, XHR, 动态加载, API抓取, 签名破解, 分页爬虫, 逆向

一、Ajax概述

Ajax全称为Asynchronous JavaScript and XML（异步JavaScript和XML），是一种在无需重新加载整个网页的情况下，能够更新部分网页内容的技术。Ajax通过在后台与服务器进行少量数据交换，使网页实现异步更新。这意味着可以在不干扰用户当前操作的前提下，对网页的局部内容进行刷新。

对于网络爬虫开发者而言，Ajax带来了一个根本性的挑战：传统的爬虫工具（如Requests、urllib）只能获取服务器返回的初始HTML源代码，而Ajax请求是在页面渲染完成后，由浏览器中的JavaScript动态发起的。这意味着爬虫直接请求目标URL时，获取不到Ajax加载的数据内容——页面上看到的数据在原始HTML中根本不存在。

理解Ajax的工作原理是攻克这一问题的关键。一个典型的Ajax请求流程包含以下步骤：浏览器加载页面HTML和JavaScript脚本；JavaScript解析并执行，在适当的时机（如页面加载完成、用户滚动、点击按钮等）创建XMLHttpRequest或Fetch对象；浏览器向服务器发送异步HTTP请求；服务器返回数据（通常为JSON或XML格式）；JavaScript解析返回数据并动态更新DOM元素。爬虫要抓取Ajax数据，就必须模拟这一完整链条中的关键环节。

Ajax数据常见的传输格式包括三种：JSON（JavaScript Object Notation）是目前最流行的格式，轻量且易于解析，Python的json模块可以轻松处理；XML（eXtensible Markup Language）是早期Ajax常用的格式，结构相对冗余，解析需要使用xml.etree.ElementTree或lxml库；HTML片段是一些网站直接返回渲染好的HTML代码块，可以直接嵌入页面中，爬虫可以直接提取其中的内容。

二、分析Ajax请求

抓取Ajax数据的第一步是找出数据背后的真实请求。Chrome DevTools的Network面板是分析Ajax请求的核心工具，熟练使用它是爬虫工程师的必备技能。

2.1 使用Network面板

打开Chrome浏览器，按F12或Ctrl+Shift+I打开开发者工具，切换到Network面板。刷新页面或触发目标操作（如滚动加载、点击翻页等），面板中会列出所有网络请求。面对成百上千的请求记录，需要掌握以下筛选技巧：

XHR过滤器是定位Ajax请求最快的方法。在Network面板的过滤器栏中点击"XHR"按钮，面板将只显示XMLHttpRequest类型的请求。大多数现代网站也使用Fetch API发送异步请求，因此也可以点击"Fetch/XHR"组合过滤器。经过过滤后，剩下的请求数量大幅减少，通常只有几条到几十条，逐一检查即可定位数据接口。

Initiator（发起者）列显示了请求是由哪段JavaScript代码触发的。点击Initiator中的链接可以直接跳转到触发该请求的JS代码位置，这对于理解请求的触发时机和参数构造非常有帮助。通过分析Initiator，爬虫开发者可以找到参数拼接的逻辑，甚至发现签名算法的具体实现。

2.2 分析请求详情

点击某个XHR请求后，可以查看其详细信息的多个标签页：Headers标签包含请求URL、请求方法（GET/POST）、状态码、Request Headers和Query String Parameters等信息；Preview标签以可视化方式展示返回的JSON或XML数据，方便快速浏览数据结构；Response标签显示原始的响应体内容；Timing标签展示请求各阶段耗时，有助于理解性能瓶颈。

Chrome DevTools还提供了一个非常实用的功能——"Copy as cURL"。在请求上右键选择Copy > Copy as cURL，可以复制出一条完整的curl命令，包含了请求的所有参数和Header信息。在开发爬虫时，可以直接在Python中使用这个curl命令快速验证请求的有效性，再逐步转换为requests代码。

三、Ajax接口直接请求

找到真实的数据接口后，最直接的抓取方式就是使用Python的requests库直接调用该接口。这种方法效率最高，不需要执行JavaScript，也不需要浏览器环境，是爬取Ajax数据的首选方案。

3.1 基础请求

通过Network面板找到数据接口的URL后，使用requests.get()或requests.post()直接请求即可。关键是要正确携带请求参数。GET请求的参数通常以Query String的形式附加在URL后面，可以直接拼接到URL中，也可以通过params参数传递：

import requests

# 方式一：直接拼接URL
url = "https://api.example.com/data?page=1&limit=20"
response = requests.get(url)
data = response.json()
print(data)

# 方式二：使用params参数
url = "https://api.example.com/data"
params = {"page": 1, "limit": 20}
response = requests.get(url, params=params)
data = response.json()

POST请求的参数通常以Request Payload的形式放在请求体中，需要使用data或json参数传递。如果接口Content-Type为application/json，则使用json参数；如果为application/x-www-form-urlencoded，则使用data参数：

# POST请求 - JSON格式
url = "https://api.example.com/search"
payload = {"keyword": "python", "page": 1}
response = requests.post(url, json=payload)
data = response.json()

# POST请求 - 表单格式
url = "https://api.example.com/search"
payload = {"keyword": "python", "page": 1}
response = requests.post(url, data=payload)
data = response.json()

3.2 处理分页参数

大多数数据接口都采用分页机制，常见的分页方式包括page参数（第几页）、offset参数（偏移量）和limit参数（每页数量）。爬虫需要循环修改分页参数，逐页抓取全部数据：

def crawl_all_pages():
    base_url = "https://api.example.com/items"
    all_items = []
    page = 1
    while True:
        params = {"page": page, "limit": 50}
        resp = requests.get(base_url, params=params)
        if resp.status_code != 200:
            break
        data = resp.json()
        items = data.get("items", [])
        if not items:
            break
        all_items.extend(items)
        print(f"第{page}页抓取完成，累计{len(all_items)}条")
        page += 1
    return all_items

3.3 处理签名参数

部分接口会在请求参数中加入签名（如token、sign、timestamp等）用于安全验证。这些签名参数通常由JavaScript动态计算生成，爬虫需要逆向分析签名算法或在Python中重新实现签名计算逻辑。timestamp参数通常是当前时间戳，用于防止重放攻击；token或sign参数则是基于某些密钥对请求参数进行哈希计算的结果：

import hashlib
import time

def generate_sign(params, secret_key):
    # 按参数名排序
    sorted_params = sorted(params.items())
    # 拼接参数字符串
    raw_str = "&".join(f"{k}={v}" for k, v in sorted_params)
    raw_str += secret_key
    # MD5哈希
    sign = hashlib.md5(raw_str.encode()).hexdigest()
    return sign

params = {"keyword": "python", "timestamp": int(time.time())}
params["sign"] = generate_sign(params, "my_secret_key")
resp = requests.get("https://api.example.com/search", params=params)

四、Ajax请求头模拟

服务器在收到Ajax请求时，会检查请求头中的特定字段来判定请求是否来自合法的浏览器环境。如果请求头不符合预期，服务器可能会拒绝响应或返回错误数据。

X-Requested-With是最重要的Ajax标识头之一。标准的Ajax请求会携带X-Requested-With: XMLHttpRequest头，许多后端框架（如Django、Rails）会通过检查这个头来区分Ajax请求和普通页面请求。如果缺少这个头，服务器可能返回完整的HTML页面而不是JSON数据。

Content-Type头决定了请求体的编码格式。对于POST请求，如果服务器期望JSON数据，需要设置Content-Type: application/json；如果期望表单数据，则设置为application/x-www-form-urlencoded。使用requests.post()的json参数时会自动设置application/json，而data参数会自动设置表单格式。

Referer头表示请求是从哪个页面发起的，用于防盗链和来源验证。有些API会检查Referer是否来自本站域名，如果不符合则拒绝响应。爬虫需要将Referer设置为目标页面的URL。此外，Origin头也常用于CORS（跨域资源共享）验证，在跨域请求中尤为重要。

除了上述通用Header外，一些网站还会验证自定义Header。例如，某些大型互联网公司会在前端代码中埋入特定的Header字段（如X-Custom-Sign、X-App-Version等），这些Header的值可能经过加密或编码。爬虫在模拟请求头时，应尽量复制浏览器发出的完整请求头集合，但要注意Cookie和User-Agent是否有效且合理：

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 "
                  "(KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
    "X-Requested-With": "XMLHttpRequest",
    "Referer": "https://www.example.com/data-page",
    "Origin": "https://www.example.com",
    "Accept": "application/json, text/plain, */*",
    "Accept-Language": "zh-CN,zh;q=0.9",
}
resp = requests.get("https://api.example.com/data", headers=headers)

五、分页数据抓取

大规模数据抓取必然涉及分页处理。不同的网站采用不同的分页机制，爬虫需要根据具体实现选择合适的遍历策略。理解各种分页模式的特征和优劣，是构建稳定爬虫的基础。

5.1 页码分页

页码分页是最传统的分页方式，通过page参数指定页码。这种方式的优点是逻辑简单直观，易于实现。爬虫只需要从page=1开始递增请求，直到返回空数据或达到最大页数。缺陷在于如果总页数很大（如数百页），则无法并行请求前面的页面，效率受限。

5.2 偏移量分页

偏移量分页使用offset和limit参数控制数据范围。offset表示从第几条开始取，limit表示取多少条。例如offset=0&limit=20取第1-20条，offset=20&limit=20取第21-40条。这种方式的优势在于可以随机跳转到任意位置，便于并行抓取。爬虫可以先请求一次获取总数total，然后根据total和limit计算出总偏移量，分配多个线程或协程并发抓取不同区间：

import concurrent.futures

def fetch_range(offset, limit=50):
    params = {"offset": offset, "limit": limit}
    resp = requests.get("https://api.example.com/items", params=params)
    return resp.json().get("items", [])

# 先获取总数
init_resp = requests.get("https://api.example.com/items", params={"offset": 0, "limit": 1})
total = init_resp.json().get("total", 0)
print(f"共计{total}条数据")

# 并发抓取
offsets = range(0, total, 50)
with concurrent.futures.ThreadPoolExecutor(max_workers=10) as executor:
    results = list(executor.map(fetch_range, offsets))

5.3 游标分页

游标分页（Cursor-based Pagination）是高性能接口常用的分页方式。服务器返回一个cursor（游标）值，客户端在下次请求时携带该值，服务器返回从该游标之后的数据。游标通常是数据表中某条记录的ID或时间戳。这种方式的优势在于避免了传统分页在大偏移量时的性能问题，且能保证数据一致性（新增数据不影响分页位置）。爬虫需要在每次响应中解析游标值，循环请求直到游标为空：

def crawl_with_cursor():
    url = "https://api.example.com/items"
    cursor = None
    all_items = []
    while True:
        params = {"limit": 50}
        if cursor:
            params["cursor"] = cursor
        resp = requests.get(url, params=params)
        data = resp.json()
        items = data.get("items", [])
        if not items:
            break
        all_items.extend(items)
        cursor = data.get("next_cursor")
        if not cursor:
            break
    return all_items

5.4 时间范围分页

时间范围分页通过指定起始时间和结束时间来获取某个时间区间内的数据。这种方式常用于日志、订单等带有时间戳的数据。爬虫可以通过不断缩小时间窗口来逐段抓取全部数据。初始时设置start_time为一个很早的日期，end_time为当前时间，每次请求后根据返回数据的时间戳调整窗口。

六、API接口签名破解

签名验证是Ajax接口最常见的反爬手段。服务器在收到请求时，会验证请求中的签名参数是否合法。签名算法的分析过程本质上是一个JavaScript逆向工程，需要综合运用多种调试技术。

6.1 查找签名生成逻辑

在Chrome DevTools的Sources面板中可以搜索关键字来定位签名算法。常用的搜索关键词包括sign、token、signature、md5、sha1、hmac、encrypt等。打开Sources面板，按Ctrl+Shift+F进入全局搜索，输入关键词即可在所有加载的JavaScript文件中搜索匹配项。搜索结果会显示文件路径和匹配行，点击即可跳转到源码位置。

如果在Sources面板中找到的JavaScript代码经过了混淆（obfuscated）或压缩（minified），可以使用Pretty Print功能（点击代码区左下角的{}按钮）格式化代码。对于重度混淆的代码，可以通过在Console中输出中间变量的值来辅助分析，或者在代码中插入断点，逐行执行观察参数变化。

6.2 Console调试

当定位到签名函数后，可以直接在Console面板中调用该函数来验证分析结果。在Sources面板中对应的JS代码行上设置断点，触发一次Ajax请求，程序会在断点处暂停。此时可以在Console中执行JavaScript语句，查看函数参数和返回值。这种方法可以快速验证对签名算法的理解是否正确：

// 在Console中调试签名函数
// 假设签名函数名为 generateSign
let params = {page: 1, limit: 20, timestamp: 1234567890};
let sign = generateSign(params);
console.log(sign);

6.3 Python模拟签名算法

理解签名算法原理后，在Python中重新实现是最稳定、最高效的方案。常见的签名算法包括：参数按字典序排序后拼接字符串，再拼接固定密钥，最后进行MD5或SHA1哈希；将参数构造为JSON字符串后使用HMAC-SHA256加密；对参数和密钥进行多次迭代哈希计算等。将分析得到的算法逻辑用Python重写即可。

6.4 使用js2py/pyexecjs执行JavaScript

当签名算法过于复杂（涉及浏览器环境API、DOM操作等）或难以完整逆向时，可以直接在Python中执行原始的JavaScript签名函数。js2py是一个纯Python实现的JavaScript解释器，可以在Python中直接运行JS代码；pyexecjs（即execjs）则调用系统安装的JavaScript引擎（如Node.js）来执行JS代码。

# 使用execjs执行JavaScript
import execjs
import requests

# 从网站中提取的签名算法代码
js_code = """
function generateSign(params, secret) {
    var keys = Object.keys(params).sort();
    var str = '';
    for (var i = 0; i < keys.length; i++) {
        str += keys[i] + '=' + params[keys[i]] + '&';
    }
    str += 'key=' + secret;
    return md5(str);
}
"""

# 编译JavaScript
ctx = execjs.compile(js_code)
# 调用签名函数
params = {"page": 1, "limit": 20}
sign = ctx.call("generateSign", params, "my_secret")
print(f"签名结果: {sign}")

# 使用签名发起请求
params["sign"] = sign
resp = requests.get("https://api.example.com/data", params=params)
print(resp.json())

七、实战示例

以下通过四个典型的实战场景，展示Ajax数据抓取的综合应用。这些场景覆盖了大多数动态加载页面的抓取需求。

7.1 瀑布流加载页面抓取

瀑布流布局在图片类网站中十分常见。用户向下滚动页面时，新的内容通过Ajax请求自动加载。这种加载方式通常对应offset/limit分页接口，滚动到底部触发下一页请求。爬虫的抓取策略是直接循环调用Ajax接口，不需要模拟滚动操作。关键点在于找到触发加载的JavaScript事件和对应的接口URL。

def crawl_waterfall():
    url = "https://example.com/api/images"
    images = []
    for page in range(1, 101):
        params = {"page": page, "pageSize": 20}
        resp = requests.get(url, params=params)
        data = resp.json()
        items = data.get("data", [])
        if not items:
            break
        images.extend(items)
    return images

7.2 无限滚动页面抓取

无限滚动是瀑布流的升级版，页面通过监听scroll事件或IntersectionObserver API来判断是否触底。爬虫的核心思路同样是绕过前端事件，直接分析并调用背后的数据接口。需要注意的是，无限滚动页面通常会有防抖（debounce）处理，短时间内多次触发滚动只会发起一次请求。这一点对爬虫无影响，因为爬虫直接请求接口，不受浏览器事件限制。

关键技巧：无限滚动页面的Ajax接口往往会在请求参数中包含触发时间或随机数，用于防止缓存。爬虫需要在每次请求时动态生成这些参数，而不是复制固定值。

7.3 实时搜索建议抓取

搜索引擎和电商网站的搜索框通常具有自动补全功能，用户输入字符时，搜索建议通过Ajax实时获取。这些接口通常具有响应快、返回数据量小的特点。抓取搜索建议可以帮助构建同义词词典、热门关键词库等。需要注意的是，搜索建议接口往往有请求频率限制，爬虫应采用合理的请求间隔并随机化输入字符。

def fetch_search_suggestions(keyword):
    url = "https://example.com/api/suggest"
    params = {"q": keyword, "t": int(time.time() * 1000)}
    resp = requests.get(url, params=params, headers=headers)
    suggestions = resp.json().get("suggestions", [])
    return suggestions

# 批量获取热门搜索建议
keywords = ["python", "java", "javascript", "爬虫", "数据"]
all_suggestions = {}
for kw in keywords:
    suggestions = fetch_search_suggestions(kw)
    all_suggestions[kw] = suggestions
    time.sleep(1)  # 适当延迟避免被封

7.4 图表数据抓取

数据可视化页面（如ECharts、Highcharts图表）的数据通常也是通过Ajax加载的。图表库本身不包含数据，数据从后端API获取后通过JavaScript动态渲染。爬虫需要找到提供图表数据的JSON接口，而不是尝试直接从canvas或SVG中提取数据。这类接口通常返回结构化的数值数据，便于直接存储和分析。

图表数据的Ajax接口往往和页面展示的维度相关联。例如，时间维度下接口可能接受startDate和endDate参数，地区维度下可能接受region参数。爬虫可以通过遍历这些维度参数来获取完整数据集。值得注意的是，某些图表接口会对返回数据做聚合处理，需要根据实际需求决定是否获取原始明细数据。

八、总结与注意事项

Ajax动态数据抓取是网络爬虫进阶阶段的核心技能。从最初的请求分析到最终的批量抓取，整个流程可以概括为三个阶段：分析阶段使用Chrome DevTools定位数据接口，理解参数结构和请求头要求；实现阶段使用requests库模拟Ajax请求，处理分页和签名验证；优化阶段处理反爬机制，实现并发抓取，提升数据采集效率。

在实际开发过程中，需要特别注意以下几个方面：请求频率控制是避免IP被封的关键，建议每次请求之间添加随机延迟（0.5-2秒）；Cookie和Session管理对于需要登录的接口至关重要，可以使用requests.Session()自动维持会话；数据验证不可忽视，每次抓取后应校验数据完整性，避免因接口返回异常数据导致入库错误；接口变化监控也很重要，网站前端代码更新可能导致接口URL或参数结构变化，爬虫需要定期检查并及时调整。

最后需要强调的是，爬虫技术应当合法合规使用。在抓取数据前应查阅网站的robots.txt文件，了解网站的抓取许可范围。对于有明确反爬声明的网站，应尊重其意愿，避免进行高频次、大规模的数据抓取。学习Ajax抓取技术的核心目的在于技术能力的提升，而非绕过防护措施获取不当利益。