网络爬虫

数据采集 · 反爬对抗 · 高效抓取 · 共23个专题

• 网络爬虫概述与法律规范
  全面了解网络爬虫的概念、工作原理、应用场景及爬虫相关法律法规与合规实践。
• HTTP协议与请求原理
  系统学习HTTP协议在爬虫中的应用，涵盖请求响应结构、请求头伪装、Cookie/Session管理及HTTPS处理。
• 爬虫开发环境搭建
  系统讲解爬虫开发环境搭建，涵盖爬虫库安装、WebDriver配置、抓包工具Charles/mitmproxy及辅助工具链。

• Requests库详解
  全面学习Requests库的GET/POST请求、Session会话管理、请求头伪装、超时重试及异常处理。
• BeautifulSoup解析库
  全面学习BeautifulSoup HTML解析库，涵盖解析器选择、find/find_all搜索、CSS选择器及文档树遍历。
• XPath与lxml解析
  全面学习lxml解析库和XPath语法，涵盖绝对/相对路径、谓语条件、XPath轴遍历及Python实战。
• 正则表达式在爬虫中的应用
  学习正则表达式在爬虫中的应用，涵盖re模块函数、爬虫常用匹配模式及文本清洗实战技巧。
• 数据存储（CSV/JSON/Excel）
  全面学习爬虫数据的多种存储方式，涵盖CSV/JSON/Excel文件操作及Pandas数据导出清洗。
• 数据存储（MySQL与MongoDB）
  系统学习爬虫数据的数据库存储，涵盖PyMySQL、MongoDB文档存储、Redis去重队列及存储选型。

• Cookie与Session会话管理
  深入学习爬虫的Cookie和Session管理，涵盖登录模拟、JWT Token、Cookie持久化及多账号轮换。
• Ajax动态数据抓取
  全面学习Ajax动态加载数据的爬取方法，涵盖接口分析、签名破解、分页抓取及JS逆向调试。

• Selenium浏览器自动化
  全面学习Selenium浏览器自动化爬虫，涵盖元素定位、页面交互、显式等待及反检测策略。
• Playwright现代浏览器自动化
  系统学习Playwright浏览器自动化，涵盖同步/异步API、定位器、自动等待及网络拦截。

• Scrapy框架入门
  系统学习Scrapy爬虫框架的架构和开发流程，涵盖项目创建、Spider编写、Item Pipeline及选择器。
• Scrapy中间件与管道进阶
  深入学习Scrapy中间件和管道，涵盖代理/UA中间件、Pipeline数据分流及CrawlSpider规则抓取。

• IP代理池构建
  全面学习IP代理池的构建方法，涵盖代理类型、Redis代理池、评分机制及Requests/Scrapy代理配置。
• 请求头伪装与指纹规避
  深入学习请求头伪装和浏览器指纹规避，涵盖UA切换、Canvas/WebGL指纹规避及TLS指纹处理。
• 验证码识别基础
  全面学习验证码识别处理技术，涵盖OCR识别、CNN训练、打码平台对接及滑块轨迹模拟。
• 字体反爬与CSS偏移
  深入学习字体反爬和CSS偏移机制，涵盖fontTools字体解析、TTF映射还原及动态字体破解。

• 异步爬虫（asyncio/aiohttp）
  系统学习异步爬虫技术，涵盖asyncio协程、aiohttp并发请求及与同步爬虫的性能对比。
• 分布式爬虫架构
  系统学习分布式爬虫架构，涵盖Scrapy-Redis框架、布隆过滤器去重及Master-Worker部署。
• 爬虫部署与定时任务
  系统学习爬虫的生产部署和调度，涵盖Scrapyd部署、Docker容器化、Crontab/APScheduler定时任务。
• 爬虫反检测与框架对比
  全面了解爬虫反检测技术和主流爬虫框架对比选型，以及反爬对抗的合规边界。