JZTXT

python数据分析师入门-学习笔记（第九节 爬虫的核心流程）

发布时间 2023-07-30 15:00:55作者: 阿慢2010

学习链接：Python数据分析师入门

爬虫的核心流程

  1. 明确目标

    • 汽车成交量
    • 汽车评论信息
    • 汽车提车分享信息

  2. 搜寻哪些网站或APP有我们要的资源

    • 汽车之家
    • 懂车帝
    • 易车

  3. 分析数据所在位置，加载方式

    • 直接加载的
    • 额外的网络请求

  4. 数据获取

    • 使用代码驱动APP或浏览器
    • 自己分析请求、构造请求

  5. 数据提取

    • 从返回的数据中提取自己需要的

  6. 数据存储

  7. 提升性能