数据采集与融合技术实践作业二

发布时间 2023-10-08 19:41:58作者: Chen'coke

作业①

  • 要求:在中国气象网(http://www.weather.com.cn)给定城市集的 7
    日天气预报,并保存在数据库。
  • 输出信息:

    Gitee 文件夹链接
    题一
  • 心得体会
    学会了数据库的基本使用

作业②

  • 要求:用 requests 和 BeautifulSoup 库方法定向爬取股票相关信息,并
    存储在数据库中。
  • 候选网站:东方财富网:https://www.eastmoney.com/
    新浪股票:http://finance.sina.com.cn/stock/
  • 技巧:在谷歌浏览器中进入 F12 调试模式进行抓包,查找股票列表加
    载使用的 url,并分析 api 返回的值,并根据所要求的参数可适当更改
    api 的请求参数。根据 URL 可观察请求的参数 f1、f2 可获取不同的数
    值,根据情况可删减请求的参数。
    参考链接:https://zhuanlan.zhihu.com/p/50099084
  • 输出信息:

    Gitee 文件夹链接
    题二
  • 心得体会
    理解了抓包爬取信息,了解了网页数据的加载机制,在对数据处理前应注意数据清洗

作业③

Gitee 文件夹链接
题三

  • 心得体会
    了解js的部分结构,js文件中的部分数据须经过赋值