随便地记一下初次接触爬虫的尝试

    科技2022-08-29  110

    不知道哪里触发了关键词导致浏览量好高 这里试着把会增加曝光率的词语编辑掉

    诉求 抓取🚗xx网站某一车型各个店家的最低价 朋友写的代码 记录一下过程

    操作 照着书试了下静态抓取网页 发现数据是使用ajax和js动态载入的 于是构建post方法发送请求 得到json格式的数据 再简单地输出到xlsx文件

    问题 这个数据目前意义不大,需要自动抓取更多数据进行分析,量变引起质变。 需要思考如何自动化抓取更多数据。 后续还要搭配前端技术分析数据,提供一个比较基本的数据分析服务,这样才能发挥数据的作用。 综上所述,需要做的事情还非常多。

    Processed: 0.008, SQL: 9