课题组日志
小组联盟20201230——Python的网络爬虫入门
作者:孙昊
发布时间:2021-01-04
2020年12月30日下午1点30,组内成员在学院436会议室召开了本学期第六次小组联盟专题学习,由孙昊介绍Python的网络爬虫入门。
孙昊主要从网络爬虫简介、Requests库、Beautiful Soup库、Re库、网络爬虫实战5个方面展开。首先介绍了网络爬虫的流程,然后结合实例将爬虫任务分为了静态html的抓取、API接口的数据获取以及动态js程序的抓包。接着从工具的角度重点讲解了Requests库、Beautiful Soup库、Re库的使用,其中使用例子详细介绍了它们的不同功能。最后使用3个实例(豆瓣电影TOP250数据爬取、高德地图API接口调用—路径规划、高德地图API获取公交+地铁等时圈)帮助大家理解整个过程。
分享结束后,同学们针对遇到的问题也进行了提问与讨论。本次的专题学习使大家在python的网络爬虫方面有了进一步的了解,为后续python的深入学习,并应用于课题研究打下基础。