1. 什么是爬虫？
根据百度百科的定义，网络爬虫，又称为网页蜘蛛，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。
人们如今的生活，大都离不开网络，发一条微信，电子支付买一杯奶茶，刷一条微博，等等，都依赖于网络的便携性。但是，互联网茁壮成长的同时，海量的信息每天也会以指数级增长的方式充斥到网络环境中，那么如何快速高效地找到我们需要的信息，成为了很关键的功能，于是搜索引擎诞生了。搜索引擎替我们把很多网络信息做了筛选，当我们查询某项内容时，搜索引擎可以计算出一个排名，来展现查询相关的内容。那么面对海量的信息，搜索引擎就是利用爬虫对数据进行了整合和筛选操作，为人们在网络海洋中快速挖掘有用的信息提供了便利。
既然搜索引擎这么好用了，那么我们为什么还要写爬虫？是因为有时我们有更加个性化的搜索需求，比如我们希望获取猫眼电影中排名前一百名的电影的评论内容，并根据评论做情感分析。面对这个需求，搜索引擎的作用就比较局限了。那么要实现这个功能，第一步的获取出这些相关信息就需要我们动手写爬虫了。
很多语言都可以写爬虫，包括python，java、c++等。而Python本身是开源的，很多大佬为Python的功能扩展写了很多成熟的工具，也就是网络上常说的xx库，我们可以利用这些工具快速实现我们的需求，比较好入门。
另外，需要强调的是，网络上并不是什么东西都可以爬，针对这个问题，我国有着一套完备的法律。爬了不该爬的内容，比如大量个人信息，那可以快速实现“从入门到入狱”。
2. 了解网页
网页一般由三部分组成，分别是 HTML（超文本标记语言）、CSS（层叠样式表）和 JS（活动脚本语言）。
我们每次请求数据，服务器都会把由这三部分组成的内容发送过来，再经浏览器编译，就出现了我们看到的界面。实际上爬虫获取信息也是相似的流程，向服务器请求数据，请求到的数据存储到内存中，然后解析出我们想要的信息。
每个浏览器关于查看网页源码有着不同的操作，以谷歌浏览器为例，是在页面中点击鼠标右键，再选择“检查”，在出现的框中选择元素（Elements），我们使用爬虫查询的内容也就包含在这些元素中。
比如，我们可以找到百度首页内热搜的第一条数据信息。（鼠标指向某一行，相应的内容就会以“蓝框”的形式在界面中标记出来）
3. 爬取CSDN页面信息演示
比如我就要爬我在CSDN的主页信息（红框部分）
- 分析页面
第一步，分析页面，找到这些数据在哪。
打开元素，当鼠标停留在下图这一行时，界面上的这一部分内容被蓝框选中，表示数据就在这个div内
接着往下找，可以找到一个列表，包含了四个元素，分别对应了界面上的四条数据。
打开其中一个，我们就找到了这个数据。(其它数据同理)
- 导包
既然使用python，我们就要利用python成熟的工具，这个示例需要用到三个包。
- requests
- bs4
- lxml
requests翻译为“请求”，这个库就是帮助我们向服务器中请求数据的工具；BeautifulSoup是解析工具，它可以解析网页数据，可以快速提取出所需要的信息，如今BeautifulSoup已经被包含在bs4库中，直接下载bs4库即可；lxml是python的一个解析库，和BeautifulSoup配合使用，能够快速解析出页面信息。
导入包（lxml不需要导入）
- 设置url和身份标识
设置要访问的url
设置user-agent，user-agent是身份标识，这里用来模拟是真人的请求操作。
那么为什么需要模拟真人操作呢？首先给出一个结论，网站是不喜欢爬虫的，所以一般网站都会设置一定的反爬机制。很多爬虫向服务器请求数据，或者爬虫要请求很多信息时，会给服务器造成很大压力，严重时可能导致服务器宕机，那么，针对爬虫就会产生对应的反爬机制，比如识别user-agent就是一个初级的反爬机制，当访问者没有携带user-agent时，网站就会默认访问者是爬虫，从而可以拒绝提供信息反馈。
怎么找user-agent？选择网络（如下图），然后刷新界面信息
随便选择一个文件，再选择“标头”，展示的内容是根据http协议用来请求数据所携带的头部，user-agent就包含在里面
user-agent在标头的最下方
将user-agent复制出来，在程序中写成一个字典的形式
- 请求数据并解析
注意！soup.select()包含了一个重要参数，这个参数就是筛选数据的条件。
回到“元素”，找到刚才“被访问量”对应的那条div，点击鼠标右键–>复制–>复制selector
这样会得到一个选择器，也就是select()的参数
筛选出来的info是一个迭代器，但是由于现在只获取到一条数据，因此可以直接输出看看
可以发现已经获取到了目标信息，获取其它三条数据同理。
完整代码：
事实上，我们可以修改选择器，因为四条数据也是按列表形式排列的，所有我们可以一块获取，然后循环输出。
4. 爬取图片信息
以爬取百度图片为例。
这一部分我写在另一篇文章了，Python爬虫批量下载百度图片–点击跳转
5. 后言
爬虫还是比较好入门的，这得益于成熟的爬虫工具。
爬虫可以满足自己的个性化搜索需求，大家赶快动手试试吧。（
如果觉得文章还不错的话，留个赞再走吧，非常感谢！！！
学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
包括：Python激活码+安装包、Python web开发，Python爬虫，Python数据分析，Python自动化测试学习等教程。带你从零基础系统性的学好Python！
一、Python学习大纲
二、Python必备开发工具
三、入门学习视频
四、实战案例
五、python副业兼职与全职路线
上述这份完整版的Python全套学习资料已经上传CSDN官方，如果需要可以微信扫描下方CSDN官方认证二维码 即可领取