Python3爬虫入门(一)

Python3爬虫入门

​网络爬虫，也叫网络蜘蛛(Web?Spider)。它根据网页地址(URL)爬取网页内容，而网页地址(URL)就是我们在浏览器中输入的网站链接。

• 每个网站都有爬虫协议，(例如：https://www.baidu.com/robots.txt，这里会写清楚哪些允许 哪些不被允许)
• 可见即可爬（技术上）
• 违法的：擦边球
  一、URL 专业一些的叫法是统一资源定位符（Uniform Resource Locator），它的一般格式如下（带方括号[]的为可选项）：
  protocol