前言

  有人说互联网现在全部被各种爬虫宽带占据了，其实不然，得数据者得天下，爬是为了不爬。

什么是网络爬虫

  我们向网站发送一个请求，网站处理这个请求再返回给我们结果，我们就完成了对网站的访问，网络爬虫则可以被认为是一种代替我们向网站发送请求的脚本，他也可以根据关键词等等条件来收集各种数据。

网络爬虫的过程

  网络爬虫一般包括发送请求，提取数据，存储数据这三步。首先，我们的爬虫向网站发送一个请求，然后获取到网站源代码，接下来，我们从这些源代码里提取我们想要的数据，最后把他们保存到本地就完成了。

网络爬虫违法吗

  一直以来，网络爬虫都存在于法律的灰色地带，一般来说，只要你的爬虫不占用他人服务器过多的资源（侵害动产），不涉及他人隐私，版权等等就不会有什么事，但话说的好，爬虫玩得好，牢饭吃的早，所以建议大家还是小心为好。

网络爬虫的分类

  一般来说，网络爬虫可以分为聚焦型和通用型两种，聚焦型是为了爬取某一个或某一种信息写的，而通用型则是广泛爬取

勾心斗角

  一直以来，爬虫和反爬虫的勾心斗角都没有停止过，反爬虫就是和爬虫抗衡，其实就是网站管理员为了抑制恶意爬虫采取的一些措施，如信息校验型反爬，验证码，动态渲染等等，而聪明的工程师们也想出了绕过这些措施的方法，甚至结合到了人工智能，这种技术我们称之为反反爬虫或反爬虫绕过。

勇往直前

  技术无黑白，攻防无绝对，小洛希望大家在不违反法律的情况下能够勇往直前，成就更好的自己，加油！