爬虫非常大的概率会被拉黑(封IP)，必须用代理ip吗?

爬虫必须用代理ip吗?

其实关于是否使用代理ip软件，是看情况而定的。虽然非必须，但是不用会很难受，爬虫一直爬一个网站，相当于你一直找一个人打招呼，时间长了谁都会讨厌，非常大的概率会被拉黑(封IP)。

所以使用代理IP，相当于你戴着面具去找同一个人打招呼，打一次换一个面具，这个人以为是不同的人再找他，也不会把你拉黑。

爬虫程序从本质上来说也是个访问网页的用户而已，只不过是个不那么守规矩的特殊用户，服务器一般很不欢迎这样的特殊用户总是用各种手段发现和禁止。最常见的就是判断你访问的频率，因为普通人访问网页的频率是不会很快的，如果发现某个ip访问的过快就会将此ip封禁。