这阵子bituplink君也在学习python爬虫技术,也算是24k纯新手了,一半是出于兴趣,一半是出于备份各种有用信息和资料的需要(比如备份一些博客文章,简书文章,廖老师的教程呀),话说学习就要有动力才能学的好,你让我看python各种算法和教程还是真没有爬虫学的快
开发和运行过程中,也是逐步体会到爬虫与反爬虫的斗争,有时简简单单直接爬没事,有时要加上heads,有时也要限制访问的频次,不过都是自己瞎捉摸,刚好这两天看了一个博客,分享了一张爬虫的进攻和网站反爬虫的防守的六个阶段图,看了之后对这个过程确实清晰了不少,这里也分享给大家,希望大家也可以从中学到一些爬虫开发的技巧
PS 之前看过一段话也觉得很有意思,爬虫新手都是怎么快怎么来,老手都是怎么慢怎么来