bonbean棒冰
学习 python 爬虫的路线
学习Python有个学习方向能够少走点弯路，就像在实习的时候，能够遇到一个好老大，给你稍微指一下方向，比你自己瞎jb琢磨的结果肯定结果相差很大。毕竟人家认知比你高上一截。
基本的 Python 语法
要用 Python 来写爬虫，当然是需要 Python 的基本语法了。Python的基本语法不难，之前我就写了一个小教程，讲的是 Python3 的一些基本使用，可以看看这里：python3入门基础有趣的教程
抓包工具
爬虫要去抓取网页上的内容，一些请求参数和返回数据信息，需要去分析和抓取，熟悉一下抓包工具的使用还是很有必要的，这不，我也写了一个关于 Fiddler 的使用：Fiddler抓包工具完全使用教程，还顺便装了个逼！
爬虫常用到的模块
Python 有一些内置的库，专门对一些网页数据的请求和解析使用的，比如urllib，http。
正则表达式
抓包获取到的数据，有很多数据是你不想要的，我们只需要拿到我们想要的数据就可以了，那么这个时候呢，正则表达式就派上用场了，常用的有：re，Xpath，BeautifulSoup。
反爬机制
有些网站被爬取怕了，做了一些爬虫的限制，要学点反爬机制才行，header，robot，时间间隔，ip代理，UA限制，Cookie限制等。
数据存储
爬取到的数据要存储下来吧，那么就要会数据库的操作，比如mysql。还要会数据去重操作。
爬虫效率
提高爬取数据的效率，就需要使用多线程，分布式。
爬虫的框架
站在巨人的肩膀上尿尿，那么就需要知道框架怎么使用，比如Scrapy，PySpider，简直牛逼。
fionazhang77
需要。Python爬虫工程师认证证书有很多，比如常见的证书有：全国计算机等级考试Python程序语言设计、PythonInstitute资格认证初级PCEP证书、PythonInstitute资格认证中级PCAP证书、PythonInstitute资格认证高级PCPP证书、工信部Python技术应用工程师专项技术证、百度技术认证深度学习工程师。爬虫工程师岗位职责：设计和开发分布式网络爬虫系统；进行多平台信息的抓取和分析工作，实时监控爬虫的进度和警报反馈等。
青帝织锦
Python简单易懂、语法清晰，非常适合0基础学习，对专业没有强制要求，学完之后可以从事以下工作：1. Web开发最火的Python web框架Django，支持异步高并发的Tornado框架，短小精悍的flask，bottle，Django官方的标语把Django定义为the framework for perfectionist with deadlines(大意是一个为完全主义者开发的高效率web框架)2. 网络编程支持高并发的Twisted网络框架，py3引入的asyncio使异步编程变的非常简单3. 爬虫开发爬虫领域，Python几乎是霸主地位，Scrapy/Request/BeautifuSoap/urllib等，想爬啥就爬啥4. 云计算开发目前最火最知名的云计算框架就是OpenStack，Python现在的火，很大一部分就是因为云计算市场近几年的爆发5. 人工智能MASA和Google早期大量使用Python，为什么Python积累了丰富的科学运算库，当AI时代来临后，Python从众多编程语言中脱颖而出，各种人工智能算法都基于Python编写，由其PyTorch之后，Python作为AI时代头牌语言的位置基本确立!6. 自动化运维问问中国的每个运维人员，运维人员必须会的语言是什么?10个人详细会给你一个相同的答案，它的名字叫Python7. 金融分析金融公司使用的很多分析程序、高频交易软件就是用的Python，目前，Python是金融分析、量化交易领域里用的最多的语言8. 科学运算97年开始，NASA就在大量使用Python在进行各种复杂的科学运算，随着NumPy，SciPy，Matplotlib，Enthought librarys等众多程序库的开发，使得Python越来越适合做科学计算、绘制高质量的2D和3D图像。和科学计算领域最流行的商业软件Matlab相比，Python是一门通用的程序设计语言，比Matlab所采用的脚本语言的应用范围更广泛9. 游戏开发在网络游戏开发中Python也有很多应用。相比Lua or C++，Python比Lua有更高阶的抽象能力，可以用更少的代码描述游戏业务逻辑，与Lua相比，Python更适合作为一种Host语言，即程序的入口点是在Python那一端会比较好，然后用C/C++在非常必要的时候写一些扩展。Python非常适合编写1万行以上的项目，而且能够很好的把网游项目的规模控制在10万行代码以内。10. 桌面软件虽然大家很少使用桌面软件了，但是Python在图形界面开发上也很强大，你可以用tkinter/PyQT框架开发各种桌面软件!
优质工程师考试问答知识库
