素颜～红太狼
每家公司的人才需求不同，对于技术要求也是不同，建议可以详细的去了解一下，一般情况下来说，岗位职责包含以下几种：1、负责传统网页、微博及SNS等各种网站信息高效采集与正确解析2、对用户数据进行整理分析，参与模型的构建；3、总结分析不同网站，网页的结构特点及规律，负责爬虫架构设计和研发，参与爬虫核心算法和策略优化研究；4、设计策略和算法，提升网页抓取的效率和质量，进一步解决系统的网页排重、垃圾控制、资源划分等问题；5、分析爬虫系统的技术缺陷，对策略架构做出合理地调整和改进
优质工程师考试问答知识库
