爬虫工程师岗位职责 第1篇
职位描述：
1、开发网页自动化脚本。
2、负责商品信息结构化，编写自动化脚本解析网页信息。
3、商品索引系统：亿级sku的库存价格实时跟踪同步，并对商品进行智能分类、本地化、图片处理和去重。
4、设计、开发、测试、部署以及维护并改进各子系统；
5、管理项目优先级并按时交付。
职位要求：
1、全日制统招本科、硕士毕业，1年以上软件开发工作经验；
2、熟悉至少一门通用静态编译编程语言，c/c++/java/c#/go；
3、熟悉web端基础标准，包括html、css、javascript、json等；
4、熟悉python或其他脚本语言，有兴趣和能力根据需求学习其他编程语言；
5、熟悉unix/linux环境，memcache/redis/mongodb等存储系统，能独立设计开发包括前后端交互的业务子系统；
6、熟悉常见的设计模式、单元测试、持续开发集成、code review，并能在日常工作践行；
7、了解搜索引擎、电子商务、社交类应用的系统基本架构，能对已有的子系统进行优化调整的优先；
8、活跃的开源项目贡献者优先。
爬虫工程师岗位职责 第2篇
职位描述：
1、参与爬虫系统的架构设计与开发；
2、负责执行和开发分布式网络爬虫系统，进行多平台信息的抓取和分析；
3、负责网页信息和app数据抽取、清洗、消重等工作，提升平台的抓取效率；
4、参与爬虫核心算法和策略优化，熟悉采集系统的`调度策略；
5、实时监控爬虫的进度和警报反馈。
任职要求：
1、本科以上学历，3年以上爬虫开发相关经验，熟练使用python或java进行开发；
2、熟练使用正则表达式、css path、xpath等，能够从结构化的和非结构化的数据中获取信息；
3、熟练使用mysql数据库，掌握redis、mongodb、hive等常用nosql技术并具有实战经验；
4、熟悉各种抓取技术，包括代理、phantomjs/selenium、验证码处理；
5、熟悉整个爬虫的设计及实现流程，有从事网络爬虫、网页信息抽取开发经验，熟悉反爬虫技术，有分布式爬虫架构经验；
6、具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先；
7、快速学习能力，工作积极主动，有创业热情和良好的团队协助能力；
8、需要有大量数据爬取以及高难度反爬经验，没有相关经验的勿扰。
爬虫工程师岗位职责 第3篇
职责描述：
1、负责公司产品的爬虫架构设计与开发，以及爬虫策略优化等工作；
2、根据数据产品需求，负责对网页等大规模文本数据抓取、清洗、存储等设计开发工作；
任职要求：
1、计算机、数学或统计等相关专业本科及以上学历，1年以上爬虫相关工作经验；
2、熟悉linux平台，熟练掌握python或java爬虫开发工作；
3、熟悉静态、动态网页等大规模文本数据的高效信息抽取、清洗、存储等技术；
4、有反爬相关问题处理经验，精通常用的爬虫技术及架构设计，并能快速开发实现；
5、具备良好的编程习惯和算法基础；
6、善于学习，热爱技术开发，善于团队协作，能积极主动地参与公司产品研发等相关工作。职责描述：
1、负责公司产品的爬虫架构设计与开发，以及爬虫策略优化等工作；
2、根据数据产品需求，负责对网页等大规模文本数据抓取、清洗、存储等设计开发工作；
爬虫工程师岗位职责 第4篇
职位描述：
1、负责广告素材线索和垂直类产品爬虫系统的设计、开发
2、抓取数据的清洗、落地、分析
3、抓取策略算法的更新维护，以及确保数据抽取准确、高效
任职要求：
1、具备强悍的编码能力、扎实的数据结构和算法功底
2、熟悉tcp，http协议原理；熟悉ajax工作原理；精通python编程，熟悉一种开源爬虫框架和源码；
3、有爬虫、信息抽取、文本分类、大数据处理相关经验优先
4、有自然语言处理、机器学习经验优先
爬虫工程师岗位职责 第5篇
岗位职责
1、熟悉线程池、并发机制、锁机制、线程安全原理；
2、java体系知识：网络io、设计模式、linux、jvm、java类加载机制、java内存模型；
3、爬虫经验：webmagic、adsl拨号、正则表达式、脱壳技术、加密、图片破解、二维码识别、滑块验证码破解、httpclient、分词、分布式爬虫调度、数据质量监控、代理ip调度算法、配置化爬虫、授权爬虫、舆情、应用市场、反爬；
4、熟悉http/http、tcp/ip、socket等通讯协议；
5、6年以上软件开发经验，至少2年爬虫开发经验。
任职要求
1、采集、清洗、监控、配置化、调度、反爬、数据爬取、分词、检索等数据采集研发；
2、较强的逻辑思维和发散思维；
3、计算机或相关专业本科及以上学历。
爬虫工程师岗位职责 第6篇
岗位职责：
1、负责网络爬虫的架构设计、开发与优化；
2、负责抓取数据的清洗、落地、分析；
3、抓取策略算法的更新维护，以及确保数据抽取准确、高效。
任职要求：
1、两年及以上互联网或软件行业工作经验；
2、理解http协议，熟悉html、dom、xpath；
3、熟悉linux开发环境，至少熟悉python/go/java/node、js中的一种编程语言；
4、有爬虫、信息抽取、文本分类、大数据处理相关经验优先；
5、有自然语言处理、机器学习经验优先；
6、熟悉浏览器内核、渲染机制优先；
7、工作认真，细心，有条理，积极性高；良好的沟通能力及团队合作精神。
爬虫工程师岗位职责 第7篇
职责描述：
1、负责网络爬虫系统的设计与开发
2、对爬取的网页信息进行数据抽取，清洗和去重等工作
任职要求：
1、2年及以上网络爬虫开发经验，本科及大专学历，计算机相关专业，
2、积极、沟通顺畅，工作认真负责
3、扎实的编程能力，熟悉常用算法和数据结构等基础知识
4、熟练掌握开发语言java或c/c++，熟悉脚本语言和正则表达式
爬虫工程师岗位职责 第8篇
岗位职责：
1、参与app爬虫项目的架构设计、研发工作，改进和提升爬虫效率；
2、攻破各种反爬策略；
3、解决各类技术疑难问题，包括网络问题、app分析、反编译等；
4、与大数据工程师对接，完成实时数据与离线数据的爬取与对接；
任职资格：
1、计算机及相关专业本科及以上学历，两年以上相关工作经验；
2、精通至少一种开发语言，如python、java；
3、熟练掌握一种开源爬虫框架，如scrapy、webmagic，有研发爬虫框架经验者优先；
4、熟悉appium、selenium等技术；
5、善于独立分析并解决核心问题，如javascript反爬、爬虫策略、防屏蔽规则、app爬取、验证码识别技术等；
6、熟悉mysql，？mongodb，？redis，？elasticsearch等数据库；
7、对爬虫有浓厚的兴趣，责任感强，有较好的交流沟通能力和团队合作能力；
8、有app安全、逆向等领域经验的优先；
爬虫工程师岗位职责 第9篇
职位描述：
1、负责设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析工作；
2、负责网页信息和app数据抽取、清洗、消重等工作，提升平台的抓取效率；
3、参与爬虫核心算法和策略优化，熟悉采集系统的调度策略；
4、实时监控爬虫的进度和警报反馈。
任职要求：
1、有扎实的算法和数据结构能力；
2、熟悉爬虫原理，熟悉常见的反爬虫技术，有爬虫相关项目开发经验者优先；
3、掌握http协议，熟悉html、dom、xpath等常见的数据抽取技术；
4、有大规模数据处理、数据挖掘、信息提取等经验者优先。
爬虫工程师岗位职责 第10篇
工作内容：
1、基础系统架构、模块、库和组件的研发；
2、分布式海量数据存储和分析系统的研发和调优；
3、统计分析、报表、saas业务等系统研发；
4、crm、财务结算、工作流等内部管理系统的研发。
能力要求：
1、至少使用php/java/python等一门以上语言，开发过不算太小的项目；
2、熟悉数据结构、db、os、web开发等相关知识，对linux相关的各类技术情有独钟；
3、有大规模、高性能互联网网站系统相关的设计和开发经验者优先；
4、具备良好的学习能力和成长潜力，渴望和团队一起快速成长。
爬虫工程师岗位职责 第11篇
职位要求
1、计算机相关专业，本科及以上学历，3年以上爬虫相关工作经验；
2、对爬虫编程有强烈爱好，熟练精通掌握至少1种语言java、python，在需要的情况下能快速上手新语言切换；
3、深入理解tpc/ip、http、以及web登录认证的机制，有成功破解复杂验证码的经验；
4、有通用分布式爬虫系统架构和开发经验，能快速部署新的爬虫应用；
5、已有2年以上网络爬虫或搜索引擎工作经验，参与过大规模数据爬虫优先考虑；
6、有app安全、逆向等领域的经验；
7、具有良好的沟通、团队协作、计划能力，有过1—2人的团队管理经验。
岗位职责
1、建设完善分布式爬虫系统；
2、建立通用的爬虫框架，能够快速适应新的爬虫需求；
3、快速完成对目标资源的数据抓取、处理。
爬虫工程师岗位职责 第12篇
职位描述：
负责设计和开发分布式网络爬虫系统
应用多种技术对各平台进行数据采集
设计数据采集策略，提升数据采集效率及质量
与各行业分析师沟通，分析项目的可行性和讨论抓取方案。
两年以上爬虫开发相关经验，本科及以上学历，计算机相关专业为佳
熟练掌握c#或java开发语言为佳
了解tcp/ip，http及相关网络协议
熟悉js / html / xpath / json /正则表达式等网页相关技术
熟悉分布式、多线程、缓存、消息队列等互联网技术
熟悉手机应用的数据抓取，手机app开发经验，加/脱壳经验为佳
良好的沟通技能，注重细节，抗压性强
良好的英语沟通技能为佳
爬虫工程师岗位职责 第13篇
职责描述：
1、分析和定义sap项目中pp模块相关业务需求；
2、指导sap项目pp业务人员制定pp模块业务蓝图；
3、提供sap项目pp模块功能设计方案，完成后台配置、单元测试、集成测试，并输出相应文档；
4、培训sap项目中pp模块相关业务用户的sap系统技能，指导相关业务sap用户完成sap系统操作手册的编写、sap岗位权限的分配；
5、指导sap项目中pp模块相关业务用户进行项目上线工作，提供sap项目中pp模块上线及后续维护的sap技术支持服务；
6、分析和确认pp模块业务用户反馈的sap日常使用问题并能及时解决。
职位要求：
1、计算机或管理相关专业专科及以上学历；
2、有制造行业经验，熟悉制造业生产、计划、物料采购与仓库、供应链管理等流程；
3、熟悉sap pp产品和解决方案，熟悉sap pp后台配置，具有pp模块独立实施能力，有5个以上sap项目的pp模块实施经验；
4、具有外部实施经验或sap s/4 项目实施经验优先考虑；
5、较强的工作责任心以及独立性，具备持续学习的'热情；
6、有良好的表达和沟通能力、团队合作精神、较强的学习和创新能力；
爬虫工程师岗位职责 第14篇
工作职责:
负责炼钢项目自动化系统应用软件编程，系统测试和现场调试。
负责协助解决项目执行过程中的技术问题。
知识/能力:
扎实的工业自动化及控制理论知识。
熟练应用西门子tia博途，pcs7，step7，wincc等编程软件。
熟悉西门子自动化产品:plc400，plc1500，et200。
熟悉工业现场总线:profinet，profibus。
良好的英语阅读及口语能力。
动手能力强， 吃苦耐劳，能接受频繁的国内或国际出差。
经验:
3年以上自动化行业的工作经验;
1年以上钢铁行业炼钢项目的自动化工程经验或现场应用经验;
良好的沟通技巧和团队合作精神;
教育:
大专或本科以上学历
电气自动化或相关专业
炼钢工程师岗位
爬虫工程师岗位职责 第15篇
岗位职责
1、负责防雷系统的方案设计、安装以及编程、调试等工作内容。能熟练运用产品系列的plc、ddc软件的设计、编程及调试,熟悉主流产品的性能(西门子、霍尼韦尔、江森等),有独立完成的相关成功案例优先;
2、负责与客户的技术沟通,方案制定,点表、清单、系统原理图、配盘图的制作等;
3、负责项目的深化(施工图)设计、施工交底和现场技术支持等;
4、针对防雷项目需求,负责对外技术交流以及对客户提出的专业技术问题进行解答。
任职资格
1、本科学历;电气、自动化控制、计算机、通信及建筑电气专业毕业优先;
2、熟悉防雷相关设备产品与性能,具有1年以上防雷行业工作经验者优先;
3、掌握弱电系统专业理论知识,熟悉cad绘图以及软硬件基础知识,对防雷系统的设计、安装、调试等相关经验优先考虑;
4、工作积极主动,认真负责,踏实细心,有高度的责任心和工作热情,具备团队合作精神。
爬虫工程师岗位职责 第16篇
岗位职责:
1、跟催设计进展,协调解决现场设计问题;
2、协调工程部、设计院、监理及施工单位之间的图纸修改工作;
3、协助配套部门搞好建筑施工图纸送审工作;
4、协调各设计顾问单位的工作,助现场问题的设计解决;
5、工程竣工时校核施工单位的竣工图,协调预算部门搞好工程决算;
6、完成上级交办的其它工作。
任职要求:
1、大专及以上学历,设计或建筑相关专业;
2、5年以上甲方或总承包机电管理经验;
3、了解土建、水电、精装修等各工种穿插作业中设计的协调内容和工作重点;
4、了解国家和地方建筑法规规范,熟悉房产项目设计规范,熟练使用autocad、office等相关绘图办公软件;
5、熟悉现场管理,具有较强的沟通协调能力,有责任感、进取心及良好的团队合作精神。
爬虫工程师岗位职责 第17篇
岗位职责：
1、负责编制各类总承包工程项目比的材料设备采购计划、采购成本控制目标和开展控制工作；
2、负责制定分项招标方案与实施计划；
3、负责组织材料设备采购招投标工作；
4、负责组织合作单位的中间评估及后评估工作，建立合格供方资料库；
5、负责市场调查与行业设备价格信息跟踪，建立材料、设备的性价比数据库。
任职要求：
1、本科学历，机械工程或环境工程相关专业；
2、有23年污水处理厂相关工作经验，或相关设备采购经验优先；
3、具有一定的.英文听说读写能力；
4、了解采购流程，对设备，机械电气相关产品有一定基础；
5、熟练使用word，excel等办公软件和autocad软件；
6、工作细致认真，责任心强，思维敏捷，具有较强的团队合作精神；
7、严格目标、遵守法纪、诚信敬业。
爬虫工程师岗位职责 第18篇
岗位职责:
1、保障特殊气体、化学品输送系统及设备安全、稳定、连续运行;
2、掌握气化各设备、系统的原理和运行要求并有针对性的提出管理措施;
3、掌握和了解气化各设备和系统的维护要求并执行维护计划;
4、负责建立健全的设备管理制度、维护保养制度和建立完整的动力设备和系统台账;
5、及时发现设备运行中的.隐患,对系统设备出现的故障进行原因分析,提出解决方案并解决故障,确保设备正常运行;
6、处理气化系统异常问题及突发事件。
任职要求:
1、化学、机械、自动化等相关专业本科及以上学历。
2、3年以上同岗位实际工作经验;
3、有光伏太阳能气体化学品系统管理经验优先
4、能吃苦耐劳,责任心强,善于沟通。
爬虫工程师岗位职责 第19篇
1、 根据软件的特定用户群，提出构思贴切、有吸引力的创意设计;
2、 与美工配合，生成及优化HTML及CSS静态页;
3、 对页交互进行优化，使用户操作更趋于人性化;
4、 收集和分析用户对于UI的需求;
5、 优化公司UI规范。
爬虫工程师岗位职责 第20篇
职位描述：
1、负责基于深度学习的超分辨率算在流媒体和短视频场景的研究与落地；
2、负责视频前、后处理增强算法的研究与落地，包括但不限于视频去噪，色彩增强，视频去抖，视频去模糊，暗光效果提升；
3、优化模型和算法在移动端的计算性能；
4、探索和实现最新的移动端优化技术。
任职要求：
1、精通pythpn，c/c++编程语言，具有扎实的数据结构/算法基础；
2、熟悉opencv等常用库，熟练使用一种或几种深度学习框架（tensorflow、 caffe）；
3、有android/ios开发经验优先；
4、有深度学习模型压缩经验优先考虑；
5、具备算法开发实现能力，熟悉c/c++、cuda、python等编程语言；
6、良好的英语能力，能熟练阅读英文论文和专利。
爬虫工程师岗位职责 第21篇
1.负责土地利用总体规划及专项规划、土地整治可研及规划设计报告的编制及部门技术工作的审查;
2.熟悉土地利用总体规划、村庄规划、规划局部修改、建设用地预审、土地复垦整理等工作流程;
3.熟悉土地规划、城乡规划、国土空间规划的政策技术规范，熟练掌握各项规划文本、图件的编制能力;
爬虫工程师岗位职责 第22篇
职责
1、针对海量用户行为数据进行挖掘和建模，深入挖掘数据的业务价值。研究机器学习或统计学习领域的前沿技术，并能活学活用到项目中。
2、基于对汽车广告投放业务及用户的理解，参与精准营销、个性化推荐等模型建设和领域研究，提升转化率等业务指标。
3、根据业务需要采集相关数据，对原始数据进行ETL和归类整理，并实现流程自动化。
4、其他大数据处理及项目开发工作等。
任职要求:
1、本科及以上学历，至少3年以上机器学习、数据挖掘相关经验。
2、精通一门语言JAVA或Python等，较强的算法和数据结构功底;熟悉大规模数据挖掘、机器学习等相关技术,熟悉Hadoop/Spark/SparkML等优先。
3、喜欢研究新技术，优秀的分析和解决问题的能力，对挑战性问题充满激情。
4、具备良好的分析问题能力、沟通能力和团队合作能力，具备很强的学习和钻研能力
5、关注技术发展趋势，热爱开源，为开源项目贡献过代码优先。
爬虫工程师岗位职责 第23篇
一、认真贯彻执行上级各项技术，方针，政策，及时把施工方案传达到每个员工，确保安全生产。
二、认真编写施工措施，及时送交有关部门和领导审批，并及时传达到每个员工。
三、认真负责做好核算，杜绝各种材料浪费现象，坚持深入一线，检查工程质量，生产进度及用料情况。
四、及时和上级技术部门取的联系保证生产接续，确保严格管理，一步到位，准确无误。
五、按时参加技术部门的业务学习和专业会议，提高自己的业务水平，做到理论联系实际，正确指导现场工作。
六、定期组织职工学习各种安全业务知识，提高工作质量，干好自己的本职工作。
爬虫工程师岗位职责 第24篇
综合布线工程师职位要求
1、计算机相关专业,大专及以上学历。有相关专业证书者优先,包括:ocp、mcse、mcdba证书
2、了解综合布线或通信类电缆连接器等产品的相关标准
3、熟悉综合布线产品与系统集成施工
4、精通linu*/uni*/windows操作系统
5、熟悉tcp/ip协议;熟悉路由器、交换机等网络设备
6、具有动手能力和设备软硬件排障能力
爬虫工程师岗位职责 第25篇
1. 定义底盘系统(转向、车辆性能/零件调试、车架及动力总成悬置、悬架、制动、车轮轮胎)及子系统关键特征;
2. 定义底盘系统及子系统恰当的尺寸和公差;
3. 确定底盘零部件的要求和测试规范;
4. 负责底盘零部件的技术设计、工作图样绘制及技术文件编制工作;
5. 负责对底盘技术问题和质量问题进行分析，并提出持续改进措施;
6. 负责新开发的底盘零部件的试制、改进及验证跟踪工作;
7. 进行底盘零部件样品的确认封样工作，并协同相关部门进行合格供方的评审及技术协议的签订;
8. 维护底盘零部件清单并保证全球描述系统中底盘零部件发布的正确性。
爬虫工程师岗位职责 第26篇
职责描述:
负责内部及客户网站建设方面的web前端部分
1.根据团队规范和设计图,进行前端代码实现(css/html/javascript),包括pc和移动,部分需要和后端进行数据交互实现;
2.负责项目方面技术支持,包括问题处理、技术方案梳理。
任职要求:
1.大专或本科及以上学历;
2.熟练css(含css3)、html(含html5)进行前端页面的编写。
3.熟悉javascript(含ajax、dom操作)进行前端交互功能的实现和代码编写,并熟练运用jquery进行开发。
4.主动的沟通习惯、抗压能力强、良好的职业素养。
以下是加分项:
1.有接触过cms、php、模块化开发、前端代码优化等web相关领域。
2.在javascript领域有系统化的学习,并且熟练掌握面向对象编程思想,能自主主导小型项目的前端部分。
3.规范的代码习惯、清晰的页面写法。
爬虫工程师岗位职责 第27篇
1、负责/参与应用系统平台设计、重构、优化,主导/参与技术难题攻关;
2、负责并参与系统需求分析、功能模块详细设计,完成系统业务功能实现、测试及维护工作;
3、负责编写相应的需求、设计与技术文档,向系统使用者提供技术支持服务;
4、参与线上系统环境的升级、运维监控、性能调优;
5、推动跟进业务线需求,为改善系统的功能积极提出建议。
爬虫工程师岗位职责 第28篇
岗位职责：
1、电力SCADA系统接口调试，编写接口规格书、系统规格书；
2、现场电力SCADA系统调试；
3、现场调试进度管理，并同各方交流解决实施过程中的问题；
4、参与设计联络，配合项目经理完成相关任务目标。
岗位要求：
1、电气自动化专业（强电或弱电仪表方向），研究生以上学历，大学英语六级，985和211高校毕业生优先；
2、熟悉组态软件和SCADA系统原理，调试和相关技术；
3、具备需求分析和系统设计能力，以及较强的逻辑分析和独立解决问题能力；
4、责任心强，有钻研新技术的兴趣和能力，具有良好的沟通能力和团队合作精神。