爬蟲(chóng)工程師崗位職責
在現在社會(huì )，崗位職責使用的頻率越來(lái)越高，制定崗位職責可以有效規范操作行為。那么你真正懂得怎么制定崗位職責嗎？以下是小編精心整理的爬蟲(chóng)工程師崗位職責，希望能夠幫助到大家。
爬蟲(chóng)工程師崗位職責1
職責描述：
1、負責公司產(chǎn)品的爬蟲(chóng)架構設計與開(kāi)發(fā)，以及爬蟲(chóng)策略?xún)?yōu)化等工作；
2、根據數據產(chǎn)品需求，負責對網(wǎng)頁(yè)等大規模文本數據抓取、清洗、存儲等設計開(kāi)發(fā)工作；
任職要求：
1、計算機、數學(xué)或統計等相關(guān)專(zhuān)業(yè)本科及以上學(xué)歷，1年以上爬蟲(chóng)相關(guān)工作經(jīng)驗；
2、熟悉linux平臺，熟練掌握python或java爬蟲(chóng)開(kāi)發(fā)工作；
3、熟悉靜態(tài)、動(dòng)態(tài)網(wǎng)頁(yè)等大規模文本數據的高效信息抽取、清洗、存儲等技術(shù)；
4、有反爬相關(guān)問(wèn)題處理經(jīng)驗，精通常用的爬蟲(chóng)技術(shù)及架構設計，并能快速開(kāi)發(fā)實(shí)現；
5、具備良好的編程習慣和算法基礎；
6、善于學(xué)習，熱愛(ài)技術(shù)開(kāi)發(fā)，善于團隊協(xié)作，能積極主動(dòng)地參與公司產(chǎn)品研發(fā)等相關(guān)工作。職責描述：
1、負責公司產(chǎn)品的爬蟲(chóng)架構設計與開(kāi)發(fā)，以及爬蟲(chóng)策略?xún)?yōu)化等工作；
2、根據數據產(chǎn)品需求，負責對網(wǎng)頁(yè)等大規模文本數據抓取、清洗、存儲等設計開(kāi)發(fā)工作；
爬蟲(chóng)工程師崗位職責2
職位描述：
負責設計和開(kāi)發(fā)分布式網(wǎng)絡(luò )爬蟲(chóng)系統
應用多種技術(shù)對各平臺進(jìn)行數據采集
設計數據采集策略，提升數據采集效率及質(zhì)量
與各行業(yè)分析師溝通，分析項目的可行性和討論抓取方案。
兩年以上爬蟲(chóng)開(kāi)發(fā)相關(guān)經(jīng)驗，本科及以上學(xué)歷，計算機相關(guān)專(zhuān)業(yè)為佳
熟練掌握c#或java開(kāi)發(fā)語(yǔ)言為佳
了解tcp/ip，http及相關(guān)網(wǎng)絡(luò )協(xié)議
熟悉js / html / xpath / json /正則表達式等網(wǎng)頁(yè)相關(guān)技術(shù)
熟悉分布式、多線(xiàn)程、緩存、消息隊列等互聯(lián)網(wǎng)技術(shù)
熟悉手機應用的數據抓取，手機app開(kāi)發(fā)經(jīng)驗，加/脫殼經(jīng)驗為佳
良好的溝通技能，注重細節，抗壓性強
良好的英語(yǔ)溝通技能為佳
爬蟲(chóng)工程師崗位職責3
崗位職責
1、熟悉線(xiàn)程池、并發(fā)機制、鎖機制、線(xiàn)程安全原理；
2、java體系知識：網(wǎng)絡(luò )io、設計模式、linux、jvm、java類(lèi)加載機制、java內存模型；
3、爬蟲(chóng)經(jīng)驗：webmagic、adsl撥號、正則表達式、脫殼技術(shù)、加密、圖片破解、二維碼識別、滑塊驗證碼破解、httpclient、分詞、分布式爬蟲(chóng)調度、數據質(zhì)量監控、代理ip調度算法、配置化爬蟲(chóng)、授權爬蟲(chóng)、輿情、應用市場(chǎng)、反爬；
4、熟悉http/http、tcp/ip、socket等通訊協(xié)議；
5、6年以上軟件開(kāi)發(fā)經(jīng)驗，至少2年爬蟲(chóng)開(kāi)發(fā)經(jīng)驗。
任職要求
1、采集、清洗、監控、配置化、調度、反爬、數據爬取、分詞、檢索等數據采集研發(fā)；
2、較強的邏輯思維和發(fā)散思維；
3、計算機或相關(guān)專(zhuān)業(yè)本科及以上學(xué)歷。
爬蟲(chóng)工程師崗位職責4
職位描述：
1、開(kāi)發(fā)網(wǎng)頁(yè)自動(dòng)化腳本。
2、負責商品信息結構化，編寫(xiě)自動(dòng)化腳本解析網(wǎng)頁(yè)信息。
3、商品索引系統：億級sku的庫存價(jià)格實(shí)時(shí)跟蹤同步，并對商品進(jìn)行智能分類(lèi)、本地化、圖片處理和去重。
4、設計、開(kāi)發(fā)、測試、部署以及維護并改進(jìn)各子系統；
5、管理項目?jì)?yōu)先級并按時(shí)交付。
職位要求：
1、全日制統招本科、碩士畢業(yè)，1年以上軟件開(kāi)發(fā)工作經(jīng)驗；
2、熟悉至少一門(mén)通用靜態(tài)編譯編程語(yǔ)言，c/c++/java/c#/go；
3、熟悉web端基礎標準，包括html、css、javascript、json等；
4、熟悉python或其他腳本語(yǔ)言，有興趣和能力根據需求學(xué)習其他編程語(yǔ)言；
5、熟悉unix/linux環(huán)境，memcache/redis/mongodb等存儲系統，能獨立設計開(kāi)發(fā)包括前后端交互的業(yè)務(wù)子系統；
6、熟悉常見(jiàn)的'設計模式、單元測試、持續開(kāi)發(fā)集成、code review，并能在日常工作踐行；
7、了解搜索引擎、電子商務(wù)、社交類(lèi)應用的系統基本架構，能對已有的子系統進(jìn)行優(yōu)化調整的優(yōu)先；
8、活躍的開(kāi)源項目貢獻者優(yōu)先。
爬蟲(chóng)工程師崗位職責5
職位描述：
1、參與爬蟲(chóng)系統的架構設計與開(kāi)發(fā)；
2、負責執行和開(kāi)發(fā)分布式網(wǎng)絡(luò )爬蟲(chóng)系統，進(jìn)行多平臺信息的抓取和分析；
3、負責網(wǎng)頁(yè)信息和app數據抽取、清洗、消重等工作，提升平臺的抓取效率；
4、參與爬蟲(chóng)核心算法和策略?xún)?yōu)化，熟悉采集系統的調度策略；
5、實(shí)時(shí)監控爬蟲(chóng)的進(jìn)度和警報反饋。
任職要求：
1、本科以上學(xué)歷，3年以上爬蟲(chóng)開(kāi)發(fā)相關(guān)經(jīng)驗，熟練使用python或java進(jìn)行開(kāi)發(fā)；
2、熟練使用正則表達式、css path、xpath等，能夠從結構化的和非結構化的數據中獲取信息；
3、熟練使用mysql數據庫，掌握redis、mongodb、hive等常用nosql技術(shù)并具有實(shí)戰經(jīng)驗；
4、熟悉各種抓取技術(shù)，包括代理、phantomjs/selenium、驗證碼處理；
5、熟悉整個(gè)爬蟲(chóng)的設計及實(shí)現流程，有從事網(wǎng)絡(luò )爬蟲(chóng)、網(wǎng)頁(yè)信息抽取開(kāi)發(fā)經(jīng)驗，熟悉反爬蟲(chóng)技術(shù)，有分布式爬蟲(chóng)架構經(jīng)驗；
6、具有數據挖掘、自然語(yǔ)言處理、信息檢索、機器學(xué)習背景者優(yōu)先；
7、快速學(xué)習能力，工作積極主動(dòng)，有創(chuàng )業(yè)熱情和良好的團隊協(xié)助能力；
8、需要有大量數據爬取以及高難度反爬經(jīng)驗，沒(méi)有相關(guān)經(jīng)驗的勿擾。
爬蟲(chóng)工程師崗位職責6
工作內容：
1、基礎系統架構、模塊、庫和組件的研發(fā)；
2、分布式海量數據存儲和分析系統的研發(fā)和調優(yōu)；
3、統計分析、報表、saas業(yè)務(wù)等系統研發(fā)；
4、crm、財務(wù)結算、工作流等內部管理系統的研發(fā)。
能力要求：
1、至少使用php/java/python等一門(mén)以上語(yǔ)言，開(kāi)發(fā)過(guò)不算太小的項目；
2、熟悉數據結構、db、os、web開(kāi)發(fā)等相關(guān)知識，對linux相關(guān)的各類(lèi)技術(shù)情有獨鐘；
3、有大規模、高性能互聯(lián)網(wǎng)網(wǎng)站系統相關(guān)的設計和開(kāi)發(fā)經(jīng)驗者優(yōu)先；
4、具備良好的學(xué)習能力和成長(cháng)潛力，渴望和團隊一起快速成長(cháng)。
爬蟲(chóng)工程師崗位職責7
崗位職責：
1、參與app爬蟲(chóng)項目的架構設計、研發(fā)工作，改進(jìn)和提升爬蟲(chóng)效率；
2、攻破各種反爬策略；
3、解決各類(lèi)技術(shù)疑難問(wèn)題，包括網(wǎng)絡(luò )問(wèn)題、app分析、反編譯等；
4、與大數據工程師對接，完成實(shí)時(shí)數據與離線(xiàn)數據的爬取與對接；
任職資格：
1、計算機及相關(guān)專(zhuān)業(yè)本科及以上學(xué)歷，兩年以上相關(guān)工作經(jīng)驗；
2、精通至少一種開(kāi)發(fā)語(yǔ)言，如python、java；
3、熟練掌握一種開(kāi)源爬蟲(chóng)框架，如scrapy、webmagic，有研發(fā)爬蟲(chóng)框架經(jīng)驗者優(yōu)先；
4、熟悉appium、selenium等技術(shù)；
5、善于獨立分析并解決核心問(wèn)題，如javascript反爬、爬蟲(chóng)策略、防屏蔽規則、app爬取、驗證碼識別技術(shù)等；
6、熟悉mysql，？mongodb，？redis，？elasticsearch等數據庫；
7、對爬蟲(chóng)有濃厚的興趣，責任感強，有較好的交流溝通能力和團隊合作能力；
8、有app安全、逆向等領(lǐng)域經(jīng)驗的優(yōu)先；
爬蟲(chóng)工程師崗位職責8
崗位職責：
1、負責網(wǎng)絡(luò )爬蟲(chóng)的架構設計、開(kāi)發(fā)與優(yōu)化；
2、負責抓取數據的清洗、落地、分析；
3、抓取策略算法的更新維護，以及確保數據抽取準確、高效。
任職要求：
1、兩年及以上互聯(lián)網(wǎng)或軟件行業(yè)工作經(jīng)驗；
2、理解http協(xié)議，熟悉html、dom、xpath；
3、熟悉linux開(kāi)發(fā)環(huán)境，至少熟悉python/go/java/node、js中的一種編程語(yǔ)言；
4、有爬蟲(chóng)、信息抽取、文本分類(lèi)、大數據處理相關(guān)經(jīng)驗優(yōu)先；
5、有自然語(yǔ)言處理、機器學(xué)習經(jīng)驗優(yōu)先；
6、熟悉瀏覽器內核、渲染機制優(yōu)先；
7、工作認真，細心，有條理，積極性高；良好的溝通能力及團隊合作精神。
爬蟲(chóng)工程師崗位職責9
職責描述：
1、負責網(wǎng)絡(luò )爬蟲(chóng)系統的設計與開(kāi)發(fā)
2、對爬取的網(wǎng)頁(yè)信息進(jìn)行數據抽取，清洗和去重等工作
任職要求：
1、2年及以上網(wǎng)絡(luò )爬蟲(chóng)開(kāi)發(fā)經(jīng)驗，本科及大專(zhuān)學(xué)歷，計算機相關(guān)專(zhuān)業(yè)，
2、積極、溝通順暢，工作認真負責
3、扎實(shí)的編程能力，熟悉常用算法和數據結構等基礎知識
4、熟練掌握開(kāi)發(fā)語(yǔ)言java或c/c++，熟悉腳本語(yǔ)言和正則表達式
爬蟲(chóng)工程師崗位職責10
職位描述：
1、負責設計和開(kāi)發(fā)分布式網(wǎng)絡(luò )爬蟲(chóng)系統，進(jìn)行多平臺信息的抓取和分析工作；
2、負責網(wǎng)頁(yè)信息和app數據抽取、清洗、消重等工作，提升平臺的抓取效率；
3、參與爬蟲(chóng)核心算法和策略?xún)?yōu)化，熟悉采集系統的調度策略；
4、實(shí)時(shí)監控爬蟲(chóng)的進(jìn)度和警報反饋。
任職要求：
1、有扎實(shí)的算法和數據結構能力；
2、熟悉爬蟲(chóng)原理，熟悉常見(jiàn)的反爬蟲(chóng)技術(shù)，有爬蟲(chóng)相關(guān)項目開(kāi)發(fā)經(jīng)驗者優(yōu)先；
3、掌握http協(xié)議，熟悉html、dom、xpath等常見(jiàn)的數據抽取技術(shù)；
4、有大規模數據處理、數據挖掘、信息提取等經(jīng)驗者優(yōu)先。
爬蟲(chóng)工程師崗位職責11
職位要求
1、計算機相關(guān)專(zhuān)業(yè)，本科及以上學(xué)歷，3年以上爬蟲(chóng)相關(guān)工作經(jīng)驗；
2、對爬蟲(chóng)編程有強烈愛(ài)好，熟練精通掌握至少1種語(yǔ)言java、python，在需要的情況下能快速上手新語(yǔ)言切換；
3、深入理解tpc/ip、http、以及web登錄認證的機制，有成功破解復雜驗證碼的經(jīng)驗；
4、有通用分布式爬蟲(chóng)系統架構和開(kāi)發(fā)經(jīng)驗，能快速部署新的爬蟲(chóng)應用；
5、已有2年以上網(wǎng)絡(luò )爬蟲(chóng)或搜索引擎工作經(jīng)驗，參與過(guò)大規模數據爬蟲(chóng)優(yōu)先考慮；
6、有app安全、逆向等領(lǐng)域的經(jīng)驗；
7、具有良好的溝通、團隊協(xié)作、計劃能力，有過(guò)1—2人的團隊管理經(jīng)驗。
崗位職責
1、建設完善分布式爬蟲(chóng)系統；
2、建立通用的爬蟲(chóng)框架，能夠快速適應新的爬蟲(chóng)需求；
3、快速完成對目標資源的數據抓取、處理。
爬蟲(chóng)工程師崗位職責12
職位描述：
1、負責廣告素材線(xiàn)索和垂直類(lèi)產(chǎn)品爬蟲(chóng)系統的設計、開(kāi)發(fā)
2、抓取數據的清洗、落地、分析
3、抓取策略算法的更新維護，以及確保數據抽取準確、高效
任職要求：
1、具備強悍的編碼能力、扎實(shí)的數據結構和算法功底
2、熟悉tcp，http協(xié)議原理；熟悉ajax工作原理；精通python編程，熟悉一種開(kāi)源爬蟲(chóng)框架和源碼；
3、有爬蟲(chóng)、信息抽取、文本分類(lèi)、大數據處理相關(guān)經(jīng)驗優(yōu)先
4、有自然語(yǔ)言處理、機器學(xué)習經(jīng)驗優(yōu)先
【爬蟲(chóng)工程師崗位職責】相關(guān)文章：
《小爬蟲(chóng)》閱讀答案01-09
小爬蟲(chóng)的啟示作文11-24
小爬蟲(chóng)閱讀答案10-06
無(wú)處不在的爬蟲(chóng)散文06-12
小爬蟲(chóng)的道理課文原文11-01
《小爬蟲(chóng)的道理》閱讀答案09-24
《爬蟲(chóng)歷險記》讀后感02-17
工程師崗位職責11-03