中级爬虫工程师
10000-15000/天
中级爬虫工程师 10000-15000/天
上海
本科
0
发布于 7月22日
职位描述
PythonGoSparkGIT人工智能
关于我们: Dashmote是一家专注于由人工智能技术驱动的下一代数据产品的创业公司,在阿姆斯特丹(总部)和上海设有办事处。我们通过解码地点的数字足迹来连接线下和线上世界,使我们的企业客户能够了解市场并做出更明智的决定。Dashmote在未来几年有雄心勃勃的计划,因此我们需要确保我们有合适的人将这些计划付诸实施。你想通过为Dashmote的核心产品(被一些最大的财富500强公司使用)做出贡献来提升你的职业生涯吗?那么我们正在寻找你。 岗位职责: 1. 负责Scrapy爬虫项目的运维以及数据的清洗提取工作。 2. 根据任务需求,进行网页端或App端的数据爬取工作。 3. 在保证质量的情况下可以成功交付数据。 4. 可以独立解决开发中碰到的问题,并具备良好的沟通能力。 5. 对新鲜技术感兴趣,有责任感,乐于分享,协助团队技术成长。 岗位要求: 1. 2年以上工作经验,计算机,工程或相关学科本科及以上学历。 2. 熟悉Python。 3. 熟悉网络抓取原理、HTTP协议,了解常见的反爬虫原理。 4. 熟练使用requests, Scrapy, BS4, xpath, regex等工具进行网络请求和数据提取。 5. 熟悉数据清洗,能够利用Pandas/Spark进行数据处理。 6. 熟悉版本控制工具(例如git), 熟悉数据库相关技术。 7. 了解JS逆向技术,了解常见的JS反爬手段,熟悉JS调试、定位、注入等。 8. 了解安卓逆向技术,掌握抓包、hook等技术原理。 9. 有海外外卖类平台经验者优先。 10. 英文熟练者优先。 我们的优势: 1. 办公地址位于上海市中心(江苏路地铁站附近),生活便利。 2. Dashmote Flex:居家和公司办公结合 ,每年可全球远程办公20天。 3. 提供笔记本电脑。 4. 内推奖金。 5. 员工培训预算。 6. 我们曾被Google,麦肯锡和Rocket Internet授予欧洲最佳B2B创业公司。 7. 在一支国际化的年轻团队中工作与成长。 8. 轻松自由的工作氛围和互帮互助的团队文化。 9. 各种有趣的团队活动,吃不完的零食喝不完的饮料。
工作地址
上海市/上海市/长宁区 愚园里
相似职位推荐