基础信息

学历:本科

学校:中山大学

专业:软件与信息服务

身体状况:健康

求职意向

意向城市:广东省珠海市

教育经历

中山大学

2010.09 ~ 2014.06

软件与信息服务

本科

C 语言程序设计、Oracle/SQL Server 数据库应用与设计、软件工程、数据结构、Java 程

序设计、Asp。

net 程序设计、C/S 架构程序开发实战、J2EE 软件开发技术、CMMI 软件过程和信息安全、

软件测试技术、C#面向对象程序设计、GUI 应用程序开发、ASP.NETWEB 开发、使用

UML 的面向对象分析与设计、SQLSERVER 数据库及应用、ADO.NET 与 XML 程序开发、

WebUI 设计、WEB 前端开发技术(jQuery&EasyUI)、JSP 网络程序开发、数码图像技

术、数据备份与恢复。

爬虫开发工程师

性别:女

生日:1987.05

电话:188-8888-8888

邮箱:email@jianli1.com

所在地:广东省珠海市

工作经历

上海钢联电子商务股份有限公司

爬虫开发工程师

2014-2-1 ~ 2018-8-1

大数据选址行业领跑企业,为公司创造营收超千万元。

针对境外社交媒体,youtube 上的相关评论数据收集和处理(如微博、小红书等)根本原

因:公司为了让售卖更精准地图服务器行情分析需。

技能列表

参与 0-1 项目,负责东风标致、今日头条等产品的媒介策略制定。

负责日常数据分析,提出解决问题的方法论。

Java

MongoDB

python

爬虫

国电电力发展股份有限公司

爬虫开发工程师

2018-9-1 ~ 2023-1-1

针对境外社交媒体,youtube 上的相关评论数据收集和处理(如微博、小红书等)根本原

因:公司为了让售卖更精准地图服务器行情分析需。

参与 0-1 项目,对接甲方公司调研需求、进行整体规划组织并确立产品的定位及发展趋势。

负责日常数据分析,产品优化信息总结等。

负责公司项目功能开发,对接 ios、安卓。

项目经验

钢联电子商务相关项目

2014-2-1 ~ 2018-8-1

上海钢联电子商务股份有限公司

爬虫开发工程师

项目概况:定时定向采集美团外卖 app、饿了么等外卖平台的数据,用于业务分析、服务

咨询

项目管理:采用 gitlabworkflow 进行任务分配,进度管理

爬虫架构的设计、落地:采用 DevOps,快速迭代

技术难关的攻克:app 加固,js 代码混淆等

爬取策略的优化:反爬、假数据的处理等

国电电力发展相关项目

2018-9-1 ~ 2023-1-1

国电电力发展股份有限公司

爬虫开发工程师

主要爬取拉勾网的一二线城市前端,php,java,python,数据分析和爬虫等公司的薪资,招聘需求,规模,地址等信息,用于

参考资料

在该项目中,主要使用了 scrapy_redis,代理池,url 和数据的去重,持久化,增量式爬虫等

主要责任是:

分析目标网站,使用代理测试网站反爬虫的级别,并解决具体反反爬措施

利用 re 和 json 提取数据

数据保存到 mongodb

后期的维护,像代理池的维护,目标网站的反爬策略变化

自我评价

一本计算机科班毕业,四年的 python 开发经验,三年的数据采集和爬虫开发经验

熟练使用 requests、scrapy、httpx、aiohttp 等爬虫框架,对 scrapy 源码有过深入理解

熟悉 html、dom 树、javascript、css、ajax、xpath 等前端知识

熟悉 Mysql、Mongodb、redis 等主流数据库的操作和配置

对于 git、svn 等版本管理工具,有丰富的使用经验,注重项目的工程规范以及代码的封装性、可复用性,具备良好的编程习惯

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注