基础信息
学历：本科
学校：华中农业大学
专业：教育技术学
身体状况：健康
求职意向
意向城市：广东省珠海市
教育经历
华中农业大学
2017.09 ~ 2021.06
教育技术学
本科
主修课程：中外文化史、文学概论、社会学研究、美学原理、管理学通论、科学研究方法、现代
汉语、中外名著选读、自然与人文、科学与人文、教育技术学、教学系统设计、计算机教育基础、
网络教育应用、远距离教育、电视教材设计与制作、教育技术研究方法、教育传播学。
爬虫开发工程师
工作经历
性别：女
上海汽车集团股份有限公司
爬虫开发工程师
2021-12-1 ~ 2022-5-1
生日：1984.05
常规采集，负责编写 web 端和 APP 端资讯内容的爬虫脚本。
自媒体采集，负责对自媒体网站的咨询实时采集。
对历史脚本修改维护，保障数据正常实时采集。
处理一些临时需求网站采集。
负责对公司数据与其他同类型公司数据就行对比。
负责 redis 监控与优化。
电话：188-8888-8888
邮箱：email@jianli1.com
所在地：广东省珠海市
技能列表
REDIS
中国冶金科工股份有限公司
2022-6-1 ~ 2022-11-1
爬虫开发工程师
负责公司项目功能开发，测试（金蝶云星空、掌上问答等）。
在公司主要负责对客户感兴趣的美股上市公司旗下网站，进行爬虫程序开发。
参与 0-1 项目，进行用户调研并产出需求报告。
eclipse
大数据选址行业领跑企业，公司总部位于北京。
MongoDB
Hadoop
项目经验
上汽相关项目
上海汽车集团股份有限公司
2021-12-1 ~ 2022-5-1
爬虫开发工程师
用 Python 语言开发爬虫，用到 requests、pyquery、bs4 等库
爬取免费代理 IP，用 redis 数据库做 IP 池缓存，绕过 IP 封禁
用 mongodb 做数据存储，利用 mlxtend 机器学习库进行简单的数据分析
冶金科工相关项目
2022-6-1 ~ 2022-11-1
中国冶金科工股份有限公司
爬虫开发工程师
项目简介 :定时提取全国各城市政策公示信息
完成爬虫选型>数据库搭建>爬虫环境部署和搭建等
1．分析业务需求需提取 URL 网站特点,多为静态页面少量动态渲染页面,无加密,登录需求,请
求方式 GET 请求,
2．URL 数量较多观察页面结构相似结构页面通过通用解析方式实现代码解析.面向对象
3．选型爬虫框架 scrapy,方便爬虫管理设置,满足高并发需求,提取逻辑为广度优先
4．通过设置布隆去重解决去重空间文件(空间)
5．根据业务字段建立数据表,做好入库准备,
6．编写爬虫,实现数据爬取.
7．设计是全量和定量切换代码, 解决后期调试问题!
8．后期根据业务需求修改为分布式爬虫
自我评价
主语言：Python，辅语言：Android、Java、Js。
熟悉使用 Git、SVN 团队合作开发。
上进，做事有责任心、热爱技术、喜欢交流与专研。
掌握 Python 编程语言，熟悉常用 SQL 相关语句，熟练使用 Airtest 自动化工具，掌握 Fiddler、mitmproxy 等抓包工具的使用，能
够熟练的对 APP 进行数据采集。
