logo

教学优势

Teaching advantages

图标

全程项目实战

所有技术点的学习都基于项目实战,只有掌握技术才能学会技术,边学边做,边做边学,真正的项目驱动式教学

图标

严管教学

授课+答疑+班主任+就业四师全程监督,有班级学习群,有严苛的学员管理制度,精细化的学习计划

图标

免费终身学习

无论课程更新了多少次,凡是购买了该课程方向的学员都可终身享受最新版课程的学习福利,以及日常对应IT技术的专题课程学习

图标

课程体系实时更新

每门学科建立专业的教研组,结合市场需求实时更新课程体系,确保所学即为技术前沿

图标

面试强化冲刺高薪

简历辅导、模拟面试、职业规划,多位就业老师为您的转行之路加持,目标不仅限于offer,而是一份高薪且满意的offer

课程大纲

Course Outline

第1阶段

Python爬虫基础

第2阶段

Python爬虫高级

第3阶段

Python爬虫进阶

阶段目标:

本阶段需要学员掌握前端JavaScript语言以便于后期阶段为JavaScript逆向解析做准备;需要掌握MySQL,MongoDB,Redis等数据库操作为以后对于数据的存储打下基础,着重掌握Python语言作为整套课程的核心,对于高级操作要求深入掌握尤其文件操作,异步多线程。

第1周:

web前端

知识要点:
Python爬虫行业状况,核心掌握技术,开发工具安装、html基础、css基础、JavaScript基础-变量与运算符、JavaScript基础、 字符串、数组、函数、对象、正则表达式、开发者工具应用、HTTP协议
课程目标:
  • 1. 掌握html基本标签,掌握带有资源标签的处理。
  • 2. 可以使用字体属性,掌握外部字体属性的应用,对基本的css样式可以使用。
  • 3. 理解变量与常量、数据类型、基础的运算符号,熟悉JavaScript的输出。
  • 4. 掌握JavaScript常用字符串方法 语句的使用。
  • 5. 掌握数组对高级数组方法有一定了解。
  • 6. 掌握函数的应用 会自己封装方法 掌握作用域。
  • 7. 掌握对象的使用 对JavaScript工具有一定的认知。
  • 8. 掌握正则表达式 会自己封装正则表达式。
  • 9. 熟练使用开发者工具 掌握常用请求方式以及状态码。

第2周:

Linux系统

知识要点:
linux介绍、 linux安装与配置、xshell安装与使用、文件操作(mkdir,rm,touch,mv,cp ,pwd)、 linux vim cat find、解压缩命令、linux 用户与分组、linux整合
课程目标:
  • 1. 掌握linux安装过程 会使用linux的基本文件操作命令 可以操作。
  • 2. 掌握linux查看编辑文件命令 掌握解压缩命令掌握Linux常用软件安装卸载升级。
  • 3. 熟练掌握linux用户与分组以及权限的设置。

第3周:

数据库集合

知识要点:
MySQL数据库基础、管理数据库和表、使用DML操作数据、数据查询语句、聚合函数与分组查询、MySQL子查询语句编写、 多表连接查询语句、SQL中常用函数的应用和实践、MongoDB数据库基础、MongoDB数据库与集合、MongoDB文档与操作符、 MongoDB 关系、聚合与管道、Redis基础、Redis持久化与事务、Redis具体应用、数据库查漏补缺
课程目标:
  • 1. 掌握mysql安装方式方法,了解sql语句。
  • 2. 熟练掌握mysql的增删改查语句,会使用mysql可视化工具。
  • 3. 熟练掌握MongoDB安装方式方法,了解nosql语句。
  • 4. 熟练掌握MongoD的增删改查语句,会使用MongoD可视化工具。
  • 熟练掌握MongoD的增删改查语句,会使用MongoD可视化工具。

第4周:

Python编程基础

知识要点:
Python编程入门、数据类型、整型、字符串、列表、元组、集合、字典、Python中的控制结构、函数编程、 包和模块、面向对象编程、文件对象处理、异常处理、多线程编程、封装数据库操作对象、woniuATM项目
课程目标:
  • 1. 熟练掌握Python基本语法和在数据分析中的应用场景。
  • 2. 熟练掌握Python变量定义、函数定义、循环判断等基本结构。
  • 3. 熟练掌握Python文件处理及异常处理。
  • 4. 利用Python熟练操作数据库,完成数据库常规操作。

阶段目标:

本阶段将围绕数据爬取技术开展一系列的技术课程,内容包括网络爬虫简介,从页面中抓取数据的五种方法, 使用多线程和多进程来进行并发抓取,selenium与表单进行交互,处理页面中的验证码问题,使用Scarpy爬虫框架来进行数据抓取。

第5周:

Python爬虫高级

知识要点:
数据安全法律法规,爬虫介绍 简单的页面爬取、requests基础、编码格式(utf-8,gbk)、数据解析-re模块的使用(复习正则表达式)、 Bs4解析、xpath、PyQuery、requests进阶、cookie处理、模拟登录处理、web登录流程、token介绍、防盗链、代理、快代理、 爬虫结合线程、提高执行效率、同步与异步操作
课程目标:
  • 1. 了解解析网页的技术,能够说出正则表达式、Xpath、Beautiful Soup、PyQuery与JSONPath的特点。
  • 2. 掌握re模块的用法,能够灵活应用re模块解析网页数据。
  • 3. 了解XPath的概念,能够说出XPath的路径表达式的搜索方法。
  • 4. 掌握XPath的语法,能够编写XPath的路径表达式。
  • 5. 掌握XPath的开发工具,能够独立安装与使用XPath Helper工具。
  • 6. 掌握lxml库的用法,能够灵活应用lxml库解析网页数据。
  • 7. 熟悉Beautiful Soup,能够归纳Beautiful Soup包含的类的基本用法。
  • 8. 掌握BeautifulSoup中选取节点的方式,能够使用查找方法和CSS选择器选取节点。
  • 9. 掌握PyQuery解析技术 可以通过PyQuery技术获取数据。
  • 10. 掌握python模拟登陆以及token鉴权。
  • 11. 掌握防盗链技术 已经常见的请求头处理方案。
  • 12. 掌握简单的代理技术 会使用常见的代理网站。
  • 13. 掌握异步操作 可以结合爬虫技术处理数据。
  • 14. 了解网络爬虫速度的提升方案,能够说出多线程和协程的区别。
  • 15. 熟悉多线程爬虫的运行流程,能够归纳多线程爬虫的运行流程。
  • 16. 掌握多线程爬虫的实现技术,能够实现多线程爬虫。

第6周:

selenium自动化

知识要点:
selenium 简介、浏览器驱动引入、模拟操作浏览器、selenium、窗口切换、无头浏览器、 规避检测、操作、js脚本、selenium 模拟登录、操作处理验证码、超级鹰使用
课程目标:
  • 1. 了解抓取动态网页的实现技术,能够说出Selenium有哪些特点。
  • 2. 掌握Selenium和WebDriver的安装与配置,能够独立安装Selenium和WebDriver。
  • 3. 掌握Selenium和WebDriver的安装与配置,能够独立安装Selenium和WebDriver。
  • 4.掌握selenium实现抓取动态网页数据的功能。
  • 5. 掌握selenium窗口切换,无头浏览器处理,操作js脚本。
  • 6. 掌握selenium处理登录。
  • 7. 掌握超级鹰破解验证码以及常见的验证码破解

第7周:

Scrapy框架

知识要点:
Scrapy框架介绍、Scrapy安装、Scrapy基本入门、Scrapy管道、Scrapy中间件、Scrapy大型分布式爬虫框架设计与实现、Scrapy项目
课程目标:
  • 1. 了解什么是Scrapy框架,能够复述出Scrapy框架的优点与缺点。
  • 2. 熟悉Scrapy框架的架构,能够归纳每个组件的功能与职责。
  • 3. 熟悉Scrapy框架的运作流程,能够归纳Scrapy框架的运作流程。
  • 4. 掌握Scrapy框架的安装方式,能够独立安装Scrapy框架,并能解决安装过程中出现的常见问题。
  • 5. 掌握Scrapy框架的基本操作,能够灵活应用Scrapy框架新建项目和制作爬虫。
  • 6. 了解分布式网络爬虫,能够说出采用主从模式的分布式网络爬虫的特点。
  • 7. 熟悉Scrapy-Redis的运作流程,能够归纳Scrapy-Redis的运作流程。
  • 8. 掌握开发Scrapy-Redis的准备工作,能够搭建Scrapy-Redis的开发环境。
  • 9. 掌握Scrapy-Redis的基本操作,能够灵活应用Scrapy-Redis开发分布式网络爬虫。

阶段目标:

本阶段围绕创建的反爬手段进行分析,如何抓取动态页面中的内容,如何对JavaScript进行逆向解析, 如何使用IP代理池或Cookie池进行网站的另一种爬取方式,经过本阶段课程以上问题则全部不是问题,市面上大多数的网站都可以进行数据爬取。

第8周:

JS逆向高级实战

知识要点:
常见反爬措施、常见加密、加密简单介绍、MD5 SHA、base64、解密网站应用、项目实战、 AES DES RSA、项目实战、JavaScript压缩、混淆 ,sign逆向、JavaScript HOOK注入、 nodejs基础、python中执行JavaScript、模块化webpack入门、webpack逆向、阿里系cookie解密
课程目标:
  • 1. 掌握常见的加密方式。
  • 2. 掌握JavaScript常用解密方式。
  • 3. 掌握webpack逆向。
  • 4. 掌握JavaScript压缩还原。
  • 5. 掌握JavaScript混淆以及还原。
  • 6. 掌握JavaScript hook注入。
  • 7. 掌握阿里系cookie解密。

第9周:

IP代理池与cookie池

知识要点:
IP代理池、cookie池、cookie池维护、综合项目
课程目标:
  • 1. 了解常见代理IP选择。
  • 2. 掌握代理池搭建。
  • 3. 掌握账号的自动登录。
  • 4. 掌握Cookie池提供爬虫提取Cookie的接口。
  • 5. 掌握Cookie主动维护Cookie活性的操作行为。

第10周:

App逆向

知识要点:
App抓包、App反编译、java语言基础、java数据类型-数值、布尔和字节、 java数据类型-字符串相关、java数据类型-数组、类对象和成员 、java 常见加密、 App抓包与算法、App抓包任务分析、App设备处理
课程目标:
  • 1. 掌握App逆向理论。
  • 2. 掌握App逆向理论。
  • 3. 掌握App逆向工具。
  • 4. 掌握App逆向算法。
  • 5. 掌握java语言基础。
  • 6. 掌握java语言基础。
  • 7. 掌握java常见的加密解密方式。

第11周:

综合项目与
就业辅导

课程目标:
  • 1. 帮助学员将前面阶段所学内容进行梳理,融入实际场景进行分析总结。
  • 2. 提供5个以上的完整商业实战项目供学员选择,完成最后的综合性项目。
  • 3. 为学员提供全方位的面试辅导,从企业需求、岗位分析、简历制作、项目经验、面试题、沟通表达、职业素养等方面进行强化提升。
  • 4. 通过对不同专题的引入帮助学员拓展知识面,更加适应未来企业的各类技术岗位的需求,更加及时理解技术热点。