           Python django大數據運維scrapy培訓 


第1章 Python3.7.4教程 
1 01-Python入門基礎簡介  
2 02-1-基于windows搭建開發環境  
3 02-2-基于windows-mac搭建Python環境  
4 02-3-基于Linux搭建Python環境 
5 02-4-變量定義與打印自己的信息 
6 03-1-1-Python字符串類型 
7 03-1-2-Python字符串類型內置函數 
8 03-2-Python數值類型 
9 03-3-Python列表類型 
10 03-4-Python元組-字典類型 
11 03-5-本章總結與3個基礎實戰 
12 04-1-算數運算符與比較運算符實踐 
13 04-2-賦值運算符與邏輯運算符實踐 
14 04-3-成員運算符與身份運算符與位運算實踐 
15 05-0-Python流程控制簡介 
16 05-1-Python流程控制IF語句與For循環實戰 
17 05-2-while循環與迭代器與推導式實踐 
18 06-1-Python函數與編寫規范 
19 06-2-Python函數參數應用 
20 07-1-Python異常簡介 
21 07-2-Python異?？偨Y 
22 08-Python面向對象編程 
第2章 Python入門教程 13 
23 01-Python-Python簡介  
24 02-Python-Python安裝（windows） 
25 03-Python-Python安裝（Linux） 
26 04-Python-程序執行  
27 05-Python-基本概念  
28 06-Python-Python數據類型轉換  
29 07-Python-Python布爾邏輯 
30 08-1-Python-IF條件語句 
31 08-2-Python-While循環語句 
32 08-3-Python-FOR循環語句 
33 09-1-Python-函數的初識 
34 09-2-Python-函數的應用 
35 10-Python-模塊使用（制作模塊） 
第3章 Python進階教程 
36 1-1-Python簡介與安裝  
37 1-2-windows-搭建開發環境  
38 1-3-Python編輯器與經典案例  
39 1-4-Linux-搭建實驗開發環境  
40 1-5-Linux-源碼編譯安裝python  
41 2-1-算數運算符與比較運算符  
42 2-2-賦值、邏輯、成員、身份、位運算符綜合講解與應用 
43 03-1-python數據類型-Number1 
44 03-1-Python數據類型-Number2 
45 03-2-python數據類型-String1 
46 03-3-python數據類型-String內置函數 
47 03-4-python數據類型-Tuple 
48 03-5-python數據類型-List 
49 03-6-python數據類型-Set 
50 03-7-python數據類型-Dict 
51 04-1-python輸入輸出注釋 
52 04-2-python模塊 13:40 
53 04-3-Pyhton-基礎系統管理命令 
54 04-4-Python-vim文本編輯器使用 
55 04-5-Python-Xshell遠程連接工具使用 
56 05-1-Python程序塊與作用域 
57 05-2-Python-IF判斷語句應用（一） 
58 05-3-Python-IF判斷語句應用（二） 
59 05-4-Python-While循環語句應用 
60 05-5-Python-For循環語句+break+cont 
61 06-1-Python-函數簡介與應用 
62 06-2-Python-函數參數應用 
63 06-3-Python-匿名函數應用 
64 07-1-Python-系統用戶管理forLinux 
65 07-2-Python-進程管理forLinux 
66 07-3-Python-進程管理forlinux-2 
67 07-4-Python-文件目錄管理 
68 07-5-Python-文件目錄管理-2 
第4章 Python高級教程 
69 01-1-系統自動化運維應用與運維介紹  
70 01-2-Python環境搭建與psutil模塊使用 
71 01-3-使用psutil模塊獲取CPU和MEM信息 
72 01-4-使用psutil模塊獲取網絡、磁盤等其他信息 
73 01-5-使用psutil管理系統進程 
74 02-使用IPy模塊對IP地址規劃 
75 03-python異常處理 
第5章 python 
76 1-1-1-基礎語法  
77 1-1-2-分支循環深淺拷貝 
78 1-2-文件操作 
79 1-3-字典和集合 
80 1-4-1-內建函數詳解 
81 1-4-2-推導式 
82 1-5-1-函數基礎前兩節 
83 1-5-2-函數后兩節 
84 1-6-1-遞歸 
85 1-6-2-os模塊 
86 1-7-函數異常捕獲 
第6章 Django教程 
87 00-Django-搭建Django開發環境  
88 01-Django-PythonWEB框架與MVC架構  
89 02-Django-Django的特點和組件  
90 03-Django-創建第一個Django項目 
91 04-Django-設計應用數據結構講解 
92 05-Django-設計博客系統數據結構 
93 06-Django-激活blog應用并進行數據同步 
94 07-Django-啟動管理后臺并注冊數據表 
95 08-Django-為模型在管理后臺定制功能 
96 09-Django-調用Django_API使用QueryS 
97 10-Django-創建QuerySet對象管理器 
98 11-Django-構建視圖與URL 
99 12-Django-創建標題模板和博客內容模板 
100 13-Django-博客應用代碼問題處理思路 
第7章 Scrapy教程 
101 1.1.scrapy框架運作流程  
102 1.2.scrapy入門案例 
103 1.3.scrapy shell 
104 1.4.Item Pipeline的使用 
105 1.5.scrapy的spider類 
106 1.6.Scrapy的CrawlSpider類 
107 1.7.scrapy模擬豆瓣登錄 
108 1.8.scrapy的Downloader Middlewa 
109 2.1.手機App抓包爬蟲 
110 2.2.陽光熱線問政平臺 
111 2.3.新浪網頁分類資訊爬蟲 
112 2.4.將數據保存到mongodb 
113 2.5.三種scrapy策略模擬登錄 
第8章 Maven教程 10 
114 00-maven教程-開課介紹  
115 01-maven教程-maven功能特點 
116 02-maven教程-maven安裝配置（一） 
117 03-maven教程-maven安裝配置（二） 
118 04-maven教程-maven簡單實用 
119 05-Maven教程-maven坐標管理 
120 06-Maven教程-maven依賴管理 
121 07-Maven教程-maven倉庫應用 
122 08-maven教程-maven生命周期 
123 09-maven教程-maven插件管理 
第9章 Hadoop教程 56 
124 1-1-1大數據簡介  
125 1-1-2行業前景 
126 1-1-3hadoop入門 
127 1-1-4hadoop組件介紹 
128 1-1-5集群環境準備 
129 2-1-1hadoop源碼編譯 
130 2-1-2hadoop安裝 
131 2-1-3偽分布式集群啟動及集群操作 
132 2-1-4YARN運行MR程序 
133 2-2-1配置文件core-default（一） 
134 2-2-2配置文件core-default（二） 
135 2-2-3配置文件hdfs-site（一） 
136 2-2-4配置文件hdfs-site（二） 
137 2-2-5配置文件yarn-site 
138 2-2-6配置文件mapred-site 
139 2-3-1環境準備 
140 2-3-2集群規劃 
141 2-3-3集群配置 
142 2-3-4啟動集群 
143 2-3-5集群的時間同步 
144 2-4-1HDFS詳解一（概述） 
145 2-4-2HDFS詳解二（命令行操作） 
146 2-4-3HDFS客戶端操作 
147 2-4-4HDFS之IO流操作（一） 
148 2-4-5HDFS之IO流操作（二） 
149 2-4-6HDFS之IO流操作（三） 
150 2-5-1YARN資源調度 
151 2-6-1MapReducer入門 
152 2-6-2手寫WordCount程序 
153 2-6-3wordCount打包到服務器上運行 
154 2-6-4解決idea打包錯誤及運行找不到class 
155 2-6-5hadoop序列化與反序列化 
156 2-7-1壓縮與解壓縮 
157 2-7-2配置hadoop壓縮方式及壓縮代碼實戰 
158 2-7-3解壓縮代碼實戰 
159 3-1-1MR運行流程圖解 
160 3-1-2MR運行流程及job提交源碼解讀 
161 3-1-3FileInputFormat源碼講解 
162 3-1-4InputFormat實現類介紹 
163 3-1-5自定義InputFormat代碼實戰(處理小文件) 
164 3-1-6自定義InputFormat流程解讀 
165 3-1-7CombineTextInputFormat 切片 
166 3-2-1partition分區（手機流量統計） 
167 3-2-2reduceTask數量與分區數關系 
168 3-3-1MR排序機制 
169 3-3-2全排序實戰 
170 3-3-3部分排序實戰 
171 3-3-4訂單統計案例分析 
172 3-3-5訂單統計代碼編寫 
173 3-3-6reduce階段key的獲取 
174 3-4-1Redce的并行機制與OutputFormat 
175 3-4-2日志清洗案例（自定義OutputFormat） 
176 3-4-3Join多應用（reduce端多表合并） 
177 3-4-4Join多應用（Map端多表合并） 
178 3-4-5計數器的使用 
179 3-4-6企業MR優化 
第10章 Scala教程 43 
180 01 scala的概述  
181 02 變量與常量 
182 03 條件判斷 
183 04 塊表達式 
184 05 for循環遍歷 
185 06 函數與方法 
186 07 數組的三種創建方式 
187 08 數組遍歷與數組轉換 
188 09 數組常用算法 
189 10 映射 
190 11 元組 
191 12 list集合 
192 13 Set集合 
193 14 集合的遍歷 
194 15 Scala類的定義 
195 16 構造器 
196 17 object關鍵字之單例設計模式 
197 18 伴生對象 
198 19 特殊的apply方法 
199 20 繼承 
200 21 super關鍵字 
201 22 isInstanceOf和asInstanceOf 
202 23 getClass和classOf 
203 24 模式匹配 
204 25 protected關鍵字 
205 26 匿名內部類 
206 27 抽象類 
207 28 抽象字段及特質（用法一） 
208 29 特質中定義field（用法二） 
209 30 混入特質（用法三） 
210 31 特質的調用鏈（責任鏈模式） 
211 32 模板設計模式 
212 33 特質的構造機制 
213 34 trait繼承class 
214 35 樣例類 
215 36 Option類型 
216 37 偏函數 
217 01 高階函數高階函數 
218 02 隱式轉換詳解 
219 03 隱式轉換案例一 
220 04 隱式轉換案例二 
221 05 隱式轉換案例三 
222 06 隱式轉換案例四