Python 包管理

Mon, 01 Jan 0001 00:00:00 +0000

Python 包管理

前置知识

你所使用的操作系统的常用命令行操作
知道 Python 是什么，以及 Python 如何启动
知道 Python 可以安装不同的第三方库

安装包管理工具

pip

pip 是用于管理 Python 库的工具，但是安装 Python 时一般并不会自动安装 pip，因此你看需要手动安装。

你可以使用包管理器安装 python3-pip 来安装 pip，也可以使用也可以使用官方脚本：

curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py
python3 get-pip.py # 注意这个地方使用什么版本的 Python 就会安装什么版本的 pip

Conda

尽管在前文中我们已经讲过如何安装 Python 解释器，但是在需要复杂的环境管理（或者想要更简单地安装）时，我们常常会用到 Anaconda 或精简版 Miniconda。Anaconda 本⾝⾃带了 UI 以及⼀堆包，体积庞⼤，如果你有兴趣可以选择安装它，此处我要讲的是它的精简版 Miniconda，删掉了⼤量预装包，留下了少数包与管理部分。下⾯的教程针对 Miniconda 而⾔，如果你选择安装 Anaconda 同样可以参考下⾯的教程，因为 Miniconda 的功能是它的⼦集，少了图形界⾯与⼀些预装包。

下载我推荐⽤ TUNA 源，⾼效便利：

Miniconda3-py39_4.9.2-Windows-x86_64.exe：Miniconda for Windows
Miniconda3-py39_4.9.2-MacOSX-x86_64.sh：Miniconda for Mac
Miniconda3-py39_4.9.2-Linux-x86_64.sh：Miniconda for Linux
Anaconda3-2021.05-Windows-x86_64.exe：Anaconda for Windows
Anaconda3-2021.05-MacOSX-x86_64.sh：Anaconda for Mac
Anaconda3-2021.05-Linux-x86_64.sh：Anaconda for Linux

注意这里的 Mac 只有 x86_64 版本，使用 M1 Mac 的同学暂时无法安装 Conda。

Python 网络请求与爬虫基础

Mon, 01 Jan 0001 00:00:00 +0000

Python 爬虫

前置知识

懂得 Python 基本语法，知道如何使用 Python 第三方库
知道 HTML 的基本结构
会使用 Chrome 等现代浏览器的开发者工具来查看网页源代码和网络请求信息

环境配置

需要用到以下一些库：

IPython：理论上没有也行，但是使用 IPython 会提高大家测试的效率
requests：我装 Python 的时候好像自带了但是这似乎不是标准库
BeautifulSoup4：解析 HTML 的库，注意不要尝试用正则表达式来处理 HTML，虽然小学期可能会这样做，但是正则表达式并不适于解决 HTML 这种格式
fake_useragent：生成 User-Agent 的库

关于 fake_useragent

这个库似乎会尝试自动获取某些在线资源，但是好像需要代理，如果不能征程运行，请下载 fake_useragent.json 放在一个你能找到的地方，最好放在我们要使用的项目文件的目录下

在使用时应当添加参数指定资源地址如下：

ua = UserAgent(path='./fake_useragent.json')

网络请求

终极哲学三大问（服务器视角下的网络请求）

爬虫为了（自动化地、常常还需要是高速地）获取服务器资源，首先应当了解向服务器发送请求时发生了什么。通常来说一次网络请求的主要内容包括：

你是谁：User-Agent | Cookies
你从哪里来：IP
你来这里干什么：Method 与 Parameter （如果是 POST 请求的话还会有更多内容，但是作为爬虫的话可以略微简化）

在这一过程中服务器可能面临一些攻击（爬虫可能无意间导致这样的问题）：

DoS (Denial of Service) attack：拒绝服务攻击，通过构造大量的（尤其是繁重的，也就是 CC 攻击）请求使得服务器“忙不过来”，让服务器无法正常服务。
DDoS (Distributed Denial of Service) attack：分布式拒绝服务攻击，在 DoS 攻击的基础上改为多个客户端（肉鸡用户）同时对目标网站发起大量请求。

尽管谈论攻击有点遥远，但是不妨考虑以下两个情景：

当你准时到达查询高考成绩时
当你双十一午夜十二点下单时

所以写爬虫时应该全力避免这种情况！

Python 语言基础 on ClearSec Wiki

Python 包管理