Python爬虫

Dec 10, 2021

xiwang

全栈开发者

1. 环境准备

从Conda 下载安装包进行安装，使用conda管理Python环境进行Python环境配置管理。

1.1 Beautiful Soup

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.

安装Beautiful Soup

$ conda install beautifulsoup4
#安装解析器lxml
$ conda install lxml

2. 问题处理

conda install 遇到 “Collecting package metadata (current_repodata.json): failed”

$ conda install lxml                                                                                                                                                    (p3) 0 [15:43:43]
Collecting package metadata (current_repodata.json): failed

CondaHTTPError: HTTP 000 CONNECTION FAILED for url <https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/osx-64/current_repodata.json>
Elapsed: -

An HTTP error occurred when trying to retrieve this URL.
HTTP errors are often intermittent, and a simple retry will get you on your way.
'https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/osx-64'

关闭conda的ssl验证即可：

$ conda config --set ssl_verify false

Python爬虫

1. 环境准备

2. 问题处理

参考