Vim 一键配置



配置Vim

wget https://os.alipayobjects.com/rmsportal/gEYbNstsudEJKZn.js  -O vim.sh && sh vim.sh && rm vim.sh

阅读全文 »


Amazing Pi



阅读全文 »


Python 性能分析工具 cProfile



一般看看 py 脚本的性能, 可以使用古老的 linux 工具 time, 或者自己在代码中写上 time.clock().

➜  codewars  time python3 xingneng.py
python3 xingneng.py  4.64s user 0.02s system 99% cpu 4.698 total

这样粒度比较粗超, 进一步的分析可以借助标准库中的三个分析模块: cProfile profile hotshot.

python3中, hotshot已经被废弃了, 如果没有特殊需求, 建议使用 cProfile. 本文简单介绍下使用 gprof2dotcProfile 分析 python 脚本性能.

阅读全文 »


Python 爬虫解析器之 Beautiful Soup



Beautiful Soup 是 html/xml 的 python 解析器, 可以定位 DOM 元素信息.

该工具在爬虫阶段 中, 处于解析网页阶段, 可以简化正则表达式, 简单示例:

>>> from bs4 import BeautifulSoup as BS
>>> from urllib.request import urlopen
>>> soup = BS(urlopen('https://www.alipay.com/'))
>>> soup.title
<title>支付宝 知托付!</title>

1. 安装

pip 安装

pip install beautifulsoup4

阅读全文 »


Python 简单爬虫



什么是爬虫


爬虫指的系统性抓取网络页面的网络机器人。原理图如下:

crawler

上图涉及了爬虫的任务调度控制,多线程,存储机制等,本文不会涉及。

阅读全文 »