谷歌搜索
googlesearch是一个Python库,可轻松爬取Google搜索结果。googlesearch使用requests和
BeautifulSoup4抓取Google。
安装
要安装,请运行以下命令:
python3 -m pip install googlesearch-python
或者
pip3 install googlesearch-python
用法
要获取搜索字词的结果,只需使用googlesearch中的搜索功能。例如,要在Google中获取“ 高效码农”的结果,只需运行以下程序:
from googlesearch import search
import pprint
list = search("高效码农")
pprint.pprint(list)
打印结果:
[\'https://www.xugj520.cn/\',
\'https://blog.csdn.net/Java_supermanNO1/article/details/104536476\',
\'https://weekly.manong.io/issues/295\',
\'https://item.jd.com/12481316.html\',
\'https://zhuanlan.zhihu.com/p/29481305\',
\'https://zhuanlan.zhihu.com/p/102597965\',
\'https://my.oschina.net/u/1189098\',
\'https://www.codercto.com/a/98794.html\',
\'https://www.cnblogs.com/huang0925/p/3612741.html\',
\'https://www.jiqizhixin.com/users/0d71c15b-b934-482a-aadc-5f5cf63afd60\']
其他选项
googlesearch支持其他一些选项。默认情况下,googlesearch返回10个结果。这可以更改。例如,要在Google上获得100个结果,请运行以下程序。
from googlesearch import search
import pprint
list = search("高效码农", num_results=100)
pprint.pprint(list)
此外,您可以更改Google搜索的语言。例如,要获取法语结果,请运行以下程序:
list = search("高效码农", num_results=100, lang=\'fr\')
完整API:
googlesearch.search(str: term, int: num_results=10, str: lang="en") -> list
代理设置
修改__init__.py 第5行为:
def search(term, proxies, num_results=10, lang="en"):
修改__init__.py 第15行为:
response = get(google_url, headers=usr_agent, proxies=proxies)
使用代码修改为:
list = search("高效码农", proxies=proxies, num_results=100, lang=\'fr\')
完整代码为:
from googlesearch import search
import pprint
proxies = {"http": \'127.0.0.1:1087\', "https": \'127.0.0.1:1087\', }
result = search("高效码农", proxies=proxies, num_results=100, lang=\'fr\')
pprint.pprint(result)
内容出处:,
声明:本网站所收集的部分公开资料来源于互联网,转载的目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。如果您发现网站上有侵犯您的知识产权的作品,请与我们取得联系,我们会及时修改或删除。文章链接:http://www.yixao.com/procedure/14306.html