博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
爬虫-通用代码框架
阅读量:5239 次
发布时间:2019-06-14

本文共 1083 字,大约阅读时间需要 3 分钟。

1.百度搜索关键词提交

百度的搜索路径格式是:http://www.baidu.com/s?wd=keyword

import requestskeyword = "Python"try:    kv = {
'wd': keyword} url = "http://www.baidu.com/s" r = requests.get(url, params=kv)   # 在url尾部插入对应搜索关键词 # print(r.request.url) r.raise_for_status() # print(len(r.text))catch: print("爬取失败")

 

2.网络图片爬取

import requestsimport osroot = "D://pics//"url= "http://img0.dili360.com/ga/M01/43/32/wKgBy1diUTyAJgSmADRkvfSqZo0372.tub.jpg" path = root + url.split('/')[-1]    # 用网站图片名作为存储文件名try:   if not os.path.exists(root):    # 如果存储目录不存在则创建     os.mkdir(root)   if not os.path.exists(path):         r = requests.get(url)    with open(path, 'wb') as f:       f.write(r.content)      f.close()       print("保存成功")   else:     print("文件已存在") except:   print("爬取失败")

 

3.提交IP地址到IP138查询

import requestsimport osip = "202.204.80.112"raw_url = ''http://www.ip138.com/ips138.asp?ip="url = raw_url + iptry:  r = requests.get(url)   r.raise_for_status()   r.encoding = r.apparent_encoding   print(r.text[-500:]) except:   print("爬取失败")

 

转载于:https://www.cnblogs.com/KrianJ/p/10586571.html

你可能感兴趣的文章
编程面试的10大算法概念汇总
查看>>
Vue
查看>>
python-三级菜单和购物车程序
查看>>
条件断点 符号断点
查看>>
VMware12 + Ubuntu16.04 虚拟磁盘扩容
查看>>
水平垂直居中
查看>>
MySQL简介
查看>>
设计模式之桥接模式(Bridge)
查看>>
jquery的$(document).ready()和onload的加载顺序
查看>>
Python Web框架Django (五)
查看>>
.net学习之继承、里氏替换原则LSP、虚方法、多态、抽象类、Equals方法、接口、装箱拆箱、字符串------(转)...
查看>>
【codevs1033】 蚯蚓的游戏问题
查看>>
【程序执行原理】
查看>>
python的多行注释
查看>>
连接Oracle需要jar包和javadoc文档的下载
查看>>
UVA 10976 - Fractions Again?!
查看>>
Dreamweaver cc新版本css单行显示
查看>>
【android】安卓的权限提示及版本相关
查看>>
JavaScript可否多线程? 深入理解JavaScript定时机制
查看>>
IOS基础学习
查看>>