零点教学网(www.0djx.com)-学电脑,学软件,学编程,学网站,学设计!

python爬虫获取数据后存入MySQL数据库中

零点教学网 Python教程 2020-09-24 00:39:25 5
from urllib.request import urlopen
import re
import numpy
import time
import pymysql
from bs4 import BeautifulSoup

def getHtmlContent(url):
html = urlopen(url)
bsobj = BeautifulSoup(html, lxml ,from_encoding = gb18030 )
tablelist = bsobj.findAll( tr )

#用户名:root 密码:123456 数据库名:aqi-changsha
db = pymysql.connect( localhost , root , 123456 , aqi-changsha ,charset= utf8 )
cursor = db.cursor()

date = time.strftime( %Y-%m-%d %H:%M:%S ,time.localtime(time.time()))#获取当前时间
date1 = ( insert into date values (%s) )
try:
cursor.execute(date1,date)
db.commit(); #提交操作
except:
db.rollback();

for datalist in tablelist[1:]:
data = datalist.get_text().replace( , ).replace( \r\n , ).strip( \n ).split( \n )
data.append(date)
data.append( 0 )
try:
insert_data = ( insert into aqi values (%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s) )
cursor.execute(insert_data,data)
db.commit();
except:
db.rollback()

db.close()

def main():
url = http://www.tianqihoubao.com/aqi/changsha.html
getHtmlContent(url)

if __name__ == __main__ :
main()


零点教学网,,自学EXCEL、自学PS、自学CAD、自学C语言、自学css3实例,是一个通过网络自主学习工作技能的自学平台,网友喜欢的软件自学网站。

如果以上内容你喜欢,请持续关注:零点教学网软件编程教程栏目

分享:

本文来自投稿,不代表本人立场,如若转载,请注明出处:http://0djx.com/ruanjianbianchengjiaocheng/python/54679.html

  小甲鱼python课后题百度云   python爬虫获取数据后存入MySQL数据库中  

(5)
打赏 微信扫一扫
« 上一篇 2020年09月24日 00:39:09
下一篇 » 2020年09月24日 03:56:31

小甲鱼python课后题百度云_相关内容

python爬虫获取数据后存入MySQL数据库中_相关内容