rinald_未来往事

Python3.6 urllib获取网页html函数

Python

Python3.6 urllib获取网页内容函数

  1. '''
  2. 获取网页html内容函数
  3. @param str url 获取目标url地址
  4. @param list post_data 页面post请求数组参数(get请求忽略)
  5. @return str html
  6. '''
  7. def get_page_html(url,post_data={}):
  8. headers = {
  9. 'Accept': 'application/json, text/plain, */*',
  10. #'Accept-Encoding': 'gzip, deflate',
  11. 'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
  12. 'Connection': 'keep-alive',
  13. # 'Content-Length': '14',
  14. 'Content-Type': 'application/x-www-form-urlencoded',
  15. 'Referer': 'http://www.fity.cn',
  16. 'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.23 Mobile Safari/537.36'
  17. }
  18. data = urllib.parse.urlencode(data).encode('utf-8')
  19. req = urllib.request.Request(url, headers=headers, data=data)
  20. try:
  21. page = urllib.request.urlopen(req).read()
  22. page = page.decode('utf-8')
  23. except Exception:
  24. page = ''
  25. return page

函数使用:

get_page_html(‘http://fity.cn').replace(‘ ‘,’’).replace(‘\r\n’, ‘’).replace(‘\t’, ‘’)

get_page_html(‘http://fity.cn‘, post_data).replace(‘ ‘,’’).replace(‘\r\n’, ‘’).replace(‘\t’, ‘’)

原文作者:rinald
原文地址:https://fity.cn/post/652.html
互联网技术更新较快,本站很多文章具有实效性,我会及时更新原文,但转载的文章无法通知更新。为了不给读者造成困惑或误导,请您在转载时保留此出处信息,尊重别人也是尊重自己。

发表评论

必填

选填

选填

必填

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。