Python爬虫实践–爬取网易云音乐
Python爬虫实践–爬取网易云音乐

Python爬虫实践–爬取网易云音乐

Python + 爬虫

首先,说一下准备工作:

  • Python:需要基本的python语法基础
  • requests:专业用于请求处理,requests库学习文档中文版
  • lxml:其实可以用python自带的正则表达式库re,但是为了更加简单入门,用 lxml 中的 etree 进行网页数据定位爬取。
  • re:python正则表达式处理
  • json:python的json处理库
    然后,说一下现在已经知道下载链接是这样的:

id 就是歌曲的id!

所以,现在我们爬虫主要的工作就是找到这个id,当然为了更好的保存,也要找到这个歌名啦!

那现在就是要找到我们需要爬虫的网站链接啦!我分析了一下,大概是下面三种:

如果你已经只是想下载一首歌,比如静茹-勇气:https://music.163.com/#/song?id=254485,那你直接就用浏览器打开 http://music.163.com/song/media/outer/url?id=254485 就可以了,没必要爬虫啊!

下载歌词

如果还要下载歌词,那也很简单,通过接口,有歌曲的id就可以:

返回的json数据大概长这样

坑点与进阶

表面上很简单,但是需要注意的是,网易返回的链接,数据是js动态加载,也就是爬虫得到的网页数据和浏览器得到的dom内容和结构不一样!

其中,搜索列表爬虫回来的内容,完全得不到歌曲id!!!

解决

解决方法也是有的!

python模拟浏览器

使用selenium+phantomjs无界面浏览器,这两者的结合其实就是直接操作浏览器,可以获取JavaScript渲染后的页面数据。

缺点

由于是无界面浏览器,采用此方案效率极低,如果大批量抓取不推荐。

对于异步请求并且数据在源码中并不存在的,同时也就无法抓取到的数据。

搜索的歌曲变成歌单

比如想下载全部的某一歌手的全部音乐,用手机云音乐搜索,然后全部保存到新建一个歌单,这样就可以啦!

总结

用python,就一定要简单,我认为复杂的东西,还是尽量少做,能取巧就取巧,所以本文没有使用selenium+phantomjs实践。

注:本文只是技术交流,请不要商业用途~ 如有违反,本人一概不负责。

全部代码
又是非常简单的100行代码完事!!!

 

浏览量: 12

发表回复