最近闲来无事写了一个抓取豆瓣小组内容入库到Wordpress的插件FetchPost。
其实豆瓣小组里面的内容还挺有意思的。
由于豆瓣网禁止抓取内容且是https协议,所以我们这里仅能使用Linux自带的curl抓取。
2016/09/08更新:
1.初始化插件,支持抓取豆瓣小组内容。
2.支持抓取帖子全部分页内容。
3.入库到Wordpress。
4.支持入库时自定义标签功能。
最近闲来无事写了一个抓取豆瓣小组内容入库到Wordpress的插件FetchPost。
其实豆瓣小组里面的内容还挺有意思的。
由于豆瓣网禁止抓取内容且是https协议,所以我们这里仅能使用Linux自带的curl抓取。
1.初始化插件,支持抓取豆瓣小组内容。
2.支持抓取帖子全部分页内容。
3.入库到Wordpress。
4.支持入库时自定义标签功能。
链接到文章: https://vpsum.com/42738.html