Linjunhan

Linjunhan

大数据、数据分析、Web开发、爬虫都稍微会点

文章 阅读 10
Linjunhan
Linjunhan

Python3 基于asyncio的新闻爬虫思路

Python3 基于asyncio的新闻爬虫思路 Python写爬虫是非常方便的,爬取的目标不同,实现的方式也有很大不同。异步爬虫依赖的模块 asyncio: 标准异步模块,实现python的异步机制;logging: 记录爬虫日志;
文章 阅读 9
文章 阅读 18
Linjunhan
Linjunhan

scrapy爬取Drupal网站,提示404错误

最近在学习Python的爬虫。前两天闲得无聊,在慕课上看了下scrapy的课程。所以就开始动手用scrapy爬取一些东西。然后我的目标网站是个drupal做的。这个网站还真是老谋深算啊。然后我仔细分析了下网站的请求头。
文章 阅读 13
Linjunhan
Linjunhan

爬虫入门

实际的网络爬虫系统通常是几种爬虫技术相结合实现的。通用网络爬虫 通用网络爬虫又称全网爬虫(Scalable Web Crawler),爬取对象从一些种子 URL 扩充到整个 Web。现在比较火的舆情爬虫一般都是增量式网络爬虫。
文章 阅读 7
Linjunhan
Linjunhan

Python爬虫之自制英汉字典

笔者的代码如下: 运行上述Python代码,结果如下: Python爬虫之自制英汉字典 上述过程无疑是简单的,下面,我们增加一些新的功能,如下: 将Python代码打包成exe文件;怎么样,是不是觉得Python爬虫酷酷的?
文章 阅读 7
文章 阅读 13
Linjunhan
Linjunhan

Python 从零开始爬虫(二)——BeautifulSoup解析网页

<bookstore>,<book>这些有尖括号的叫做标签(或节点),成对存在。bookstore,book是标签名,标签间可以放字符串。标签可以拥有属性,属性在尖括号里,如title标签有名为lang的属性,属性值为"en"。!!!!!!
文章 阅读 7
文章 阅读 8
文章 阅读 18
Linjunhan
Linjunhan

node.js 爬虫入门总结

node.js爬虫 前端同学可能向来对爬虫不是很感冒,觉得爬虫需要用偏后端的语言,诸如 php , python 等。当然这是在 nodejs 前了,nodejs 的出现,使得 Javascript 也可以用来写爬虫了。
文章 阅读 12
Linjunhan
Linjunhan

大话爬虫的基本套路

大话爬虫的基本套路 什么是爬虫?通过有效的爬虫手段批量采集数据,可以降低人工成本,提高有效数据量,给予运营/销售的数据支撑,加快产品发展。其实就像浏览器一样,浏览器解析响应内容并渲染为页面,而爬虫解析响应内容采集想要的数据进行存储。
文章 阅读 12
文章 阅读 4
Linjunhan
Linjunhan

楚江数据网络爬虫-使用Cookie登陆

答案就是Cookie。前两个参数是Cookie应用的必要条件,另外,还包括Cookie大小(Size,不同浏览器对Cookie个数及大小限制是有差异的)。有了Cookie,我们就可以实现自动登陆网站,甚至能够解决一些验证码登陆的情况。
文章 阅读 7
Linjunhan
Linjunhan

爬虫养成记 - 什么是网络爬虫

那么我们从一个页面出发,分析其中的url,然后再去访问该url对应的页面;再分析其中的url,并访问。一个储存未爬过的url,一个储存已经爬过的url。如果我们要将一个url加入未爬过的url set,那么这个url必须都不在两组set中。
文章 阅读 8
Linjunhan
Linjunhan

新浪微博内容数据采集爬虫怎么写

SinaSpider主要爬取新浪微博的个人信息、微博数据、关注和粉丝。此项目实现将单机的新浪微博爬虫重构成分布式爬虫。weibo_crawler-基于Python、BeautifulSoup、mysql微博搜索结果爬取工具。
文章 阅读 5
文章 阅读 3
Linjunhan
Linjunhan

Python3爬虫学习之应对网站反爬虫机制的方法分析

本文实例讲述了Python3爬虫学习之应对网站反爬虫机制的方法。分享给大家供大家参考,具体如下: 如何应对网站的反爬虫机制 在访问某些网站的时候,网站通常会用判断访问是否带有头文件来鉴别该访问是否为爬虫,用来作为反爬取的一种策略。
文章 阅读 7
文章 阅读 4
Linjunhan
Linjunhan

Python爬虫将爬取的图片写入world文档的方法

于是我就开始了新的思路:使用原来的方法将图片保存下来,再将图片添加到world文档里,最后将图片删除。这里使用的是python-dox库,代码如下: 最后,还是实现了将图文保存在了world文档里,尽管方法有些笨……
文章 阅读 7
加载中...