股票数据爬虫

如何用python 爬虫抓取金融数据

程序主要分为三个部分：网页源码的获取、所需内容的提取、所得结果的整理。

一、网页源码的获取很多人喜欢用python爬虫的原因之一就是它容易上手。

只需以下几行代码既可抓取大部分网页的源码。

import urllib.requesturl=\'ar.com/stock/ranklist_a_3_1_1.html\' #目标网址headers={＂User-Agent＂:＂Mozilla/5.0 (Windows NT 10.0; WOW64)＂} #伪装浏览器请求报头request=urllib.request.Request(url=url,headers=headers) #请求服务器response=urllib.request.urlopen(request) #服务器应答content=response.read().decode(\'gbk\') #以一定的编码方式查看源码print(content) #打印页面源码 虽说抓一页的源码容易，不过在一个网站内大量抓取网页源码却经常遭到服务器拦截，顿时感觉世界充满了恶意。

于是我开始研习突破反爬虫限制的功法。

1.伪装流浪器报头很多服务器通过浏览器发给它的报头来确认是否是人类用户，所以我们可以通过模仿浏览器的行为构造请求报头给服务器发送请求。

服务器会识别其中的一些参数来识别你是否是人类用户，很多网站都会识别User-Agent这个参数，所以请求头最好带上。

有一些警觉性比较高的网站可能还会通过其他参数识别，比如通过Accept-Language来辨别你是否是人类用户，一些有防盗链功能的网站还得带上referer这个参数等等。

2.随机生成UA证券之星只需带User-Agent这个参数就可以抓取页面信息了，不过连续抓取几页就被服务器阻止了。

于是我决定每次抓取数据时模拟不同的浏览器发送请求，而服务器通过User-Agent来识别不同浏览器，所以每次爬取页面可以通过随机生成不同的UA构造报头去请求服务器，3.减慢爬取速度虽然模拟了不同浏览器爬取数据，但发现有的时间段可以爬取上百页的数据，有时候却只能爬取十来页，看来服务器还会根据你的访问的频率来识别你是人类用户还是网络爬虫。

所以我每抓取一页都让它随机休息几秒，加入此句代码后，每个时间段都能爬取大量股票数据了。

4.使用代理IP天有不测风云，程序在公司时顺利测试成功，回寝室后发现又只能抓取几页就被服务器阻止了。

惊慌失措的我赶紧询问度娘，获知服务器可以识别你的IP，并记录此IP访问的次数，可以使用高匿的代理IP，并在抓取的过程中不断的更换，让服务器无法找出谁是真凶。

此功还未修成，欲知后事如何，请听下回分解。

5.其他突破反爬虫限制的方法很多服务器在接受浏览器请求时会发送一个cookie文件给浏览器，然后通过cookie来跟踪你的访问过程，为了不让服务器识别出你是爬虫，建议最好带上cookie一起去爬取数据；如果遇上要模拟登陆的网站，为了不让自己的账号被拉黑，可以申请大量的账号，然后再爬入，此处涉及模拟登陆、验证码识别等知识，暂时不再深究...总之，对于网站主人来说，有些爬虫确实是令人讨厌的，所以会想出很多方法限制爬虫的进入，所以我们在强行进入之后也得注意些礼仪，别把人家的网站给拖垮了。

二、所需内容的提取获取网页源码后，我们就可以从中提取我们所需要的数据了。

从源码中获取所需信息的方法有很多，使用正则表达式就是比较经典的方法之一。

我们先来看所采集网页源码的部分内容。

为了减少干扰，我先用正则表达式从整个页面源码中匹配出以上的主体部分，然后从主体部分中匹配出每只股票的信息。

代码如下。

pattern=re.compile(\'\') body=re.findall(pattern,str(content)） #匹配之间的所有代码pattern=re.compile（\'>（.*？)和其中compile方法为编译匹配模式，findall方法用此匹配模式去匹配出所需信息，并以列表的方式返回。

正则表达式的语法还挺多的，下面我只罗列所用到符号的含义。

语法 说明 . 匹配任意除换行符“\\n”外的字符 * 匹配前一个字符0次或无限次 ？ 匹配前一个字符0次或一次 \\s 空白字符：[\\t\\r\\n\\f\\v] \\S 非空白字符：[^\\s] [...] 字符集，对应的位置可以是字符集中任意字符 （...） 被括起来的表达式将作为分组，里面一般为我们所需提取的内容 正则表达式的语法挺多的，也许有大牛只要一句正则表达式就可提取我想提取的内容。

在提取股票主体部分代码时发现有人用xpath表达式提取显得更简洁一些，看来页面解析也有很长的一段路要走。

三、所得结果的整理通过非贪婪模式（.*？）匹配>和stock_last=stock_total[:] #stock_total：匹配出的股票数据for data in stock_total: #stock_last：整理后的股票数据if data==\'\':stock_last.remove（\'\')最后，我们可以打印几列数据看下效果，代码如下print（\'代码\'，\'\\t\'，\'简称\'，\' \'，\'\\t\'，\'最新价\'，\'\\t\'，\'涨跌幅\'，\'\\t\'，\'涨跌额\'，\'\\t\',\'5分钟涨幅\'）for i in range(0,len(stock_last),13）： #网页总共有13列数据print(stock_last[i],\'\\t\',stock_last[i+1],\' \',\'\\t\',stock_last[i+2],\' \',\'\\t\',stock_last[i+3],\' \',\'\\t\',stock_last[i+4],\' \',\'\\t\',stock_last[i+5])

如何用爬虫抓取股市数据并生成分析报表

(3)操作效率高。

前嗅ForeSpider爬虫的操作都是可视化的，而且你要采集的东西在它这个爬虫软件内可以直接预览，学习成本很低。

(4)精度高。

(2)人性化。

支持动态调整、关键字搜索。

数据提取同样可进行可视化操作，此外支持正则表达式和脚本配置更加做到精准采集、登录采集、HTTPS协议。

妈妈再也不用担心登录和验证码限制了！。

(5)功能强大、自动定时采集、模板在线更新（1）采集全面。

基本上就是把网址链接输进去一步步操作就OK。

有特殊情况需要特殊处理才能采集的，让我在采集数据之前直接先把无效数据剔除干净。

支持验证码识别，也支持配置脚本

有木有做数据分析师的女生？

女生还是很适合做数据分析的，数据分析师因为敲的代码少，相比起天天敲代码的职业更适合女生一些，没那么辛苦。

现在最基本的就是用excle来处理数据，在这基础上又使用了新的统计软件spss，主要是需要一定的分析思维能力，还要掌握数据库的原理操作，这些都不算太难。

数据挖掘要用到Python，通过爬虫进行数据抓取，可以进行股票分析等等。

...

一般公司用python爬虫爬取什么内容

楼主您好： 首先，我认为大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。

其次，想要系统的认知大数据，必须要全面而细致的分解它，我着手从三个层面来展开： 第一层面是理论，理论是认知的必经途径，也是被广泛认同和传播的基线。

我会从大数据的特征定义理解行业对大数据的整体描绘和定性；从对大数据价值的探讨来深入解析大数据的珍贵所在；从对大数据的现在和未来去洞悉大数据的发展趋势；从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。

第二层面是技术，技术是大数据价值体现的手段和前进的基石。

我将分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。

第三层面是实践，实践是大数据的最终价值体现。

我将分别从互联网的大数据，政府的大数据，企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。

和大数据相关的理论 ？ 特征定义 最早提出大数据时代到来的是麦肯锡：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。

人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。

” 业界（IBM 最早定义）将大数据的特征归纳为4个“V”（量Volume，多样Variety，价值Value，速Velocity），或者说特点有四个层面：第一，数据体量巨大。

大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)；第二，数据类型繁多。

比如，网络日志、视频、图片、地理位置信息等等。

第三，价值密度低，商业价值高。

第四，处理速度快。

最后这一点也是和传统的数据挖掘技术有着本质的不同。

其实这些V并不能真正说清楚大数据的所有特征，下面这张图对大数据的一些相关特性做出了有效的说明。

36大数据 古语云：三分技术，七分数据，得数据者得天下。

先不论谁说的，但是这句话的正确性已经不用去论证了。

维克托·迈尔-舍恩伯格在《大数据时代》一书中举了百般例证，都是为了说明一个道理：在大数据时代已经到来的时候要用大数据思维去发掘大数据的潜在价值。

书中，作者提及最多的是Google如何利用人们的搜索记录挖掘数据二次利用价值，比如预测某地流感爆发的趋势；Amazon如何利用用户的购买和浏览历史数据进行有针对性的书籍购买推荐，以此有效提升销售量；Farecast如何利用过去十年所有的航线机票价格打折数据，来预测用户购买机票的时机是否合适。

那么，什么是大数据思维？维克托·迈尔-舍恩伯格认为，1-需要全部数据样本而不是抽样；2-关注效率而不是精确度；3-关注相关性而不是因果关系。

阿里巴巴的王坚对于大数据也有一些独特的见解，比如， “今天的数据不是大，真正有意思的是数据变得在线了，这个恰恰是互联网的特点。

” “非互联网时期的产品，功能一定是它的价值，今天互联网的产品，数据一定是它的价值。

” “你千万不要想着拿数据去改进一个业务，这不是大数据。

你一定是去做了一件以前做不了的事情。

” 特别是最后一点，我是非常认同的，大数据的真正价值在于创造，在于填补无数个还未实现过的空白。

有人把数据比喻为蕴藏能量的煤矿。

煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。

与此类似，大数据并不在“大”，而在于“有用”。

价值含量、挖掘成本比数量更为重要。

？ 价值探讨 大数据是什么？投资者眼里是金光闪闪的两个字：资产。

比如，Facebook上市时，评估机构评定的有效资产中大部分都是其社交网站上的数据。

如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

Target 超市以20多种怀孕期间孕妇可能会购买的商品为基础，将所有用户的购买记录作为数据来源，通过构建模型分析购买者的行为相关性，能准确的推断出孕妇的具体临盆时间，这样Target的销售部门就可以有针对的在每个怀孕顾客的不同阶段寄送相应的产品优惠卷。

Target的例子是一个很典型的案例，这样印证了维克托·迈尔-舍恩伯格提过的一个很有指导意义的观点：通过找出一个关联物并监控它，就可以预测未来。

Target通过监测购买者购买商品的时间和品种来准确预测顾客的孕期，这就是对数据的二次利用的典型案例。

如果，我们通过采集驾驶员手机的GPS数据，就可以分析出当前哪些道路正在堵车，并可以及时发布道路交通提醒；通过采集汽车的GPS位置数据，就可以分析城市的哪些区域停车较多，这也代表该区域有着较为活跃的人群，这些分析数据适合卖给广告投放商。

不管大数据的核心价值是不是预测，但是基于大数据形成决策的模式已经为不少的企业带来了盈利和声誉。

从大数据的价值链条来分析，存在三种模式： 1- 手握大数据，但是没有利用好...

最基础的爬虫,网络连接超时怎么办求助

再重启1、检查网络的网速是否正常，局域网里是否有人看电影或者下载软件等拖慢了网速。

2、连接苹果跟iTunes时，检查iT的设置情况，重开iTunes，回到刚才那个步骤，打开iTunes -- 编辑 -- 偏好设置 -- 家长控制 -- iTunes Store这一项勾选（把 允许访问iTunes U 这一项也勾选）-- 确定