历史股票高频数据爬取

① 零基础学Python应该学习哪些入门知识

关于零基础怎么样能快速学好Python的问题，网络提问和解答的都很多，你可以网络下看看。我觉得从个人自学的角度出发，应从以下几个方面来理解：

1 为什么选择学python？

据统计零基础或非专业的人士学python的比较多，据HackerRank开发者调查报告2018年5月显示（见图），Python排名第一，成为最受欢迎编程语言。Python以优雅、简洁着称，入行门槛低，可以从事Linux运维、Python Web网站工程师、Python自动化测试、数据分析、人工智能等职位，薪资待遇呈上涨趋势。

2 入门python需要那些准备？

2.1 心态准备。编程是一门技术，也可说是一门手艺。如同书法、绘画、乐器、雕刻等，技艺纯熟的背后肯定付出了长时间的反复练习。不要相信几周速成，也不能急于求成。编程的世界浩瀚无边，所以请保持一颗敬畏的心态去学习，认真对待写下的每一行代码，甚至每一个字符。收拾好自己的心态，向着编程的世界出发。第一步至关重要，关系到初学者从入门到精通还是从入门到放弃。选一条合适的入门道路，并坚持走下去。

2.2 配置 Python 学习环境。选Python2 还是 Python3？入门时很多人都会纠结。二者只是程序不兼容，思想上并无大差别，语法变动也并不多。选择任何一个入手，都没有大影响。如果你仍然无法抉择，那请选择 Python3，毕竟这是未来的趋势。

编辑器该如何选？同样，推荐 pycharm 社区版，配置简单、功能强大、使用起来省时省心，对初学者友好，并且完全免费！其他编辑器如：notepad++、sublimeText 3、vim 和 Emacs等不推荐了。

操作环境？Python 支持现有所有主流操作平台，不管是 windows 还是 mac 还是 linux，都能很好的运行 Python。并且后两者都默认自带 Python 环境。

2.3 选择自学的书籍。我推荐的书的内容由浅入深，建议按照先后顺序阅读学习：

2.3.1《Python简明教程》。这是一本言简意赅的 Python 入门教程，简单直白，没有废话。就算没有基础，你也可以像读小说一样，花两天时间就可以读完。适合入门快速了解语法。

2.3.2 廖雪峰编写的《Python教程》。廖先生的教程涵盖了 Python 知识的方方面面，内容更加系统，有一定深度，有一定基础之后学习会有更多的收获。

2.4 学会安装包。Python中有很多扩展包，想要安装这些包可以采用两种方法：

2.4.1 使用pip或easy_install。

1)在网上找到的需要的包，下载下来。eg. rsa-3.1.4.tar.gz;

2)解压缩该文件;

3)命令行工具cd切换到所要安装的包的目录，找到setup.py文件，然后输入python setup.py install

2.4.2 不用pip或easy_install,直接打开cmd，敲pip install rsa。

3 提升阶段需要恒心和耐力。

完成入门阶段的基础学习之后，常会陷入一个瓶颈期，通过看教程很难进一步提高编程水平。这时候，需要的是反复练习，大量的练习。可以从书上的例题、作业题开始写，再写小程序片段，然后写完整的项目。我们收集了一些练习题和网站。可根据自己阶段，选择适合的练习去做。建议最好挑选一两个系列重点完成，而不是浅尝辄止。

3.1 多做练习。推荐网站练习：

crossin编程教室实例：相对于编程教室基础练习着重于单一知识点，

编程实例训练对基础知识的融会贯通；

hackerrank：Python 部分难度循序渐进，符合学习曲线

实验楼：提升编程水平从做项目开始；

codewar：社区型编程练习网站，内容由易到难；

leetcode：为编程面试准备，对初学者稍难；

牛客网：提供 BAT 等大厂笔试题目；

codecombat：提供一边游戏一边编程；

projecteuler：纯粹的编程练习网站；

菜鸟教程100例：基于 py2 的基础练习；

3.2 遇到问题多交流。

3.2.1 利用好搜索引擎。

3.2.2 求助于各大网站。推荐

stackoverflow：这是一个程序员的知识库；

v2ex：国内非常不错的编程社区，不仅仅是包含程序，也包含了程序员的生活；

segmentfault：一家以编程问答为主的网站;

CSDN、知乎、简书等

3.2.3 加入相关的QQ、微信群、网络知道。不懂的可以随时请教。

② 数据爬虫的是与非：技术中立但恶意爬取频发，侵权边界在哪

新浪微博诉脉脉不正当获取用户数据案，以及领英与hiQ Labs的数据争议，都是数据爬取问题的典型案例。10月23日，长三角数据合规论坛(第三期)暨数据爬虫的法律规制研讨会在上海举行，法律专家、司法工作者和企业代表围绕爬虫技术对数字产业的影响、数据爬取的法律边界及规制等话题进行了深入研讨。
在大数据时代，数据价值日益凸显，数据爬虫的应用也变得越来越普遍。专家们指出，爬虫技术本身是中立的，但其应用往往带有特定目的，因此需要考虑抓取行为及数据使用是否具有正当性。
网络爬虫的频繁活动给网站运营带来了负担。欧莱雅中国数字化负责人刘煜晨在研讨会上表示，大多数网站拒绝爬虫访问，这既是为了保护商业利益，也是出于网站运营安全的考虑。爬虫的高频访问会导致网站服务器负载增加，对中小平台来说，甚至可能导致网站无法打开、页面加载缓慢，甚至直接瘫痪。
尽管网站可以采取策略或技术手段防止被爬取数据，但爬虫者也有技术手段来反制，即所谓的反反爬策略。刘煜晨介绍，反爬和爬取技术一直在迭代更新，通常，大厂的App或网站难以爬取，因为它们有较多的反爬机制。
小红书法务负责人曾翔观察到，恶意爬虫案例经常发生在内容平台和电商平台，内容平台被爬取的视频、图片、文字、用户行为数据，而电商平台被爬取的是商家信息和商品信息。他提到，内容平台的知识产权通常归发布者或发布者与平台共同所有，未经同意爬取这些内容的，可能涉嫌侵犯知识产权。
Robots协议是网络爬虫相关话题中不可或缺的一部分。上海浦东法院知识产权庭法官徐弘韬形容，爬虫就像一个访客，Robots协议则是房门上悬挂的请勿入门的告示牌。尊重Robots协议是互联网行业普遍遵循的规则，违反这一协议可能会被视为违背商业道德，构成不正当竞争。然而，Robots协议解决的是抓取行为是否得当的问题，而不涉及抓取后数据使用是否得当的问题。
在判断爬虫行为正当性时，需要考虑多种因素。华东政法大学教授张勇对数据爬虫的危害行为进行了分类，包括计算机系统安全、个人信息、版权、国家秘密、商业秘密、市场竞争秩序等方面。他还从爬取方式和技术保护措施、爬取结果和爬取行为对竞争秩序的影响等方面进行了分析。
在杭州互联网法院公布的一起爬取微信公众号平台数据的不正当竞争案件中，法院从“三元目标叠加”的角度分析了爬取行为是否具有正当性，考虑了Robots协议的尊重、技术措施的破坏、用户数据安全性的保障以及行为是否能够创造新的优质资源和是否有益于公共利益等因素。

③ 如何用Python爬取数据

方法/步骤

• 在做爬取数据之前，你需要下载安装两个东西，一个是urllib,另外一个是python-docx。

  

• 7

  这个爬下来的是源代码，如果还需要筛选的话需要自己去添加各种正则表达式。