1. 大数据如何采集
1、离线采集：工具：ETL；在数据仓库的语境下，ETL基本上就是数据采集的代表，包括数据的提取（Extract)、转换(Transform)和加载(Load)。在转换的过程中，需要针对具体的业务场景对数据进行治理，例如进行非法数据监测与过滤、格式转换与数据规范化、数据替换、保证数据完整性等。2、实时采集：工具：Flume/Kafka；实时采集主要用在考虑流处理的业务场景，比如，用于记录数据源的执行的各种操作活动，比如网络监控的流量管理、金融应用的股票记账和web服务器记录的用户访问行为。在流处理场景，数据采集会成为Kafka的消费者，就像一个水坝一般将上游源源不断的数据拦截住，然后根据业务场景做对应的处理（例如去重、去噪、中间计算等），之后再写入到对应的数据存储中。这个过程类似传统的ETL，但它是流式的处理方式，而非定时的批处理Job，些工具均采用分布式架构，能满足每秒数百MB的日志数据采集和传输需求3、互联网采集：工具：Crawler,DPI等；Scribe是Facebook开发的数据(日志)收集系统。又被称为网页蜘蛛，网络机器人，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它支持图片、音频、视频等文件或附件的采集。
2. 如何用爬虫抓取股市数据并生成分析报表
1. 关于数据采集
股票数据是一种标准化的结构数据，是可以通过API接口访问的（不过一般要通过渠道，开放的API有一定的局限性）。也可以通过爬虫软件进行采集，但是爬虫软件采集数据不能保证实时性，根据数据量和采集周期，可能要延迟几十秒到几分钟不等。我们总结了一套专业的爬虫技术解决方案(Ruby + Sidekiq)。能够很快实现这个采集，也可以后台可视化调度任务。
2. 关于展现
网络股票数据的展现，网页端直接通过HTML5技术就已经足够，如果对界面要求高一点，可以采用集成前端框架，如Bootstrap；如果针对移动端开发， 可以使用Ionic框架。
3. 关于触发事件
如果是采用Ruby on Rails的开发框架的话，倒是很方便了，有如sidekiq, whenever这样子的Gem直接实现任务管理和事件触发。
3. 对于股票数据可以从什么维度进行采集
对于股票数据可以从大盘信息,行业信息,个股信息三个维度进行采集。大盘信息，大盘的好坏会直接影响个股的走势,大盘的资金面对投资者来说十分重要；股票数据一定要看行业信息，分析板块指数不仅可以发现上涨或者待上涨的板块，而且可以筛选出领涨个股及时买进；个股上信息要用到一些技术指标，其中最重要的是K线图和量线图，通过这几个不同维度的分析后,我们就可以对股票数据有一个全面系统的了解。
4. 什么是大数据概念股票
大数据概念股票指的是与大数据产业紧密相关的股票，这些公司主要涉及大数据的采集、存储、处理、分析和应用等业务。
以下是关于大数据概念股票的详细解释：
随着互联网、云计算和物联网技术的飞速发展，大数据产业正逐渐成为全球范围内重要的新兴产业之一。大数据概念股票涉及的公司主要集中在以下几个方面：
1.数据采集与整合领域。在这一领域，大数据的概念主要是指海量的数据资源。因此，一些从事数据采集和整合的公司，如搜索引擎巨头和数据集成服务商等，都与大数据密切相关。他们的股票也被归为大数据概念股票。
2.数据存储与管理领域。随着数据量的不断增加，数据的存储和管理变得尤为重要。因此，那些提供大规模数据存储解决方案和高效数据管理工具的公司的股票也属于大数据概念股票。
3.数据处理与分析领域。数据处理和分析是大数据应用的核心环节，涉及数据挖掘、机器学习等技术。在这一领域的公司，如数据分析服务商和云计算服务商等，其股票也属于大数据概念股票。
4.大数据应用领域。大数据的应用范围非常广泛，包括金融、医疗、零售等多个行业。因此，那些利用大数据提供定制化服务或创新产品的公司的股票，也被视为大数据概念股票。
总的来说，大数据概念股票是与大数据产业紧密相连的，涉及大数据的采集、存储、处理、分析和应用等各个环节。由于大数据产业的快速发展和广阔的市场前景，这些股票在股市中通常受到广泛关注。
投资者在选择大数据概念股票时，应关注相关公司的技术实力、市场占有率和业务模式等关键因素，以做出明智的投资决策。同时，也要留意市场的动态变化和相关政策风险，以规避投资风险。
5. 股票最简单的估值方法
无论是买错了股票，还是买错了价格，都是很头疼的事情。再好的公司股价也是被高估的。如果你买了一个被低估的价格，你不仅可以得到亚红外，还有股票的差价。但如果选择了高估的价格，就只能无奈地当“股东”了。巴菲特在买股票的时候经常会预估一家公司股票的价值，以免自己买的股票配不上这个价格。那就很多了，那么如何估计公司股票的价值呢？那我就列举几个重点，详细说说。正文开始前，先给大家一波福利——机构评选的牛股名单新鲜出炉。路过不要错过【绝密】机构推荐的牛股名单泄露。限速就能拿到！!!
1.估值是多少？
估值是指估计公司股票的价值。就像贸易商进货要计算商品成本一样，他们可以算出自己要卖什么价格，要卖多久才能把钱拿回来。这就相当于大家都买了一只股票，按市价买了这只股票，我们多久才能回本赚钱等等。但是，股票有很多种，就像大型超市里的东西一样。不知道哪个便宜哪个好。但是根据他们现在的价格，有办法估计值不值得买，有没有收益。
二、如何给公司估值？
我们需要参考很多数据来判断估值。这里有三个对你更重要的指标:
1.价格收益比率
公式:市盈率=每股价格/每股收益。具体分析时尽量对比公司所在行业的平均市盈率。
2、PEG
公式:PEG =PE/(净利润增长率*100)。当PEG小于1或更小时，也就是说，当前股价正常或被低估，而大于1的则被高估。
3.市净率
公式:市净率=每股价格/每股净资产。这种估值方法非常适合一些大的或者比较稳定的公司。一般市净率越低，投资价值越高。但市净率一旦跌破1，就意味着公司股价已经跌破净资产，投资者要小心了。
我举一个实际的例子来说明:福耀玻璃
众所周知，福耀玻璃是目前汽车玻璃行业的大型龙头企业，各大汽车品牌使用的玻璃一般都属于它。目前汽车行业对其营收影响最大，相对稳定。然后，从刚才说的三个标准，评价这个公司是什么样子的！
①市盈率:目前其股价为47.6元，预测2021年每股收益1.5742元。市盈率=47.6元/1.5742元=约30.24。20~30很正常。不难看出现在的股价有点高，但是更好的评价标准还是要看其公司的规模和覆盖面。
②PEG:从盘口信息可以看出，福耀玻璃的PE为34.75，然后根据公司的研究报告，净利润率为83.5%，可以得到PEG = 34.5/(83.5% * 100)= 0.41左右。
③市净率:首先打开股票交易软件，按F10，得到每股净资产。结合股价可以得到47.6/8.9865的市净率=约5.29。
第三，估值的评估要基于多方面。
错误的选择是用公式计算！炒股的意义在于公司未来的收益。即使公司现在估值过高，也不代表未来也会如此。这也是基金经理追捧白马股的原因。此外，上市公司的行业增长空间和市值增长空间也至关重要。如果很多银行按照上面的方法来衡量，肯定会被误判和低估。然而，他们的股价为什么涨不起来？最重要的原因是他们的成长和市值空间几乎饱和。更多行业质量分析报告可点击下方链接获取:最新行业研究报告免费分享。除了行业，可以从以下几个方面看一下:1。对市场份额和竞争率有大致了解；2.了解未来的战略规划和公司的发展天花板。这是我总结的方法和技巧。希望对大家有所裨益。谢谢大家！如果你实在没时间深入研究这个，可以直接点击这个链接，输入你喜欢的股票，获得股票诊断报告！【免费】测试你的股票目前的估值位置？