本文旨在展示如何使用大数据技术构建机器学习平台,该平台可帮助根据来自世界各地的新闻预测特定市场的价值。
数据源
为了使我们能够进行任何分析,我们必须访问此任务所需的数据集。我们至少需要2个数据源:一个用于比特币市场价值,另一个用于提及与比特币相关的大众媒体信息。
寻找比特币市场价值的数据来源是一个相对简单的事情。有各种各样的选择,我们只需要选择其中之一。我们的选择在这里并不重要,所以我们不要太在意这一点。我们使用雅虎财务,因为它免费,可靠,并有多个程序库可以使用。
使用大众媒体的信息要复杂得多。为了实现客观的图景,我们应该从各种来源收集新闻。在汇总了这些新闻来源的清单后,我们肯定会面临一系列困难,如不同的语言,数据源稳定性,信息存储等。但事实上,与主要挑战相比,所有这些问题都不是什么大问题 - 通过一组参数来估计新闻效应。这一挑战是计算机科学和称为自然语言处理的人工智能的一部分。如今,这是一个快速发展的领域,强调机器学习。
幸运的是,GDELT项目可以帮助我们获得新闻数据源。GDELT是一个全球事件,语言和音调数据库; Google拼图支持。
解决方案设计
通过上面列出的数据源,我们可以讨论我们的解决方案设计。首先,我们创建一个我们希望在解决方案中看到的功能列表,并解释我们如何支持这些功能:
易于运行算法执行。在寻找最佳算法的过程中,开发人员应该能够通过多次迭代,轻松访问数据,源代码和以前的尝试,而无需考虑除算法本身之外的其他任何内容。这由应用程序模板支持,该模板封装了数据访问和执行的所有逻辑。它被称为 ml模板。
有效的数据处理。为了有效处理大量数据,我们将使用Apache Spark,它具有强大的通过Spark ML实现机器学习算法实现的工具。
通过单独的数据管理微服务可以实现添加新数据源的功能。数据服务将负责下载包含相关股票市场数据(雅虎财经)的新闻(GDELT数据)并将其保存到数据库中。
执行程序服务提供了使用不同编程语言进行算法开发的能力 - Executor服务 - 一种微型服务,用于下载和编译算法源,模型训练以及Spark群集上的运行算法。它不依赖于特定的技术,并且可以运行可以从命令行执行的所有内容。
结果比较。还有另一个称为结果评估服务的微服务,用于接收ml模板的结果并计算每个算法执行结果的分数。
用于执行管理的Web界面。用户界面将使用WebSocket与我们的微服务进行通信。
解决方案的基础架构
要获得完整可用的产品,我们应该确定要使用的基础架构。由于我们需要在解决方案中使用多个节点(微服务,数据存储,Spark节点),因此为每个节点使用Docker映像而不是实际或虚拟机是合理的。
作为一个容器管理平台,我们将使用Rancher。该平台包括 专门为容器管理准备的RancherOS - 简化的Linux发行版。对于容器编排目的,默认情况下它使用Cattle,但也允许使用其他工具,如Docker Swarm或Kubernetes。
对于Apache Spark集群管理,我们将使用Apache Mesos。这是一个功能强大的资源共享工具,专为基于群集的程序解决方案(如Spark)设计。你可以在加利福尼亚大学的这篇文章中阅读更多关于我们选择的好处。
另外,我们需要一些用于日志处理的程序解决方案。此管道将由3个工具组成:FluentD用于日志收集; ElasticSearch用于存储和搜索; Kibana可视化。
我们的基础结构的最后一个组成部分是一个连续的交付工具。为此, 我们使用最流行的Jenkins。

工作流程

标准工作流程显示在上图中。图中的数字具有以下含义:
用户访问前端(Web应用程序,又名Midas Eyes)以获取有关现有模型和先前执行的信息。此外,用户可以创建和训练新模型,或通过UI将现有模型应用为新的输入数据。
有关执行和模型的信息由Frontend通过WebSocket从Executor Service请求。
模型和执行的元数据存储在PostgreSQL数据库中。
结果和他们的估计是由前端通过WebSocket从结果评估服务中请求的。
结果和估算值存储在PostgreSQL数据库中。
当“训练”执行已经开始时,Executor Service从GitLab下载源文件。对于“应用”执行,它们已经存储并且可以立即运行。然后Executor Service运行由开发人员用某种算法扩展的ml-template。
在Spark集群上开始作业之前,ml-template会通过REST API在Data Service中检查用户指定的输入数据的存在。
如果缺少执行所需的数据,数据服务会从外部来源下载它 - 在我们的例子中是GDELT和Yahoo。
数据服务将下载的数据存储在Mongo数据库中。
数据准备好后,ml-template将任务提交给Spark群集。
在执行期间,Spark从Mongo数据库请求必要的数据。
执行完成后,结果将提交给结果评估服务。该服务进行必要的估算,包括与实际情况(Spark的“标签”)进行比较。
此外,还有关于微服务技术堆栈的几句话。数据,执行和结果评估服务由Java,Spring Boot,Hibernate和Gradle提供支持。ml模板使用Scala编写,但也可以在Python,R或Java上创建。前端基于React.js和Bootstrap。
算法应用的例子
作为一个热身,我们来试试线性回归算法。我们最初的假设是比特币价格和衍生品之间的平均新闻语调之间的相关性。平均音调是提及事件的标准。它介于-100和+100之间,其中0是中性值。该参数是一个大数值,通常大约有数千个数字。但根据金额和正值/负值的分布,它可以变成几个权重。经过简单的计算,我们得到平均音调和总量。
新闻和市场数据之间的线性依赖关系的假设相当幼稚,但这是一个很好的起点。使用它我们可以检查一切工作是否按计划进行。正如预期的那样,目前的结果并不令人鼓舞,如下图所示。

这只是众多尝试之一,没有一个导致平均偏差超过数百美元。更相关的算法,如梯度推进树回归,也显示不可靠的结果。

这意味着我们需要使用诸如交叉验证或尝试新技术等技术来改进当前的算法。例如,使用Apache Spark的深度学习(特别是深度神经网络)是一种有趣的方法。另外,我们可能需要更改我们的输入参数集。通过这种方式,我们有很多可能的改进方向。
货币预测不是唯一可能的应用领域。例如,它也很容易让它在市场股票上运作。这些股票有更多的新闻参数可以操作,因为它们与特定的国家或公司有关,并依赖于与这些国家和公司有关的事件。
我们在这个项目中使用的技术是开源的。在本文中,我们向您展示了如何轻松构建复杂的机器学习解决方案,而不是使用市场上现有的解决方案。我们希望我们的经验能激励您做自己感兴趣的项目。