实时数据流为企业提供了激动人心的新机会，以改变其运营方式，利用实时洞察力来推动更好的决策制定并提高运营效率。
为了了解有关实时流数据如何影响该行业的更多信息，我与Cloudera动态数据业务部门产品营销主管Dinesh Chandrasekhar 进行了交谈。
Dinesh，感谢您加入我们今天的问答环节。首先，前瞻性动态数据策略的优势是什么？
动态数据主要与流数据有关，因此企业通常具有两种不同的查看数据的方式。
一种是静态数据，例如位于数据湖、数据仓库或云存储中的数据，然后它们可以从那里对这些数据进行分析，并且主要围绕已经发生的事情或如何防止将来发生的事情。
另一种是动态数据是指不断进入企业或云的数据，而企业并没有无限的发展空间。在金融服务环境中，这可能是交易或交易数据。
当您以这种速度和数量获取动态数据时，它可能包含数十万个数据点。制定动态数据战略意味着企业制定了一项计划，以实时捕获数据并了解数据对公司的意义以及如何应对。
能够理解其中的影响并采取行动是前瞻性动态数据策略中最重要的部分。流数据的实现仅与公司利用数据的价值并对其做出实时反应的能力一样好。
一个很好的例子就是欺诈检测，信用卡欺诈是金融服务行业的一个大问题，可能意味着巨大的财务损失。实时流数据允许企业向数据点添加上下文，以更好地理解其含义。
例如，如果在美国使用信用卡，不久后在西班牙使用同一张信用卡提取相同的金额，则孤立的这两个事件可能看起来是合法的。
该卡正用于其目的，并且金额相对较小。但是，在时间和地理环境中，这两个事件表明存在欺诈行为。
利用实时流数据，该上下文和检测立即可用，第二笔欺诈性交易可以立即被阻止。
从业务角度来看，公司可以节省资金并提高运营效率。例如，银行可以获取有关ATM性能的实时数据，并在现金不足或无法正常运行时收到警报。
这些小事件可能会使客户感到沮丧，从而导致他们不得不考虑更换银行。通过实时了解潜在问题，金融公司可以预防这些问题并提高客户服务和满意度。
企业在利用流数据见解方面面临的最大挑战是什么？如何克服这些挑战？
如果要查看实时流数据，则前三个障碍是经典的3 V，即容量、速度和多样性。
就数量而言，企业处理数十万个端点，例如来自ATM的传感器数据。金融服务公司或银行可能在全国范围内拥有数千个ATM，这意味着大量数据点会不断反馈信息。
企业需要能够从这些数据点中提取大量数据，以及处理和存储大量数据。
然后，他们需要转移到数据分离，以便他们不仅可以摄取数据，而且还可以准备数据以使其变得可处理。在企业正在摄取的数据量的背景下，丰富数据可能使企业望而却步。
及时处理太多数据是另一个巨大的挑战，数据的真正价值在于实时处理数据并做出相应的响应。如果您无法实时响应数据，它将变得毫无用处。
接下来的关键是数据的传输速度，这在运营水平上很重要，企业需要拥有一个流分析平台，该平台可以理解数据，处理数据量以及管理输入数据的种类和格式。
除了数量、速度和多样性之外，围绕流分析的业务面临的两个最大挑战是安全性和治理。组织需要以透明的方式处理它们，因为在动态数据之旅中的任何时候都可能发生数据黑客攻击。
安全性必须在关键任务级别上加以对待，数据安全性也必须成为企业战略方法的核心部分。治理方面甚至可能更加重要，并且企业需要能够理解数据的来源。
数据血缘、个人身份信息或PPI和元数据都属于广泛的数据治理旗帜，这对于需要保护和规划的内容而言至关重要。
一旦数据进入组织实时处理的位置，用户也需要实时访问数据。
最后，在企业内部拥有合适的平台和技能组，以便能够实时处理数据并获得正确的见解，这对于利用数据的力量推动有意义的变化至关重要。
您能否谈谈一些有助于管理实时流数据的技术？
Cloudera DataFlow 提供了Edge到云端的流数据处理的功能。
通过使用Apache NiFi，可以从Edge开始并在云中结束这种类型的端到端数据处理。
NiFi是Apache Software Foundation的软件，旨在帮助组织中的数据流。通过将MiNiFi和NiFi结合使用，企业可以将数据从Edge收集到其组织中，并利用消息传递功能来扩大规模。
拥有成千上万个数据点或端点或输入，如今的公司拥有大量数据，并且为了能够处理该数据并将其实时分发给需要该数据的其他应用程序，像Apache Kafka这样的解决方案可以为您提供帮助将其分发给所有其他应用程序。
最后，像Apache Flink这样的流处理和分析解决方案可以从Kafka实时读取数据，并了解复杂事件和模式事件，并进行关联，以帮助为企业和决策者提供见解。
MiNiFi、NiFi、Kafka和Flink的结合构成了真正的动态数据平台，并使公司能够实时提取，扩展和处理数据。
CDP是我们的企业数据策略，它使企业可以在任何不同的环境中利用复杂的数据工作流，这使其与众不同。这可以扩展到任何云环境中的流分析功能。
要了解更多关于Cloudera的动态数据的理念，你可以下载一个 为企业级数据流架构蓝图 的副本。
实时数据流为企业提供了激动人心的新机会，以改变其运营方式，利用实时洞察力来推动更好的决策制定并提高运营效率。
在问答的第二部分中，Dinesh将研究企业如何利用Apache Flink和Apache NiFi之类的技术来促进对大容量，高速数据的低延迟处理。
您能否谈一谈企业如何在流架构中最佳地使用Flink，以及促进低延迟处理大量流数据的解决方案的意义是什么？
在该体系结构中，Flink是一个流处理引擎，这意味着它可以处理不同的流集，转换成来自各种来源的数百万个数据输入。
可以通过诸如Flink之类的实时流解决方案来处理所有流到企业中的输入。如果企业具有数据库并且需要找出在特定时间范围内交易了哪些股票，或者哪些股票具有最多的交易数量，则由于定义了数据点，因此处理起来相对简单。但是，当数据变得更加复杂和无限时，企业如何理解趋势和模式？
使用像Flink这样的流处理引擎，他们可以定义逻辑时间窗口，这些时间窗口可能是5秒左右，并且可以开始在这些时间范围内分析数据。
假设某人突然获得某笔小费，或者该公司即将被买卖，那么某只股票突然被广泛交易。股票上会有大量交易，这反过来会影响价值。这意味着交换将不得不进行干预，并且有可能引入一个破坏者。
这是如何近乎实时发生的？通过系统的设置方式，如果交易所放任其几分钟，它可能会完全不受控制，从而产生巨大的财务影响。
但是，如果交易所能够实时处理数据并检测到这只股票的异常高价交易正影响价值或价格，它会立即触发止损，从而防止进一步的破坏或操纵。这是像Flink这样的解决方案可以在后台执行的操作。
Flink可能在后台运行，并定义模式并分析两个不同的事件。我们在前面讨论了信用卡示例，在此示例中，Flink可以定义地理位置和时间周围的上下文，并立即阻止潜在的欺诈性交易。
Flink做得非常好，这里的关键术语是低延迟。就处理而言，低延迟是最短的响应时间。
充满高延迟流程的公司可能会损失数百万美元，因此低延迟处理有助于及时，及时地捕获此类事件。这是企业利用Flink的主要优势。提醒企业这些事件正在发生并防止潜在的破坏性事件对于快速发展的行业（例如金融服务）至关重要。
这在大容量场景中也很重要，因为处理不同类型的卷和复杂数据并不容易，这就是可以利用Flink的流分析解决方案（如Cloudera DataFlow）可以提供帮助的地方。
您能否与我们谈谈NiFi对金融服务企业的好处？
您在金融服务领域中注意到的一件事是企业在日常金融交易中处理的海量数据。
银行尤其处理广泛的数据，例如银行到银行的转账、账户和国际转账、存款、取款、信贷申请等。所有这些每天都在连续且重复地发生，总计相当于PB级的信息和数据。
这需要在动态数据上下文中进行大量的数据摄取、消息传递和处理。银行和金融机构面临的主要挑战之一是数据吸收方面以及如何将它们收集的数据纳入其体系结构。
从数据摄取的角度来看，NiFi就是为此目的而设计的。它最初的设计主要是为了吸收大量数据，并且随着NiFi的发展，它们变得更加强大。
300多个NiFi处理器的库也在不断发展，并且在过去几年中，值得注意的是，NiFi在从各种数据源收集数据方面变得更加出色。现在，它可以将数据大量大量地高速推送到像消防软管一样的组织中。
NiFi的主要优点是您可以收集大量数据并及时快速地移动这些数据。其次，NiFi具有轻量级版本或称为MiNiFi的代理，该代理可以在Edge上收集和处理数据，因此不需要将所有数据都发送回组织以进行即时处理。
当NiFi和MiNiFi组合部署在Edge上时，企业可以从源中收集数据，而不会造成延迟或数据丢失。在金融服务界，边缘可能是有意义的，因为这可能是ATM自助服务机，银行分支机构或贷款处理机的计算机。
NiFi的第三个优势是其与数百个数据源和边缘端点连接的独特能力。因此，允许组织将边缘数据推送到任何云源中，包括AWS，Google，Azure或任何本地数据仓库或数据湖。从任何地方处理数据的能力使其真正可插拔且易于扩展。
如上所述，金融服务公司面临的主要挑战之一是大规模管理大量数据和数据集。NiFi和MiNiFi为公司提供了这种能力以及快速实现这种能力的能力。
看 如何在 CDP 上使用 Apache Flink 设置流处理 。
要了解有关Cloudera实时流数据产品的更多信息，请访问此处 。
原文链接：https://blog.cloudera.com/the-advantages-of-live-data-streaming-in-the-competitive-financial-services-sector-part-i/
https://blog.cloudera.com/the-advantages-of-live-data-streaming-in-the-competitive-financial-services-sector-part-ii/
原文作者：Dinesh Chandrasekhar & Laura Chu
