基于FPGA微秒级实时金融指数行情计算

Duke 2018-04-13 16:07 次阅读

中国金融市场已经是全球最大的金融市场之一,随着市场规模的不断扩大,金融市场的功能发挥日益明显,服务相关产业和国民经济的能力不断提高。金融交易系统(例如股票交易系统)具有交易时间相对集中、交易指令和数据密集的特点,对交易系统处理速度具有很高的要求。近年来,资本市场的快速发展和算法交易技术(尤其是高频交易)在全世界范围内的应用,使得交易所在低交易延时领域面临着巨大的技术挑战。

交易所对于交易系统延时测量监控需求也越来越迫切,同时对于大规模数据密集型计算的实时性要求也越来越高。对于交易系统及环节的高精度延时测量,达到近实时的分析性能基本可以准确快速的监测股票交易系统性能和状态,但对于大规模实时交易数据分析,则需要达到更快的处理速度,实时性要求更高,直接关系到交易系统的服务质量(QoS)。传统的软件技术或以软件为核心的软硬件加速技术难以满足微秒级实时分析和实时响应的要求,采用FPGA专用硬件结构实现大规模数据密集型计算的并行加速称为提高交易系统服务质量的迫切需求。

针对金融网络数据处理的技术研究而言,国外已经预言或实现了很多相关硬件加速和并行计算的FPGA实现,其中Altera公司2008年面向蒙特卡罗算法(QMC)的FPGA加速模型建立,对价格衍生证券的实时精确估计判断做出了很大的促进作用。此外,2009年英国帝国理工学院和英国金融加速解决方案供应商Celoxica合作,提出实现了一种叫“低延迟交易数据反馈计算模型”。针对现在越来越大的交易市场的变化数据(甚至超过gigabit),他们为投资者提供了网络传输数据分析的FPGA加速处理方案,利用FGPA的可配置特点,可选择地实现对交易数据的压缩,过滤,筛选。其性能优越,每秒最多处理高达3.5M条信息,处理延迟也控制在微秒量级上。不但激活了投资者的投资热情,同时也极大促进了金融市场流动性。

基于FPGA的硬件以太网协议跨层解析

在数据分析获取过程中,以太网的协议解析占据了很大的时间比例。如果采用一般的软件解包方法,时间一般延迟包括每一网络层的解包时间和中间数据的传输时间,时间延迟可达毫秒级甚至更高。考虑到降低整个系统的数据传输延迟,进而提升处理性能,提出以下两种解决方案。

使用FPGA集成的可配置IP核。FPGA的IP核基于硬件原理实现,在数据传输延迟和网络数据解包能力上都大大优于传统的软件处理过程,而且极大缩短了开发周期,其可靠性,可配置性,通用性都相当出色。适合在项目的中前期作为数据输入的模拟测试。但是具体面向此项目IP核也会有自身的冗余,在MAC层不能进行自定义的协议解析,总的延迟大约在几十微秒至几百微秒。

针对本应用设计基于跨层解析的以太网数据分析模型。由于套利计算的数据源的包格式固定,封装简单,而且属于旁路数据,完全可以自行设计针对本应用的专用数据解析功能部分,方案优势和创新点在于在MAC层跨层解析数据以及包过滤,数据接收与解析时间重叠。采用状态机逐层进行包过滤,在有限机器周期内便可获得需要计算的数据,时间延迟可控制在微秒级。

基于FPGA的硬件以太网协议跨层解析能够降低传统软件协议栈的数据包处理固有延迟(可能占据整个延迟的80%以上开销),大大提高数据获取和预处理效率。

基于 FPGA 的千兆 TCP 硬协议栈,实现 TCP 与 FIFO 之间的数据连接,内部集成了千兆以太网 MAC 层,ARP 处理,TCP 处理等功能。RGMII 接口,直接连接 PHY 芯片,10/100/1000M 自适应。自动迅速的 ARP 响应。

硬逻辑的 TCP 协议栈,具有 listen 功能,可接受 1 个 TCP 连接,完整的三次握手建立

连接(syn)、数据快速重传、保活(keepalive)、窗口调整、被动关闭(fin)等功能。 可设置 MAC 地址,IP 地址,端口号,超时时间,以用于实时性高的场合可配置的缓冲区大小,以满足不同成本和性能的应用。

数据输入和数据输出为 FIFO 接口,使用独立的时钟。

适用于 xilinx 的 FPGA,spartan-3 系列,spartan-6 系列,virtex-4/5/6/7 系列不同配置的性能。

基于FPGA微秒级实时金融指数行情计算

实时金融指数行情计算模型与并行调度策略

研究实时金融指数(本计划书以股票ETF50为例)股票推导的计算模型与计算方法,根据数据计算类型的特点设计专用硬件处理单元的结构模型;

研究有限计算资源条件下的行情数据缓存与并行调度策略,研究硬件计算资源划分与共享技术;

研究透明数据接口技术,包括输入端旁路高速数据获取技术与实现方法以及输出端的应用接口技术。

基于FPGA的并行加速技术

研究基于FPGA的硬件千兆以太网数据获取技术,实现完全硬件的TCP/IP协议栈解析和数据包过滤;

研究行情驱动的大规模专用套利数据处理单元结构、数据缓存与并行分发机制以及数据流水调度算法。

研究面向同构计算单元(同种计算模型)和异构计算单元(异种推导模型)协同的FPGA资源划分技术,对资源进行优化配置,在有限计算资源条件下获得最高的并行加速性价比。

实时金融指数行情的可配置与可扩展技术,充分考虑FPGA专用逻辑特点提供计算模型的配置与合约推导的扩展方案。

研究实时金融指数行情数据的高速分发及应用接口技术,采用高速传输总线结构实现实时金融指数行情数据的提取和管理。

基于FPGA的并行加速技术方案

图为系统结构图,主要由数据接收模块、股票信息并行处理模块、数据发送模块组成。数据接收模块主要负责协议包的跨层解析以及包过滤。股票信息并行处理模块是整个系统的算法核心,采用高速并行方式分析股票信息,计算相关指数,并通过数据发送模块快速发布。在股票信息并行处理模块中,算法定向单元负责调度下层的异构逻辑块,异构逻辑块通过同构逻辑晶格完成最基础的数据计算。在股票信息并行处理模块中,将所有的数据存储于FPGA内部的分布式RAM中,突破了IO传输的瓶颈。

基于FPGA微秒级实时金融指数行情计算

图7 FPGA计算系统结构图

北京太速科技有限公司 一直致力于大数据智能计算平台产品开发。基于 FPGA的微秒级实时金融平台 欢迎参与合作。

来源:北京太速科技有限公司

工程师兵营 技术专区

关注电子发烧友微信

有趣有料的资讯及技术干货

下载发烧友APP

打造属于您的人脉电子圈

关注发烧友课堂

锁定最新课程活动及技术直播
收藏 人收藏
分享:

评论

相关推荐

电源与规定的电流阶跃测试方案

许多应用处理器均需要现场可编程门阵列(FPGA)、专用集成电路(ASIC)和其它大功率中央处理器(C....

的头像 电子设计 发表于 04-20 09:18 159次阅读
电源与规定的电流阶跃测试方案

基于FPGA开发的万年历系统

与传统计时工具如钟表日历等相比,数字万年历具备精确度高、成本低廉、运行稳定、功能多样等众多优点,因此....

发表于 04-19 12:35 36次阅读
基于FPGA开发的万年历系统

基于fpga的数字时钟设计应用

本工程包括矩阵键盘和数码管显示模块,共同实现一个带有闹钟功能、可以设置时间的数字时钟。具体功能如下:....

发表于 04-19 10:27 30次阅读
基于fpga的数字时钟设计应用

基于FPGA的篮球24秒倒计时系统设计

本工程包含了两个按键和4位数码管显示,共同实现一个篮球24秒倒计时、并具有暂停和重新计数复位的功能。....

发表于 04-19 10:24 33次阅读
基于FPGA的篮球24秒倒计时系统设计

6个步骤 让你成为FPGA设计高手

VHDL和verilog各有优点,选择一个,建议选择verilog。熟练使用设计软件,知道怎样编译、....

发表于 04-19 09:05 39次阅读
6个步骤 让你成为FPGA设计高手

fpga就业怎么样_fpga工程师是青春饭吗_fpga工程师发展前景

随着科技的发展,技术提高产品性能要求越来越高,近几年可编程的门阵列(FPGA)技术发展迅速,其高度的....

的头像 陈翠 发表于 04-19 09:03 108次阅读
fpga就业怎么样_fpga工程师是青春饭吗_fpga工程师发展前景

如何排除FPGA电源定序问题

当电源定序不当时,就有可能发生闭锁失灵或电流消耗过大的现象。如果两个电源加到芯核接口和I/O接口上的....

发表于 04-19 01:59 73次阅读
如何排除FPGA电源定序问题

fpga应用领域_fpga应用三个主要方向

本文首先介绍了fpga的优势及特点,其次介绍了fpga的应用领域,最后阐述了fpga应用的三个主要方....

发表于 04-18 10:15 82次阅读
fpga应用领域_fpga应用三个主要方向

一文看懂fpga和单片机的区别

本文首先介绍了fpga的工作原理及特点,其次介绍了单片机的工作原理及特点,最后阐述了fpga和单片机....

的头像 陈翠 发表于 04-18 09:51 299次阅读
一文看懂fpga和单片机的区别

一文解析FPGA的片上资源使用情况(组合逻辑及时序逻辑)

本文主要介绍的是FPGA的片上资源使用情况,分别是从组合逻辑及时序逻辑来详细的分析。

发表于 04-18 09:06 147次阅读
一文解析FPGA的片上资源使用情况(组合逻辑及时序逻辑)

基于FPGA为实现平台的低功耗高速解码器系统

在本文中,利用自编码神经网络的编码器对输入数据进行编码,所得到隐含层的输出数据称为原始数据的编....

的头像 电子技术应用ChinaAET 发表于 04-18 08:58 134次阅读
基于FPGA为实现平台的低功耗高速解码器系统

ARM,DSP,FPGA,CPLD,SOPC,SOC的区别 FPGA与CPLD的区别详解

ARM,DSP,FPGA,CPLD,SOPC,SOC之间有什么区别和联系 arm是一种嵌入式芯片,比....

发表于 04-18 07:19 34次阅读
ARM,DSP,FPGA,CPLD,SOPC,SOC的区别 FPGA与CPLD的区别详解

Xilinx Zynq-7000 All Programmable SoC平台的机器视觉解决方案

当前工业工厂自动化需要机器视觉来快速准确检测检查生产线,确保高质量控制。这些稳定可靠的系统需要从简单....

发表于 04-17 17:57 49次阅读
Xilinx Zynq-7000 All Programmable SoC平台的机器视觉解决方案

掌握 Verilog FPGA设计和验证方法是AI时代系统设计师的生命线

在嵌入式系统研发领域,随着产品AI化升级进程,原先设计常规数字系统的FPGA硬件工程师和系统软件设计....

的头像 嵌入式资讯精选 发表于 04-17 16:12 305次阅读
掌握 Verilog FPGA设计和验证方法是AI时代系统设计师的生命线

ECP5-5G及ECP5-5G Versa开发板主要特性

Lattice公司的ECP5-5G系列是低成本低功耗小尺寸的FPGA系列产品,提供高性能特性如增强的....

发表于 04-17 03:38 27次阅读
ECP5-5G及ECP5-5G Versa开发板主要特性

嵌入式视觉和网络边缘智能应用市场前景愈加明朗

十年前,嵌入式视觉技术主要用于比较少见、高度专业化的应用。今天,设计工程师们在越来越多新兴的工业、汽....

的头像 人间烟火123 发表于 04-16 17:20 1706次阅读
嵌入式视觉和网络边缘智能应用市场前景愈加明朗

百度和赛灵思加码FPGA 云加速人工智能应用大比拼

本次大赛将以一个互联网应用(如CTR)为切入点,比赛协办方将提供资源(包括 AI 加速器)和数据集,....

发表于 04-13 16:51 61次阅读
百度和赛灵思加码FPGA 云加速人工智能应用大比拼

基于数字特征的识别算法设计实现

基于数字特征的识别算法其核心是通过对数字的形状以及结构等几何特征进行分析与统计,通过对数字特征的识别....

发表于 04-13 16:39 104次阅读
基于数字特征的识别算法设计实现

使用英特尔 FPGA 加速企业工作负载已成为主流趋势

英特尔宣布原始设备制造商 (OEM) 在其服务器系列中采用了英特尔现场可编程门阵列 (FPGA) 加....

的头像 人间烟火123 发表于 04-12 12:51 2189次阅读
使用英特尔 FPGA 加速企业工作负载已成为主流趋势

Basys3 时钟上升沿很长,是什么原因?

发表于 04-12 10:50 195次阅读
Basys3 时钟上升沿很长,是什么原因?

FPGA介绍及现状分析_如何学习FPGA?

中国每年对于FPGA设计人才的需求缺口巨大,FPGA设计人才的薪水也是行业内最高的。目前,美国已有F....

的头像 lyj159 发表于 04-10 10:22 315次阅读
FPGA介绍及现状分析_如何学习FPGA?

开发FPGA的第一步,当然是选择一片符合设计需求的芯片

首先需要分析功能需求,然后在平衡资源与速度后,估计速度需求。同样也可以根据之前的设计来确定,根据FP....

的头像 FPGA极客空间 发表于 04-08 16:22 526次阅读
开发FPGA的第一步,当然是选择一片符合设计需求的芯片

版主 你好,我在论坛查到FPGA的数字电压表的设计已经过期了。

发表于 04-08 14:42 133次阅读
版主  你好,我在论坛查到FPGA的数字电压表的设计已经过期了。

解决FPGA一个解复用和时钟域转换问题

SERDES恢复出的数据进入FPGA有一个解复用和时钟域转换的问题,Stratix GX包含了专用电....

的头像 FPGA极客空间 发表于 04-08 08:46 1224次阅读
解决FPGA一个解复用和时钟域转换问题

基于UltraScale+FPGA可编程逻辑DCI互连盒设计

随着实施基于云的服务和机器到机器通信所产生的数据呈指数级增长,数据中心面临重重挑战....

的头像 FPGA开发圈 发表于 04-08 08:43 1518次阅读
 基于UltraScale+FPGA可编程逻辑DCI互连盒设计

一文知晓FPGA与ARM、DSP的不同点

FPGA并不是万能的。相对于串行结构处理器,其设计的灵活性是以工作量的增加为代价的。FPGA与ARM....

发表于 04-08 08:27 169次阅读
一文知晓FPGA与ARM、DSP的不同点

基于FPGA的图像差分处理

基于FPGA的比特平面分层 基于单核Zynq 7Z007S的MiniZed™ 开发套件 Xilinx....

的头像 电子发烧友网工程师 发表于 04-06 11:53 422次阅读
基于FPGA的图像差分处理

基于verilog的计步器设计

发表于 04-05 09:59 258次阅读
基于verilog的计步器设计

基于14纳米工艺的原型GPU,包含现场可编程门阵列

英特尔通过聘请业内最知名的AMD前GPU架构师Raja Koduri负责研发其独立GPU产品。

的头像 嵌入式资讯精选 发表于 04-04 08:52 1597次阅读
基于14纳米工艺的原型GPU,包含现场可编程门阵列

因特尔Cyclone 10 LP FPGA评估板电路图集及PCB装配图

Intel公司的Cyclone 10 LP FPGA系列是低成本和低静态功耗的器件,提供高密度可编门....

发表于 04-04 08:15 85次阅读
因特尔Cyclone 10 LP FPGA评估板电路图集及PCB装配图

美高森美PolarFire FPGA器件荣获《今日电子》和21ic.com颁发 “2017年度产品奖”

 致力于在功耗、安全、可靠性和性能方面提供差异化的领先半导体技术方案供应商美高森美公司(Micros....

的头像 人间烟火123 发表于 04-03 10:40 2161次阅读
美高森美PolarFire FPGA器件荣获《今日电子》和21ic.com颁发 “2017年度产品奖”

采用Zynq UltraScale+MPSoC进行基于软件的创造性应用开发

ZCU104 评估套件可帮助设计人员为监控、高级驾驶员辅助系统 (ADAS)、机器视觉、增强实境 (....

的头像 FPGA开发圈 发表于 04-03 08:30 2506次阅读
采用Zynq UltraScale+MPSoC进行基于软件的创造性应用开发

FPGA比CPU和GPU快的原因

CPU和GPU都属于冯·诺依曼结构,指令译码执行,共享内存。FPGA之所以比CPU、GPU更快,本质....

的头像 嵌入式资讯精选 发表于 04-02 17:52 632次阅读
FPGA比CPU和GPU快的原因

fpga的图像mif文件vga显示问题,出来是白色一片

发表于 04-02 16:43 225次阅读
fpga的图像mif文件vga显示问题,出来是白色一片

赛灵思Victor Peng:发明了FPGA再推出了一种碾压FPGA的新产品

2018 年 3 月 16 日,赛灵思又面向中国市场专门举行了一场信任 CEO 见面会,会上,已经在....

的头像 芯智讯 发表于 04-02 11:06 436次阅读
赛灵思Victor Peng:发明了FPGA再推出了一种碾压FPGA的新产品

系统关键技术通用评估平台,轻松集成FPGA设计

系统设计有时十分复杂,需要充分了解许多不同的元件,如果解决方案的各环节可以进行原型制作并快速演示,就....

的头像 电子设计 发表于 04-02 09:33 2239次阅读
系统关键技术通用评估平台,轻松集成FPGA设计

基于FPGA核心实施现代航空电子设计方法

本文将介绍一种基于现场可编程门阵列 (FPGA) 核心的实施体现了先进的现代航空电子设计方法。这项技....

的头像 电子设计 发表于 04-02 09:27 2737次阅读
基于FPGA核心实施现代航空电子设计方法

DSP专家给你一个选择FPGA的理由

FPGA 对绝大多数的人来说相对有些陌生。经常有朋友问我,你们成天搞的这个 FPGA 到底是什么东西....

的头像 电子发烧友网工程师 发表于 03-31 08:20 3475次阅读
DSP专家给你一个选择FPGA的理由

“2017中国电子工程师生活与工作状况调查”结果分析

今日发布“2011中国电子工程师生活与工作状况调查”结果。本次调查从2011年4月25日开始,至5月....

的头像 电子发烧友网工程师 发表于 03-31 07:14 546次阅读
“2017中国电子工程师生活与工作状况调查”结果分析

FPGA时序约束简介

在简单电路中,当频率较低时,数字信号的边沿时间可以忽略时,无需考虑时序约束。但在复杂电路中,为了减少....

的头像 FPGA极客空间 发表于 03-30 13:42 351次阅读
FPGA时序约束简介

【下载】《CPLD/FPGA的开发与应用》

发表于 03-29 17:11 1008次阅读
【下载】《CPLD/FPGA的开发与应用》

怎么看FPGA管脚定义

发表于 03-29 10:53 366次阅读
怎么看FPGA管脚定义

【下载】《FPGA高手设计实战真经100则》

发表于 03-28 17:14 1530次阅读
【下载】《FPGA高手设计实战真经100则》

异步电路中时钟如何同步的多种方法

时钟是数字电路中所有信号的参考,特别是在FPGA中,时钟是时序电路的动力,是血液,是核心。

的头像 FPGA极客空间 发表于 03-28 17:12 755次阅读
异步电路中时钟如何同步的多种方法

FPGA相比CPU在运算中的优势

FPGA相比于CPU,最大的优点在于速度,简单来讲,FPGA是靠控制每个时钟(Cycle)来驱动信号....

的头像 FPGA极客空间 发表于 03-28 17:10 914次阅读
FPGA相比CPU在运算中的优势

技术控:FPGA中RAM使用技巧探索

FPGA中RAM的使用探索。以4bitX4为例,数据位宽为4,深度为4。

的头像 FPGA极客空间 发表于 03-28 17:07 637次阅读
技术控:FPGA中RAM使用技巧探索

FPGA 如何支持智能搜索? 英特尔FPGA 加速人工智能发展

在这个以数据为中心的世界,用户对搜索引擎提出了比以往更高的要求。先进的英特尔技术可帮助 必应 利用强....

发表于 03-28 10:22 156次阅读
FPGA 如何支持智能搜索? 英特尔FPGA 加速人工智能发展

高云半导体和ELDIS科技强强联合 进一步打开欧洲市场大门

高云半导体 科技股份有限公司今日宣布签约ELDIS科技有限公司为以色列授权代理商。此举标志着高云半....

发表于 03-28 10:19 109次阅读
高云半导体和ELDIS科技强强联合 进一步打开欧洲市场大门

特朗普对华发起贸易战包括信息技术而中国没有反制的原因是什么

美国为何在许多自己的强项上制裁中国,中国又为何不对进口额超过石油的集成电路产品征收高关税呢?

的头像 电子发烧友网工程师 发表于 03-28 08:34 5928次阅读
特朗普对华发起贸易战包括信息技术而中国没有反制的原因是什么

500亿晶体管!ACAP技术细节

ACAP 的核心是新一代的 FPGA 架构,结合了分布式存储器与硬件可编程的 DSP 模块、一个多核....

的头像 FPGA开发圈 发表于 03-27 11:04 542次阅读
500亿晶体管!ACAP技术细节

Xilinx首次亮相的Virtex UltraScale+ HBM FPGA

随着人工智能、5G通信、大数据、云计算等应用的出现,人们对于通信带宽的要求也在不断的提高,这些应用需....

的头像 FPGA开发圈 发表于 03-27 11:02 486次阅读
Xilinx首次亮相的Virtex UltraScale+ HBM FPGA

FPGA定点小数的常规格式、相对于浮点小数的优势与劣势

 Lattice的ECP3/ECP5系列FPGA内部集成了多个sysDSP架构的乘法器模块,基于sy....

的头像 电子技术应用ChinaAET 发表于 03-27 08:54 408次阅读
FPGA定点小数的常规格式、相对于浮点小数的优势与劣势

特权同学海量fpga资料

发表于 03-26 16:16 748次阅读
特权同学海量fpga资料

勇敢的芯伴你玩转Altera FPGA连载57:3-8译码器实验

发表于 03-26 16:13 459次阅读
勇敢的芯伴你玩转Altera FPGA连载57:3-8译码器实验

赛灵思新CEO首秀 推新一代的FPGA架构ACAP

赛灵思公司第四任CEO Victor Peng 走马上任,他同时兼任公司总裁,Victor Peng....

发表于 03-26 14:34 408次阅读
赛灵思新CEO首秀 推新一代的FPGA架构ACAP

基于FPGA的8比特图像的可比特平面分层

像素是由比特组成的数字。例如,在256级灰度图像中,每个像素的灰度是由8比特(也就是1个字节)组成。....

发表于 03-26 13:18 114次阅读
基于FPGA的8比特图像的可比特平面分层

FPGA二值图像边界提取算法实现

我们使用3x3模板进行边界提取,所以当3x3九个点都是‘1’的时候,输出为‘1’,当九个点都是‘0’....

发表于 03-26 13:00 156次阅读
FPGA二值图像边界提取算法实现

两种能够帮助工程师简化FPGA的电源解决方案

我不得不承认,随着时间的推移为 FPGA 供电变得越来越复杂,本文提供一些建议,希望可以帮助简化 F....

的头像 电子设计 发表于 03-26 09:08 2355次阅读
两种能够帮助工程师简化FPGA的电源解决方案

以计数器为32位为例:FPGA中计数器设计探索

值得注意的是,以上测试是在资源足够频率不高的条件下测试的。根据经验,当资源使用较多,时钟频频较高时,....

的头像 FPGA极客空间 发表于 03-24 11:07 1243次阅读
以计数器为32位为例:FPGA中计数器设计探索

fpga逻辑资源

发表于 03-24 11:04 343次阅读
fpga逻辑资源