Hadoop Trading System

Eu me divirto aprendendo sobre o Hadoop e os vários projetos em torno dele e atualmente tenho 2 estratégias diferentes Estou pensando em construir um sistema para armazenar uma grande coleção de dados do tick do mercado, estou apenas começando com HadoopHDSF e HBase, mas espero que alguém possa me ajudar Planta uma semente de sistema que não terei que juntar mais tarde usando essas tecnologias. Abaixo está um esboço do meu sistema e requisitos com alguns casos de uso de consulta e uso de dados e, finalmente, meu pensamento atual sobre a melhor abordagem da pouca documentação que eu li. É uma pergunta aberta e, com prazer, gosto de qualquer resposta que seja perspicaz e aceite o melhor, sinta-se livre para comentar sobre qualquer ou todos os pontos abaixo. - Requisitos do sistema Duncan Krebs - Seja capaz de alavancar o armazenamento de dados para testes históricos de back-back de sistemas, histórico de dados e futuras operações de mineração de dados. Uma vez armazenados, os dados sempre serão somente leitura, o acesso rápido aos dados é desejado, mas não é imprescindível quando o teste de volta. Esquema estático - Muito simples, eu quero capturar 3 tipos de mensagens do feed: Timestamp incluindo data, dia, hora Cotação incluindo Símbolo, timestamp, ask, askSize, bid, bidSize, volume. (Cerca de 40 colunas de dados) Comércio incluindo Símbolo, timestamp, preço, tamanho, troca. (Cerca de 20 colunas de dados) Dados Inserir Casos de Uso - Ou a partir de um fluxo de dados ao vivo ou pesquisa por meio de Casos de Uso de Consulta de Dados da API do corretor - abaixo demonstra como eu gostaria de consultar logicamente meus dados. Receba-me todas as cotações, tradições, carimbos para o GOOG no 9222014 Obter-me todos os negócios para GOOG, FB ANTES de 912014 E APÓS 512014 Obtenha-me o número de trades para estes 50 símbolos por dia nos últimos 90 dias. O Santo Graal - Pode MapReduce ser usado para casos de uso como estes abaixo. Gerar meta-dados dos dados do mercado bruto através de agentes distribuídos. Por exemplo, escreva um trabalho que computará o volume de negociação médio em um intervalo de 1 minuto para todos os estoques e todas as sessões armazenadas no banco de dados. Crie o trabalho para ter um agente para cada estocagem que eu digo para que estoque e sessão ele deve calcular esse valor. (É o que MapReduce pode fazer). No classpath dos agentes posso adicionar meu próprio código util para que o caso de uso acima, por exemplo, possa publicar seu valor em um repo central ou no servidor de mensagens. Posso implantar um agente como um pacote OSGI Crie diferentes tipos de agentes para diferentes tipos de métricas e pontuações que são executadas todas as manhãs antes da negociação pré-comercialização. Negociação de alta freqüência. Também estou interessado se alguém puder compartilhar alguma experiência usando o Hadoop no contexto de sistemas de negociação de alta freqüência. Apenas entrando nessa tecnologia, o meu senso inicial é que o Hadoop pode ser ótimo para armazenar e processar grandes volumes de dados de tiques históricos, se alguém estiver usando isso para negociação em tempo real. Eu estou interessado em aprender mais - Duncan Krebs Com base na minha compreensão de seus requisitos , O Hadoop seria realmente uma boa solução para armazenar seus dados e executar suas consultas usando o Hive. Armazenamento: você pode armazenar os dados no Hadoop em uma estrutura de diretório como: Dentro da pasta horas, os dados específicos para essa hora do dia podem residir. Uma vantagem de usar essa estrutura é que você pode criar tabelas externas na Hive sobre esses dados com suas partições em anos, meses, dias e horas. Algo assim: chegando à parte de consultas, uma vez que você tenha os dados armazenados no formato mencionado acima, você pode executar consultas simples com facilidade. Obtenha-me todas as cotações, tradições, carimbos para o GOOG no 9222014 Obtenha-me todos os negócios para GOOG, FB ANTES de 912014 E APÓS 512014 Você pode executar algumas consultas de agregação uma vez ao dia e usar a saída para apresentar as métricas antes do mercado anterior Negociação. Como a Hive corre internamente, mapreduce estas consultas não serão muito rápidas. Para obter resultados mais rápidos, você pode usar alguns dos projetos de memória como Impala ou Spark. Eu usei o Impala para executar consultas em minhas mesas de colméia e vi uma grande melhora no tempo de execução para minhas consultas (cerca de 40x). Além disso, você não precisaria fazer nenhuma alteração na estrutura dos dados. Casos de uso de inserção de dados. Você pode usar ferramentas como Flume ou Kafka para inserir dados em tempo real para Hadoop (e, portanto, para as tabelas de colméia). O Flume é linearmente escalável e também pode ajudar no processamento de eventos durante a transferência durante a transferência. Em geral, uma combinação de múltiplas tecnologias de dados grandes pode fornecer uma solução realmente decente para o problema que você propôs e essa solução seria dimensionada para enormes quantidades de dados. Arquitetura do sistema de comércio algorítmico Anteriormente neste blog eu escrevi sobre a arquitetura conceitual de um algoritmo inteligente Sistema de negociação, bem como os requisitos funcionais e não-funcionais de um sistema de comércio algorítmico de produção. Desde então, criei uma arquitetura de sistema que, acredito, poderia satisfazer esses requisitos arquitetônicos. Nesta publicação, descreverei a arquitetura seguindo as diretrizes do sistema ISOIECIEEE 42010 e padrão de descrição da arquitetura de engenharia de software. De acordo com este padrão, uma descrição de arquitetura deve: Conter várias visualizações arquitetônicas padronizadas (por exemplo, em UML) e Manter a rastreabilidade entre decisões de design e requisitos arquitetônicos. Definição de arquitetura de software. Ainda não existe consenso sobre o que é uma arquitetura de sistemas. No contexto deste artigo, é definido como a infra-estrutura dentro da qual os componentes do aplicativo que satisfazem os requisitos funcionais podem ser especificados, implantados e executados. Os requisitos funcionais são as funções esperadas do sistema e seus componentes. Os requisitos não funcionais são medidas através das quais a qualidade do sistema pode ser medida. Um sistema que satisfaça plenamente seus requisitos funcionais ainda pode deixar de atender às expectativas se os requisitos não funcionais forem deixados insatisfeitos. Para ilustrar este conceito, considere o seguinte cenário: um sistema de negociação algorítmico que você acabou de comprar construído faz excelentes decisões de negociação, mas é completamente inoperacional com os sistemas de gestão e contabilidade de risco das organizações. Esse sistema atenderá às suas expectativas Arquitetura conceitual Uma visão conceitual descreve conceitos e mecanismos de alto nível que existem no sistema no mais alto nível de granularidade. Nesse nível, o sistema de negociação algorítmica segue uma arquitetura orientada a eventos (EDA) dividida em quatro camadas e dois aspectos arquitetônicos. Para cada camada e referência de aspecto arquiteturas e padrões são usados. Os padrões arquitetônicos são estruturas comprovadas e genéricas para alcançar requisitos específicos. Os aspectos arquitetônicos são preocupações transversais que abrangem múltiplos componentes. Arquitetura orientada a eventos - uma arquitetura que produz, detecta, consome e reage a eventos. Os eventos incluem movimentos do mercado em tempo real, eventos ou tendências complexas e eventos comerciais, e. Enviando um pedido. Este diagrama ilustra a arquitetura conceitual do sistema de negociação algorítmica Arquiteturas de referência Para usar uma analogia, uma arquitetura de referência é semelhante aos planos para uma parede de suporte de carga. Esta impressão em azul pode ser reutilizada para vários projetos de construção independentemente do edifício que está sendo construído, pois satisfaz um conjunto de requisitos comuns. Da mesma forma, uma arquitetura de referência define um modelo contendo estruturas genéricas e mecanismos que podem ser usados ​​para construir uma arquitetura de software concreta que satisfaça requisitos específicos. A arquitetura do sistema de negociação algorítmica usa uma arquitetura baseada em espaço (SBA) e um controlador de exibição de modelo (MVC) como referências. São também utilizadas boas práticas como o armazenamento de dados operacionais (ODS), o padrão de transformação e carregamento de extratos (ETL) e um data warehouse (DW). Controlador de exibição de modelo - um padrão que separa a representação de informações da interação dos usuários com ela. Arquitetura baseada em espaço - especifica uma infra-estrutura onde as unidades de processamento acopladas vagamente interagem entre si através de uma memória associativa compartilhada chamada espaço (mostrado abaixo). Visão estrutural A visão estrutural de uma arquitetura mostra os componentes e subcomponentes do sistema de negociação algorítmica. Ele também mostra como esses componentes são implantados em infra-estrutura física. Os diagramas UML utilizados nesta visão incluem diagramas de componentes e diagramas de implantação. Abaixo está a galeria dos diagramas de implantação do sistema de negociação algorítmico geral e as unidades de processamento na arquitetura de referência SBA, bem como diagramas de componentes relacionados para cada uma das camadas. Táticas arquitetônicas De acordo com o instituto de engenharia de software, uma tática arquitetônica é um meio de satisfazer um requisito de qualidade, manipulando algum aspecto de um modelo de atributo de qualidade através de decisões de design arquitetônico. Um exemplo simples usado na arquitetura do sistema de negociação algorítmica é manipular uma loja de dados operacional (ODS) com um componente de consulta contínua. Este componente analisaria continuamente o ODS para identificar e extrair eventos complexos. As seguintes táticas são usadas na arquitetura: o padrão de disruptor nas filas de evento e ordem Memória compartilhada para as filas de eventos e pedidos Idioma de consulta contínuo (CQL) na filtragem de dados ODS com o padrão de design do filtro em dados recebidos Algoritmos de evitação de congestionamentos em todos Conexões de entrada e saída Gerenciamento de fila ativa (AQM) e notificação de congestionamento explícito Recursos de computação de mercadorias com capacidade de atualização (escalável) Redundância ativa para todos os pontos de falha únicos Indicação e estruturas de persistência otimizadas no backup regular de dados ODS e scripts de limpeza para ODS Histórico de transações em todos os bancos de dados Súmrios para todas as ordens para detectar falhas Anotar eventos com timestamps para ignorar eventos obsoletos Regras de validação de pedidos, por exemplo, Quantidades de comércio máximo Componentes de comerciante automatizado usam um banco de dados em memória para análise Autenticação em dois estágios para interfaces de usuário conectando-se à ATs Criptografia em interfaces de usuário e conexões ao padrão de design ATs Observer para o MVC para gerenciar vistas. A lista acima é apenas um projeto pequeno Decisões que identifiquei durante o projeto da arquitetura. Não é uma lista completa de táticas. À medida que o sistema está sendo desenvolvido, táticas adicionais devem ser empregadas em vários níveis de granularidade para atender aos requisitos funcionais e não funcionais. Abaixo estão três diagramas que descrevem o padrão de design do disruptor, o padrão de design do filtro e o componente de consulta contínua. Visão comportamental Esta visão de uma arquitetura mostra como os componentes e camadas devem interagir um com o outro. Isso é útil ao criar cenários para testar projetos de arquitetura e para entender o sistema de ponta a ponta. Essa visão consiste em diagramas de seqüência e diagramas de atividades. Diagramas de atividades que mostram o processo interno dos sistemas de negociação algorítmica e como os comerciantes devem interagir com o sistema de negociação algorítmica são mostrados abaixo. Tecnologias e estruturas O passo final na concepção de uma arquitetura de software é identificar possíveis tecnologias e estruturas que possam ser utilizadas para realizar a arquitetura. Como princípio geral, é melhor aproveitar as tecnologias existentes, desde que satisfaçam adequadamente os requisitos funcionais e não funcionais. Uma estrutura é uma arquitetura de referência realizada, e. JBoss é uma estrutura que realiza a arquitetura de referência JEE. As seguintes tecnologias e estruturas são interessantes e devem ser consideradas na implementação de um sistema de negociação algorítmica: a CUDA - NVidia tem uma série de produtos que suportam modelagem de finanças computacionais de alto desempenho. Pode-se alcançar até 50x melhorias de desempenho na execução de simulações de Monte Carlo na GPU em vez da CPU. Rio Apache - Rio é um kit de ferramentas usado para desenvolver sistemas distribuídos. Ele foi usado como uma estrutura para a construção de aplicativos com base no padrão SBA Apache Hadoop - no caso de registro invasivo ser um requisito, então o uso do Hadoop oferece uma solução interessante para o problema dos grandes dados. O Hadoop pode ser implantado em um ambiente em cluster que suporta tecnologias CUDA. AlgoTrader - uma plataforma de negociação algorítmica de código aberto. O AlgoTrader poderia ser implantado no lugar dos componentes do comerciante automatizado. FIX Engine - um aplicativo autônomo que aceita os protocolos do Financial Information Exchange (FIX), incluindo FIX, FAST e FIXatdl. Embora não seja uma tecnologia ou uma estrutura, os componentes devem ser criados com uma interface de programação de aplicativos (API) para melhorar a interoperabilidade do sistema e seus componentes. Conclusão A arquitetura proposta foi projetada para satisfazer requisitos muito genéricos identificados para sistemas de negociação algorítmica. De um modo geral, os sistemas de negociação algorítmica são complicados por três fatores que variam de acordo com cada implementação. Dependências em sistemas externos de negócios e de intercâmbio Desafio de requisitos não funcionais e restrições arquitetônicas em evolução. A arquitetura de software proposta deveria, portanto, ser adaptada caso a caso Para satisfazer requisitos organizacionais e regulamentares específicos, bem como para superar restrições regionais. A arquitetura do sistema de comércio algorítmico deve ser vista como apenas um ponto de referência para indivíduos e organizações que desejam projetar seus próprios sistemas de negociação algorítmica. Para uma cópia completa e fontes usadas, baixe uma cópia do meu relatório. Obrigado.