Trading system machine learning

Esta publicação detalhará o que fiz para fazer aprox. 500k de negociação de alta freqüência de 2009 a 2010. Desde que negociei completamente de forma independente e já não estou executando meu programa Irsquom feliz em contar tudo. Minha negociação foi principalmente em contratos de futuros Russel 2000 e DAX. A chave para o meu sucesso, eu acredito, não estava em uma equação financeira sofisticada, mas sim no projeto de algoritmo geral que uniu muitos componentes simples e a aprendizagem de máquinas usadas para otimizar a máxima rentabilidade. Você wonrsquot precisa conhecer qualquer terminologia sofisticada aqui, porque quando eu configurei meu programa, tudo foi baseado na intuição. (Andrew Ngrsquos, um incrível curso de aprendizado de máquina ainda não estava disponível - por favor, se você clicar nesse link, você será levado ao meu projeto atual: CourseTalk, um site de revisão para MOOCs) Primeiro, eu só quero demonstrar que meu sucesso não foi simplesmente o resultado de sorte. Meu programa fez 1000-4000 negócios por dia (meio e meio, curto) e nunca entrou em posições de mais de alguns contratos por vez. Isso significava que a sorte aleatória de qualquer comércio específico era muito rápida. O resultado foi que nunca perdi mais de 2000 em um dia e nunca tive um mês perdido: (EDIT. Estes números são depois de pagar comissões) E herersquos um gráfico para dar uma sensação de variação diária. Observe que isso exclui os últimos 7 meses porque - à medida que os números pararam de subir - perdi minha motivação para inseri-los. Histórico de negociação Antes da criação do meu programa de negociação automatizado, a Irsquod teve 2 anos de experiência como comerciante do dia do ensino médio. Isso foi de volta em 2001 - foram os primeiros dias do comércio eletrônico e houve oportunidades para que ldquoscalpersrdquo ganhasse um bom dinheiro. Eu só posso descrever o que eu estava fazendo como semelhante a jogar um jogo de vídeo / jogo com uma suposta vantagem. Ser bem-sucedido significou ser rápido, ser disciplinado e possuir boas habilidades de reconhecimento de padrões intuitivas. Eu consegui fazer cerca de 250k, pagar meus empréstimos estudantis e ter dinheiro restante. Win Durante os próximos cinco anos eu lançaria duas startups, pegando algumas habilidades de programação ao longo do caminho. Não seria até o final de 2008 que eu voltaria a negociar. Com o dinheiro escorrendo da venda da minha primeira inicialização, o comércio ofereceu esperanças de algum dinheiro rápido enquanto eu descobri minha próxima jogada. Em 2008, eu era o primeiro dia do dia comercializando futuros usando um software chamado T4. Irsquod estava desejando algumas teclas de atalho de entrada de pedidos personalizadas, então, depois de descobrir que a T4 tinha uma API, assumi o desafio de aprender C (a linguagem de programação necessária para usar a API) e segui adiante e construí-me algumas teclas rápidas. Depois de ficar com os pés molhados com a API, em breve tive aspirações maiores: eu queria ensinar o computador a trocar por mim. A API forneceu um fluxo de dados de mercado e uma maneira fácil de enviar ordens para a troca - tudo o que eu tinha que fazer era criar a lógica no meio. Abaixo está uma captura de tela de uma janela de negociação T4. O que foi legal é que, quando trabalhei, consegui assistir o comércio de computadores nesta mesma interface. Ver as ordens reais que aparecem dentro e fora (por conta própria com meu dinheiro real) foram emocionantes e assustadoras. O design do meu algoritmo Desde o início, meu objetivo era configurar um sistema, de modo que eu pudesse estar razoavelmente confiante com Irsquod ganhar dinheiro antes de fazer qualquer transação ao vivo. Para realizar isso, eu precisava construir uma estrutura de simulação de negociação que - com a maior precisão possível - simulasse negociações ao vivo. Embora a negociação no modo ao vivo exigisse o processamento de atualizações de mercado transmitidas através da API, o modo de simulação exigia a leitura de atualizações de mercado a partir de um arquivo de dados. Para coletar esses dados, configurei a primeira versão do meu programa para simplesmente conectar-se à API e registrar as atualizações do mercado com timestamps. Acabei usando 4 semanas de dados de mercado recentes para treinar e testar meu sistema. Com um quadro básico no local, eu ainda tinha a tarefa de descobrir como criar um sistema comercial lucrativo. Como se verificou, meu algoritmo seria dividido em dois componentes distintos, que a Irsquoll explorava por sua vez: Previsão de movimentos de preços e realização de negociações rentáveis ​​Previsão de movimentos de preços Talvez um componente óbvio de qualquer sistema de negociação seja capaz de prever onde os preços se moverão. E o meu não foi uma exceção. Eu definei o preço atual como a média da oferta interna e da oferta interna e eu estabeleci o objetivo de prever onde o preço seria nos próximos 10 segundos. Meu algoritmo precisaria apresentar esta previsão momento a momento ao longo do dia de negociação. Criando indicadores de otimização de amplificador Eu criei um punhado de indicadores que provaram ter uma habilidade significativa para prever movimentos de preços de curto prazo. Cada indicador produziu um número que era positivo ou negativo. Um indicador era útil se, com maior frequência, um número positivo correspondesse com o mercado subindo e um número negativo correspondesse com o mercado diminuindo. O meu sistema permitiu que eu determinasse rapidamente a capacidade preditiva de qualquer indicador, então eu consegui experimentar muitos indicadores diferentes para ver o que funcionou. Muitos dos indicadores tinham variáveis ​​nas fórmulas que os produziam e consegui encontrar os valores ótimos para essas variáveis, fazendo comparações lado a lado dos resultados obtidos com valores variáveis. Os indicadores que foram mais úteis foram todos relativamente simples e foram baseados em eventos recentes no mercado que negociei, bem como os mercados de títulos correlacionados. Fazendo previsões de movimento de preço exato Tendo indicadores que simplesmente previam um movimento de preço para cima ou para baixo não era suficiente. Eu precisava saber exatamente quanto o movimento de preços era previsto por cada valor possível de cada indicador. Eu precisava de uma fórmula que convertesse um valor indicador para uma previsão de preços. Para realizar isso, rastreei os movimentos de preços previstos em 50 baldes que dependiam do alcance em que o valor do indicador caiu. Isso produziu previsões únicas para cada balde que eu então consegui representar no Excel. Como você pode ver, a mudança de preço esperada aumenta à medida que o valor do indicador aumenta. Com base em um gráfico como esse, consegui fazer uma fórmula para ajustar a curva. No começo eu fiz isso manualmente manualmente, mas logo escrevi algum código para automatizar esse processo. Observe que nem todas as curvas indicadoras tiveram a mesma forma. Observe também que os baldes foram distribuídos de forma logarítmica de modo a espalhar os dados de forma uniforme. Finalmente, note que os valores de indicadores negativos (e as respectivas previsões de preços descendentes correspondentes) foram invertidos e combinados com os valores positivos. (O meu algoritmo tratou de cima e de baixo exatamente o mesmo.) Combinando indicadores para uma única previsão. Uma coisa importante a considerar era que cada indicador não era totalmente independente. Eu não poderia simplesmente adicionar todas as previsões que cada indicador fazia individualmente. A chave era descobrir o valor preditivo adicional que cada indicador tinha além do que já estava previsto. Isso não era difícil de implementar, mas isso significava que, se eu estivesse convencido de múltiplos indicadores ao mesmo tempo, eu tinha que ter uma mudança cuidadosa, e isso afetaria as previsões de outro. Para ajustar todos os indicadores ao mesmo tempo eu configurei o otimizador para passar apenas 30 do caminho para as novas curvas de previsão com cada passagem. Com este salto de 30, descobri que as curvas de previsão se estabilizariam dentro de algumas passagens. Com cada indicador agora nos dando a previsão de preço adicional de Itrsquos eu poderia simplesmente adicioná-los para produzir uma única previsão de onde o mercado seria em 10 segundos. Por que prever os preços não é suficiente Você pode pensar que com essa vantagem no mercado eu estava dourado. Mas você precisa ter em mente que o mercado é composto por lances e ofertas - itrsquos não apenas um preço de mercado. O sucesso na negociação de alta freqüência se resume a obter bons preços e itrsquos não é tão fácil. Os seguintes fatores tornam difícil a criação de um sistema lucrativo: com cada comércio eu tive que pagar comissões tanto para o meu corretor quanto para a troca. O spread (diferença entre oferta mais alta e oferta mais baixa) significava que, se eu fosse simplesmente comprar e vender aleatoriamente, Irsquod perderia uma tonelada de dinheiro. A maior parte do volume do mercado eram outros bots que só executariam um comércio comigo se achassem que tinham alguma vantagem estatística. Ver uma oferta não garantiu que eu pudesse comprá-la. No momento em que meu pedido de compra chegou ao intercâmbio, era muito possível que essa oferta tivesse sido cancelada. Como um pequeno jogador do mercado, não havia nenhuma maneira de eu competir sozinho na velocidade. Construindo uma simulação de negociação completa Então eu tive uma estrutura que me permitiu backtest e otimizar indicadores. Mas eu tinha que ir além disso - eu precisava de uma estrutura que me permitisse backtest e otimizar um sistema de negociação completo onde eu estava enviando ordens e entrando em posições. Neste caso, a Irsquod deve ser otimizada para PampL total e, em certa medida, PampL médio por comércio. Isso seria mais complicado e, de certa forma, impossível modelar exatamente, mas fiz o melhor que pude. Aqui estão alguns dos problemas que tive de lidar com: quando um pedido foi enviado ao mercado em simulação, tive que modelar o tempo de atraso. O fato de meu sistema ter visto uma oferta não significava que pudesse comprá-lo imediatamente. O sistema enviaria o pedido, aguarde cerca de 20 milissegundos e, em seguida, apenas se a oferta ainda fosse considerada como um comércio executado. Isso foi inexato porque o tempo de atraso real era inconsistente e não relatado. Quando eu coloquei ofertas ou ofertas, tive de olhar para o fluxo de execução comercial (fornecido pela API) e usá-los para avaliar quando meu pedido teria sido executado. Para fazer isso, tive que rastrear a posição do meu pedido na fila. (Itrsquos um primeiro-em primeiro-out sistema.) Novamente, eu couldnrsquot fazer isso perfeitamente, mas eu fiz uma melhor aproximação. Para refinar minha simulação de execução de pedidos, o que fiz foi tirar meus arquivos de log da negociação ao vivo através da API e compará-los aos arquivos de log produzidos por negociação simulada do mesmo período de tempo. Consegui obter minha simulação até o ponto de ser bastante preciso e, para as partes que eram impossíveis de modelar exatamente, me assegurei pelo menos de produzir resultados estatisticamente similares (nas métricas que achava importantes). Fazendo negociações rentáveis ​​Com um modelo de simulação de pedidos no local, agora posso enviar ordens no modo de simulação e ver um PampL simulado. Mas como meu sistema saberia quando e onde comprar e vender As previsões de movimento de preços eram um ponto de partida, mas não toda a história. O que eu fiz foi criar um sistema de pontuação para cada um dos 5 níveis de preço na oferta e oferta. Estes incluíram um nível acima do lance interno (para um pedido de compra) e um nível abaixo da oferta interna (para uma ordem de venda). Se a pontuação em qualquer nível de preço fosse superior a um determinado limite, o que significaria que meu sistema deveria ter uma oferta / oferta ativa - abaixo do limite, então todas as ordens ativas deveriam ser canceladas. Com base nisso, não era incomum que meu sistema apresentasse um lance no mercado e, em seguida, cancelasse-o imediatamente. (Embora eu tenha tentado minimizar isso, como itrsquos irritante, como diabos para quem olha a tela com olhos humanos - incluindo eu.) As pontuações do nível de preços foram calculadas com base nos seguintes fatores: A previsão de movimento de preço (que discutimos anteriormente). O nível de preços em questão. (Os níveis internos permitiram que fossem necessárias previsões de movimento de preço maiores). O número de contratos na frente do meu pedido na fila. (Menos foi melhor.) O número de contratos por trás do meu pedido na fila. (Mais foi melhor.) Essencialmente, esses fatores serviram para identificar ldquosaferdquo lugares para oferecer / oferecer. A previsão de movimento de preço por si só não era adequada, porque não contava o fato de que ao colocar uma oferta eu não estava preenchido automaticamente - eu só cheguei se alguém me vendesse lá. A realidade era que o simples fato de alguém me vender a um certo preço alterou as probabilidades estatísticas do comércio. As variáveis ​​utilizadas nesta etapa estavam todas sujeitas a otimização. Isso foi feito exatamente da mesma maneira que otimizei variáveis ​​nos indicadores de movimento de preços, exceto neste caso eu estava otimizando a linha inferior PampL. O que o meu programa ignorou Quando comercializamos como seres humanos, muitas vezes temos emoções e tendências poderosas que podem levar a decisões menos do que ótimas. Claramente, não queria codificar esses preconceitos. Aqui estão alguns fatores que meu sistema ignorou: o preço que uma posição foi inserida - Em um escritório comercial, muito interessante ouvir a conversa sobre o preço em que alguém é longo ou curto, como se isso pudesse afetar sua futura tomada de decisões. Embora isso tenha alguma validade como parte de uma estratégia de redução de risco, ele realmente não tem influência no futuro dos eventos no mercado. Portanto, meu programa ignorou completamente essa informação. Itrsquos o mesmo conceito que ignorar custos irrecuperáveis. Ir curto contra sair de uma posição longa - Normalmente, um comerciante teria critérios diferentes que determinam onde vender uma posição longa em relação ao local onde é curto. No entanto, da minha perspectiva de algoritmos não havia motivo para fazer uma distinção. Se o meu algoritmo esperava que uma venda de movimento para baixo fosse uma boa idéia, independentemente de ser atualmente longa, curta ou plana. Uma estratégia de uddquo ldquodoubling - Esta é uma estratégia comum em que os comerciantes comprarão mais ações no caso de o comércio original ir contra elas. Isso resulta em um preço de compra médio menor e significa que quando (ou se) o estoque se virar, você será configurado para fazer seu dinheiro de volta em nenhum momento. Na minha opinião, esta é realmente uma estratégia horrível, a menos que você seja o Warren Buffet. Yoursquore enganou em pensar que você está indo bem porque a maioria de seus negócios serão vencedores. O problema é quando você perde você perder grande. O outro efeito é que dificilmente julgar se você realmente tem uma vantagem no mercado ou está apenas tendo sorte. Ser capaz de monitorar e confirmar que meu programa realmente teve uma vantagem foi um objetivo importante. Como meu algoritmo tomou decisões da mesma maneira, independentemente de onde ele entrou em um comércio ou se fosse atualmente longo ou curto, ocasionalmente sentava-se (e aceitou) alguns grandes negócios perdidos (além de alguns grandes negócios vencedores). Mas, você não deve pensar que não houve nenhum gerenciamento de risco. Para gerenciar o risco, apliquei um tamanho de posição máximo de 2 contratos por vez, ocasionalmente superado em dias de alto volume. Eu também tive um limite máximo de perda diária para proteger contra quaisquer condições de mercado inesperadas ou um erro no meu software. Esses limites foram aplicados no meu código, mas também no backend através do meu corretor. Como aconteceu, nunca encontrei problemas significativos. Correndo o algoritmo Desde o momento em que comecei a trabalhar no meu programa, demorei-me cerca de 6 meses antes de chegar ao ponto de rentabilidade e começar a executá-lo ao vivo. Apesar de ser justo, uma quantidade significativa de tempo foi aprender uma nova linguagem de programação. Enquanto trabalhava para melhorar o programa, vi maiores lucros para cada um dos próximos quatro meses. A cada semana eu reciclaria o meu sistema com base nas 4 semanas anteriores de dados. Eu achei que isso atingiu o equilíbrio certo entre a captura de tendências comportamentais do mercado recente e garantir que meu algoritmo tivesse dados suficientes para estabelecer padrões significativos. À medida que o treinamento começou a tomar mais e mais tempo, eu o separei para que ele possa ser executado por 8 máquinas virtuais usando o Amazon EC2. Os resultados foram então agrupados na minha máquina local. O ponto alto da minha negociação foi em outubro de 2009, quando fiz quase 100k. Depois disso, continuei a gastar os próximos quatro meses tentando melhorar o meu programa, apesar da diminuição dos lucros a cada mês. Infelizmente, neste ponto, acho que a Irsquod implementou todas as minhas melhores idéias porque nada que tentei pareceu ajudar muito. Com a frustração de não conseguir fazer melhorias e não ter sentido de crescimento, comecei a pensar em uma nova direção. Eu enviei 6 empresas diferentes de comércio de alta freqüência para ver se theyrsquod estava interessado em comprar meu software e me contratar para trabalhar para eles. Ninguém respondeu. Eu tive algumas idéias de inicialização novas que eu queria trabalhar, então eu nunca segui. UPDATE - Eu postei isso no Hacker News e ele tem tido muita atenção. Eu só quero dizer que eu não defendo ninguém tentando fazer algo assim agora. Você precisaria de uma equipe de pessoas realmente inteligentes com uma variedade de experiências para ter alguma esperança de competir. Mesmo quando eu estava fazendo isso, eu acreditava que era muito raro que os indivíduos conseguissem o sucesso (embora eu tivesse ouvido falar de outros.) Há um comentário no topo da página que menciona estatísticas manipuladas e se refere a mim como um investidor de ldquoretail que quanta Escolheria lindamente o offrdquo. Este é um comentário bastante infeliz que não é simplesmente baseado na realidade. Estabelecendo isso de lado therersquos alguns comentários interessantes: news. ycombinator / itemid4748624 UPDATE 2 - Irsquove postou um FAQ de seguimento que responde algumas perguntas comuns Irsquove recebeu de comerciantes sobre esta publicação. Machine Learning Trading Systems O SPDR SampP 500 ETF (SPY) é um Dos produtos ETF amplamente comercializados no mercado, com cerca de 200 bilhões de ativos e volume de negócios médio de menos de 200 milhões de ações diariamente. Portanto, a probabilidade de poder desenvolver um sistema de negociação com dinheiro usando informações publicamente disponíveis pode parecer escasso a nenhum. Então, para nos dar uma chance de luta, vamos nos concentrar em uma tentativa de prever o movimento durante a noite no SPY, usando dados da sessão do dia anterior8217s. Além dos preços aberto / alto / baixo e próximo da sessão do dia anterior, selecionamos uma série de outras variáveis ​​plausíveis para construir o vetor de características que vamos usar em nosso modelo de aprendizado de máquina: o volume diário do dia anterior8217s Preço de fechamento As médias móveis de 200 dias, 50 dias e 10 dias do preço de fechamento Os preços altos e baixos de 252 dias da série SPY Vamos tentar construir um modelo que preveja o retorno overnight no ETF, ou seja, O (T1) - C (t) / C (t) Neste exercício, usamos dados diários desde o início da série SPY até o final de 2014 para construir o modelo, o que, em seguida, testaremos dados fora da amostra Correndo de janeiro de 2015 a agosto de 2016. Em um contexto de alta freqüência, uma quantidade considerável de tempo seria gasto avaliando, limpando e normalizando os dados. Aqui enfrentamos muito menos problemas desse tipo. Normalmente, seria padronizado os dados de entrada para igualar a influência de variáveis ​​que podem ser medidas em escalas de ordens de grandeza diferentes. Mas neste exemplo, todas as variáveis ​​de entrada, com exceção do volume, são medidas na mesma escala e, portanto, a padronização é indiscutivelmente desnecessária. Primeiro, os dados na amostra são carregados e usados ​​para criar um conjunto de regras de treinamento que mapeiam o vetor de características para a variável de interesse, o retorno durante a noite: Em Mathematica 10, Wolfram apresentou um conjunto de algoritmos de aprendizado de máquina que incluem regressão, vizinho mais próximo , Redes neurais e florestas aleatórias, juntamente com a funcionalidade para avaliar e selecionar a melhor técnica de aprendizado de máquinas. Essas instalações tornam muito direto criar um modelo de classificação ou de previsão usando algoritmos de aprendizado de máquina, como este exemplo de reconhecimento de escrita: criamos um modelo preditivo no conjunto de trem SPY, permitindo que a Mathematica escolha o melhor algoritmo de aprendizagem de máquina: há uma série de Opções para a função Predict que podem ser usadas para controlar a seleção de características, tipo de algoritmo, tipo de desempenho e objetivo, em vez de simplesmente aceitar os padrões, como fizemos aqui: Tendo construído nosso modelo de aprendizado de máquina, nós carregamos o out-of - Amostra de dados de janeiro de 2015 a agosto de 2016 e crie um conjunto de testes: Nós, em seguida, criamos um objeto PredictionMeasurement, usando o modelo do vizinho mais próximo. Que pode ser usado para uma análise mais aprofundada: não há muita dispersão nas previsões do modelo, que têm valor positivo. Uma técnica comum nesses casos é subtrair a média de cada uma das previsões (e também podemos padronizá-las dividindo-se pelo desvio padrão). O diagrama de dispersão dos retornos diários reais versus previsão em SPY agora se parece com isso: existem ainda uma óbvia falta de dispersão nos valores de previsão, em comparação com os retornos overnight atuais, que podemos corrigir por padronização. Em qualquer caso, parece haver uma pequena relação não-linear entre valores previstos e reais, o que evidencia alguma esperança de que o modelo ainda possa ser útil. De Previsão para Negociação Existem vários métodos de implantação de um modelo de previsão no contexto da criação de um sistema comercial. A rota mais simples, que vamos levar aqui, é aplicar um portão de limite e converter as previsões filtradas diretamente em um sinal de negociação. Mas outras abordagens são possíveis, por exemplo: Combinando as previsões de modelos múltiplos para criar um conjunto de previsão Usando as previsões como insumos para um modelo de programação genética Alimentando as previsões na camada de entrada de um modelo de rede neural projetado especificamente para gerar sinais comerciais, Do que as previsões Neste exemplo, criaremos um modelo de negociação aplicando um filtro simples às previsões, escolhendo apenas os valores que excederão um limite especificado. Este é um truque padrão usado para isolar o sinal no modelo do ruído de fundo. Aceitaremos apenas os sinais positivos que excederão o nível do limiar, criando um sistema de negociação único. Ou seja, ignoramos as previsões que se situam abaixo do nível de limiar. Nós compramos SPY no fechamento quando a previsão excede o limite e saia de qualquer posição longa no dia seguinte8217s aberto. Esta estratégia produz os seguintes resultados pró-forma: Conclusão O sistema possui características bastante atraentes, incluindo uma taxa de ganhos superior a 66 e uma CAGR de mais de 10 para o período fora da amostra. Obviamente, esta é uma ilustração muito básica: gostaríamos de ter em conta as comissões de negociação, e o deslizamento incorrido na entrada e saída de posições nos períodos pós e pré-mercado, o que impactará negativamente o desempenho, é claro. Por outro lado, mal começamos a coçar a superfície em termos de variáveis ​​que poderiam ser consideradas para inclusão no vetor de características e que podem aumentar o poder explicativo do modelo. Em outras palavras, na realidade, este é apenas o início de um longo e árduo processo de pesquisa. No entanto, este exemplo simples deve ser suficiente para dar ao leitor um gostinho do que envolvem a construção de um modelo de negociação preditivo usando algoritmos de aprendizado de máquina.