La base de datos
Voy a elegir la base de datos para almacenar muchiiisimos datos y que se puedan procesar rapido, la eleccion ha sido:
Alguna opinion al respecto?
Un curso interesante sobre el tema:
https://www.coursera.org/course/bigdata
Course Syllabus
- Look: Search, Indexing and Memory
Listen: Streams, Information and Language, Analyzing Sentiment and Intent
Load: Databases and their Evolution, Big data Technology and Trends
Programming: Map-Reduce
Learn: Classification, Clustering, and Mining, Information Extraction
Connect: Reasoning: Logic and its Limits, Dealing with Uncertainty
Programming: Bayesian Inference for Medical Diagnostics
Predict: Forecasting, Neural Models, Deep Learning, and Research Topics
Data Analysis: Regression and Feature Selection
No conocía esta base de datos, mi experiencia es a nivel casero con una mongoDB, para datos a 5 segundos de trading de apuestas. Es la mas popular y por eso tiene muchas librerias y buena integración con spring, que es el fw que usaba.
¿Que tal la experiencia con neo4j?
Si, mongo es muy conocida aunque no la he probado…
Para los datos EOD de Yahoo he decidido utilizar una base de datos MySql, tabla MyIsam, sobre disco SSD. LLevo 2GB solo con las acciones de iniciales A y B, he espaciado las peticiones para evitar posible cabreo de Yahoo.
En el mundo profesional, conozco un software ultra rápido (del que fui "experto") que almacenaba los datos intradia en un formato propio, es de la empresa Vhayu. Alguien conoce algun sistema de almacenamiento similar? existe algo opensource?
Thomson Reuters Acquires Vhayu
Thomson Reuters recently expanded its Wall Street offerings beyond market data delivery into smart order routing and liquidity management through an agreement with Smart Trade Technologies. Now Thomson Reuters will be able to offer software for building and testing algorithmic trading strategies, liquidity management, risk management and other applications that require analysis of streaming data.
Vhayu’s Velocity platform is event stream processing (also known as complex event processing or CEP) software that lets Wall Street firms quickly build algorithmic trading programs that imbibe large and fast-moving streams of real-time market data and use the information to make real-time decisions. It’s based on a fast underlying database and accompanied by a compression technology from Vhayu called Squeezer.
Thomson Reuters has been distributing Velocity under the Reuters Tick Capture Engine label for the last four years. During that time, Vhayu developers have deeply integrated Velocity software with Thomson Reuters Market Data System and have devised a single, normalized view for Reuters Real-Time Data and Reuters DataScope Tick History.
http://www.wallstreetandtech.com/data-m … /218900434
girado007 wrote:Para los datos EOD de Yahoo he decidido utilizar una base de datos MySql, tabla MyIsam, sobre disco SSD. LLevo 2GB solo con las acciones de iniciales A y B, he espaciado las peticiones para evitar posible cabreo de Yahoo.
Yo para datos uso NoSQL, ya que no hay muchas relaciones entre ellos.
RTCE era para trading automático, y aunque mientras yo trabajé con el lo estuvieron probando dos grandes bancos, la única implantación que realizamos fue en un banco un poco mas modesto, donde se instaló RTCS, que solo era el motor de base de datos, con el objetivo de usarlo para realizar reportings. Quizás alguien del foro esté actualmente trabajando con esto hoy en dia y nos pueda comentar que se utiliza actualmente para el HF trading
Seguimos experimentando con Neo4j: