Как хранить 7,3 миллиарда строк рыночных данных (оптимизированных для чтения)?
У меня есть набор данных из 1 минуты данных 1000 акций с 1998 года, что всего около (2012-1998)*(365*24*60)*1000 = 7.3 Billion строк.
большинство (99.9%) времени, я буду выполнять только читать запросы.
каков наилучший способ хранения этих данных в БД?
- 1 большая таблица с 7.3 B строк?
- 1000 таблиц (по одной для каждого биржевого символа) с 7,3 м строк каждый?
- любая рекомендация компонента database engine? (Я планирую использовать Amazon RDS' MySQL)
Я не привык иметь дело с такими большими наборами данных, так что это отличная возможность для меня учиться. Я буду очень признателен за вашу помощь и советы.
Edit:
Это пример строки:
'XX', 20041208, 938, 43.7444, 43.7541, 43.735, 43.7444, 35116.7, 1, 0, 0
столбец 1-это биржевой символ, столбец 2-Дата, столбец 3-минута, остальные открыты-высокие-низкие-цены закрытия, объем и 3 целочисленных столбцов.
большинство запросов будет выглядеть так: "Дайте мне цены AAPL между 12 апреля 2012 12: 15 и 13 апреля 2012 12: 52"
об оборудовании: я планирую использовать Amazon RDS, поэтому я гибок в этом
Comments