Как хранить 7,3 миллиарда строк рыночных данных (оптимизированных для чтения)?



У меня есть набор данных из 1 минуты данных 1000 акций с 1998 года, что всего около (2012-1998)*(365*24*60)*1000 = 7.3 Billion строк.



большинство (99.9%) времени, я буду выполнять только читать запросы.



каков наилучший способ хранения этих данных в БД?




  • 1 большая таблица с 7.3 B строк?

  • 1000 таблиц (по одной для каждого биржевого символа) с 7,3 м строк каждый?

  • любая рекомендация компонента database engine? (Я планирую использовать Amazon RDS' MySQL)


Я не привык иметь дело с такими большими наборами данных, так что это отличная возможность для меня учиться. Я буду очень признателен за вашу помощь и советы.



Edit:



Это пример строки:




'XX', 20041208, 938, 43.7444, 43.7541, 43.735, 43.7444, 35116.7, 1, 0, 0




столбец 1-это биржевой символ, столбец 2-Дата, столбец 3-минута, остальные открыты-высокие-низкие-цены закрытия, объем и 3 целочисленных столбцов.



большинство запросов будет выглядеть так: "Дайте мне цены AAPL между 12 апреля 2012 12: 15 и 13 апреля 2012 12: 52"



об оборудовании: я планирую использовать Amazon RDS, поэтому я гибок в этом

505   0  

Comments

    Ничего не найдено.