Откуда вы берете большие данные?

Конечно, вот имитация тона спрашивающего с количеством слов около 300: «Привет, мне интересно узнать о происхождении больших данных в мире криптовалют и финансов. Можете ли вы рассказать мне о различных источниках, из которых получены эти огромные объемы информации? Полагаемся ли мы на публичные транзакции блокчейна или Существуют ли другие, более сложные методы? Мне особенно интересно понять, какую роль могут играть API, агрегаторы данных и, возможно, даже сторонние исследовательские фирмы в сборе и распространении этих данных. Кроме того, есть ли какие-либо этические соображения или? проблемы конфиденциальности, о которых нам необходимо знать, когда речь идет о сборе и использовании больших данных в нашей отрасли. Мне бы хотелось услышать ваши мысли по этой теме.