Nga Anton Gordon - Arkitekt i AI
Hyrje
Analiza e të dhënave të tregut të aksioneve në kohë reale është thelbësore për vendimet e informuara për investime. Ky artikull thellohet në integrimin e AWS Kinesis për transmetimin në kohë reale të të dhënave të tregut të aksioneve duke përdorur Python, duke mbuluar të gjithë tubacionin nga marrja e të dhënave deri te nxjerrja e konkluzioneve me një model PyTorch.
- Marrja e të dhënave të tregut të aksioneve në kohë reale:Përdorimi i API-së FRED dhe Yahoo Finance
Për të marrë të dhëna, do t'ju duhet të kapni çelësat API për FRED dhe Yahoo Finance. Komanda CLI
python fetch_data.py - fred_api_key YOUR_FRED_API_KEY - yahoo_api_key YOUR_YAHOO_API_KEY
import pandas_datareader as pdr
import yfinance as yf
import argparse
parser = argparse.ArgumentParser(description='Fetch stock market data.')
parser.add_argument('--fred_api_key', type=str, required=True, help='FRED API Key')
parser.add_argument('--yahoo_api_key', type=str, required=True, help='Yahoo Finance API Key')
args = parser.parse_args()
yf.pdr_override()
# Features
yield_curve = pdr.get_data_fred('T10Y3M', api_key=args.fred_api_key)
recession_prob = pdr.get_data_fred('RECPROUSM156N', api_key=args.fred_api_key)
sp500 = yf.download('^GSPC', start='2000-01-01', end='2023-01-01', api_key=args.yahoo_api_key)
# Target
usrec = pdr.get_data_fred('USREC', api_key=args.fred_api_key)
2. Transmetimi i të dhënave në Kinesis
Sigurohuni që të keni konfiguruar AWS CLI me lejet e nevojshme.
Komanda CLI:
python stream_to_kinesis.py - stream_name YOUR_STREAM_NAME
import boto3
import argparse
parser = argparse.ArgumentParser(description='Stream data to Kinesis.')
parser.add_argument('--stream_name', type=str, required=True, help='Kinesis Stream Name')
args = parser.parse_args()
kinesis = boto3.client('kinesis')
data = {
'usrec': usrec.to_dict(),
'yield_curve': yield_curve.to_dict(),
'recession_prob': recession_prob.to_dict(),
'sp500': sp500.to_dict()
}
response = kinesis.put_record(
StreamName=args.stream_name,
Data=str(data),
PartitionKey='stock_data'
)
3. Transformimi i të dhënave, ruajtja dhe aktivizimi i Lambda
Sigurohuni që të keni konfiguruar AWS CLI dhe të keni konfiguruar funksionet e nevojshme Lambda. Komanda CLI për vendosjen e Lambda:
