Python - BeautifulSoup：从晨星提取股票数据

Question

我正在尝试从 Morning Star 网站提取公司列表的两个数据点并将其保存到文本文件中，但我不确定如何处理此任务。以下是我的代码：

from bs4 import BeautifulSoup as BS

thislist = ["AAPL","FB","TSLA","DIS"] 
for symbol in thislist:
    print ('Getting data for ' + symbol + '...\n')

# extract from this website
url="https://www.morningstar.com/stocks/xnas/" + symbol + "/quote"
        
soup = BS(url)
        
# Find the Value of Last Close Price
for text in soup.find_all('div class', name_='Last Close'):
    Last_Close = text.find_all('dp-value price-down')
    print(Last_Close)     
        
# Find the Value of its Market Cap
for text in soup.find_all('div class', name_='Market Cap'):
    Market_Cap = text.find_all('dp-value')
    print(Market_Cap)      
        
# Print the table
print(symbol, Last_Close, Market_Cap)
            
# Save the data in a .txt file
df.to_csv(r'c:\data\testing.txt', header=None, index=None, sep=' ', mode='a')

Answer 1

与使用更接近原始数据源的工具相比，开发用于从网站提取数据的抓取工具对实时市场状况的反应要慢一些。有多种库存包非常有用。以下是使用 Pandas DataReader、yfinance 的一些有用链接：

https://www.mssqltips.com/sqlservertip/6826/techniques-for-collecting-stock-data-with-python/ https://towardsdatascience.com/how-to-get-stock-data-using-python-c0de1df17e75

就我个人而言，我更喜欢使用 Pandas，因为它对我来说更可靠，而且我的所有数据通常最终都会存储在 Pandas 的数据框中。 DataReader 也可以直接从 Morningstar 中提取：https://pandas-datareader.readthedocs.io/en/v0.6.0/readers/morningstar.html

此外，如果您有兴趣开发深入的交易系统，Quandl 非常适合分析历史数据。 https://analyzingalpha.com/nasdaq-data-link-quandl-python-api

Answer 2

首先，这段代码将为您提供所需的信息：

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.by import By
import time

symbols = ["AAPL", "FB", "TSLA", "DIS"]


def download_data(symbol):
    url = f'https://www.morningstar.com/stocks/xnas/{symbol}/quote'
    s = Service(ChromeDriverManager().install())
    op = webdriver.ChromeOptions()
    op.headless = True
    driver = webdriver.Chrome(service=s, options=op)
    driver.get(url)

    # symbol, Last_Close, Market_Cap
    time.sleep(2)


    last_close = driver.find_element(by=By.XPATH,
                                         value='//*[@id="__layout"]/div/div[2]/div[3]/main/div[2]/div/div/div[1]/div[1]/div/sal-components/section/div/div/div/sal-components-quote/div/div/div/div/div/div[2]/ul/li[1]/div/div[2]')
    market_cap = driver.find_element(by=By.XPATH,
                                          value='//*[@id="__layout"]/div/div[2]/div[3]/main/div[2]/div/div/div[1]/div[1]/div/sal-components/section/div/div/div/sal-components-quote/div/div/div/div/div/div[2]/ul/li[7]/div/div[2]')
    return symbol, last_close.text, market_cap.text


for symbol in symbols:
    print(download_data(symbol))

输出如下所示：

('AAPL', '164.51', '2.6529 Tril')
('FB', '316.56', '843.3460 Bil')
('TSLA', '996.27', '947.9256 Bil')

迪士尼的页面实际上并不存在，因此您可能需要考虑检查网址。

您可以根据需要将其保存在数据框中以导出到 csv。我建议使用 Selenium 而不是 Beautiful Soup。您消除了尝试查找使用 Javascript 动态呈现的信息的麻烦……有时，Beautiful Soup 会遇到麻烦。 Selenium 的行为就像您访问网页时一样。

同样在您的代码中，您尝试soup = BS(url)。我相信你需要在 python 中使用requests 库发出 HTTP 请求，但我有一段时间没有使用BS。