chartink.com 上网页的网页抓取

Question

请帮助我抓取此链接。 链接-https://chartink.com/screener/time-pass-48 我正在尝试进行网络抓取，但它没有显示我想要的表格。请帮助我。

我已经尝试过这段代码，但它没有给我想要的结果。

import requests
from bs4 import BeautifulSoup

URL = 'https://chartink.com/screener/time-pass-48'
page = requests.get(URL)
print(page)

soup = BeautifulSoup(page.content, 'html.parser')
print(soup)

Answer 1

数据确实来自 POST 请求。您不需要允许 JavaScript 运行。您只需要获取一个 cookie（ci_session - 可以使用 Session 对象来保存来自初始登录页面请求的 cookie 以通过后续 POST 传递）和一个令牌（X-CSRF-TOKEN - 可以从meta 初始请求响应中的标签）：

import requests
from bs4 import BeautifulSoup as bs
import pandas as pd

data = {
  'scan_clause': '( {cash} ( monthly rsi( 14 ) > 60 and weekly rsi( 14 ) > 60 and latest rsi( 14 ) > 60 and 1 day ago  rsi( 14 ) <= 60 and latest volume > 100000 ) ) '
}

with requests.Session() as s:
    r = s.get('https://chartink.com/screener/time-pass-48')
    soup = bs(r.content, 'lxml')
    s.headers['X-CSRF-TOKEN'] = soup.select_one('[name=csrf-token]')['content']
    r = s.post('https://chartink.com/screener/process', data=data).json()
    #print(r.json())
    df = pd.DataFrame(r['data'])
    print(df)

Answer 2

import requests
import bs4
page = requests.get("https://chartink.com/screener/time-pass-48")
bs4.BeautifulSoup(page.text,'lxml')

我认为应该这样做。

Answer 3

您可以通过发出post 请求来访问表数据。您可以查看 Chrome 开发工具网络选项卡，看看哪些元素是从其他地方加载的。

表中的数据是从https://chartink.com/screener/process 发布请求加载的（查看网络选项卡中的“进程”名称）。您可以使用requests 库作为QHarr 建议的post request。

---

或者，您可以通过使用 requests-html 库来实现这一点而不会使事情变得复杂，即使直接从源获取数据会更快，例如发出post 请求。

from requests_html import HTMLSession

session = HTMLSession()
response = session.get('https://chartink.com/screener/time-pass-48')
# renders javascript
response.html.render()

for result in response.html.xpath('//*[@id="DataTables_Table_0"]/tbody/tr'):
    print(f'{result.text}\n')

# part of the output:
'''
1
Kothari Products Limited
KOTHARIPRO
P&F | F.A
19.96%
106.7
262,997
'''

从那里所有需要做的就是split()元素并获得所需的元素（index），例如：

for result in response.html.xpath('//*[@id="DataTables_Table_0"]/tbody/tr'):
    # getting text data, splitting by a new line and grabbing first index [1]
    # the process is the same for every other column
    stock_name = result.text.split('\n')[1]
    print(stock_name)

# part of the output:
'''
Kothari Products Limited
STEELXIND
Oswal Chemicals & Fertilizers Limited
Hbl Power Systems Limited
'''