应用引擎的python脚本优化

Question

我有以下脚本用于从我的 uni 网站抓取数据并插入到 GAE Db 中

from mechanize import Browser
from BeautifulSoup import BeautifulSoup
import re
import datetime

__author__ = "Nash Rafeeq" 

url  = "http://webspace.apiit.edu.my/schedule/timetable.jsp"
viewurl  = "http://localhost:8000/timekeeper/intake/checkintake/"
inserturl = "http://localhost:8000/timekeeper/intake/addintake/"
print url
mech =  Browser()
try:
    page = mech.open(url)
    html = page.read()
except Exception, err:
    print str(err)
#print html 
soup = BeautifulSoup(html)
soup.prettify() 
tables  = soup.find('select')
for options in tables:
    intake = options.string
    #print intake
    try:
        #print viewurl+intake
        page = mech.open(viewurl+intake)
        html = page.read()
        print html
        if html=="Exist in database":
            print intake, " Exist in the database skiping"
        else:
            page = mech.open(inserturl+intake)
            html = page.read()
            print html
            if html=="Ok":
                print intake, "added to the database"
            else:
                print "Error adding ",  intake, " to database"
    except Exception, err:
        print str(err)

我想知道优化此脚本的最佳方法是什么，以便我可以在应用引擎服务器上运行它。事实上，它现在正在抓取 300 多个条目，并且需要 10 多分钟才能将所有数据插入到我的本地机器上

用于存储数据的模型是

class Intake(db.Model):
    intake=db.StringProperty(multiline=False, required=True)
    #@permerlink    
    def get_absolute_url(self):
        return "/timekeeper/%s/" % self.intake
    class Meta:
        db_table = "Intake"
        verbose_name_plural = "Intakes"
        ordering = ['intake']

Answer 1

Divide and conquer.

1. 制作任务列表（例如要抓取/解析的网址）
2. 将您的任务添加到队列中（appengine taskqueue api、amazon sqs、...）
3. 处理您的队列

Answer 2

您应该做的第一件事是重写您的脚本以直接使用 App Engine 数据存储区。您花费的大部分时间无疑是因为您使用 HTTP 请求（每个条目两个！）将数据插入数据存储。直接将数据存储与 batch puts 一起使用应该可以将您的运行时间减少几个数量级。

如果您的解析代码仍然太慢，您可以将工作分成块并使用task queue API 在多个请求中完成工作。

Answer 3

嗨，根据 tosh 和 nick 的说法，我已将脚本修改如下

from google.appengine.api import urlfetch
from BeautifulSoup import BeautifulSoup
from timkeeper.models import Intake
from google.appengine.ext import db

__author__ = "Nash Rafeeq" 

url  = "http://webspace.apiit.edu.my/schedule/timetable.jsp"
try:
    page = urlfetch.fetch(url)
    #print html 
    soup = BeautifulSoup(page.content)
    soup.prettify() 
    tables  = soup.find('select')
    models=[]
    for options in tables:
        intake_code = options.string
        if Intake.all().filter('intake',intake_code).count()<1:
            data = Intake(intake=intake_code)
            models.append(data)
    try:
        if len(models)>0:
            db.put(models)
        else:
            pass 
    except Exception,err:
        pass
except Exception, err:
    print str(err)

我在正确的轨道上吗？我也不确定如何按计划（每周一次）调用它，最好的方法是什么？

感谢您的及时回答