【问题标题】:sqlalchemy how to generate (many-to-many) relationships with automap_basesqlalchemy 如何使用 automap_base 生成(多对多)关系
【发布时间】:2018-08-09 18:14:37
【问题描述】:

作为背景:我正在创建一个基于现有数据库架构的 ORM。 - 这是因为 python 应用程序不会是所述数据库的“所有者”。

现在在这个数据库中有一个名为“task”的表和一个名为“task_notBefore__task_relatedTasks”的表——后者是“task”表中不同条目之间的多对多关系。

现在automap_base() 可以自动检测这些关系,如here 所述。然而,这对我来说失败了,并且没有建立任何关系。

然后我尝试手动创建关系:

from sqlalchemy.ext.automap import automap_base
from sqlalchemy.ext.automap import generate_relationship
from sqlalchemy.orm import sessionmaker, interfaces, relationship
from sqlalchemy import create_engine

class DBConnection:
    def __init__(self, connection_url, **kwargs):
        self.engine = create_engine(connection_url, **kwargs)
        self._Base = automap_base()

        self._Base.prepare(self.engine, reflect=True)

        self.Task = self._Base.classes.task
        self.Order = self._Base.classes.order
        self.Poller = self._Base.classes.poller

        rel = generate_relationship(self._Base, interfaces.MANYTOMANY, relationship, 'related', self.Task, self.Task,
                                    secondary=self._Base.classes.task_notBefore__task_relatedTasks, backref='notBefore')

        self._Session = sessionmaker()
        self._Session.configure(bind=self.engine)

        self.session = self._Session()

但是这仍然没有“做”任何事情:它没有向self.Task“类”添加任何内容。

如何做到这一点?

【问题讨论】:

    标签: python orm sqlalchemy many-to-many


    【解决方案1】:

    在这种情况下,主要问题不仅在于多对多关系,还在于它是一种自我引用的多对多关系。因为automap 只是将映射的类名转换为关系名,所以它构造了相同的名称,例如task_collection,对于关系的两个方向,命名冲突会产生错误。 automap 的这个缺点让人感觉很重要,因为自我参照、多对多关系并不少见。

    使用您自己的名称显式添加您想要的关系不会解决问题,因为automap 仍会尝试创建task_collection 关系。为了解决这个问题,我们需要覆盖task_collection

    如果您可以将名称 task_collection 保留为关系的前进方向,我们可以简单地预先定义关系 - 为 backref 指定我们想要的任何名称。如果automap 发现预期的属性已经存在,它将假定该关系已被覆盖,而不是尝试添加它。

    这是一个精简的示例,以及用于测试的 sqlite 数据库。

    Sqlite 数据库

    CREATE TABLE task (
        id INTEGER, 
        name VARCHAR,
        PRIMARY KEY (id)
    );
    
    CREATE TABLE task_task (
        tid1 INTEGER,
        tid2 INTEGER,
        FOREIGN KEY(tid1) REFERENCES task(id),
        FOREIGN KEY(tid2) REFERENCES task(id)
    );
    
    -- Some sample data
    INSERT INTO task VALUES (0, 'task_0');
    INSERT INTO task VALUES (1, 'task_1');
    INSERT INTO task VALUES (2, 'task_2');
    INSERT INTO task VALUES (3, 'task_3');
    INSERT INTO task VALUES (4, 'task_4');
    
    INSERT INTO task_task VALUES (0, 1);
    INSERT INTO task_task VALUES (0, 2);
    
    INSERT INTO task_task VALUES (2, 4);
    INSERT INTO task_task VALUES (3, 4);
    
    INSERT INTO task_task VALUES (3, 0);
    

    把它放到一个名为setup_self.sql的文件中,我们可以这样做:

    sqlite3 self.db < setup_self.sql
    

    Python 代码

    from sqlalchemy.ext.automap import automap_base
    from sqlalchemy.orm import Session
    from sqlalchemy import create_engine
    
    from sqlalchemy import Table, Column, Integer, ForeignKey
    from sqlalchemy.orm import relationship
    from sqlalchemy.ext.declarative import declarative_base
    
    DeclBase = declarative_base()
    
    task_task = Table('task_task', DeclBase.metadata,
                      Column('tid1', Integer, ForeignKey('task.id')),
                      Column('tid2', Integer, ForeignKey('task.id')))
    
    Base = automap_base(DeclBase)
    
    class Task(Base):
        __tablename__ = 'task'
    
        task_collection = relationship('Task', 
                                       secondary=task_task, 
                                       primaryjoin='Task.id==task_task.c.tid1',
                                       secondaryjoin='Task.id==task_task.c.tid2',
                                       backref='backward')
    
    engine = create_engine("sqlite:///self.db")
    
    Base.prepare(engine, reflect=True)
    
    session = Session(engine)
    
    task_0 = session.query(Task).filter_by(name ='task_0').first()
    task_4 = session.query(Task).filter_by(name ='task_4').first()
    
    print("task_0.task_collection = {}".format([x.name for x in task_0.task_collection]))
    print("task_4.backward        = {}".format([x.name for x in task_4.backward]))
    

    结果

    task_0.task_collection = ['task_1', 'task_2']
    task_4.backward        = ['task_2', 'task_3']
    

    使用不同的名称

    如果你想使用task_collection以外的名字,你需要使用automap的函数来覆盖集合关系的名字:

    name_for_collection_relationship(base, local_cls, referred_cls, constraint)
    

    参数local_clsreferred_cls 是映射表类的实例。对于自引用的多对多关系,它们都是同一个类。我们可以使用参数来构建一个允许我们识别覆盖的键。

    这是此方法的示例实现。

    from sqlalchemy.ext.automap import automap_base, name_for_collection_relationship
    from sqlalchemy.orm import Session
    from sqlalchemy import create_engine
    
    from sqlalchemy import Table, Column, Integer, ForeignKey
    from sqlalchemy.orm import relationship
    from sqlalchemy.ext.declarative import declarative_base
    
    
    DeclBase = declarative_base()
    
    task_task = Table('task_task', DeclBase.metadata,
                      Column('tid1', Integer, ForeignKey('task.id')),
                      Column('tid2', Integer, ForeignKey('task.id')))
    
    Base = automap_base(DeclBase)
    
    class Task(Base):
        __tablename__ = 'task'
    
        forward = relationship('Task', 
                               secondary=task_task, 
                               primaryjoin='Task.id==task_task.c.tid1',
                               secondaryjoin='Task.id==task_task.c.tid2',
                               backref='backward')
    
    
    # A dictionary that maps relationship keys to a method name
    OVERRIDES = {
        'Task_Task' : 'forward'
        }
    
    def _name_for_collection_relationship(base, local_cls, referred_cls, constraint):
    
        # Build the key
        key = '{}_{}'.format(local_cls.__name__, referred_cls.__name__)
    
        # Did we have an override name?
        if key in OVERRIDES:
            # Yes, return it
            return OVERRIDES[key]
    
        # Default to the standard automap function
        return name_for_collection_relationship(base, local_cls, referred_cls, constraint)
    
    
    engine = create_engine("sqlite:///self.db")
    
    Base.prepare(engine, reflect=True, name_for_collection_relationship=_name_for_collection_relationship)
    

    请注意,覆盖name_for_collection_relationship 只会更改automap 用于关系的名称。在我们的例子中,这种关系仍然是由Task 预先定义的。但是,覆盖告诉automap 寻找forward 而不是task_collection,它找到并因此停止定义关系。

    考虑的其他方法

    在某些情况下,如果我们可以覆盖关系名称而不必预先定义实际关系,那就太好了。首先考虑,这应该可以使用name_for_collection_relationship。但是,由于两个原因,我无法让这种方法适用于自我引用的多对多关系。

    • name_for_collection_relationship 和相关的generate_relationship 被调用两次,对多对多关系的每个方向调用一次。在这两种情况下,local_clsreferred_cls 都是相同的,因为它们具有自引用性。此外,name_for_collection_relationship 的其他参数实际上是等效的。因此,我们无法从函数调用的上下文中确定我们要覆盖的方向。

    • 这是问题中更令人惊讶的部分。看来我们甚至不能指望一个方向先于另一个方向发生。换句话说,对name_for_collection_relationshipgenerate_relationship 的两次调用非常相似。实际决定关系方向性的参数是constraint,是关系的两个外键约束之一;这些约束从Base.metadata 加载到名为m2m_const 的变量中。问题就在这里。约束以m2m_const 结束的顺序是不确定的,即有时它是一个顺序;其他时候则相反(至少在使用sqlite3 时)。因此,关系的方向性是不确定的。

    另一方面,当我们预先定义关系时,以下参数创建了必要的确定性。

    primaryjoin='Task.id==task_task.c.tid1',
    secondaryjoin='Task.id==task_task.c.tid2',
    

    需要特别注意的是,我实际上试图创建一个解决方案,它只是简单地覆盖关系名称而不预先定义它。它表现出所描述的不确定性。

    最后的想法

    如果您有合理数量的不经常更改的数据库表,我建议您只使用Declarative Base。设置起来可能需要更多的工作,但它可以让您拥有更多的控制权。

    【讨论】:

    • 感谢您的冗长回复;然而有一件事是python应用程序不能修改数据库的“结构”。 - 它可以读/写元素,但是它不能通过添加/删除表来修改数据库。 (或修改表的元数据)。另一个应用程序“负责”并构建了领先的 ORM,python 只需要跟随。
    • 上述实现不会改变底层数据库的任何方面。它更改了用于访问数据库的属性的名称,但这些属性完全包含在 python 中。
    猜你喜欢
    • 1970-01-01
    • 2015-04-02
    • 1970-01-01
    • 1970-01-01
    • 2019-04-10
    • 2020-07-11
    • 2022-01-25
    • 2013-09-19
    相关资源
    最近更新 更多