Python Scrapy - füllt start_urls aus mysql

Ein besserer Ansatz besteht darin, die start_requests Methode.

Dies kann Ihre Datenbank abfragen, ähnlich wie populate_start_urls , und geben Sie eine Folge von Request zurück Objekte.

Sie müssten nur Ihre populate_start_urls umbenennen Methode zu start_requests und ändern Sie die folgenden Zeilen:

for row in rows:
    yield self.make_requests_from_url(row[0])