cannot import name 'linkExtractor' from 'scrapy.linkextractors' (D:\apps\pachong\venv\Lib\site-packages\scrapy\linkextractors\__init__.py)

这个错误是因为在Scrapy中没有名为'linkExtractor'的模块。正确的模块名是'LinkExtractor'，首字母L要大写。请确保你的代码中使用了正确的模块名。你可以尝试修改导入语句为以下形式：

from scrapy.linkextractors import LinkExtractor

如果问题仍然存在，请确保你已经安装了正确的版本的Scrapy，并且模块路径正确。如果问题仍然无法解决，请提供更多的代码和错误信息，以便我能够更好地帮助你解决问题。

相关问题

scrapy+mongodb案例

下面是一个使用 Scrapy 和 MongoDB 的简单示例，它将爬取豆瓣电影 Top 250 的数据并存储到 MongoDB 数据库中：

1. 安装 Scrapy 和 pymongo：

pip install scrapy pymongo

2. 创建 Scrapy 项目：

scrapy startproject douban

3. 在 `settings.py` 文件中配置 MongoDB：

MONGODB_HOST = 'localhost'
MONGODB_PORT = 27017
MONGODB_DBNAME = 'douban'
MONGODB_COLLECTION = 'movies'

4. 创建一个名为 `items.py` 的文件，定义要爬取的数据字段：

import scrapy

class DoubanItem(scrapy.Item):
    title = scrapy.Field()
    rating = scrapy.Field()
    director = scrapy.Field()
    actors = scrapy.Field()
    year = scrapy.Field()
    country = scrapy.Field()
    category = scrapy.Field()

5. 创建一个名为 `douban_spider.py` 的文件，定义爬虫：

import scrapy
from douban.items import DoubanItem
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor

class DoubanSpider(CrawlSpider):
    name = 'douban'
    allowed_domains = ['movie.douban.com']
    start_urls = ['https://movie.douban.com/top250']
    rules = (
        Rule(LinkExtractor(allow=('subject/\d+/$')), callback='parse_item'),
        Rule(LinkExtractor(allow=('top250\?start=\d+')), follow=True)
    )

    def parse_item(self, response):
        item = DoubanItem()
        item['title'] = response.css('h1 span::text').get()
        item['rating'] = response.css('strong.rating_num::text').get()
        item['director'] = response.css('a[rel="v:directedBy"]::text').get()
        item['actors'] = response.css('a[rel="v:starring"]::text').getall()
        item['year'] = response.css('span.year::text').get()
        item['country'] = response.css('span[property="v:initialReleaseDate"]::text').re_first(r'(\S+)\s+\(\S+\)')
        item['category'] = response.css('span[property="v:genre"]::text').getall()
        yield item

6. 运行爬虫：

scrapy crawl douban

7. 在 MongoDB 中查看数据：

> use douban
> db.movies.find().pretty()

Scrapy多线程爬取

Scrapy支持多线程爬取，可以使用Python的threading模块和Queue模块实现。以下是一个简单的示例，展示如何在Scrapy中使用多线程爬取：

import threading
from queue import Queue
import scrapy
from scrapy.crawler import CrawlerProcess
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor

class MySpider(CrawlSpider):
    name = 'example.com'
    allowed_domains = ['example.com']
    start_urls = ['http://www.example.com']

    rules = (
        Rule(LinkExtractor(), callback='parse_item', follow=True),
    )

    def parse_item(self, response):
        # 解析页面的代码

def worker():
    while True:
        url = q.get()
        process = CrawlerProcess()
        process.crawl(MySpider, start_urls=[url])
        process.start()
        q.task_done()

q = Queue()
num_threads = 8

for i in range(num_threads):
    t = threading.Thread(target=worker)
    t.daemon = True
    t.start()

for url in urls:
    q.put(url)

q.join()

在这个示例中，我们创建了一个名为MySpider的爬虫，并使用CrawlSpider和LinkExtractor来定义爬取规则。然后，我们创建了一个worker函数，该函数从队列中获取URL并使用CrawlerProcess启动爬虫。最后，我们创建了8个线程，并将URL添加到队列中。

需要注意的是，在使用多线程爬取时，需要适当调整并发请求限制和队列容量，以避免资源冲突和性能问题。