写一个爬取电影猫电影信息的爬虫写入数据库
时间: 2023-05-18 08:06:06 浏览: 49
好的,这是一个比较常见的爬虫任务。您可以使用 Python 的 requests 和 BeautifulSoup 库来实现。首先,您需要发送 HTTP 请求获取电影猫网站的 HTML 页面,然后使用 BeautifulSoup 解析页面中的信息,并将其存储到数据库中。以下是一个简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
import sqlite3
# 发送 HTTP 请求获取电影猫网站的 HTML 页面
url = 'https://www.dy2018.com/'
response = requests.get(url)
html = response.content
# 使用 BeautifulSoup 解析页面中的信息
soup = BeautifulSoup(html, 'html.parser')
movies = soup.select('.co_content8 table a')
# 将电影信息存储到数据库中
conn = sqlite3.connect('movies.db')
cursor = conn.cursor()
cursor.execute('CREATE TABLE IF NOT EXISTS movies (title TEXT, link TEXT)')
for movie in movies:
title = movie.text
link = movie['href']
cursor.execute('INSERT INTO movies (title, link) VALUES (?, ?)', (title, link))
conn.commit()
conn.close()
```
这段代码会将电影猫网站首页中的电影标题和链接存储到名为 "movies.db" 的 SQLite 数据库中。您可以根据需要修改代码以适应您的具体需求。