웹개발 종합반 | 웹스크래핑(크롤링) | DB | mongoDB

크롤링

 

·  Web상에 존재하는 Contents를 그대로 가져와서 필요한 데이터만 추출하는 기법

 

# 크롤링 기본 세팅

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('url 입력',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

 

 

# BeautifulSoup 사용법

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

title = soup.select_one('#old_content > table > tbody > tr:nth-child(2) > td.title > div > a')
print(title)

 

 

먼저 beautifulsoup 내 select에 미리 정의된 select와 select_one의 사용법을 익혀보자.

# copy selector를 사용하는 방법
soup.select('태그명')
soup.select('.클래스명')
soup.select('#아이디명')

soup.select('상위태그명 > 하위태그명 > 하위태그명')
soup.select('상위태그명.클래스명 > 하위태그명.클래스명')

# 태그와 속성값으로 찾는 방법
soup.select('태그명[속성="값"]')

# 한 개만 가져오고 싶은 경우
soup.select_one('위와 동일')

 

위 코드를 실행하면 

이런 값이 나오는데 여기서 " " 사이의 하이퍼링크 속성을 출력하고 싶다면

print(title['href'])

이런 방식으로 출력하면 된다.

 

추가로

태그 안의 텍스트를 찍고 싶을 땐 → 태그.text

태그 안의 속성을 찍고 싶을 땐 → 태그['속성']  을 사용하면 된다.

 

 

그렇다면 이제 네이버 영화 페이지를 순위, 영화명, 평점 순으로 크롤링 해보자.

 

영화 제목 1, 2위를 '원하는 부분에서 마우스 오른쪽 클릭으로 검사 한 후 원하는 태그에서 Copy selector로 복사'하면 코드를 가져오면 아래와 같다.

#old_content > table > tbody > tr:nth-child(2) > td.title > div > a     //1위
#old_content > table > tbody > tr:nth-child(3) > td.title > div > a     //2위

 

여기서 #old부터 tr까지는 같으므로 select를 이용하여 tr들을 불러온다.

movies = soup.select('#old_content > table > tbody > tr')

 

다음, 순위와 제목, 평점을 copy select하면 아래와 같다.

# old_content > table > tbody > tr:nth-child(2) > td:nth-child(1) > img     //순위
# old_content > table > tbody > tr:nth-child(2) > td.title > div > a        //제목
# old_content > table > tbody > tr:nth-child(2) > td.point      //평점

 

tr까지는 이미 불러왔으므로 각각 필요한 값만 select하면 코드는 이렇게 된다

for movie in movies:
    a = movie.select_one('td.title > div > a')
    if a is not None:
        title = a.text
        rank = movie.select_one('td:nth-child(1) > img')
        star = movie.select_one('td.point')

 

하지만 이렇게만 하면

이런 결과가 나오는데 여기서 순위를 select하려면 순위의 alt값을 가져와야 한다. 

 

또한 제목과 평점은 text로 가져와야 하므로 .text를 사용하여 text값으로 변경해주면 최종 코드는 아래와 같다.

movies = soup.select('#old_content > table > tbody > tr')

for movie in movies:
    a = movie.select_one('td.title > div > a')
    if a is not None:
        title = a.text
        rank = movie.select_one('td:nth-child(1) > img')['alt']
        star = movie.select_one('td.point').text
        print(rank, title, star)

 

 

---

 

MongoDB

 

· NoSQL의 대표적인 데이터베이스 시스템

 

여기서 잠깐!

- DB(데이터베이스)를 사용하는 이유는?

  : 잘 저장하기 위해서? X , 데이터를 잘 뽑아 사용하기 위해서 O

 

# MongoDB import 코드

from pymongo import MongoClient
client = MongoClient('mongodb+srv://ekgp209:heaven1004@cluster0.7n9jh.mongodb.net/Cluster0?retryWrites=true&w=majority')
db = client.dbsparta

 

 

# pymongo 코드 요약

# 저장 - 예시
doc = {'name':'bobby','age':21}
db.users.insert_one(doc)

# 한 개 찾기 - 예시
user = db.users.find_one({'name':'bobby'})

# 여러개 찾기 - 예시 ( _id 값은 제외하고 출력)
all_users = list(db.users.find({ (조건을 넣어줄 수도 있음) },{'_id':False}))

# 바꾸기 - 예시
db.users.update_one({'name':'bobby'},{'$set':{'age':19}})

# 지우기 - 예시
db.users.delete_one({'name':'bobby'})

 

 

앞서 수행한 네이버 영화 페이지 크롤링 한 결과 값을 DB에 저장해보자.

저장을 위해 print(rank, title, star) 가 아닌

doc = {
    'title' : title,
    'rank' : rank,
    'star' : star
}
db.movies.insert_one(doc)

로 수정하여 실행하면 아래와 같이 DB에 저장된 것을 확인할 수 있다.

DB 저장 결과

 

 

pymongo를 이용한 간단한 예제를 연습 해보자.

 

1. 영화제목 '가버나움'의 평점 가져오기

movie = db.movies.find_one({'title':'가버나움'})
print(movie['star'])

 

2. '가버나움'의 평점과 평점이 같은 영화제목들 가져오기

movie = db.movies.find_one({'title':'가버나움'})
star = movie['star']

all_movies = list(db.movies.find({'star':star},{'_id':False}))
for m in all_movies:
    print(m['title'])

 

3. '가버나움'의 평점을 0으로 만들기

db.movies.update_one({'title': '가버나움'}, {'$set': {'star': '0'}})