TheData.KR > Python > Python Crawling > requests

requests

requests사용법

urllib 보다 유용하며 Rest API 를 지원
매개변수는 dictionary 로 구성 하며 인코딩(URL 인코딩)이 필요 없음
공식 사이트 : http://www.python-requests.org/en/master

설치(Installation)

pip install requests

기본 사용법

requests.get(url) : url 인수로 받아 HTTP 요청 후 응답을 받음
requests.get(url, params=params) : parmas= GET 방식으로 요청
requests.get(url, data=data) : data= POST 방식으로 요청
requests.get(url, headers=headers) : 헤더 값 추가 시 headers= 요청 헤더 값 추가해서 요청
response.status_code : 응답 코드 200 이면 OK, 404 면 File Not Found 등등
response.text : 응답에서 html등을 읽어 옴

import requests

url = 'https://search.shopping.naver.com/book/search'
params = {'query':'파이썬'}
response = requests.get(url, params='params')

if response.status_code == 200:
    print(response.url) # 응답 주소
    text = response.text

모바일 페이지로 요청하기

requests.get(url, headers=headers) : 헤더 값 추가 시 headers= 요청 헤더 값 추가해서 요청
요청 헤더 값 중 user-agent의 모바일 헤더 값 사용
크롬 개발자 도구에서 확인 가능

import requests

url = 'http://www.naver.com'
#url = 'http://www.daum.net'
headers = {
    'user-agent': 'Mozilla/5.0 (Linux; Android 8.0.0; SM-G955U Build/R16NW) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Mobile Safari/537.36'
}
response = requests.get(url, headers='headers')


if response.getcode() == 200:
    print(response.url # 응답 주소
    text = response.text