[Web Crawling] HTTP 통신 방식
[데이터분석에 꼭 필요한 실전형 웹 크롤링]
HTTP 통신
- TCP/IP 기반
- Request / Response
HTTP 구조
- Status line : 요청 URL / 응답방식 (Post, Get, Put, Delete)
- 헤더 (header) : User에 대한 정보 / 웹에서 헤더에 특정 값을 요구할 수 있다 / Key-Value 형식
- 바디 (body) : 전송하려는 데이터
GET 방식
- 서버에서 데이터 조회 시 사용 (요청 시 BODY가 없다)
- 데이터 전달 시 parameter 사용 : URL?key1=val1&key2=val2
'Data Analysis > Data Mining' 카테고리의 다른 글
[Web Crawling] 인피니티 스크롤 크롤링 (0) | 2024.11.16 |
---|---|
[Web Crawling] 비동기 사이트 (0) | 2024.11.16 |
[Web Crawling] CSS 셀렉터 (0) | 2024.11.16 |
[Web Crawling] BeautifulSoup (0) | 2024.11.14 |
[Web Crawling] Requests (0) | 2024.11.14 |
[Web Crawling] HTML 구조 (0) | 2024.11.14 |
[Web Crawling] 웹 구조 (0) | 2024.11.07 |
댓글