본문 바로가기
Data Analysis/Data Mining

[Web Crawling] HTTP 통신 방식

by 베짱이28호 2024. 11. 14.

[Web Crawling] HTTP 통신 방식

[데이터분석에 꼭 필요한 실전형 웹 크롤링]


HTTP 통신 

  • TCP/IP 기반
  • Request / Response 

 HTTP 구조

  • Status line : 요청 URL /  응답방식 (Post, Get, Put, Delete)
  • 헤더 (header) : User에 대한 정보 / 웹에서 헤더에 특정 값을 요구할 수 있다 / Key-Value 형식
  • 바디 (body) : 전송하려는 데이터

 

 GET 방식

  • 서버에서 데이터 조회 시 사용 (요청 시 BODY가 없다)
  • 데이터 전달 시 parameter 사용 : URL?key1=val1&key2=val2

 

'Data Analysis > Data Mining' 카테고리의 다른 글

[Web Crawling] 인피니티 스크롤 크롤링  (0) 2024.11.16
[Web Crawling] 비동기 사이트  (0) 2024.11.16
[Web Crawling] CSS 셀렉터  (0) 2024.11.16
[Web Crawling] BeautifulSoup  (0) 2024.11.14
[Web Crawling] Requests  (0) 2024.11.14
[Web Crawling] HTML 구조  (0) 2024.11.14
[Web Crawling] 웹 구조  (0) 2024.11.07

댓글