Data Analysis/Data Mining10 [Web Crawling] snake - camel case [Web Crawling] snake - camel case 크롤링을 진행하면서, Python/SQL에서는 Scake case를 사용하고 JS에서는 camel case를 사용해서 약간의 불편함이 발생한다. params = {'samsung_galaxy':1, 'apple_iphone':2}url = "어쩌구?"이런식으로 값을 전달한다고 할 때, JS에서는 SamsungGalaxy처럼 camel 형태를 띄고 있어서 불편함이 발생한다.params이 짧은 경우에는 url에 f string으로 넣는 방식들이 나쁘지 않겠지만 params이 길어지는 경우 불편하다.python이나 sql에서 그대로 snake case를 사용하고 convert 함수를 사용해서 camel case로 변환하자. 코멘트이미 camel로.. 2024. 11. 23. [Web Crawling] 정리 [Web Crawling] 정리 1. requests정적 페이지 크롤링, HTTP 요청 처리단순 API 호출, 정적 웹페이지import requests# GET 요청response = requests.get(url, headers=headers)# POST 요청response = requests.post(url, headers=headers, data=data)# 응답 상태 확인response.status_code # 200, 404 등response.text # HTML 내용response.json() # JSON 응답2. BeautifulSoupHTML/XML 파싱, 데이터 추출정적 웹페이지 데이터 추출from bs4 import BeautifulSoup# HTML 파싱soup = Beautif.. 2024. 11. 17. [Web Crawling] 인피니티 스크롤 크롤링 [Web Crawling] 인피니티 스크롤 크롤링 인피니티 스크롤 크롤링스크롤을 내리면, api를 요청한 후 새로운 정보를 계속해서 보여주는 웹 사이트 형태예시 사이트디자인 이야기가 있는 디자이너들의 매거진, 디자인정글메인 페이지에서 아래로 드래그하면, 요청을 보내서 데이터를 렌더링 해주는 비동기 사이트이다.이런 방식으로 나와있고 드래그를 하면서 어떤 응답 요청을 받는지 확인한다.요청 URL:https://jungle.co.kr/recent.json?magazineOffset=0&contestOffset=0&exhibitOffset=0&galleryOffset=0https://jungle.co.kr/recent.json?magazineOffset=1&contestOffset=5&exhibitOffset=.. 2024. 11. 16. [Web Crawling] 비동기 사이트 [Web Crawling] 비동기 사이트 비동기 방식동기 : 요청 시 웹 페이지 전체의 HTML을 받는다.비동기 : HTML의 뼈대만 가져온 후, 웹 API에서 정보들을 가져와서 보여준다.JSON, XML 등을 이용해서 정보를 보여준다. 비동기 웹사이트 예시 데이터 요청import requestsfrom bs4 import BeautifulSoup as bsurl = "https://crawlingstudy-dd3c9.web.app/04/"response = requests.get(url)soup = print(response.text)------ 기본적인 HTML만 있고, 웹에서 렌더링한 이미지와 다르게 데이터가 비어있는 것을 확인할 수 있다.개발자 도구 - 네트워크 확인.. 2024. 11. 16. 이전 1 2 3 다음
