-
- 로그인후 이용해주세요.
업데이트 노트
스크래퍼 (배포보류)
아쉽지만 해당기능은 법률적 이슈가 있는것으로 확인 되었습니다.
법률 검토를 좀 더 거친 후에 공개여부를 결정 하는것이 좋을것같습니다.
규칙 기본예제
<div id="items">
<ul class="items_list">
<li><span class="title">아이템1 입니다.</span></li>
<li><span class="price">10,000원.</span></li>
</ul>
<ul class="items_list">
<li><span class="title">아이템2 입니다.</span></li>
<li><span class="price">20,000원.</span></li>
</ul>
</div>가져올 대상이 위와같은 html 구조이고 "금액" 을 가져오고 싶은 경우
ul.items_list/li[2]/span.price 형태로 작성하면 됩니다.
해석 : ul class="items_list" > 두번째 li > span class="price" > 안에 데이터를 가져와!
HTML을 복붙하면 자동으로 규칙을 만들어주는 부분도 개발중에 있습니다.
스크래퍼가 하는 일
목록 페이지 수집 지정한 목록 URL에서 게시물(또는 상품) 목록을 읽어옵니다.
한 페이지뿐 아니라 페이지 수(PAGE 1~N)를 설정해 여러 페이지를 연속 수집할 수 있습니다.
필드 추출(규칙 적용)
관리자에서 설정한 “필드 규칙”에 따라 아래 항목들을 원하는 형태로 뽑아냅니다.
제목, 가격, 작성자/판매처, 카테고리, 썸네일 이미지, 링크 URL 등
텍스트/속성(attr)/정규식 처리/숫자만 추출/URL 디코딩 등 후처리 가능
중복 방지(중복키 기반)
데이터 마다 고유한 값(예: 글번호/상품ID/링크ID)을 “중복키(dedupe key)”로 설정할 수 있습니다.
중복키가 이미 저장된 데이터면 스킵하거나, 옵션에 따라 업데이트 할 수 있습니다.
저장(게시판/DB)
수집한 데이터를 게시판 컬럼(wr_subject, wr_content, wr_10 등) 에 저장합니다.
이미지를 서버에 저장하거나 URL만 저장할 수 있습니다.
분류(카테고리) 매칭
외부 사이트의 카테고리 텍스트를 내 사이트 카테고리명(ca_name)으로 변환해 저장할 수 있습니다.
상세페이지 수집
기본은 “목록”만 수집하지만, 옵션을 켜면 목록에서 추출한 링크로
상세페이지 까지 들어가서 내용을 추가로 가져올 수 있습니다.
실행 방식
관리자모드의 “스크래핑 목록”에서 [실행] 버튼을 눌러 즉시 실행할 수 있습니다.
데이터가 많거나 주기적으로 수집해야 하는 경우 크론(CRON) 실행을 지원 합니다.
- 이전글메타정보 출력 개선 (2.2.5)2026.01.02
- 다음글AOS (스크롤 애니메이션) (2.2.5)2025.12.31
댓글목록
