-
- 로그인후 이용해주세요.
업데이트 노트
부가기능 : 스크래퍼 개발소식
스크래퍼 부가기능 개발소식을 전해드립니다.
기존 개발중이던 스크래퍼는 폐기 (너무 어려운 사용법) 되었으며,
좀더 쉽게, 다양한 구조에서도 안정적으로 데이터를 받아올 수 있도록 재개발을 진행중에 있습니다.
9월 10일 전후로 배포 될 예정입니다.
스크래퍼란?
외부 사이트의 게시물이나 상품 데이터를 간편하게 가져와
게시판 또는 상품으로 등록할 수 있는 부가기능입니다.
복잡한 코드를 입력하지 않아도 페이지 주소를 확인하고, 화면에 표시된 목록과 데이터를
클릭해 원하는 저장 항목에 연결할 수 있습니다.
주요 기능
페이지 · 목록 수집
게시물 및 상품 단일 페이지 수집
반복되는 게시물·상품 목록 자동 탐색
목록에 보이는 데이터를 항목별로 즉시 수집
목록에서 상세 페이지를 찾아 내용까지 수집
목록 데이터와 상세 페이지 데이터를 구분해 함께 저장
페이지 번호, 주소 항목, 다음 버튼을 이용한 페이징
시작 페이지·확인할 페이지 수·증가값 설정
실행당 최대 수집 개수 설정
여러 허용 도메인을 이용한 이미지·상세 페이지 연결
수집된 값을 재가공하여 임의 지정값으로 저장 (개발중)
클릭 방식의 데이터 선택
읽어온 원본 페이지 화면 미리보기
페이지에서 가져올 영역을 직접 클릭해 선택
반복되는 게시물·상품 목록 후보 자동 추천
데이터 목록과 DOM 구조를 확인하는 보기 방식 제공
선택한 요소의 실제 DOM 선택자 확인
텍스트, HTML, 링크, 이미지 주소와 속성값 추출
같은 값이 중첩되어 반복 표시되는 항목 정리
목록 전용 값과 상세 페이지 전용 값 구분
수집 전에 실제 등록 결과 미리보기
게시판 · 상품 데이터 연결
게시판 : 제목·본문·분류·링크·첨부 이미지 연결
게시판 : 여분필드 wr_1~wr_10 연결
상품 : 상품명·설명·가격·재고·브랜드 연결
상품 : 분류·상태·배송·과세·노출 관련 항목 연결
상품 : 여분필드와 추가 이미지 연결
숫자와 가격 문자열을 저장 가능한 숫자로 변환
값이 없을 때 사용할 대체 내용 설정
원본 데이터 대신 지정한 고정값 입력
등록 전 항목별 내용 직접 수정
로그인 페이지 수집
로그인이 필요한 페이지 수집 지원
로그인 페이지 주소·아이디·비밀번호 간편 설정
아이디와 비밀번호 입력칸 자동 탐색
로그인 폼의 숨은 보안값 자동 전송
체크된 로그인 유지 옵션과 선택값 처리
자동 탐색이 어려운 입력칸의 name 직접 지정
로그인 쿠키 저장 및 다음 요청에서 재사용
세션 만료 시 자동 재로그인
잘못된 로그인 정보의 반복 재시도 방지
비밀번호와 로그인 쿠키 암호화 저장
이미지 처리
원격 이미지 주소 추출
연결한 이미지를 서버로 내려받아 저장
게시판 첨부 이미지와 상품 이미지 구분 처리
상대 경로와 지연 로딩 이미지 주소 보정
이미지 저장 여부 선택
허용되지 않은 이미지 주소와 내부망 주소 차단
등록 · 검토 · 중복 방지
자동 등록과 검토 후 등록 방식 선택
검토 대기 결과를 확인한 뒤 개별 승인·제외
여러 검토 결과를 선택해 일괄 승인·제외
등록 직전 제목·본문·가격·링크 등 직접 수정
이미 가져온 원본 주소와 항목 식별값 중복 확인
중복 자료 건너뛰기 또는 중복 허용 선택
같은 실행의 재시도로 발생하는 중복 등록 방지
상품 진열함·진열안함 설정
원본 페이지 출처 표시 여부 선택
실행 · 진행 관리
수집 중인 페이지와 현재 작업 내용 표시
확인한 페이지·수집 자료·등록 완료·오류 수치 표시
진행 상태 자동 갱신
수집 일시정지 및 이어서 실행
오류 항목 다시 확인
진행 중인 수집 취소
최근 처리 결과와 전체 수집 기록 확인
웹호스팅 환경을 고려한 단계별 처리
크론을 이용한 백그라운드 실행 지원
사이트 부담 조절 · 보안
요청 사이의 최소 대기 시간 설정
무작위 추가 대기 시간을 이용한 요청 분산
도메인별 하루 요청 한도 설정
응답 제한이 감지되면 일정 시간 자동 대기
HTTPS 페이지와 인증서 검증 필수
리디렉션 단계별 주소와 도메인 확인
내부망·사설 IP·위험한 주소 접근 차단
스크립트·이벤트·iframe·폼 등 위험한 HTML 제거
관리자 권한과 요청 인증값 확인
로그인 정보가 다른 도메인으로 전송되는 폼 차단
UTF-8·CP949·EUC-KR 페이지 인코딩 지원
로그인이 필요한 페이지 수집
로그인이 필요한 사이트도 로그인 페이지 주소와 아이디 · 비밀번호를 입력해 수집할 수 있습니다.
일반적인 HTML 로그인 폼은 아이디 · 비밀번호 입력칸과 숨은 보안값을 자동으로 확인합니다.
로그인 정보와 쿠키는 암호화해 해당 수집 설정에서만 사용하며,
세션이 만료되면 자동으로 다시 로그인합니다.
기존 사이트의 게시물을 새 게시판으로 이전
공급사 상품 목록과 상세 정보 정리
여러 페이지에 흩어진 자료를 한곳에 보관
제목 · 본문 · 이미지 · 가격 · 여분필드를 사이트 구조에 맞게 변환
이용 전 확인사항
사이트 구조에 따라 데이터 선택과 연결 설정을 조정해야 할 수 있습니다.
CAPTCHA, OTP, 자바스크립트로만 처리되는 로그인과 자바스크립트로 생성되는 데이터는 지원하지 않습니다.
상대 사이트의 운영 정책에 맞춰 요청 간격과 수집량을 보수적으로 설정하는 것을 권장합니다.
감사합니다.
- 다음글Rb 어드민 제공기능 안내 (추가)2026.08.31
댓글목록
