여러 웹 사이트를 돌아다니며 홈페이지의 정보들을 수집하고 검색 대상의 색인으로 포함시키는 기술을 크롤링이라 하며, 크롤링 하는 소프트웨어는 크롤러(crawler)라고 한다. 이러한 크롤링의 특징은 방대한 자료를 검색한다는 것이지만 몇 가지 단점도 있다. 우선 크롤러들이 홈페이지를 돌아다니며 웹 상의 정보를 수집해서 이를 외부로 공개하게 되면 보안에 취약점이 발생할 수 있다는 것이다. 예를들어 사용자의 아이디나 비밀번호 등과 같은 민감한 개인정보가 유출될 경우 범죄에 사용될 수 있기 때문이다. 또한 법률적 관점에서 크롤링 행위가 합법적인지 생각해볼 수 있다. 사이트 운영자가 크롤링을 허락했어도 이렇게 수집한 정보를 범죄에 사용했을 경우에 합법이라고 말할 수 없기 때문이다.