ah then sir ito kilangan nyu
You do not have permission to view the full content of this post.
Log in or register now.
d2 ka po kukuha ng links para sa crawler
You do not have permission to view the full content of this post.
Log in or register now.
then code mo lng po ung algorithm para sa search levels, example pag may nakitang link na hindi listed sa previous 1000 links ay lalagay din sa indexed sites.
first search level mo ung 1000 list
second search level is ung sites na nasa loob ng 1000 list
then third level and so on.
basically gagawa ka ng sarili mong search engine.
suggestion ko po is sa malakas na PC ka mag run ng first indexing mo, para hindi mag hang at ma wala lahat ng indexed sites mo. then weekly mag index ka ulit ng sites baka may bagong update.
pag naka index ka na ng site, gumawa ka ng search engine na mag hahanap ng websites na may hotline ng emergency responders sa indexed sites mo.
P.S.:
naka dependi ang indexing speed sa internet at PC mo, ung crawler sa tutorial is single thread lng, pwede mong eh modify for multi-threading para mas mabilis ung indexing, basta malakas lng PC at internet mo.
sana maka tulong, good luck sir, naka gawa ako ng crawler kaso ung data na hinahanap ko is nasa isang site lng, ung sa inyu eh buong WWW kng pwede po kayo maka hanap ng advice sa naka gawa na mas mabuti.