***4
مقدمه
هر چه بر حجم و تنوع منابع موجود در شبکه وب افزوده می گردد، بحث جستجو و
اطلاع یابی در محیط وب ابعاد و جنبه های گسترده تر و پیچیده تری به خود می گیرد.
موتورهای جستجو هر چقدر هم که خوب باشند، نمی‌توانند تمام اطلاعات موجود در وب را پوشش دهند. با توجه به همین واقعیت بود که مفهومی با عنوان وب نامرئی( وب پنهان ) و نحوه دسترسی و استفاده از آن مطرح شد.
***5
تاریخچه
شبکه جهانی اینترنت در اواخر دهه ۱۹۶۰ایجاد گردید.
در سال ۱۹۹۰ شبکه جهانی وب در« آزمایشگاه فیزیک ذره ای اروپا » واقع در سوئیس توسط «تیم برنرزلی» ابداع شد، و همچنین اولین ابزار کاوش توسط «آلان امتیج» در دانشگاه «مک گیل» با عنوان «آرکی» ابداع شد.
مرور نوشتارها نشان می دهد که به احتمال زیاد واژه وب نامرئی برای نخستین بار در سال 1994 توسط محققی به نام ”دکترژیل السورث“ ابداع شده است.
با این حال نام“ کریس شرمن و گری ﭘرایس ”به عنوان دو نفر از صاحب نظران اصلی دراین موضوع بیشتر از دیگران به چشم می خورد و تعریفی که آنان در سال 2001 از وب نامرئی ارائه کرده اند در اغلب منابع ذکر شده است.
***6
ابزارهای کاوش در وب
***7
Search Engines
***8
موتورهای جستجو، نرم افزارهای کاربردی هستند که برای جستجوی منابع اطلاعاتی در اینترنت و اینترانت ها مورد استفاده قرار می گیرند.
***9
§بخش های مجزای یک موتور جستجوگر
Spider
Crawler
Indexer
Query processor
Ranker
***11
•اگرچه ابزارهای کاوش حجم بسیار بالایی از اطلاعات )صفحات وب ( را در پایگا ههای خود
نمایه و با سرعت بالایی بازیابی می کنند.
اما این پرسش مطرح می شود که:
آیا همه اطلاعات موجود در وب
توسط این ابزارها قابل بازیابی است؟
***13
«شرمن» و «پرایس»
وب پنهان آن بخش از فضای شبکه جهان گستر وب می باشد که عمدتًا شامل منابع اطلاعاتی غیرمتنی و پویایی است که به هر دلیل، به طور موقت یا دائم خارج از حوزه جستجو و بازیابی موتورهای کاوش قرار دارند و بازیابی اطلاعات موجود در آن از طریق استفاده مستقیم از این موتورها میسر نمی باشد.
امکان بازیابی منابع پنهان در وب نامرئی، یا برای موتورهای کاوش از
نظر فنی میسر نیست، یا محدودیتهای مالی مانع از نمایه سازی این منابع شده است.»