C
क्रॉल करने योग्य वेबसाइट
परिभाषा
(संदर्भ: सामान्य)
एक वेबसाइट जिसका कॉन्टेंट सर्च इंजन ऐक्सेस करते हैं, ताकि कॉन्टेंट को इंडेक्स किया जा सके।
एक क्रॉलर वेब पर दिए गए लिंक को फ़ॉलो करता है। क्रॉलर को रोबोट, बोट या स्पाइडर भी कहा जाता है। यह इंटरनेट 24/7 पर चलता है। वेबसाइट की बात आने पर, यह पेज के HTML वर्शन को एक विशाल डेटाबेस में सेव कर लेता है, जिसे इंडेक्स कहा जाता है। यह इंडेक्स हर बार अपडेट किया जाता है, जब क्रॉलर आपकी वेबसाइट पर आता है और उसे इसका नया या संशोधित संस्करण मिलता है।
रेफ़रंस:
यह भी देखें:
वैकल्पिक " नॉन-क्रॉबल " वेबसाइट। कोई इंडेक्सिंग नहीं होती है।