تعريف التجسس على الويب وبرامج الزحف على الويب

العناكب هي برامج (أو نصوص تلقائية) تقوم "بالزحف" من خلال الويب بحثا عن البيانات. العناكب السفر من خلال عناوين المواقع على شبكة الإنترنت ويمكن سحب البيانات من صفحات الويب مثل عناوين البريد الإلكتروني. وتستخدم العناكب أيضا لتغذية المعلومات الموجودة على مواقع الويب لمحركات البحث.

العناكب، والتي يشار إليها أيضا باسم "زواحف الويب" البحث في شبكة الإنترنت وليس كلها ودية في نيتهم.

سبامرز سبيدر مواقع لجمع المعلومات

غوغل، Yahoo!

ومحركات البحث الأخرى ليست الوحيدة المهتمة في الزحف المواقع - حتى المخادعين ومرسلي البريد المزعج.

يتم استخدام العناكب والأدوات الآلية الأخرى من قبل مرسلي الرسائل غير المرغوب فيها للعثور على عناوين البريد الإلكتروني (على شبكة الإنترنت غالبا ما يشار إلى هذه الممارسة ب "الحصاد") على مواقع الويب ومن ثم استخدامها لإنشاء قوائم الرسائل غير المرغوب فيها.

--2>>

العناكب هي أيضا أداة تستخدمها محركات البحث للعثور على مزيد من المعلومات حول موقعك على الويب، ولكن دون تحديدها، فإن موقع ويب بدون تعليمات (أو "أذونات") حول كيفية الزحف إلى موقعك يمكن أن يعرض مخاطر أمن المعلومات. العناكب السفر باتباع الروابط، وأنها بارعون جدا في إيجاد وصلات لقواعد البيانات وملفات البرنامج، وغيرها من المعلومات التي قد لا تريد لهم الحصول على.

يمكن لمشرفي المواقع عرض السجلات لمعرفة ما كانت العناكب والروبوتات الأخرى قد زاروا مواقعهم. تساعد هذه المعلومات مشرفي المواقع على معرفة من يقوم بفهرسة موقعهم، وعدد المرات.

هذه المعلومات مفيدة لأنها تتيح لمشرفي المواقع ضبط تحسين محركات البحث وتحديث روبوتهم. ملفات تكست لحظر بعض برامج الروبوت من الزحف إلى موقعها في المستقبل.

نصائح حول حماية موقعك من الزواحف الروبوت غير المرغوب فيها

هناك طريقة بسيطة إلى حد ما للحفاظ على الزواحف غير المرغوب فيها من موقع الويب الخاص بك. حتى إذا لم تكن قلقا بشأن العناكب الضارة التي تزحف إلى موقعك (لن يؤدي حظر عنوان البريد الإلكتروني إلى حمايتك من معظم برامج الزحف)، فلا يزال يتعين عليك تزويد محركات البحث بتعليمات مهمة.

يجب أن يكون لدى جميع مواقع الويب ملف موجود في الدليل الجذر يسمى روبوتس. ملف تكست. يسمح لك هذا الملف بإرشاد برامج زحف الويب حيث تريد أن ينظر إليها إلى صفحات الفهرس (ما لم ينص على خلاف ذلك في البيانات الوصفية لصفحة معينة بحيث لا تتم فهرستها) إذا كانت عبارة عن محرك بحث.

كما يمكنك معرفة برامج الزحف المطلوبة حيث تريد منهم التصفح، يمكنك أيضا إخبارهم بأماكن عدم قدرتهم على الدخول وحتى منع برامج الزحف المحددة من موقعك بالكامل.

من المهم أن نأخذ في الاعتبار أن بئر وضعت الروبوتات معا. فإن ملف تكست سيكون له قيمة هائلة لمحركات البحث ويمكن أن يكون حتى عنصرا أساسيا في تحسين أداء موقع الويب الخاص بك، ولكن بعض برامج الزحف الروبوت سوف لا تزال تتجاهل التعليمات الخاصة بك. لهذا السبب، من المهم للحفاظ على كل ما تبذلونه من البرامج، الإضافات، وتطبيقات حتى الآن في جميع الأوقات.

مقالات ومعلومات ذات صلة

نظرا لانتشار الحصاد المعلوماتي الذي استخدم لأغراض شائنة (سبام)، تم سن تشريع عام 2003 لجعل بعض الممارسات غير قانونية. وتندرج قوانين حماية المستهلك هذه ضمن قانون كان-سبام لعام 2003.

من المهم أن تأخذ الوقت الكافي لقراءة قانون كان-سبام إذا كان نشاطك التجاري يشارك في أي تجميع جماعي أو جمع معلومات.

يمكنك معرفة المزيد عن قوانين مكافحة الرسائل الاقتحامية وكيفية التعامل مع مرسلي الرسائل غير المرغوب فيها، وما قد لا تفعله كمالك تجاري، من خلال قراءة المقالات التالية:

• كان-سبام أكت 2003
• CAN- سبام أكت قواعد للمنظمات غير الربحية
• 5 كان-سبام قواعد أصحاب الأعمال الصغيرة بحاجة إلى فهم