OplioBot, আমাদের ওয়েব ক্রলার
OplioBot কীভাবে থামাবেন, কীভাবে চিনবেন, আর এটি আপনার ওয়েবসাইটে কী পড়ে ও কেন।
সংক্ষেপে
- কয়েকটি পাবলিক পেজ পড়ে, সেকেন্ডে সর্বোচ্চ 1টি।
- আপনার robots.txt মেনে চলে।
- থামাতে আপনার robots.txt-এ দুটি লাইন যোগ করুন, অথবা আমাদের ইমেইল করুন।
কীভাবে থামাবেন
আপনার robots.txt-এ এই লাইনগুলো যোগ করুন। OplioBot কখনো 24 ঘণ্টার চেয়ে পুরোনো robots.txt-এর কপি ব্যবহার করে না, তাই 24 ঘণ্টার মধ্যে আপনার সাইট পড়া বন্ধ করবে:
User-agent: OplioBot
Disallow: /অথবা আপনার ডোমেইন লিখে আমাদের ইমেইল করুন। আমরা আর সেখানে যাব না, সেখান থেকে যা রাখা হয়েছিল তা মুছে দেব, আর Oplio-র কোনো ব্যবহারকারী আমাদের মাধ্যমে আপনার সাথে যোগাযোগ করতে পারবেন না:
কীভাবে চিনবেন
প্রতিটি রিকোয়েস্টে এই ইউজার এজেন্ট থাকে:
OplioBot/1.0 (+https://oplio.app/bot)কেন আসে
Oplio ফ্রিল্যান্সার ও ছোট এজেন্সিদের এমন ছোট বিজনেস খুঁজে দেয়, যাদের তাঁদের সার্ভিস দরকার হতে পারে। তাঁদের কেউ যখন খোঁজেন, ধরুন ডেনভারের কাছের ডেন্টিস্ট, তখন OplioBot ওই বিজনেসগুলোর ওয়েবসাইটে গিয়ে সেখানে প্রকাশিত যোগাযোগের তথ্য পড়ে। তাঁদের কেউ কোনো বিজনেসের রিসার্চ করতে চাইলেও OplioBot সেটির ওয়েবসাইটে যায়; সেই ওয়েবসাইট সার্চ থেকে আসতে পারে, অথবা তাঁরা নিজে লিখে বা কোনো ফাইলে দিয়ে থাকতে পারেন।
কী পড়ে
- আপনার হোমপেজ, আর কন্টাক্ট, অ্যাবাউট বা টিমের মতো আরও সর্বোচ্চ 5টি পেজ।
- আমাদের জানামতে অনেক বিজনেস মিলে যে সাইট ব্যবহার করে, যেমন কোনো মার্কেট বা ডিরেক্টরির সাইট, সেখানে শুধু হোমপেজ। কোনো বিজনেসের ওয়েবসাইট যদি অন্য সাইটের একটি পেজ হয়, যেমন ডিরেক্টরি বা বুকিং সাইটে এর লিস্টিং, তাহলে শুধু সেই পেজ, আর তাতে শুধু বিজনেসের নাম আছে এমন ঠিকানা, বা সেখানে একটিই ফ্রি ইমেইল ঠিকানা থাকলে সেটি।
- শুধু পাবলিক পেজ: কখনো সাইন ইন করে না, ফর্ম পূরণ করে না, পেমেন্ট করে না বা ক্যাপচা সমাধান করে না।
- টিম পেজ থেকে কোনো কর্মীর নিজের ফোন নম্বর বা সোশ্যাল প্রোফাইল এটি কখনো রাখে না, আপনার ওয়েবসাইট যিনি বানিয়েছেন তাঁর ঠিকানাও না।
বিস্তারিত
- আপনার robots.txt, আর দরকার হলেই শুধু: robots.txt-এ কোনো সাইটম্যাপের নাম না থাকলে আপনার প্ল্যাটফর্ম যেখানে সাইটম্যাপ রাখে সেখান থেকে তার শুরুটুকু (যেমন /sitemap.xml, আপনার সাইটের ভেতরে একবার রিডাইরেক্ট মেনে); হোমপেজে কোনো আইকন না থাকলে /favicon.ico; আর হোমপেজ সাধারণ HTTP-তে খুললে, আপনার HTTPS ঠিকানা কাজ করে কি না দেখতে একবার সেটি।
- আপনার হোমপেজ Google Tag Manager কন্টেইনার লোড করলে, আপনার সাইট কোন কোন ট্যাগ ব্যবহার করে তা জানতে Google-এর সার্ভার থেকে সেই কন্টেইনারের ফাইল। এটি শুধু পড়া হয়, কখনো চালানো হয় না।
- আপনার সাইটের সিকিউরিটি সার্টিফিকেটের মেয়াদ শেষ হলে, কিন্তু সেটি আপনার সাইটেরই আর ব্রাউজারের ভরসার কোনো কর্তৃপক্ষের সই করা হলে, OplioBot যাচাই না করে আরেকবার আপনার পেজগুলো পড়ে, যাতে ওয়েবসাইট চেকে তা বলা যায়। সার্টিফিকেটের চেইন অসম্পূর্ণ হলে OplioBot ব্রাউজারের মতোই সেটি পূর্ণ করে, আপনার সার্টিফিকেটে দেওয়া ঠিকানা থেকে, আপনার সার্টিফিকেট কর্তৃপক্ষের সার্ভারে আর দিনে বড়জোর একবার, ইস্যুকারীর সার্টিফিকেট এনে, আর পূর্ণ চেইন যাচাইয়ে টিকলে তবেই পেজগুলো পড়ে। সার্টিফিকেট অন্য সাইটের হলে, বা কেউ সেটির নিশ্চয়তা না দিলে, OplioBot আপনার সাইটের কিছুই পড়ে না।
- আপনার হোমপেজ যদি ব্রাউজারে নিজেকে তৈরি করে এবং তা ছাড়া কিছুই না দেখায়, তাহলে এক ঘণ্টার মধ্যে OplioBot আরেকবার হেডলেস ব্রাউজারে আপনার পেজগুলো পড়তে পারে। এটি পেজের স্ক্রিপ্ট চালায় এবং শুধু আপনার নিজের সাইট ও কয়েকটি পাবলিক কোড লাইব্রেরি থেকে যা দরকার তা-ই চায় (স্ক্রিপ্ট, স্টাইল ও তাদের লোড করা ডেটা), প্রতিটি robots.txt মেনে এবং একই গতিতে। এটি কখনো ছবি, ফন্ট বা ফ্রেম চায় না, অন্য কোনো সাইটের কিছুও না, আর কখনো কিছু পোস্ট বা জমা দেয় না।
- এটি তথ্য রাখে, পেজ নয়: আপনার পেজে প্রকাশিত বিজনেস ইমেইল, ফোন নম্বর ও সোশ্যাল প্রোফাইলের লিংক; আপনার পেজে টিমের যাঁদের নাম আছে (মালিক, ম্যানেজার ও কর্মী) তাঁদের নাম ও পদ; আপনার সাইট যেসব টুলে চলে (যেমন WordPress, কোনো অ্যানালিটিক্স ট্যাগ বা বুকিং উইজেট), আপনার পেজ, হোমপেজের উত্তরের হেডার আর এর সেট করা কুকির নাম (মান কখনো নয়) থেকে, প্রতিটি যে ছোট অংশ থেকে বোঝা যায় সেটিসহ; আর ওয়েবসাইট চেকের জন্য যা দরকার (যেমন হোমপেজ ফোনে ঠিকমতো খোলে কি না, বা তাতে ফোন নম্বর আছে কি না)। প্রতিটির সাথে যে পেজে পাওয়া গেছে তার লিংক। পেজের লেখা কখনো নয়, শুধু ওই সর্বোচ্চ 80 অক্ষরের ছোট অংশগুলো, যাতে কখনো কারও ব্যক্তিগত তথ্য থাকে না।
- আপনার টিম বা অ্যাবাউট পেজে কর্মীদের নাম তালিকার বদলে বাক্যে লেখা থাকলে, তাঁদের নাম ও পদ খুঁজতে আমাদের ব্যবহৃত একটি AI সার্ভিস সেই পেজের লেখা পড়ে, ইমেইল ঠিকানা ও ফোন নম্বর বাদ দিয়ে। আমরা শুধু সেই নাম ও পদ রাখি, প্রতিটির সাথে পেজের লিংক; পেজের লেখা কখনো নয়।
- OplioBot যে পেজগুলো পড়ে, তার কোনোটিতে যদি লেখা থাকে যে আপনি অযাচিত মেসেজ চান না, তাহলে এটি আপনার কোনো কন্টাক্ট তথ্য রাখে না; শুধু রাখে যে আপনি যোগাযোগ করতে নিষেধ করেছেন, আর কোন পেজে তা লেখা আছে।
- Oplio-র কোনো মেম্বার আপনার হোমপেজের স্পিড চেক চাইলে Google PageSpeed Insights সেটি একবার লোড করে, Google হিসেবে, OplioBot হিসেবে নয়। যে সাইট আমাদের থামতে বলেছে, সেখানে কখনো নয়।
কীভাবে চলে
- প্রথমে আপনার robots.txt পড়ে। OplioBot নামের জন্য নিয়ম থাকলে সেটা, না থাকলে সব ক্রলারের (
User-agent: *) নিয়ম মেনে চলে। - আপনার robots.txt-এ Crawl-delay থাকলে প্রতিটি পেজের মাঝে ততক্ষণ অপেক্ষা করে, সর্বোচ্চ 30 সেকেন্ড। তার বেশি চাইলে OplioBot আপনার সাইটে কিছুই পড়ে না।
- আপনার সাইটে সেকেন্ডে সর্বোচ্চ 1টি পেজ চায়, একসাথে কখনো 2টির বেশি নয়।
- একই সাইট মোটামুটি মাসে একবার, প্রতি 30 দিনে, আবার পড়ে; Oplio-র কোনো ব্যবহারকারী এমন কোনো সার্চ রিফ্রেশ করলে, যাতে বিজনেসটি আছে, বা বিজনেসটির রিসার্চ করলে, তার আগেও পড়তে পারে, তবে একই অনুরোধে 24 ঘণ্টার মধ্যে কখনো নয়। সম্ভব হলে আগে জিজ্ঞেস করে নেয় কিছু বদলেছে কি না।