robot txt File তৈরি করার 100% সঠিক নিয়ম।
আমাদের দেশে হাজার ধরনের ওয়েব ডেবালব রয়েছে । এবং যারা নতুন ওয়েবসাইট তৈরি করেছেন। এসব লোকদের মধ্যে এমন কিছু লোক আছে যে Robot txt সম্পর্কে কিছুই বুঝে না, এবং তারা না বুঝেই Robot txt file তৈরি করছেন। এবং ব্যাবহার ও করছেন। আবার কেউ কেউ অন্যে কারো ওয়েবসাইটের Robot txt file কপি করে ব্যাবহার করছেন। আবার এমন ও কিছু লোক আছেন যে Robot txt file কি সেটা ও জানেন না। আবার এমন কিছু নতুন কিছু লোক আছে যারা কিনা সবেমাত্র ওয়েব সাইট খুলেছে। তো আমি আজকে আপনাদের সবার উদ্দেশ্য এবং সবাই কে Robot txt file সম্পর্কে ডিটেলস শিখাবো। এবং কিছু আলোচনা করবো।
আপনারা কি জানেন Robot. txt কি??
Robot txt file বলতে বুঝায়
যা গুগলের সার্চইঞ্জিন কে বলে দেয়। এবং
অন্যসব Robot গুলোকে বলে দেয়।
যে কোন
crawl করতে পারবেন এবং কোনটা crawl করতে পারবেন না যেমন ধরুন :
Disallow : / Wp- Admin/
Robot txt file কিসের জন্য প্রায়োজন। এটা দিয়ে কি কাজ করে ????
Robot txt file সার্চ ইঞ্জিন কাস্টমস অপটিমাইজেশনের জন্য Robots.txt ফাইল অনেক গুরুত্বপূর্ণ একটি জিনিস। যেটা না থাকলে খুবই বিপদে পরে যেতে পারেন।
এর মাধ্যমেই গুগল সার্চবট বুঝে নেয় কোন কোন পেজ ইনডেক্স করতে হবে আর কোনটি করতে হবে না। এছাড়াও Robot txt file করলে সাইটের সিকিউরিটিও বৃদ্ধি পায়। যারা। সেই সব হ্যাকার ডিভাইস এর মাধ্যমে সাইটকে হ্যাক করার চেষ্টা করে তাদের থেকে আপনার সাইটকে ১০০ % সুরক্ষা দিবে।
Robot txt file এর ব্যাবহার
Robot txt file এর কিছু সংকেত আছে যা নিচে দেওয়া হলো৷
( User-agent: ---- যা Robot সমূহকে নির্দেশ করে দিতে হবে )
( ★ এর মানে User-agent: * এর মানে হলো সকল প্রকার )
( Allow: Allow: বলতে বুঝায় এর পরে যেই Directory থাকবে তা রোবট crawl করবে। তবে Allow না করাই ভাল।
যাই হোক আমি আপনাকে দেখাবো যে
কিভাবে
Robot txt file তৈরি করবেন
প্রথমে আপনি আপনার ব্লগারের সেটিংসে যান। Setting
তারপর
দেখবেন ওখানে লেখা আছে
Search Preference এখানে যান।
তারপর দেখবেন এমন একটি পেজ আসছে পরে Custom Robot. txt?
Search Preference এখানে যান। 
