ওয়েব ক্রোলার বা ওয়েব স্পাইডারঃ

যেহেতু গুগল একটি সার্চ ইন্জিন । তাই এর কাজ হলো, ব্যবহারকারী কে তার কাঙ্খিত তথ্য খুজে  দেওয়া। প্রতিদিন এই যে, এতো পরিমান সার্চ হয়। প্রতিটি সার্চ অনুযায়ী গুগল যদি ,ওই সময় প্রতিটি ওয়েব সাইট ভিজিট করে ,ওই তথ্য আনতে যায় তাহলে তার অনেক বেশি সময় লাগবে। আর এই কারনেই , গুগল আগে থেকেই সকল ওয়েব সাইট এর ডাটা নিজের কাছে রাখে বা নিজের ডাটাবেসে ইনডেক্স করে।

ইন্ডেক্স কি ভাবে করে?

গুগল প্রতিটি ওয়েব সাইট এর ডাটা , ইন্ডেক্স করার জন্য প্রতিটি ওয়েব সাইট ভিজিট করে (ক্রলার /স্পাইডার এর সাহায্যে ক্রল করে ) । ওয়েব ক্রলার বা ওয়েব স্পাইডার হলো এমন একটি স্বংক্রিয় প্রোগ্রাম যেটি নিজে থেকে ওয়েবে ঘুরে বেরাতে পারে। এটি নিজে থেকে ইন্টারনেটে থাকা ওয়েব পেইজগুলো ব্রাউজ করে থাকে এবং নতুন কোন তথ্য পেলে সে তার ডাটাবেজে সংরক্ষন করে নেয়।

গুগল এর স্পাইডার সফটওয়্যার এর নাম হলো Google-bot বা সার্চ বট । Google-bot স্পাইডার সফটওয়্যারটি সবসময় ইন্টারনেটে বিচরন করতে থাকে এবং যখন কোন নতুন ওয়েব সাইট বা নতুন কোন তথ্য পায় তখন সেটি গুগল এর সার্ভারে সংরক্ষন করে রাখে। যদি সাইটি কোন স্প্যাম /Malicious সাইট হয় তাহলে গুগল ওই সাইট ইনডেক্স করে না। গুগল যেসব ওয়েব সাইট এর ডাটা ইনডেক্স করে রাখে ,শুধু মাত্র সেই সব ওয়েব সাইট এর ডাটা আমাদের দেখাতে পারে। এমন না যে, গুগল এর কাছে সব ওয়েব সাইট এর তথ্য আছে, কেউ যদি তার ওয়েব সাইট কে গুগলে ইন্ডেক্স না করায় অথবা হাইড করে রাখে তাহলে সেই ওয়েব সাইট এর ডাটা গুগল ইন্ডেক্স করতে পারবে না।

এভাবেই Google ইন্টারনেটের সকল তথ্য তার ডাটাবেজে সংরক্ষন করে রাখে। এখনে সকল তথ্য বলতে শুধু Surface Web এর কথা বলা হয়েছে।

ইনডেক্সিং সফটওয়্যারঃ

কুয়েরি সফটওয়্যারঃ

আপনি  কি কখনো ভেবে দেখেছেন, আপনি কখনো কিছু সার্চ করলে যে সার্চ রেজাল্ট আপনার সামনে আসে তা কি ভাবে লিস্ট আকারে আপনার সামনে আসে? কি ভাবে গুগল ওই ওয়েব সাইড গুলোকে লিষ্টিং করে ? গুগল তার সার্চ রেজাল্ট ইউজার এর সামনে তুলে ধরার জন্য বিভিন্ন Algorithm ব্যবহার করে। আর এই এ্যালগরিদম কিছু বছর পর পর গুগল চেন্জ করে বা আপডেট করে । ব্যবহারকারী কে আরে ভালো রেজাল্ট দেখানোর জন্য।

Google তার ডাটবেজ থেকে নির্দিষ্ট কোনো তথ্য খুজে বের করার জন্য Query Software ব্যবহার করে থাকে। Query Software এর কাজ হলো, কোন শর্তের উপর ভিত্তি করে ডাটাবেজের মধ্যে সংরক্ষিত বিপুল পরিমান তথ্য থেকে নির্দিষ্ট তথ্য খুজে বের করা। যখন আমরা সার্চ ইঞ্জিনে কোন কিছু সার্চ দেই, তখন ডাটাবেজ থেকে সেই সম্পর্কযুক্ত তথ্য গুলো কুয়েরি সফটওয়্যার এর মাধ্যমে আমরা দেখতে পাই। আপনি যখন কোন কিছু সার্চ করেন তখন গুগল প্রথমে তার ইনডেক্স ফাইল থেকে খুজবে কোন কোন ওয়েব সাইটের টাইটেল,মেটা ট্যাগ, ডেসক্রিপশনের সাথে মিল আছে । ওই ওয়েব সাইট গুলোর একটি সর্ট লিষ্ট করবে।

এরপর আরো কিছু বিশ্লেষন করবে, যেমন: Title, Tag, Description, Back-link, Site Authority, URL Authority, Website Speed, Country, CTR, Page Duration, Traffic, Content Quality, ইত্যাদি আরো নানা কিছু বিবেচনা করে ওয়েব সাইটির Page Rank করা হয়। আর এ সব বিশ্লেষণ করে গুগলের এ্যালগরিদম । প্রতিটি সার্চ এর পিছনের কাহিনী অনেক লম্বা। কিন্তু আমার রেজাল্ট পাই মাত্র কিছু সেকেন্ড এর মধ্যে। যা হয় ন্যানো সেকেন্ডে।

World Top 10 Search Engine

1. Google.com
2. Yahoo.com
3. Bing.com
4. Ask.com
5. Duckduckgo.com
6. dogpile.com
7. Excite.com
8. Entireweb.com
9. Gigablast.com
10. Teoma.com