दोस्तों आज की इस Post में आप लोग जानेंगे कि Robots.txt File क्या है और Blogger Website में Robots.txt File को कैसे Add करें पूरी जानकारी हिंदी में तो आइये जानते है।
Robots.txt File क्या है?
Robots.txt file एक छोटा सा Text फाइल होता है जो आपके website के Root folder में रहता है। यह Search Engine Bots को बताता है कि site के किस भाग को Crawl और Index करना है और साइट के किस भाग को Crawl नहीं करना है। कभी - कभी तो ऐसा हो जाता है कि हम अपने Article/Post को Google में Index करना चाहते है पर वो Index नही होता है। अगर आपके भी article या post google में index नही हो रहे है तो आपके Robots.txt की वजह से ही हो सकता है। Robot.txt File क्या है? जैसा कि मैंने ऊपर बताया कि Robots.txt File एक छोटी सी Text File होती है जो जो Root Folder में रहता है। ये File छोटी जरूर होती है लेकिन इसका काम बहुत बड़ा है।
Robots.txt File एक Robot कि तरह होती है जो हम कमांड देते हैं वैसा ही काम करता है। वैसे ही जब आप अपने ब्लॉग पर कोई New Post Publish या Post को Update करते है तो Robots.txt File Search
Engine को बताता है कि आज आपने यह Post Publish की है या Update की है। जिससे Google Search Engine आपके Post को Index करके अपने Search Result में दिखाता है। फ्रेंड्स अब तो आपको Robots.txt Flie के बारे पता चल चुका होगा कि इसका काम क्या होता है। अभी भी आपको बहुत कुछ जानने की जरूरत है।
Robots.txt File एक Text File होता है, इस Text File में हम जो लिखते है या लिखा होता है Google Search Engine वही करता है।
उदाहरण
(Example):- आप अगर अपने Blog या Website के Tag, Category, Label को Google Search Engine में Index नही करना चाहते है तो आप Robots.txt में इनको Disallow कर देंगे जिस से की Google Search Engine को पता चल जाता है कि किस चीज़ को Index करना है और किसे नही।
Robots.txt
file Website के लिए क्यो जरूरी है?
जब भी Search Engine के Crawler हमारी Blog या Website पर Post/Articles को Crawl या Index करते है, तो वो सबसे पहले Robots.txt को देखता है। और जो कुछ भी Robots.txt पर लिखा होता है उसे ही Follow करता है। अगर आपके Blog या Website पर Robots.txt File नही मिलेगा तो Search Engine के Crawler आपके Site से सभी चीज़े Index कर लेंगे जो आप नही दिखाना चाहते, जो Index नही होना चाहिए और Google Search Console में Error आ जाते है जिससे आपको काफी problem हो सकती है। जिससे आपके साइट की Rank नही होती और हो सकता है आपकी साइट को google search engine से भी निकाल दिया जाए। इस लिए ये Robots.txt File को Blogger में Add करना बहुत जरूरी होता है।
Robots.txt को Blogger website में Add करने का फायदा
Blogger Website में Robots.txt file को Add करना बहुत जरूरी होता है, और इससे आपको बहुत फायदे मिलते है जो की आप नीचे पढ़ सकते है-
आप लोग Robots.txt file से Search Engine को बता सकते है कि वो आपके ब्लॉग कि कोन सी चीजें Index करे और कोन - कोन सी चीजें Index न करें। आप अपने Website के Duplicate File या Page को No index करा सकते है। आप अपने वेबसाइट की Category, Tags, Author Page
और Comments को No index करा सकते है। अगर आप कुछ File, PDF, Image इत्यादि को Index नही करना चाहते है। इससे आप अपनी website को Secure कर सकते है। Internal Search Results
Pages को आप Index नही करना चाहते हैं।
आप
Robots.txt File में
Sitemap Add करके किसी भी पोस्ट को Search Engine में जल्द Index करा सकते है। और आप इससे Low Quality Page block करके अपनी वेबसाइट का SEO कर सकते है। आप इससे किसी भी Secure File, Page को No index करा सकते हैं। Robots.txt File कैसी होती है आप अगर Robots.txt File नही बनाया है तो आपको जल्दी से जल्दी बना लेना चाहिए, क्योंकि आपके Blog/Website के लिए ये बहुत ही ज्यादा जरूरी है। अगर आप इसे अपने blog पर नही लगाएंगे तो आपको काफी सारी परेशानियों का सामना करना पड़ सकता है। Rotobs.txt file बनाने के लिए आपको Internet पर बहुत सारी website मिल जाएगी जिनपर आपको अपने ब्लॉग का url डालना पड़ता है और वो आपको Robots.txt बना कर दे देती है। जो कि कुछ इस तरह की दिखाई देती है-
User-agent: Mediapartners-Google
Disallow:
User-agent:
Disallow: /search
Allow: /
Sitemap: www.anmolblogs.com/sitemap.xml
Robots.txt
के
Syntax का मतलब क्या है?
Robots.txt file के जो
Syntax है उनके बारे में आपको समझ लेना चाहिए ये आपको बहुत काम आएंगे-
User - agent: Media partners - Google: आप इसके द्वारा Google AdSense के Code को अपने User से छिपा सकते है। साथ ही User - agent: यह Code आपकी वेबसाइट पर आने वाले User के लिए है कि कि वो आपकी website पर क्या क्या देख सकते है और क्या क्या नहीं देख सकते है आप इसे हमेशा Disallow ही रहने दें क्युकी यह आपकी वेबसाइट के Security के लिए बहुत जरूरी है। Disallow: /search: अगर आप अपने पोस्ट के Keyword को नहीं दिखाना चाहते है तो आप इसे हमेशा Disallow ही रखे और अगर आप अगर किसी पोस्ट को Google Search में नहीं दिखाना चाहते है तो उस पोस्ट के URL को यहां Paste करके उसको आप Disallow कर सकते है जिससे Search Engine उसको Index नहीं करेगा और वो Search Results में नहीं दिखेगा। यहां पर आप किसी भी Post, Page के URL को Paste करके उसे Disallow कर सकते है और Google उसको Index नहीं करेगा। Allow: इससे आप User को जो जो दिखना चाहते है वो दिखा सकते है और इसे आप हमेशा Allow ही रहने दें क्युकी यह Search Engine को Index करने की अनुमति देता है। Sitemap : Sitemap आपके blog/website कि नई पोस्ट कि जानकारी Search Engine को देता है जिससे Search Engine उसे जल्द Index करके अपने Search Results में दिखाता है। Sitemap इसके अलावा यह भी बताता है कि आपकी website पर कितनी पोस्ट अभी तक Publish हुई है।
Blogger
Website में Robots.txt File Add है या नहीं कैसे पता करें
Robots.txt File ब्लॉग के
Root Folder में रहता है। इसे आप अपने Website की Robots.txt File को नीचे बताये गए तरीके से पता कर सकते हैं, Google भी नीचे दिए गए तरीके से ही पता लगाता है-
Step 1 : सबसे पहले आपको Browser Open कर लेना है
Step 2 : अब आपको अपने Website के URL के Last में robots.txt लिखके Search करना है, जैसे-https://www.Example.com/robots.txt
Step 3 : Browser पर Search करते ही आपके सामने आपकी वेबसाइट की Robots.txt File आ जाएगी।
Blogger me Robots.txt file kaise Add kare
Blogger में
Robots.txt Add करने के लिए लिए आपको नीचे बताये गए steps को Follow करना है। जिससे आप बहोत ही आसानी से अपने Blog/Website में Robots.txt को लगा पाएंगे।
User-agent: Mediapartners-Google
Disallow:
User-agent:
Disallow: /search
Allow: /
Sitemap: https://www.anmolblogs.com/sitemap.xml
Step 1: सबसे पहले आपको इस Robots.txt File को Copy करना है, और anmolblogs.com की जगह अपने Blog/Website का Url add कर लेंना है।
Step 2: अब आपको अपने Blog के Dashbord पर आना है।
Step 3: अब आपको Settings पर Click करना है। उसके बाद आपको Custom robots.txt के सामने Edit लिखा है उस पर किल्क करना है।
Step 4: उसके बाद Yes पर Click करना है। अब आपके सामने एक Box Open हो जाएगा।
उस Box
में Copy किया हुआ Code Paste कर देना है, लेकिन Code में anmolblogs.com की जगह अपने Blog का Url जरूर add कर लेंना है।.अब आपको Save changes पर Click कर देना है।
फ्रेंड्स अब आपके Blog/Website में Robots.txt File Add हो चुकी है और अब Search Engine Crawler वहीं Index करेगा जो Robots.txt File उसे Allow करेगा।
निष्कर्ष
दोस्तो यह पोस्ट Robots.txt File क्या है और Blogger Website में Robot.Txt File कैसे Add करें आपको कैसी लगी। हमे जरूर कॉमेंट में बताए। जिससे हमारा मनोबल बढे और हमे पता चले कि आप लोगो को कैसी पोस्ट पसंद है। और यदि पोस्ट पसंद हो तो शेयर करना ना भूलें। अगर इस पोस्ट के लिए कुछ सुझाव देना चाहते हो तो कमेंट करे।
0 Comments