Sende Zirvede Ol!
Robots.TXT Dosyasını Unutmayın
Web sitenizi indekslemek üzere gelen robotlar (örümcekler) öncelikle sitenizin kök dizininde bulunması gereken Robots.TXT dosyasına başvuruyorlar. Robots.TXT dosyası, sitenize gelen robotun doğru yerde olduğunu anlamasına ve sonrasında da sitenin hangi bölümlerinin indekslenip hangilerinin indekslenmeyeceğini anlamasına yarıyor. Eğer kök dizininizde bir Robots.TXT dosyası bulunmuyorsa, web sitenizin hata istatistiklerini görüntülediğiniz paneldeki
404 kodlu hataların içerisinde bu dosyaya ulaşmak isteyen robotların karşılaştığı hata mesajlarını görebilirsiniz.
Doğru şekilde hazırladığınız Robots.TXT dosyası ile sitenizin indekslenmesini istemediğiniz bölümlerini arama motorlarının robotlarına iletebiliyorsunuz. Tabii dosyayı hazırlarken yapacağınız bir hatanın sitenizin bazı bölümlerinin bazen de tümünün indekslenmesine engel olabileceğini unutmamalı, dikkatli davranmalısınız.
Neler İndekslenmesin? Web siteniz yayına hazır hale gelmiş olsa bile, henüz yapım aşamasında bulunan bölümleri olabilir. Tamamlanmamış olan bölümlerin arama motoru tarafından indekslenmesini engellemek iyi bir fikir olacaktır. Tabii sayfalar tamamlandığında Robots.TXT dosyasına tekrar müdahale ederek engellemeyi kaldırmalısınız. Ayrıca ziyaretçilerin sitede yaptıkları işlemler sırasında gördükleri teşekkür ve hata mesajlarını içeren sayfalar ile geçici bilgilerin bulunduğu sayfaların da indekse girmesini istemeyebilirsiniz. Bazı site sahipleri çok sayıda e-posta adresini yayınladıkları "iletişim" sayfalarının indekslenmesini de istemeyebilir.
Robots.TXT Nasıl Hazırlanır? Robots.TXT, herhangi bir metin editöründe (örneğin Windows'un Not Defteri) hazırlayabileceğiniz basit bir dosya. Dosyanın içerisinde hangi robotun hangi kısımları indekslememesi gerektiğini aşağıdaki şekilde belirtiyorsunuz:
User-agent: [Robot İsmi]
Disallow: [Klasör ya da Dosya İsmi]
Yukarıda gördüğünüz girişi değişik robotlar ve değişik klasörler/dosyalar için tekrarlayabilirsiniz. Örneğin kök dizininizde "ozel" adında bir klasör olduğunu ve Google'ın bu klasörü indekslemesini istemediğinizi düşünelim. Bunun için Robots.TXT dosyanıza aşağıdaki satırları eklemelisiniz.
User-agent: Googlebot
Disallow: /ozel/
Koyduğunuz yasağın tüm robotlar için geçerli olmasını istiyorsanız, yukarıdaki örnekte "Googlebot" yazdığımız yere * (yıldız işareti) koymalısınız. Tüm robotların tüm siteyi indeksleyebilmesini istiyorsanız, Robot.TXT dosyanız şöyle olmalı:
User-agent: *
Disallow:
Robots.TXT dosyasını hazırlamak birkaç saniyenizi alacak kadar basit bir iş olsa da dikkati elden bırakmamalısınız. Zira yukarıdaki gibi bir dosyada "Disallow:" ifadesinin karşısına "/" işaretini koyarsanız (Disallow: /) hiçbir robot sitenizin hiçbir yerini indekslemeyecektir.
Google Webmaster Tools
Web sitenizin Google'daki performansını artırmak için yapabileceğiniz müdahalelerin belki de en önemlisi bir Sitemap dosyası hazırlayarak Google'ı içeriğinizden tam anlamıyla haberdar etmek. Bunun için adresindeki Google Webmaster Central'a mutlaka uğramalısınız.
Google Webmaster Central, web sitesi sahiplerinin daha başarılı arama sonuçları elde etmelerini sağlayan değişik araçlar içeriyor. Hizmeti kullanabilmek için bir Google hesabına sahip olmalısınız. Sayfaya ulaştığınızda karşınıza çıkan ilk başlık olan "Site status wizard" sitenizin Google indeksinde bulunup bulunmadığını ve bulunuyorsa Googlebot'un en son ne zaman sitenize eriştiğini görmenize yarıyor. Sayfadaki forma sitenizin adresini girmeniz durumu görmeniz için yeterli.
Google Webmaster Central'da dikkati çeken ikinci önemli başlık ise Webmaster Tools. Burada sahibi olduğunuz bir web sitesini "Add Site" seçeneğini kullanarak hesabınıza ekledikten sonra Google'la olan ilişkilerinizi düzenleyebiliyorsunuz. Sitenizle ilgili ayrıntılı bilgileri görebilmek ve ayarları değiştirebilmek için siteyi hesabınıza ekledikten sonra size ait olduğunu da kanıtlamak (verify) durumundasınız.
Bunu yapmak için kullanabileceğiniz en kolay yol, Google'ın size onaylama prosedürü sırasında verdiği isimle bir HTML dosyası oluşturmak ve bu dosyayı sitenizin kök dizinine yüklemek. Webmaster Tools'a geri dönüp "Verify Now" ifadesine tıkladığınızda Google, dosyanın sitenizde bulunup bulunmadığını kontrol ediyor ve sitenin size ait olduğunu kanıtlamış oluyorsunuz.
GSiteCrawler ile Google Sitemap
Sitenin size ait olduğunu kanıtladıktan sonra işin en önemli kısmına, yani Sitemap'e geliyoruz. Google'ın Sitemap uygulaması sayesinde sitenizin içerdiği tüm sayfaları Google'a tanıtabiliyor, önem derecesini ve güncellenme sıklığını belirtebiliyor ve indekslenme sıklığına etkide bulunabiliyorsunuz. Bu yöntemi kullanmak için yapmanız gereken, Robots.TXT dosyasına benzer bir mantıkla Sitemap.XML isimli bir site haritası dosyası oluşturmak ve sitenizin kök dizinine yerleştirmek. Sitemap.XML dosyanız kök dizininizde hazır olduğunda tekrar Google Webmaster Tools'a uğruyorsunuz ve Sitemap'inizi Google'a tanıtıyorsunuz.
Sitemap dosyasında sitenizde bulunan tüm sayfaların güncellenme sıklıkları ve önem dereceleri bulunuyor. Sitenize yeni bir sayfa eklediğinizde Google'ı bu sayfadan haberdar edebilmek için Sitemap dosyanızı da güncellemelisiniz. Çünkü Sitemap'inizi tanıttıktan sonra Google her gün sitenize gelerek Sitemap'i indiriyor.
Yukarıdaki resimde http://www.example.com ismiyle hazırlanan örnek Sitemap.XML dosyasının bir bölümü gözüküyor. tag'i sayfanın web adresini, tag'i en son değiştirilme tarihini, güncellenme sıklığını ve de önem derecesini gösteriyor.
Hazırlanan Sitemap'te sitenin içerdiği her sayfa için ayrı bir giriş yapma zorunluluğu olduğundan çok sayıda sayfa içeren web sitelerinin Sitemap'lerini elle yazmak oldukça uzun zaman alabilir. Bu sebeple internetten ücretsiz olarak indirilebilen ve Sitemap'inizi kolayca hazırlayabilmenizi sağlayan GSiteCrawler'ı kullanacağız.
GSiteCrawler: Çok karışık olmayan bir arayüze ve zengin fonksiyonlara sahip olan GSiteCrawler ile Google için bir Sitemap dosyası oluşturabiliyorsunuz ve isterseniz sitenizin FTP bilgilerini programa girerek yarattığınız Sitemap'i doğrudan web'e yükleyebiliyorsunuz. Bu fonksiyon, özellikle Sitemap'ini sıkça güncellemeye ihtiyaç duyacağınız bir site için çok işinize yarayabilir. İlk Sitemap'inizi hazırlamak için GSiteCrawler'ı çalıştırın ve program penceresinin sol alt köşesinde bulunan "Add" düğmesine tıklayarak yeni bir proje oluşturun. Karşınıza gelen ekranda sitenizin web adresini girdikten sonra ileri düğmesine tıklayın ve karşınıza gelen diğer ayarları değiştirmeden yine ileri düğmesini kullanarak sihirbazı tamamlayın. Sihirbaz tamamlandığında GSiteCrawler sitenize bağlanarak içerdiği sayfaları inceleyecek ve listeleyecektir.
Programın bu görevi tamamlama süresi sitenizde bulunan sayfaların sayısına göre de değişiklik gösterecektir. Eğer sitenizde kapsamlı bir forum bulunuyorsa tamamlanması saatlerce sürebilir. GSiteCrawler sitenizdeki işini bitirdiğinde yapmanız gereken son iş, programın ana penceresindeki "Generate" düğmesine tıklayarak Sitemap.XML dosyanızı oluşturmak. Program belirttiğiniz konuma Sitemap.XML, Sitemap.xml.GZ ve GSS.XSL isimleriyle üç adet dosya oluşturacaktır. Bu üç dosyayı web sitenizin kök dizinine yüklemelisiniz. Dosyaları web sitenize ekledikten sonra Google Webmaster Tools'a gidebilir ve "Add a Site Map" ifadesine tıklayarak Sitemap.XML dosyanızı Google'a tanıtabilirsiniz.
Google Webmaster Tools'a girdiğinizde Sitemaps sekmesine tıklayarak site haritanızı hangi tarihte yüklediğinizi, en son ne zaman Google tarafından indirildiğini ve haritayla ilgili herhangi bir problem olup olmadığını görebileceksiniz. Sitenize yeni sayfalar ekledikçe GSiteCrawler'ı tekrar kullanarak Sitemap'inizi güncellemeniz yararınıza olacaktır. İstediğiniz zaman yine Google Webmaster Tools'u kullanarak önceden eklemiş olduğunuz Sitemap'leri silme şansına sahipsiniz. Son olarak aynı Google hesabına birden çok web sitenizi kayıt edebileceğinizi ve bunlar için ayrı ayrı Sitemap'ler tanımlayabileceğinizi hatırlatalım.
Sahte SEO’lara Dikkat!
Web sitenizi Google'da ilk sıralarda çıkarmayı vaat eden SEO'lar bu iş için değişen ücretler talep ediyor. Kimisi tek seferde ödeyeceğiniz 300 YTL ile bu işi çözeceğini iddia ederken, kimisi de sitenizin Google'da sürekli yüksek sıralarda kalması için sizden aylık ücretler talep ediyor. SEO'lar müşteri kazanmak adına yaptıkları işi tanıtırken kesin sonuç vaat etseler de, arama sonuçlarında ilk sırayı almanın ya da ilk sayfada bulunmanın hiçbir garantisi yok.
Aşağıdaki örnekte SEO verdiği hizmeti internet reklam paketi adı altında satıyor. Yapılacak işin açıklamasında sitenizin bir milyon arama motoruna kayıt edileceği, her ay Google, Lycos ve Yahoo gibi önemli arama motorlarına elle kayıt başvurusu yapılacağı, sitenizdeki hatalı kodların size bildirileceği ve sitenizin bir gün içinde arama sonuçlarındaki ilk sayfada görüneceği anlatılıyor. Burada geçen "bir milyon arama motoruna kayıt" abartısını hiç üzerinde durmadan bir kenara bırakıyoruz.
Gelelim ikinci ifadeye: Google ve Yahoo gibi büyük arama motorlarına sitenizi zaten ücretsiz olarak kaydedebiliyorsunuz. Google için http://www.google.com/ addurl , Yahoo için https://siteexplorer.search.yahoo.com/submit (Yahoo hesabınızla oturum açmanız gerekecek) adreslerini kullanabilirsiniz. Reklamdaki üçüncü ifadeye geldiğimizde Google'ın ücretsiz bir hizmeti olan Google Webmaster Tools'un SEO tarafından bize pazarlandığını görüyoruz. http://www.google.com/webmasters adresinde Gmail hesabınızla oturum açtıktan sonra Google Webmaster Tools'u ücretsiz olarak kullanabiliyorsunuz. Google Webmaster Tools reklamdaki ifadede bahsedilen hata bildirimlerini görebilmenizi sağlıyor.
Tanıtımdaki son ifade işin en can alıcı noktası. Çünkü SEO'nun site sahiplerine vaat ettiği "Google'da istediğiniz anahtar kelimeler ile en geç bir gün içinde birinci sayfada çıkma imkanı" herkesin tanıdığı Google Adwords'ten başka bir şey değil. Yani kısaca Google'a reklam vermek! Ayrıca bu yöntem de sitenizin arama sonuçlarında değil, sonuçların gösterildiği pencerenin sağ tarafındaki reklam alanında görüntülenmesini sağlıyor. SEO'nun bahsettiği "bir günde ilk sayfada yer almak" ifadesi ise doğru. http://adwords.google .com adresine girerek ufak bir bütçe ile reklamınızı hazırlayabilir ve yayına sokabilirsiniz. Reklamlarınız tahminen bir gün sonra seçtiğiniz anahtar kelimelerden biri arandığında sayfanın sağ üst tarafında görüntülenecektir.
Kısacası bu örnekte SEO'nun belirli bir aylık ücret karşılığında vaat ettiği şeylerin tümünü ücretsiz olarak ya da çok daha düşük ücretler ödeyerek kendiniz gerçekleştirebilirsiniz. İşin ayrıntılarına yazının ilerleyen bölümlerinde değineceğiz.
Google Adwords
Google aramalarında (sayfanın sağında da olsa) en kısa sürede yer almanın yolu Google'ın Adwords isimli reklam servisini kullanmak. SEO'ların "Bir gün içinde Google'da ilk sayfa garantisi" ifadesiyle yaptıkları pazarlama da Adwords'e dayanıyor. Zira Google'ın arama sonuçlarında yer almayan bir sitenin bir gün içinde ilk sayfaya yerleşmesi teorik olarak imkansız. Öte yandan Adwords gerçekten de çok hızlı sonuç veriyor. Kredi kartınızı kullanarak açabileceğiniz bir hesapla 10 dakika içinde bir reklam kampanyası oluşturup yayınlamaya başlayabiliyorsunuz. Kampanyanızı tanımlarken reklamınızın hangi ülke ya da şehirde gösterileceğini belirliyor ve bütçe limitini kendiniz ayarlıyorsunuz. Ayırdığınız bütçe yükseldikçe reklamların görüntülenme sıklığı da yükseliyor. Google ziyaretçilerinden biri sitenizin reklamına tıkladığında borcunuza yaklaşık olarak 3 yeni kuruş ekleniyor. Reklam kampanyanızın anahtar kelimelerini düzenlemek ve aynı bütçeye dahil olan alternatif reklam görünümleri hazırlamak da çok kolay.
Dinamik Yapıdaki Siteler Artık Sorunsuz İndeksleniyor
Günümüzde web'deki çoğu site dinamik mimari ile oluşturuluyor. Çok sayıda sabit sayfa hazırlamak yerine site içinde dinamik olarak yaratılan sayfalar kullanmak, özellikle içerik yönetiminin daha kolay olması sebebiyle tercih ediliyor. Ama dinamik site yapısı arama motorları açısından ise çok avantajlı değil. Örneğin Google yakın zamana kadar indekslemede problem yaşanmasını istemeyen webmaster'lara site yapısında URL'lerinde "&id=" parametresi bulunan sayfalar kullanmamalarını öneriyor, bu tip sayfaların indekste yer almayacağını duyuruyordu. Geçtiğimiz ay Google Webmaster Central Blog'unda yayınlanan yeni bir haberle "&id=" parametresi ile ilgili bu problemin tarihe gömüldüğünü açıklandı. Tabii sitenizin çok sayıda dinamik URL içermesi halen arama motorlarıyla dost bir siteye sahip olmak adına olumlu değil. Google yetkilileri çok sayıda parametrenin geçtiği URL'ler yerine kullanıcı dostu URL'ler yaratmanın avantajlı olduğunun altını çiziyor.
Arama Motoru Optimizasyonu (SEO)
Bir web siteniz olmasa dahi "arama motoru optimizasyonu" ifadesini birçok yerde duymuş olmalısınız. Zira web sitelerini arama motorlarıyla dost hale getirme hizmeti veren (ya da bunu iddia eden) şirketler her yerde karşımıza çıkıyor. SEO'ların (Search Engine Optimizer) verdikleri hizmet, kısaca web sitenizin arama motorları tarafından daha sağlıklı indekslenmesini sağlamak. Tabii yaptıkları reklamlar işin bir adım ötesinden bahsediyor. "Google'da ilk siz çıkın!", "Google'da ilk sayfa garanti!", "Google'da birinci olmak ister misiniz?" gibi iddialı ifadelerle yayınlanan reklamlarla potansiyel müşterileri olan web sitesi sahiplerini kendilerine çekmeye çalışıyorlar.
Daha sağlıklı indekslenen bir site doğal olarak arama sonuçlarında daha çok ziyaretçinin karşısına çıkacak olsa da, sitenizin SEO'lar yardımıyla Google aramalarında ilk sırayı almasının ya da ilk sayfada görüntülenmesinin hiçbir şekilde garantisi yok. Bu noktada Google'ın SEO'lara olan tutumundan da bahsetmemiz gerek. Google, SEO kavramına karşı olmadığı gibi, bu iş kolunu açıkça desteklemiyor ve işini doğru yapmayan SEO'lara karşı site sahiplerini uyarıyor.
Arama Motoru Spammer’ı Olmayın
Web sitenizi arama motorlarıyla dost hale getirmek üzere bir SEO ile anlaştığınızda, SEO'nun gerekli işlemleri yapabilmesi için tüm verilerinizi ve kaynak kodlarınızı ona emanet etmiş oluyorsunuz. Bu yüzden öncelikle bu işle görevlendirdiğiniz SEO ya da webmaster tam anlamıyla güvenilir olmalı. Sitenizi arama motorlarında üst sıralara taşımak için yola çıkan biri, istenenin aksine Google tarafından arama motoru spammer'ı olarak işaretlenmenize ve sonuçlarda sayfalarca geriye düşmenize sebep olabilir. Hatta kimi durumlarda Google sitenizi sistemden tamamen çıkartabiliyor. Örneğin web sayfanızın kodlarına sıkça aranan kelimeleri defalarca ekleyerek manipülasyon yapmaya çalışmak, arama motoru spammer'ı olarak işaretlenmeniz için oldukça yeterli bir sebep.
Olan bitene bir de Google'ın tarafından bakmalıyız. Google günümüzde dünyanın en önemli arama sağlayıcısı konumunda bulunuyor ve arama sonuçlarının sağlığını korumak onun için çok önemli. Şirketin arama konusunda yakaladığı başarı, üstün teknik altyapısının yanında yıllardır süregelen dürüst çalışma mantığı ile ilintili. Bu yüzden de arama sonuçlarını manipüle etme girişimlerine karşı oldukça sert bir tutum izliyor.
Yukaridaki Yazi : PC World Türkiye - 31 Ekim 2007 / 15:25 tarihinde yayinlandi
---
Birazda Bizden Bilgiler
robots.txt botlara rehberlik eden bir dosyadır, genellikle sadece istediğin dosya yada klasörleri engellemek için herkes kullanır çünkü robots.txt olmadan zaten tüm içeri kontrol edeceği için diğer şekli tercih edilir ama her zaman için engellenmeyecek içerikte olsa kullanılması daha iyidir.
robots.txt komutlarına gelince;
User-agent: *: * tüm botları temsil eder.
User-agent: Googlebot: ! sadece Googlebot için yapılacak işlemi belirtir.
Disallow: / : olduğu kök dizini temsil eder. slashtan sonra gelecek dizin ismi yada dosya adını belirtmezsen kök dizinde bulunan tüm dosya ve klasörleri engellemeni belirtir.
Örnek:
Kod:
User-agent: *
Disallow:
Disallow komutuna hiç bir dosya veya dizin ismi belirtmediğimiz için herşeyi kontrol eder.
Örnek:
Kod:
User-agent: *
Disallow: /
tüm robotları tüm sayfa ve dizinlerden engellemek için kullanılır.
Örnek:
Kod:
User-agent: Googlebot
Disallow: /
sadece Google'ın botunu tüm sayfalarınızdan engellemek için kullanılır
(engellemek istediğin botun, bot ismini yazmalısın)
Örnek:
Kod:
User-agent: *
Disallow: /cryz
cryz dizinini tüm botlara engellemek için kullanırsın.
Örnek:
Kod:
User-agent: *
Disallow: /cryz/cryz.html
cryz dizini içindeki cryz.html dosyasının tüm botlara engellemek için kullanırsın.
[highlight=#FF8000]Dikkat edilmesi gereken * ve /`tır.
* karakterini Disallow komutunda kullanamazsın *cryz yada /dizin/*.html gibi..[/highlight]
TurkLobi 2008