搞定SEO小妙招!教你五分鐘就能學會設定網頁!

搞定SEO小妙招!教你五分鐘就能學會設定網頁!
搞定SEO小妙招!教你五分鐘就能學會設定網頁!

要搞定SEO真的不能錯過本篇,只要五分鐘就能學會設定網頁!

 

圖片來源:seobility.net

目錄

1. 什麼狀況下該使用 robots meta 與 robots.txt

2. 如何設定網站 robots.txt

3. robots.txt-如何設定?

3-1. 如何設定網站 robots meta

 

什麼狀況下該使用 robots meta 與 robots.txt

robots meta 對 SEO 的操作上也是很重要。robots meta 與 robots.txt 都能向搜尋引擎宣告應該如何處理網頁。前者為阻止搜尋引擎索引你的頁面 (但搜尋引擎還是有抓取你的網站資料) ; robots.txt 則是全面阻止搜尋引擎抓取你的資料 (搜尋引擎會自動略過你指定的網站)。

 

當然,大多數的狀況,你不會讓 robots.txt 來阻止搜尋引擎抓取辛苦建立的網站。但是以如果這個網站對你的 SEO 有負面影響、或是私密性高的話,就可以用robots.txt 來阻擋搜尋引擎抓取,常見的情況如下所示:

1. 多年前有經過黑帽 SEO 手法,卻還沒處理的網頁、

2. 施工中未完成的網頁等

3. 網站或是公司內部系統的登入頁面

 

假設你只是希望這個網頁不要出現在搜尋引擎結果中的話,那只要用 robots meta 即可達到目的。

 

如何設定網站 robots.txt

1. 【檔案存取位置】robots.txt 位於網站的根目錄下

2. 【作用】告訴搜尋引擎哪些網站內容不要進行存取,並且可以指定 sitemap 的位置。

3. 【路徑】如果你有建立並使用 robots.txt,則他的位置會是 http://網址/robots.txt,如果這個檔案不存在,則代表沒有使用 robots.txt。

4. 【宣告類型】有五種,如下所示:

(1) User-agent
指定哪一種搜尋引擎的爬蟲,如 Google 的爬蟲 「googlebot」或是百度的爬蟲等等(* 號代表全部)

 

(2) Crawl-delay
限制爬蟲抓取每一頁的秒數限制,但是該設定會被 Google 跳過不處理。因為 Google 在網站管理員中,就有爬取頻率的設定。

 

(3) Disallow
輸入你不允許被爬取的 URL 路徑

 

(4) Allow
輸入你允許被爬取的 URL 路徑

 

(5) Sitemap
告知搜尋引擎的 Sitemap 網址

 

以上五種宣告類型如何編輯? 常見的如以下所示:

1. 拒絕所有的搜尋引擎爬蟲爬取你的網站:
User-agent:*
Disallow: /

 

2. 允許全部的搜尋引擎爬蟲爬取你的網站:
User-agent:*
Disallow: /

 

3. 拒絕 Google 的搜尋引擎爬蟲爬取 /wp-admin 目錄
User-agent:*
Disallow: /wp-admin/

 

4. 只拒絕百度的搜尋引擎爬蟲,卻允許其他搜尋引擎 (如 Google、Yahoo、Yandax等等) 爬取
User-agent:Baiduspider
Disallow: /
User-agent:*
Allow: /

 

5. 拒絕搜尋引擎爬取特定類型的檔案
User-agent:*
Disallow: /*.ini$
Disallow: /*.jpg$

 

6. 實際網站完整 robots.txt
User-agent:*
Crawl-delay: 7
Disallow: /wp-admin/
Disallow: /cgi-bin/
Disallow: /readme.html/
Disallow: /*.ini$ sitemap: http://codingbomb.com.tw/sitemap.xml

 

robots.txt-如何設定?

使用 Google Search Console 可以用來檢查 robots.txt 是否設定正確

 

舊版的 Google 網站管理員 Search Console 中,有 robots.txt 測試工具,他就會模擬 Google 搜尋引擎爬蟲來檢查你的 robots.txt 的正確性。

 

如何設定網站 robots meta

【檔案存取位置】robots meta 宣告置於網頁 HTML 的 <head>與</head>之間

 

【作用】宣告阻止搜尋引擎索引你的頁面 (但搜尋引擎還是有抓取你的網站資料) ,但是不提醒使用者瀏覽你的網頁

 

【語法】 <META NAME=”屬性值#1″ CONTENT=”屬性值#2″>

 

屬性值#1,為指定哪種搜尋,常用語法如下:

robots:所有搜尋引擎的爬蟲

googlebot:GOOGLE 搜尋引擎的爬蟲

bingbot:Bing 搜尋引擎的爬蟲

slurp:Yahoo 搜尋引擎的爬蟲

Baiduspider:百度搜尋引擎的爬蟲

AhrefsBot:Ahrefs.com的爬蟲

MJ12Bot:Majestic.com的爬蟲

 

屬性值#2,為指定處理方式,常見代碼如下

noindex:不要索引本網頁

nofollow:不要跟隨本網頁內的連結頁面

noarchive:不要儲存庫存網頁

nosnippet:不要在搜尋結果顯示描述或是快照

none:等於 noindex 與 nofollow

noimageindex:不要索引本網頁的圖片,只適用於 Google

unavailable_after:date:在指定日期後停止索引本頁

 

 

 

 

推薦文章:
元宇宙也有翻譯蒟蒻了!Meta推全球語言都可翻譯的人工智慧


Google提出Android隱私沙盒,標榜保護用戶資料安全


白帽SEO、黑帽SEO,到底差在哪?


RWD 和 AWD 的差異與優缺點


UI設計的圓角為何人人愛?卡通愛用連賈伯斯也瘋狂!(上)


程式語言Python再度奪冠!蟬聯TIOBE年度程式語言獎!


人工智慧技術導入煞車系統,讓你行車安全又放心!(上)

軟404讓你SEO成效不彰?放心,谷歌正著手處理中!

軟404讓你SEO成效不彰?放心,谷歌正著手處理中!
軟404讓你SEO成效不彰?放心,谷歌正著手處理中!

還在擔心軟404影響你SEO的成效嗎?不用擔心,谷歌已經開始介入處理囉!

 

 

目錄

1. 軟 404 是什麼?

2. 「軟 404」的處理,將依桌機或手機而有所不同

2-1. 所造成的問題

2-2. 到底是怎麼一回事

3. 放心!Google 正在修復錯誤

 

Google 的 John Mueller 七月九日證實 Google 改變處理「軟 404」檢測和分類的方式:Google 將依設備類型查看網站中的每個頁面,並可能將同一個 URL,依行動裝置和桌上型電腦上進而分配不同的軟 404 分類。詳情如以下的影片的第 22 分鐘開始:

 

軟 404 是什麼?

軟 404」代表的是網頁返回的 HTTP 狀態代碼為 200 (代表網頁一切正常),但是實際上該網頁並沒有載入內容或無法被找到,而應該回傳 404 「頁面不存在」的狀態。 當這種情況發生時,Google 會將這些頁面標記為「軟 404」,並且將此 URL 視為真正的 404 頁面、不將該頁面編入索引。想要更深入了解軟 404 對 SEO 造成的影響,請看此篇

 

「軟 404」的處理,將依桌機或手機而有所不同

而今天 Google 說他們處理軟式 404 分類的方式改為「按設備類型」來查看 URL 。所以如果 Google 看到一個 URL 並透過桌上型電腦訪問其 URL,然後再使用行動裝置訪問同一個 URL 的話,有可能是因為桌上型電腦而非行動裝置回傳「軟 404」。簡單來說,Google 不只依照 URL 來檢測軟 404 狀態,現在也依設備種類而有所不同。依據國外 SEO 媒體的報導,這些改變其實早在一個月前就發生了⋯⋯

 

所造成的問題

當 SEO 注意到以下兩件事之一時,問題就浮現出來了:

使用 Google 搜尋引擎進行查詢時,發現 Google 沒有索引該頁面

SEO 在 Search Console 中看見「軟 404」錯誤大幅增多,但在 Google 搜尋引擎卻沒有看到問題

 

到底是怎麼一回事

一個網頁在行動裝置中可以正常返回,並且不會在 Search Console 中顯示軟 404 錯誤。 Google 僅顯示基於行動裝置所抓到的軟 404 錯誤,因此若一個網頁能在行動裝置上正常運作的話,Search Console 就不會顯示錯誤——但 Google 可能會為同個頁面的桌機版本顯示軟 404 錯誤。在這種情況下,當你在桌上型電腦的 Google 搜尋時,可能就看不到這些頁面被編入索引並出現在搜尋結果中。 同時,Search Console 也會顯示一切正常——但僅限於行動裝置,在桌機上就不正常了。

 

放心!Google 正在修復錯誤

Google 團隊現在正在致力於改善軟 404 分類的問題。如果你也在一個月前開始,開始注意到你網站的軟 404 錯誤大幅增加的話,則可能與這項改變有關。 請務必向 Google 提出問題、列出存在此問題的 URL,未來 Google 可望為你解決。 因為此次的變動可能會影響你網站的 SEO 成效,你可以至 Google Search Help Community 描述所遇到的問題,或是⋯⋯透過 Twitter 直接反映給 Google 的 John Mueller(@johnmu)。

 


參考資料:

https://searchengineland.com/google-now-does-soft-404-detection-by-device-type-350321

https://www.seroundtable.com/google-soft-404-31727.html

 

 

 

 

推薦文章:
SEO殺手-404與轉址式404錯誤(軟性404)解決方法


「恐怕會助長歧視」WordPress 與多家瀏覽器對 Google FLoC 喊停!


Google更新影片SEO!讓影片搜尋最佳化的15種方法(上)


Google更新影片SEO!讓影片搜尋最佳化的15種方法(下)


掌握SEO關鍵字有妙招(一)-關鍵字分類篇


擁有”超能力”不是夢?!臉書新推AR手腕感測器辦到了!(上)


人工智慧超強大,讓你線上會議超順暢!(下)

希望SEO更有效率?那你一定不能不知道谷歌新版檢索報告!

希望SEO更有效率?那你一定不能不知道谷歌新版檢索報告!
希望SEO更有效率?那你一定不能不知道谷歌新版檢索報告!

如果想要SEO更有效率?其實真的可以試試看谷歌新版檢索報告!

Search Console更新!Google:讓SEO完整掌握檢索狀況

日前,Google 宣布在 Google Search Console 中啟用新版的檢索統計資料報告。身為 SEO 的你可要趕緊點此進來看看你的 Google Search Console 是否換然一新了?但是請務必記得:因為 Google 還在更新的過程中,所以報告難免會出一點小瑕疵。

Google 稱此次的報告更新,對網站開發者、網站管理者以及 SEO 來說,將會更容易掌握 Google 檢索的狀況。更新的項目如下所示:

  • 依據回應、已檢索的檔案類型、檢索的目的及 Googlebot 類型而分組的檢索要求分析
  • 主機狀態的詳細資訊
  • 列表說明 Google 曾發出檢索要求的 URL
  • 「主機狀態」不只列出主網域的資訊,還個別列出所有子網域的摘要

新版的的檢索統計報告

顯示一段時間的或依天數的檢索要求總數、總下載資料大小以及平均回應時間,如下圖所示:

▲ GSC 中啟用新版的檢索統計資料

 

Google 甚至還將其分解成「分組的檢索數據」。該報告分別依照「回應」、「抓取的 URL 檔案類型」、「索引要求的目的」以及「依 Googlebot 類型」的檢索要求分析。

▲ 新版 GSC 將檢索要求分析細分為四大類)

 

新版的主機狀態信息

在這份報告中,主機的狀況、出了哪些問題也可以一覽無遺,Google 會告訴你它在進入你的網站時所遇到的問題。Google 說:「報告中的主機狀態詳細信息,可讓你檢查過去 90 天內,你的網站對 Google 的整體可用性」。

▲ 新版 GSC 的主機狀態可依「robots.txt 擷取」、「DNS 解析」、「伺服器類別」三類別顯示詳細資料,如有錯誤的話也可以分析錯誤信息與錯誤發生時間(如下圖)。

▲ 伺服器類別錯誤示意圖。
另外,對於含有兩個以上的子網域 (例如 news.example.com 和 weather.example.com) 的網站,報告中也一次列出所有子網域的資料。

▲ 新版 GSC 可以一次列出所有子網域的個別狀態資料

 

Google 多年來一直都保持支援檢索統計報告的功能,現在新版 Google Search Console 的問世,改善後的報表更是帶來了可操作且有用的數據,SEO 可直接參考報表來 debug 網頁被檢所得問題。想要了解更多相關資訊,請參閱Google 官方發佈的文檔

 

 

 

 

 

推薦文章:
人工智慧能「聽咳嗽聲認出新冠患者」!成功率達 98.5%


用說的就能寫程式!人工智慧替手傷工程師開發語音程式工具


Nature:語言天才比數學高手更適合學 Python!別在嘴文科生、女性不能寫程式了


Google 正測試人工智慧系統,助盲人和視障人士獨立參加路跑


人工智慧技術結合人類情感?2019年春節強檔AI電影不容錯過!


預防勝於治療-淺談SEO的404錯誤及轉址式404差異


哈利波特續集大獲好評,編劇竟是人工智慧?!