Screaming Frog Log File Analyser(站长日志分析软件)

　　Screaming Frog Log File Analyser是一款功能强大的长日志分析软件，完整的SEO工具包应同时包含网站搜寻器和数据分析器，这就是Screaming Frog SEO Spider开发人员发布Log File Analyzer的原因。该应用程序旨在提供有关搜索引擎随着时间变化的行为的更广泛的概述，并通过仔细分析日志文件以识别断开的链接以及孤立页面或慢速页面，来概述您网站的SEO状态，这肯定会帮助您在改善网站排名时做出最佳决策，有需要的朋友赶紧到本站下载吧！

软件功能

　　识别已抓取的网址

　　查看和分析Googlebot和其他搜索漫游器能够抓取哪些网址，时间和频率。

　　发现抓取频率

　　深入了解哪些搜索机器人最常抓取，每天抓取多少网址以及机器人事件总数。

　　找到断开的链接和错误

　　发现搜索引擎漫游器在抓取您的网站时遇到的所有响应代码，损坏的链接和错误。

　　审核重定向

　　查找搜索机器人遇到的临时和永久重定向，这可能与浏览器或模拟爬网中的重定向不同。

　　改善抓取预算

　　分析您网站的最常被抓取的网址和目录，以识别浪费并提高抓取效率。

　　识别大页面和慢速页面

　　查看下载的平均字节数以及识别大页面或性能问题所花费的时间。

　　查找未抓取和孤立页面

　　导入网址列表并与日志文件数据进行匹配，以识别Googlebot尚未抓取的孤立或未知网页或网址。

　　结合并比较任何数据

　　使用“URL”列对日志文件数据导入和匹配任何数据。因此，导入爬网，指令或外部链接数据以进行高级分析。

软件特色

　　关于SEO机器人行为的宝贵见解

　　顾名思义，日志文件分析器可以分析加载的日志文件中的数据，并提供有关已爬网URL以及搜索引擎机器人经历过的有用信息。它会自动生成图形，以图形方式捕获给定时间段内事件，URL和响应代码的演变。

　　您可以浏览分析统计信息，其中包含唯一URL的数量，事件总数，平均传输字节数，发现的错误，重定向，客户端和服务器错误。

　　支持拖放操作，因此创建新项目后，添加新文件进行分析非常容易。默认情况下，该应用程序会编译和处理Googlebot，Bingbot，Yandex和Baidu的数据，但是您可以轻松选择所需的bot，从而过滤信息。

　　发现不一致，错误和性能问题

　　日志文件分析器使所有网站所有者和SEO专家都可以访问由搜索引擎抓取的URL列表，并检查访问频率。

　　响应代码向您显示查询引擎已收到的响应，突出显示不一致和错误（如果有）。此外，通过监视下载的字节数和搜索引擎接收响应所花费的时间，可以轻松找到遇到性能问题的页面。

　　SEO日志分析以提供清晰的概述

　　关于Log File Analyser，还有更多发现之处，该实用程序经过进一步改进，可能会在SEO专家的工具包中占据一席之地。其目标是在SEO日志文件中收集数据并以某种方式显示它们，以使用户发现更容易分析大量数据以实现与SEO相关的目的。

安装方法

　　1、双击安装程序进入Screaming Frog Log File Analyser安装界面，用户可以选择默认安装或者自定义安装，然后点击【install】。

　　2、弹出如下的安装成功提示，点击【close】结束。

　　3、运行Screaming Frog Log File Analyser，进入如下的许可协议界面，点击【accept】。

　　4、随即进入如下所示的软件主界面。

　　5、点击菜单栏上的【license】，然后在选项下选择【enter license】。

　　6、运行注册机，任意输入一个用户名，即可生成许可密匙。

　　7、将注册机上的用户名与许可密匙复制到软件激活界面的对应栏，点击【确定】。

　　8、弹出如下的激活成功的提示，点击【确定】。

　　9、重启Screaming Frog Log File Analyser程序，即可显示为激活版。

使用说明

　　导入URL数据

　　通过“导入的URL数据”标签，您可以导入CSV或Excel文件以及与URL相关的任何数据。例如，您可以从站点地图导入抓取数据，URL或从Majestic或OSE导出“首页”。日志文件分析器将扫描前20行，以查找包含有效URL的列。该网址必须包含协议前缀（http / https）。

　　您可以导入多个文件，并且数据将根据URL自动匹配，类似于VLOOKUP。目前，您无法直接从站点地图导入，但是可以将站点地图URL上传到CSV / Excel和“导入的URL数据”标签中。

　　将爬网数据与日志文件事件结合在一起显然可以进行更强大的分析，因为它使您能够发现在爬网中但不在日志文件中的URL或已被搜索机器人爬过但在以下位置找不到的孤立页面：爬行。

　　导入抓取数据

　　您可以导出Screaming Frog SEO Spider爬网的“内部”标签，并将文件直接拖放到“导入的URL数据”标签窗口中。或者，您可以使用顶层菜单中的“导入> URL数据”按钮或“项目>导入URL数据”选项。这会将数据快速导入到日志文件分析器的“导入的URL数据”选项卡和数据库中。

　　“导入的抓取数据”标签仅显示导入的数据，没有其他显示。但是，您现在可以使用“ URL”和“响应代码”选项卡中的“查看”过滤器来查看爬网数据和日志文件数据。

　　日志文件分析器默认为“日志文件”，但是如果将视图更改为“与URL数据匹配”，它将显示与日志文件数据一起的爬网数据（向右滚动）。

　　“不在URL数据中”将显示在日志中发现但在导入的爬网数据中不存在的URL。例如，这些可能是孤立URL，现在重定向的旧URL，或者仅仅是来自外部网站的错误链接。

　　“不在日志文件中”将向您显示在爬网中找到但未在日志文件中找到的URL。这些可能是搜索机器人尚未搜寻到的URL，或者可能是例如最近发布的新URL。

　　删除导入的URL数据

　　您可以通过单击顶层菜单选项中的“项目>清除URL数据”，从项目中快速删除“导入的URL数据”。

　　请注意，数据一旦删除，将无法恢复，除非您再次导入数据。

　　将数据迁移到新计算机

　　日志文件分析器没有导出/导入项目的正式方法。移至新计算机时，最简单的操作是简单地创建一个新项目并重新导入日志文件。如果您想复制现有项目，则必须在项目文件夹中进行复制。您可以通过转到“配置”->“工作区”找到此文件的位置。

　　工作空间

　　您可以在此处设置其他位置来存储项目数据。

　　默认情况下，日志文件分析器将项目存储在以下位置：

　　Windows：{主驱动器号}：\ Users \ {username} \。ScreamingFrogLogfileAnalyser \ projects

　　macOs：/ Users / {用户名} /。ScreamingFrogLogfileAnalyser / projects

　　Ubuntu：/ home / {用户名} /。ScreamingFrogLogfileAnalyser / projects

　　选择替代位置时，需要考虑两点，性能和尺寸。驱动器速度越快，日志文件分析器将执行得越好。在这里选择网络驱动器是确保性能的可靠方法！日志文件分析器至少需要与导入的日志大小一样大的空间。

　　用户代理

　　创建新项目时，您可以配置要导入到项目中的用户代理。您可以从常见搜索引擎漫游器用户代理的预定义列表中进行选择，也可以取消选择与您不相关的代理。通过仅关注目标机器人，这有助于提高性能并减少磁盘使用。

　　您还可以添加自己的自定义用户代理，然后将其存储并可以为项目选择。

　　验证机器人

　　现在，您可以在上载日志文件时或将日志文件上载到项目后进行回顾，从而自动验证搜索引擎机器人。

　　上传日志时，您将有机会在“用户代理”标签下的“验证机器人”选项上打钩。

　　如果您已经导入了日志文件，或者想追溯地验证搜索引擎机器人，则可以在“项目>验证机器人”菜单下进行。

　　当模仿来自特定搜索引擎用户代理的请求时，搜索引擎机器人常常被其他机器人或爬虫所欺骗，包括我们自己的SEO Spider软件。因此，在分析日志时，重要的是要知道哪些事件是真实的，哪些事件可以打折。

　　日志文件分析器将根据其各自的准则来验证所有主要的搜索引擎机器人。例如，对于Googlebot验证，日志文件分析器将执行反向DNS查找，验证匹配的域名，然后使用host命令运行正向DNS以验证其与原始请求IP相同。

　　验证后，您可以使用“验证状态”过滤器来查看已验证，欺骗或验证中是否存在任何错误的日志事件。

新版功能

　　通配符用户代理匹配：

　　现在，您可以在配置要导入到项目中的用户代理时使用通配符匹配。这使它变得更加灵活，尤其是在用户代理字符串定期更改时，例如新的常青Googlebot和Bingbot。

　　您可以从我们预定义的常见搜索引擎机器人列表中进行选择，也可以自行配置。

　　Googlebot和Bingbot的默认用户代理通配符匹配也已更新，以改善对“常绿”版本命名的跟踪。

　　删除参数：

　　现在，您可以提供参数列表，以从URL剥离并在导入日志文件时进行合并。

　　这在“新”项目配置中可用，当您知道参数或问题并需要合并数据时，该功能特别有用。

　　新的JSON时间戳支持：

　　在3.0版中，我们提供了对JSON格式的日志文件的支持。没有通用的标准，因此我们使用了客户提供的JSON格式，并提供了对尽可能多的支持。

　　现在，该支持已进一步扩展，以涵盖我们由用户提供的一些不太常见的JSON时间戳示例。您所需要做的就是照常拖放日志文件（或文件夹），日志文件分析器将自动检测格式并进行分析。

　　Java 11更新：

　　尽管这对许多用户几乎没有什么实际的改变，但在幕后我们已经更新到Java11。我们的SEO Spider即将面世。

　　可配置的用户代理：

　　现在，您可以完全配置要导入到项目中的用户代理。您可以从我们常见的搜索引擎漫游器用户代理的预定义列表中选择，或取消选择与您不相关的代理。

　　通过仅关注目标机器人，这有助于提高性能并减少磁盘使用。您还可以添加自己的自定义用户代理，然后将其存储并可以为项目选择。

　　以前，日志文件分析器仅分析了Google，Bing，Yandex和百度的bot，因此现在它允许用户监视来自其他流行搜索引擎的bot。它还允许用户分析和监视其他感兴趣的特定用户代理，例如Google-News或Adsbot等。

　　包括功能：

　　与SEO Spider包含功能类似，您可以提供用于将URL导入项目的正则表达式列表。因此，如果您只想分析某个大型站点上的某些域或路径，例如/ blog /或/ products /页面，那么您现在就可以这样做，以节省时间和资源，并进行更精细的分析。

　　新的日志文件格式支持：

　　日志文件分析器现在支持应用程序负载平衡日志文件格式和Verizon Edge Cast格式。

　　您所需要做的就是照常拖放日志文件（或文件夹），日志文件分析器将自动检测其格式并开始对其进行分析。

常见问题

　　为什么日志文件分析器不导入我的日志文件？

　　最可能的原因是您要导入的文件不是日志文件，或更具体地说不是访问日志文件。请阅读我们的日志文件简介指南，其中提供了受支持的日志文件格式的示例，以便您可以与自己的日志文件进行比较。

　　导入的不是日志文件的常见格式是：

　　CSV文件

　　JSON文件

　　Apache错误日志

　　日志文件分析器支持W3C和Apache格式的日志文件。这些日志由3种最流行的Web服务器生成：Apache，IIS和Nginx。无需指定日志的格式，日志文件分析器将在您上载日志时自动检测到该格式。

　　如果您在导入日志时遇到任何问题，请联系我们的支持团队。

　　为什么我不能导入CLF格式 Apache的日志文件？

　　Apache通用日志格式（CLF）通常是为许多不同的Web服务器配置的默认格式。

　　不幸的是，这种格式没有提供“用户代理”字段，该字段是“日志文件分析器”提供的分析的组成部分。

　　您将必须重新配置或要求Web服务器的管理员重新配置日志格式字符串以提供用户代理字段。

　　这是所需的典型NCSA日志格式行：

　　“％h％l％u％t \”％r \“％> s％b \”％{Referer} i \“ \”％{User-agent} i \“ ”

　　支持的最大日志文件大小是多少？

　　日志文件分析器使用数据库来存储数据。因此，可以存储的日志量将受到硬盘驱动器大小的限制。性能也将受磁盘速度的限制-SSD比旋转磁盘的性能更高。

　　网站的大小不是一个相关因素，而是您的日志文件中有多少数据。一个小型但繁忙的站点可能会比没有大量流量的大型站点具有更多的日志事件。

　　我们经常会导入几个千兆字节的未压缩日志文件，而不会出现问题。您请求数据的时间范围越大，必须考虑的事件越多，响应速度就越慢。

　　为什么我的结果中缺少某些字段？

　　日志文件分析器只需很少的信息即可导入日志：时间戳，URL，响应代码和用户代理。所有其他数据是可选的。如果看到“平均响应时间”为0，则这是因为导入的日志文件不包含此信息。为了验证这一点，您可以查看导入的日志文件以查看其中包含的内容。如果您不熟悉，请查看我们的帖子SEOs日志文件指南。

　　要将丢失的数据添加到日志文件中，您将必须更新日志配置设置，您的Web服务器管理员将熟悉这些配置设置。日志文件分析器支持的日志格式在从SEO日志文件指南链接到的每个特定日志文件格式中都有详细说明。

　　为什么我看到URL的响应代码不一致？

　　Screaming Frog日志文件分析器显然在一段时间内直接从服务器日志中分析数据。因此，URL可能在历史上已被破坏，随后被修复，因此也解释了为什么它具有不同或“不一致”的响应。

　　要记住的另一件重要事情是，如果您上载了带有相对URL的日志文件，并且必须在导入时提供站点URL，则非www。和www。URL的版本将被汇总。因此，如果这是导入时提供的地址，则https://screamingfrog.co.uk和https://www.screamingfrog.co.uk的事件将汇总到https://www.screamingfrog.co.uk。非www。版本可能设置为301重定向到www。版本，因此一半响应重定向，而另一半则提供200条响应。这就是为什么我们通常建议为日志配置绝对URL。

　　但是，您可能还会发现服务器在负载下传递的响应不一致。