Windows日志高级筛选实践-创新互联

背景

经常需要查看日志，不仅是用来排错，有些时候我还需要监控系统来抓取特定日志来帮助减少我的工作负担，以及时监控到异常出现，并作出通知及响应，那么从大量日志中快速并精确筛选出想要的日志，并且精确提取信息，是一个必备的技能。我曾经用内置的事件查看器的筛选器进行事件筛选，然后保存视图，或者使用powershell get-winevent 进行筛选，也使用logparser, 或者第三方的日志查看工具比如eventexplorer 进行日志筛选。但是总是遇到几个主要的问题：

成都一家集口碑和实力的网站建设服务商，拥有专业的企业建站团队和靠谱的建站技术，10年企业及个人网站建设经验 ,为成都近千家客户提供网页设计制作,网站开发,企业网站制作建设等服务,包括成都营销型网站建设，成都品牌网站建设，同时也为不同行业的客户提供网站建设、网站设计的服务,包括成都电商型网站制作建设,装修行业网站制作建设，传统机械行业网站建设,传统农业行业网站制作建设。在成都做网站,选网站制作建设服务商就选创新互联。

1. 从大量日志中过滤出极个别日志，每次执行的事件总是太长。

2. 不能灵活的或者更精确的进行筛选。一般只能大概的匹配，然后再做一步处理。通常又遇到1的问题。

尝试和比较

经过一些尝试和使用，个人觉得powershell 的get-winevent 最方便，因为毕竟是一个脚本语言，可以进一步进行处理，而且可以很灵活的处理。logparser 很快，但是如果精确提取某些日志的字段，就没有那么容易了,windows 日志的EventData中的数据复杂多样，靠几个常规字段是没有办法灵活进行处理的。

论速度的话，除了logparser,使用xml 筛选是最快速的。但是xml 筛选需要使用复杂的、受限的xpath 1.0 (被微软实现后，有更多限制),虽然有点蹩脚又难懂，但是和时间节省算起，还是划的来的，特别是重复任务。

一个比较好的开始是从下面链接开始。

https://blogs.technet.microsoft.com/askds/2011/09/26/advanced-xml-filtering-in-the-windows-event-viewer/

正式实践

一个比较常用场景是，我经常需要精确过滤到哪个账号最近锁定了，哪台计算机锁定的，什么时候。我需要很快速的能查询到锁定日志。过去虽然我用get-winevent –filterhashtable 可以做到这些，但是速度实在太慢了，虽然我的域控只有4台。我经常和用户说，如果你想知道你在哪台计算机上锁定了，请等待一段时间，我会把查询结果用邮件发给你。不过现在使用xpath 过滤时，我基本上可以在用户打电话过来时，告诉他这些信息。

下面XML 过滤AD安全日志中的最近一天的某个用户名的锁定日志

*[System[EventID=4740 and TimeCreated[timediff(@SystemTime) <= 86400000] and Provider[@Name='Microsoft-Windows-Security-Auditing']]] and *[EventData[Data[@Name='TargetUserName']='somebody']]

如果你只想过滤最近一天所有用户的锁定日志，那么这样写

*[System[EventID=4740 and TimeCreated[timediff(@SystemTime) <= 86400000] and Provider[@Name='Microsoft-Windows-Security-Auditing']]]

上面过滤XML可以在 事件查看器的 筛选当前日志--》XML---》手动编辑查询中进行测验。

OK ,为了方便使用，我们做成一个powershell function ,方便日常使用，直接上例子。

function get-lockedEvent{     <#     .SYNOPSIS         Function to filter user locked event which id=4740     .DESCRIPTION         This function search user locked events in DC security logs, this function need the domain admin priv.     .EXAMPLE         get-lockedEvent -loginname oaoperator -show     .EXAMPLE         PS C:\> get-lockedEvent -loginname oaoperator -summary         Count Name         ----- ----         457 Oaoperator, OA     .EXAMPLE         PS C:\> get-lockedEvent -loginname oaoperator         Username   LockedPC Datetime           EventLocation         --------   -------- --------           -------------         Oaoperator OA       2018/9/27 10:27:40 dc02         Oaoperator OA       2018/9/27 10:32:40 dc02     #>          [cmdletbinding()]     param(         [parameter(Mandatory=$false)]         [string]         $loginname,         [Parameter(Mandatory=$false)]         [switch]         $summary,         [Parameter(Mandatory=$false)]         [switch]         $show     ) # filter Locked Events generated in 1 day and username eq loginname     $f2=@'                        *[System[EventID=4740  and TimeCreated[timediff(@SystemTime) <= 86400000] and Provider[@Name='Microsoft-Windows-Security-Auditing']]]        and        *[EventData[Data[@Name='TargetUserName']='{0}']]                  '@ # filter Locked Events generated in 1 day      $f1=@'                        *[System[EventID=4740  and TimeCreated[timediff(@SystemTime) <= 86400000] and Provider[@Name='Microsoft-Windows-Security-Auditing']]]                  '@     if($loginname){         $f=$f2 -f $loginname     }else{         $f=$f1     }     $DCs=Get-ADDomainController -Filter *|%{$_.hostname}     $r=Invoke-Command -ComputerName $DCs -ArgumentList @($f) -Command{         param(             $filter         )         $events=Get-WinEvent -FilterXml  $filter         $events|%{             $e=[xml]$_.toxml()             [PSCustomObject]@{                 'Username'=$e.Event.EventData.Data.where({$_.Name -eq 'TargetUserName'})."#text"                 'LockedPC'=$e.Event.EventData.Data.where({$_.Name -eq 'TargetDomainName'})."#text"                 'Datetime'=[datetime]$e.Event.System.TimeCreated.SystemTime                 'EventLocation'=$e.Event.System.Computer             }         }     }|Sort-Object -Property Datetime |select -Property 'UserName','LockedPC','Datetime','EventLocation'     if($summary){         $r=$r|Group-Object -Property Username,LockedPC -NoElement     }          if($show){         $r|Out-GridView     }else{         $r     } }

另外一个实践

由于最近有一些计划任务的状态需要监控，而且考虑到这应该是一个非常通用的需求，所以我想过滤计划任务名称匹配\qq_ent 开头的，然后任务执行结果不为0的日志，尽管我参考着下面的一些blog 链接，也让我尝试了好一会，我想应该记录下这些过程。

我们先来看看计划任务日志的xml 内容：

      201    2    4    201    2    0x8000000000000000        144817            Microsoft-Windows-TaskScheduler/Operational    ComputerName.xxx.com           \qq_ent\store_to_db    {110529FD-DBFD-4E59-B207-83DF8CC779B8}    C:\Users\UserName\AppData\Local\Programs\Python\Python37\python3.exe    2147942401    22172       

说下我们的任务：

1. 匹配 EventData 中Data 名称为TaskName的，它的值应该是\qq_ent\xxxx

2. 匹配 EventData中 Data 名称为ResultCode的，它的值应该是>0 或者不等于0的

3. EventID=201

4. Provider Name=Microsoft-Windows-TaskScheduler

最后成型的过滤，和微软的之前的例子不一样。

                    *[System/EventID=201]        and        *[EventData[                     (                         Data[@Name='TaskName']='\qq_ent\download_images'                      or                          Data[@Name='TaskName']='\qq_ent\store_to_db_offline'                     or                          Data[@Name='TaskName']=='\qq_ent\gatherQQmsg'                      or                          Data[@Name='TaskName']=='\qq_ent\store_to_db'                     )                     and                         Data[@Name='ResultCode'] !=0         ]]                 

我之前按照微软的例子是这样写的，结果不对的。

                       *[System/EventID=201]        and        *[             EventData[                     (                         Data[@Name='TaskName']                          and                          (                             Data='\qq_ent\download_images'                              or                              Data='\qq_ent\store_to_db_offline'                             or                              Data='\qq_ent\gatherQQmsg'                              or                              Data='\qq_ent\store_to_db'                         )                     )                      and                     (                         Data[@Name='ResultCode'] and Data !='0'                     )             ]         ]                 

注意事项

1. event log 中的Xpath 受限，能使用的函数有限，因此如果你想筛选字符串，你会发现starts-with contains 这些xpath 函数都不支持。尽量使用其他条件筛选，然后再使用powershell内置过滤功能进行过滤，当然这要牺牲一些处理时间。

2. Xpath中的一些字符串要进行转义，比如你想比较一个数字，可能写Data>0,那么> 要转义成>

参考资料

https://blogs.technet.microsoft.com/heyscriptingguy/2011/01/24/use-powershell-cmdlet-to-filter-event-log-for-easy-parsing/

https://blogs.technet.microsoft.com/heyscriptingguy/2014/06/04/data-mine-the-windows-event-log-by-using-powershell-and-xml/

https://blogs.technet.microsoft.com/heyscriptingguy/2014/06/03/use-filterhashtable-to-filter-event-log-with-powershell/

https://blogs.technet.microsoft.com/askds/2011/09/26/advanced-xml-filtering-in-the-windows-event-viewer/

另外有需要云服务器可以了解下创新互联cdcxhl.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

网站题目：Windows日志高级筛选实践-创新互联
网站路径：http://cqcxhl.cn/article/gojpo.html