对网络日志分析的几个方面-程序员宅基地

技术标签: 用户行为分析  hadoop  日志分析  

1、关键字排行分析

    在搜索过程中,用户跟搜索引擎的交互都是通过输入的主题或者关键词来进行的,因此通过分析用户的査询主题对了解用户的兴趣非常有效,但还是充分表明有很多重复的查询请求,如果能提高这些词的查询质量就能使整体检索的质量提高很多,可以考虑引入缓存机制和建立动态的索引机制。

2、URL排行分析

    用户提交查询关键词后,搜索引擎根据关键词返回相应的查询结果,用户浏览该返回结果后会根据自己的查询意图选择并点击,用户旳点击是对搜索结果的一个反馈,也是对结果排序是否合理的暗示。

3、用户搜索统计

   搜索日志中用户搜索的统计,即不同用户的搜索量统计。

4、时间段统计

   我们很容易看出一天时内,何时是访问高峰期或低谷期,因此可以选择合适的时间做一些更换服务器等维护工作。

5、日搜索量统计

    搜索日志中的日搜索量统计,即不同日期的用户的搜索量

6、相关关键字分析

    我们以文本聚类过程为思路,将排名靠前的搜索关键字和排名靠前的中的文本内容都进行分词后作为实验的语料库,利用word2vec这个工具对相关关键词进行分析。
    具体过程如下:首先利用网络爬虫将排名靠前的前的网页爬取并保存下来,这些数据是包含《html》标签的,我们取其中的content内容,也就是标签《content》中的值,再用分词工具对获取到的内容进行分词,其中Ansj是一个基于ICTCLAS中科院的中文分词算法的java版本的中文分词工具,其准确率较其他的开源分词工具更高。

    接下来将分词后的语料库作为Word2vec的输入文件,通过计算词语间的余弦距离将距离较近的关键词作为相关关键词,为将来用户的搜索提供提示。

    





版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/u011955252/article/details/50828609

智能推荐

7-2 括号匹配问题_r7-2 括号匹配-程序员宅基地

文章浏览阅读4.2k次,点赞4次,收藏17次。给定一串字符,不超过100个字符,可能包括括号、数字、字母、标点符号、空格,编程检查这一串字符中的( ) ,[ ],{ }是否匹配。输入格式:输入在一行中给出一行字符串,不超过100个字符,可能包括括号、数字、字母、标点符号、空格。输出格式:如果括号配对,输出yes,否则输出no。输入样例1:sin(10+20)输出样例1:yes输入样例2:{[}]输出样例2:no题解:首先我们要读懂题干,这个题是要匹配括号,我们知道 :1. ( ) 是匹配的,{ }和[ ]同理2. ( }_r7-2 括号匹配

java generic new_Java-Java泛型(Generic)-程序员宅基地

文章浏览阅读65次。泛型本质是参数化类型,即数据类型是一个参数。可用在类/接口/方法中,分别称为泛型类/泛型接口/泛型方法,用于数据类型不确定的情况下!一.定义泛型1.泛型类(作用范围是整个类)class Gen {private T object;public Gen(T object) {this.object = object;}public T getObject() {return object;}}pub..._generic中的new方法

LaTex 二元运算与关系符号、大型运算符、数学符号、特殊字符、希腊字母、各种括号和矩阵的编码(持续更新中)_latex大型运算符-程序员宅基地

文章浏览阅读1.1w次,点赞18次,收藏58次。数学符号求和∑i=0n\sum_{i=0}^n∑i=0n​ 、连乘 ∏i=0n\prod_{i=0}^n∏i=0n​、积分∫ab\int_{a}^{b}∫ab​、二重积分∬\iint∬ sum_{i=0}n,\prod_{i=0}n,\int_{a}^{b},\iint .乘×\times× 、除÷\div÷、分数12\frac{1}{2}21​、开方ab\sqrt[b]{a}ba..._latex大型运算符

大学计算机实验报告u盘启动安装,用U盘安装Win7操作系统实验报告-程序员宅基地

文章浏览阅读841次。《用U盘安装Win7操作系统实验报告》由会员分享,可在线阅读,更多相关《用U盘安装Win7操作系统实验报告(3页珍藏版)》请在人人文库网上搜索。1、实验序号成绩(满分10分)实验名称用U盘安装Win7操作系统实验日期实验地点学生姓名院系班级一、实验目的1、学会制作Win7PE启动U盘。2、学会设置电脑BIOS启动项。3、掌握U盘安装Win7操作步骤。二、实验任务1、制作一个可以支持U盘启动的 Wi..._启动u盘重装系统实验报告

小程序布局中class='container'的bug-程序员宅基地

文章浏览阅读3.6k次。display:flex失效,并增加其他额外属性,暂时记录,还未查询是何原因导致,更改calss则无此问题。转载于:https://www.cnblogs.com/spynode/p/9869490.html_"为什么在view 中添加class=\"container\"之小程序界面无反应"

jQuery Ajax使用实例-程序员宅基地

文章浏览阅读43次。这篇文章主要介绍了jQuery Ajax使用实例,本文讲解了$.ajax的一般格式、$.ajax的参数描述、$.ajax需要注意的一些地方、$.ajax我的实际应用例子,需要的朋友可以参考下Jquery在异步提交方面封装的很好,直接用AJAX非常麻烦,Jquery大大简化了我们的操作,不用考虑浏览器的差异了。$.post、$.get是一些简单的方法,如果要处理复杂的逻辑...

随便推点

Python 语言创建 HyerMesh Tcl 命令流_hypermesh 命令流-程序员宅基地

文章浏览阅读4.8k次,点赞14次,收藏72次。目 录Blog Links一、前言二、Tcl 命令2.1 帮助文档2.2 命令窗口2.3 运行脚本2.4 基本语法三、模型组件四、几何模型4.1 几何点/Point4.2 几何线/Line4.2.1 创建直线4.2.2 创建圆及圆弧4.2.3 创建样条曲线4.3 几何面/Surface4.4 几何体/Solid五、坐标系/向量5.1 坐标系5.2 向量六、有限元模型6.1 结点6.2 创建1D网格6.2 创建2D网格6.3 创建3D网格七、编辑7.1 删除7.2 阵列7.3 集合八、文件8.1 保存8.2 _hypermesh 命令流

linux如何转化u盘格式的文件格式,uefi启动u盘安装linux怎么将u盘转换格式-程序员宅基地

文章浏览阅读237次。win7删除管理员账户操作方法:1、首先鼠标右键单击计算机,选择管理;如图所u盘装win10系统可以吗示:2、选择系统工具,雨林木风win764位笔记本系统,然后选择本地用户和组,点击“用户”,如图所示:3、在右侧面板中,右键单击要删除的用户账号,选择“删除”即可2、 一键全屏1、 首先我们在电脑桌面左下角的搜索框中输入powershell,雨林木风系统怎么样,然后点击启动开机进入u盘启动按哪个大..._linux修改u盘格式

高效程序猿的狂暴之路-程序员宅基地

文章浏览阅读183次。不觉间已经工作六年,回忆第一天实习的场景历历在目、恍若昨日。六年已足以令很多人转管理、转产品、转測试、转行,也一定有人还在坚守着编码,仅仅因热爱。遇到过形形色色的经理、架构师、运维、性能工程师等等,还是认为写代码的才是最厉害的!在这里分享一些这些年来修习到的个人心得。或许并不适用于其它人,但对于我却都是最珍贵的“宝藏”。也谨以此文纪念在代码堆里度过的青春~ 看到这些点..._codeblocks vim插件 知乎

ELF与BIN文件的生成和转换_objcopy elf转bin-程序员宅基地

文章浏览阅读6.1k次,点赞3次,收藏13次。Gcc编译出来的是ELF文件。通常gcc –o test test.c,生成的test文件就是ELF格式的,在linuxshell下输入./test就可以执行。Bin文件是经过压缩的可执行文件,去掉ELF格式的东西。是直接的内存映像的表示。在系统没有加载操作系统的时候可以执行。elf(executable and link format)文件里面包含了符号表,汇编等。BI..._objcopy elf转bin

Springboot创建无法启动tomcat---Unregistering JMX-exposed beans on shutdown-程序员宅基地

文章浏览阅读796次。问题描述: Springboot项目,容易上手,但是项目创建了,无法运行了,那就GG了,本想重新构建个考试系统,工作之余玩玩的小玩意,之前是使用Eclipse下载的STS插件创建的,可以使用。使用IDEA去创建,很多配置都需要自己去配置,创建后,就GG了,一运行就直接报:Unregistering JMX-exposed beans on shutdown,多方查询,是什么创建项目的时候没有..._unregistering jmx-exposed

教育网关于计算机打印步骤,自己的电脑怎么打印准考证_中国教育考试网报名教师资格证...-程序员宅基地

文章浏览阅读505次。自己的电脑怎么打印准考证_中国教育考试网报名教师资格证,更多关于中国教育考试网,教师考试动态的内容,请关注广东教师考试网/广东人事考试网!NTCE_2020下半年中小学准考证打印时间:10月23日-31日,请各位考生在中小学教师资格考试网规定的时间内,及时登录中国教育考试网打印自己的笔试准考证(网报地址为http://ntce.neea.edu.cn),准考证作为参加考试的通行证,请注意妥善保管。...