浅谈用户行为分析（一） 浅谈用户行为分析（一）标签（空格分隔）： 数据仓库 用户行为分析 关于用户行为分析，很多互联网公司都有相关的需求，虽然业务不同，但是关于用户行为分析的方法和技术实现都是基本相同的。作者在两家公司都了用户行为分析的相关事项，分享一下自己的一些经验。 一. 简介用户行为分析可以概括如下：哪个用户在什么时候做了什么操作在哪里做了什么操作，为什么要做这些操作，通过什么方式，用了多长时间等问题，总结出 2018-10-16
如何找到本年已过天数和剩余天数 如何找到本年已过天数和剩余天数 Vertica其实没有直接的函数，返回本年的已过天数和剩余天数。但是你需利用日期函数可以巧妙的完成上述功能，下面我们来看下如何实现吧~ dbadmin=> SELECT sysdate "Today", 2018-09-22 vertica
行业MPP数据库对比 行业内MPP数据库对比 Vertica VS GreenPlum VS Vertica和greenplum有关系，greenplum是一个mpp的分布式关系型数据库，vertica集群也是，两者的关系：vertica 无 master 全部机都是master,而greeplum只能有一台master，然后做一个master的备份。这是对程序应用的稳定性起了最关键的作用。gpmaster关了，然后 2018-09-14 vertica
Spark的这些事（四）——Spark-on-yarn-动态资源配置 一、YARN的配置首先需要对YARN进行配置，使其支持Spark的Shuffle Service。 修改每台集群上的yarn-site.xml： 12345 - 修改<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle,spark_shuffle< 2018-09-12 spark
Spark的这些事（三）——spark常用的Transformations-和Actions Transformationsmap，filterspark最长用的两个Transformations：map，filter，下面就来介绍一下这两个。 先看下面这张图： 从上图中可以清洗的看到 map和filter都是做的什么工作，那我们就代码演示一下。 123456789val input = sc.parallelize(List(1,2,3,4))val result1 = input 2018-09-12 spark
Spark的这些事（二）——几个概念 1、SparkContext [经常简称为 sc] 1spark app 的起点和入口，一般用来加载数据集，生成第一个 rdd。 2、定义一个 spark 应用程序所需要的三大步骤的逻辑：加载数据集，处理数据，结果展示。 加载数据集 123加载数据集，这里的数据集大概分为两组: - 一种是不变的，静态数据集，大多数场景都是从数据库，文件系统上面加载进来 - 另一种是动态的数据集 2018-09-12 spark
Spark的这些事（一）——Windows下spark开发环境搭建 一、首先准备需要安装的软件scala-2.10.4下载地址：http://www.scala-lang.org/download/2.10.4.htmlscala-SDK-4.4.1-vfinal-2.11-win32.win32.x86_64下载地址：http://scala-ide.org/spark-1.6.2-bin-hadoop2.6下载地址：http://spark.apache. 2018-09-12 spark
Vertica的这些事（十四）——Vertica实时消费kafka实现 一、 安装环境Vertica官方提供了消费kafka的方法，需要注意版本对应 消费kafka原理，是Vertica提供的Udx 首先需要安装相应的环境 1/${vertica}/packages/kafka/ddl/install.sql 判断是否安装成功 1/${vertica}/packages/kafka/ddl/isinstalled.sql 2018-09-12
Vertica的这些事（十三）——Vertica备份元数据信息 —备份资源池 1234567891011121314SELECT 'CREATE RESOURCE POOL ' || name || CASE WHEN memorysize IS NULL THEN ' ' ELSE ' MEMORYSIZE ' || '''' || memorysize 2018-09-12 vertica
Vertica的这些事（十二）——-vertica备份与恢复 最近在使用vertica，上网找了很多资料都没有，只有自己看官方文档动手搞一下了，今天搞了vertica的备份与恢复 以下是整理的过程，分享给大家，如有问题欢迎大家指正~ 可加QQ群交流：4121914941、vertica备份1.1 vertica备份配置:12345678910111213141516171819202122232425262728[dbadmin@localhost ~]$ 2018-09-12 vertica