ITeye博客

yangeoo的博客

yangeoo · 共 135 篇文章

[置顶] Hadoop权威指南摘抄(初识Hadoop)

初识Hadoop 古代,人们用牛来拉重物,当一头牛拉不动一根圆木时,他们不曾想过培育更大更壮的牛。同样, 我们也不需要尝试开发超级计算机,而应该结合使用更多计算机。 --格蕾斯.霍珀 数据的存储与分析 大数据时代,磁盘存储容量快速增加的同时,其访问速度--磁盘数据读取速度缺未能与时俱进。 1990年,一个1370MB的磁盘,传输速度为4.4MB/S,因此读取整个磁盘需要5分钟,20年后,1TB的磁盘逐渐 普及,其数据传输速度约为100MB/S,因此读取整个磁盘的数据要约两个半小时。 假如我们拥有100块磁盘,每个磁盘存储1%的数据,并行读取,那么不到两分钟就读取所有数据。 仅使用磁盘容量的1…

2014-05-05 15:38 · Hadoop · 评论(0)

[置顶] Oracle 直方图

文章整理来源于: 剑破冰山之Oracle开发 http://www.dbform.com/html/2010/1200.html --下面来先关组下ORACLE的预测行对执行计划的影响。 DROP TABLE T PURGE; CREATE TABLE T(ID,COL1,COL2) AS SELECT ROWNUM,CASE WHEN ROWNUM >100 THEN 200 ELSE ROWNUM END,ROWNUM FROM DUAL CONNECT BY LEVEL <=10000; CREATE INDEX T_COL1 ON T(COL1); admin@ORCL> SELEC…

2013-09-13 16:25 · Oracle 优化 · 评论(0)

Java内存溢出与内存泄漏问题排查

Java内存溢出与内存泄漏问题排查 Java Heap Dump 和 JavaCore(也称 Thread Dump)是分析JVM应用问题的核心文件。为了让你快速建立整体概念,下面的表格直观对比了这两者。 特性 Heap Dump JavaCore 记录内容 某一时刻JVM堆内存中所有对象的快照(二进制文件) 某一时刻所有Java线程的运行状态和执行堆栈。 核心作用 分析内存问题,如内存泄漏、内存溢出、对象内存占用 分析CPU问题,如线程死锁,阻塞,高CPU占用,程序无响应 类比 关于内存的“全景照片” 关于CPU的“快照” 如何获取Dump文件 获取HeapDump 1、自动触发(推荐):…

2026-02-04 16:41 · JAVA 学习 · 评论(0)

Java应用启动参数示例

JVM启动参数示例 -Xms2g -Xmx6g -Duser.timezone=GMT+8 -Dfile.encoding=UTF-8 -Djava.security.egd=file:/dev/./urandom -XX:+DisableExplicitGC -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/xrfdata/logs/xrf-xcisp/jvm/dump -XX:+ExitOnOutOfMemoryError -XX:ErrorFile=/xrfdata/logs/xrf-xcisp/jvm/dump/jvm_error_%…

2026-01-19 13:56 · JAVA 学习 · 评论(0)

数据产品经理_修炼手册摘抄

一、用户思维、产品思维、工程思维 1.用户思维: 是指站在用户的角度考虑问题,从用户的问题出发。这里的用户,可以是使用产品的用户、公司的客户, 也可以是合作部门提需求的同事,还可以是自己的老板。马化腾说过,产品经理最重要的能力是把自己变傻瓜。周鸿祎也提出, 一个好的产品经理必须是白痴和傻瓜状态。 产品经理要能够随时切换自己的思维方式,能够随时从"专业模式"切换到"傻瓜模式",这就是用户思维的体现。产品经理要能够 忘掉自己的行业背景和知识积累,以及产品逻辑和实现原理,变成对这个产品一无所知的"小白"。 如何掌握并熟练应用用户思维呢?首先,要在心里时刻想着用户,牢记用户的需求,以"小白"心态理解…

2022-08-12 09:48 · 评论(0)

Clickhouse入门

一、什么是ClickHouse? 1.OLAP数据库、ROLAP模型 完整的列式DBMS,支持SQL、DDL、DML语句。数十种表引擎,内置数百个函数。 2.接口丰富 提供TCP、HTTP底层访问接口,提供JDBC、CLI等封装接口,支持Java、Python、NodeJs等众多第三方接口。 3.在线查询 允许在运行时创建表和数据库,加载数据和运行查询,而不需要重新配置和启动服务器。 实时应答,无需预处理,也支持立方体预聚合。 4.分布式 MPP架构,支持集群模式,支持数据分区、分片、副本。 5.高性能 线性扩展,列式存储、高压缩、向量化引擎,秒杀一切的性能。单机部署,即拥有高性能。 6.安…

2022-02-09 18:15 · 数据仓库 · 评论(0)

Oracle Connect By Prior

/** * connect by主要用于父子,祖孙,上下级等层级关系的查询 { CONNECT BY [ NOCYCLE ] condition [AND condition]... [ START WITH condition ] | START WITH condition CONNECT BY [ NOCYCLE ] condition [AND condition]...} 解释: start with: 指定起始节点的条件 connect by: 指定父子行的条件关系 --PIROR ID = PARENT_ID,我是这样理解的,当前条(也是上一条)的ID等于下一条的PARENT …

2022-01-12 14:49 · Oracle 开发 · 评论(0)

债券业务知识摘抄

一、债券 债券是政府、企业、银行等债务人为筹集资金,按照法定程序发行并向债权人承诺于指定日期还本付息的有价证券。 债券说白了就是欠条,缺钱的人发行债券,投资者购买债券,等于把钱借给他们。 发行债券的三种群体: 1.政府债券(政府发行,国家背书,风险低、利息低) 2.金融债券(银行等金融机构发行,监管力度强,风险低,利息低) 3.公司债券(利息高、风险高) 但不管谁发行,都要先经过证券会的审核,拿公司债来说,发行前会对公司财务进行体检, 瞅瞅公司运营是否健康,能否盈利。 债券主要包含以下部分: 债券面值(债券的票面价值,发行人在到期后应偿还的本金数额) 偿还期(指债券发行日至到期日之间的时间间…

2022-01-07 15:44 · 金融业务 · 评论(0)

手把手教你用 SQL 实现电商产品用户分析(ORACLE)

--1.创建用户行为表 CREATE TABLE EVENTS ( DATES DATE, USER_ID VARCHAR2(50), ITEM_ID VARCHAR2(50), BEHAVIOR VARCHAR2(50) ); COMMENT ON TABLE EVENTS IS '用户行为表'; COMMENT ON COLUMN EVENTS.DATES IS '日期'; COMMENT ON COLUMN EVENTS.USER_ID IS '用户ID'; COMMENT ON COLUMN EVENTS.ITEM_ID IS '产品ID'; COMMENT ON COLUMN EV…

2021-11-18 15:21 · Oracle 开发 · 评论(0)

HBase摘抄内容

一、HBase的特点 高并发、稀疏型 二、HBase架构 底层是HDFS的DataNode。 HMaster集群、RegionServer。 ZK做服务器心跳检测。 HRegionServer实际上是一个进程,不实际存储数据,掌握的元数据。 包括HLOG、写数据先进入HLOG中。 一个表对应多个Region,一个Region仅对应一张表。 一个列镞对应多个Store,一个Store。合并仅合并一个列镞,多个不同的HFILE。不会针对不同列镞进行合并。 每个Store都有一个MemStore。 三、HBase写操作 1.client->发送请求到ZK集群,获取meta表所在RS,ZK集群返回m…

2021-11-02 17:50 · Hadoop · 评论(0)

Flowable 入门简介

参考网址:https://www.jianshu.com/p/4253f6eac920 https://www.jianshu.com/p/799b1ebf5dc4 Flowable是一个流行的轻量级采用java开发的业务流程引擎。 通过Flowable流程引擎,我们可以部署BPMN2.0的流程定义(XML文件),通过流程定义创建 流程实例,查看和访问流程的相关实例和数据。 官方提供了下面的五个应用程序: 1.Flowable Modeler:流程定义管理 2.Flowable Task:用户任务管理 3.Flowable IDM:用户组权限管理 4.Flowable REST API:流程…

2020-07-05 09:03 · JAVA 学习 · 评论(0)

金融知识整理

http://bond.hexun.com/stepbystep/step1content.html#11 什么是逆回购 所谓债券逆回购,其实是一种短期贷款,就是你把钱借给别人,获得固定利息,别人用债券作抵押, 到期还本付息。其中债券持有人(正回购方)将债券质押而获得资金使用权,到约定的时间还本并支付一定的利息, 从而“赎回”债券,而资金持有人(逆回购方)就是正回购方的交易对手,在实际交易中债券是质押给了第三方即中国结算公司 债券有四个方面的含义: 发行人是借入资金的经济主体; 投资者是出借资金的经济主体; 发行人需要在一定时期还本付息; 反映了发行者和投资者之间的债权ZAIWU关系,而且是…

2020-06-26 08:33 · 金融业务 · 评论(0)

Java 8 新特性

Lambda表达式 Lambda允许把函数作为一个方法的参数(函数作为参数传递到方法中), 使用Lambda表达式可以使代码变的更加简洁紧凑。 示例: // Java 8之前: new Thread(new Runnable() { @Override public void run() { System.out.println("Before Java8, too much code for too little to do"); } }).start(); //Java 8方式: new Thread(()-> System.out.println("Before Java8, too …

2020-05-15 10:12 · JAVA 学习 · 评论(0)

kafka入门

kafka Kafka是一种分布式,基于发布/订阅的消息系统。 高吞吐量:每秒可处理几十万条记录 分布式:支持热扩展 持久化:消息持久化到磁盘 容错:副本容错 高并发:客户端同时高并发读写 使用背景: 峰值处理能力 统一接口服务 解耦 消息系统介绍: 一个消息系统负责将数据从一个应用传递到另外一个应用,应用只需关注于数据,无需关注数据在两个或多个应用间是如何传递的。 分布式消息传递基于可靠的消息队列,在客户端应用和消息系统之间异步传递消息。 有两种主要的消息传递模式:点对点传递模式、发布-订阅模式。 大部分的消息系统选用发布-订阅模式。Kafka就是一种发布-订阅模式。 点对点模式: 在点对…

2020-05-04 07:50 · 评论(0)

Redis 入门

前言: 日常Java Web中使用数据库来存储,一般不会有高并发的问题,可一旦涉及高并发的情况, 比如商品抢购,主页访问量瞬间较大,使用数据库会产生磁盘读写带来的性能瓶颈, 通过引入NoSql技术基于内存的数据库,可克服上述问题。 Redis是完全开源免费的,遵守BSD协议,是一个高性能的key-value数据库。 Redis与其他key-value缓存产品比较有一下三个特点: 1.Redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启后可加载使用。 2.不仅支持简单的key-value类型的数据,还提供list,set,zset,hash等数据结构的存储。 3.支持数据的备份,即…

2019-11-16 07:03 · JAVA 学习 · 评论(0)