1.字符串转化成date类型要用parse,date转为固定格式的string要用format
2.String newStr = oldStr.replaceAll("\"","");  //这个是把所有的 " 都去掉.
3.spark本地运行的时候一定要记得setMaster("local")
4.用到index的时候先判断一下index值是否存在
5.对“2013-12-09-13.09.09.888”进行分离出现处理结果最后为null;但是单机本地模拟的是可以的。
恩 把yyyy-MM-dd hh改为了yyyy-MM-dd,hh
6.calendar.month比实际减一
7.计算两个日期相差多少时,先判断谁早谁晚(年份),然后再判断年份是否闰年,最后再计算。并且输出如果有正负的话,要注意隔年的正负号。

8.hadoop fs -getmerge可以把hdfs的多个文件合并成一个文件

9.int 转化成String:
   int i=10;
   String str=Integer.toString(i);
double 转化成String:
   double d=10.0;
   String str=Double.toString(d);
String 转化成double:
   String str="123456";
   double d=Double.valueOf(str).doubleValue();

10.如果出现越界情况,就加个判断,即使是认为长度是一定的。

11.

public static void main(String[] args) {
    //第一种:
    String [] arr = {"41","a","5","g56"};
    String s1 = Arrays.toString(arr);
    System.err.println(s1);//[41, a, 5, g56]
    //第二种:
    String s2 = StringUtils.join(arr);
    System.err.println(s2);//41a5g56
    //第三种:
    String s3 = StringUtils.join(arr,",");
    System.err.println(s3);//41,a,5,g56
    //第四种:
    StringBuffer s4 = new StringBuffer();
    for (String string : arr) {
        s4.append(string);
    }
    System.err.println(s4.toString());//41a5g56
}

12.hbase配置文件

Spark&hbase

13.spark  伪分布式中,可以用static 全局变量 ,并且随时更新,但是集群spark,就不可以了,只能用final,广播变量来使用,而且不支持更新。

相关文章: