欢迎访问 拥护资讯网,最新鲜的新闻资讯
首页 > 能源 > 正文

java linux 同步数据

        最近做了一个功能(Java),默认查询当天开始时间(00:00:00)到当前时间节点的数据,问题就出现在当前时间节点上,发现两台服务器的时间有误差,然后把获取当前时间的代码去掉(new Date().toLocaleString()),再进行部署测试,发现可以了,但觉得这不是很好的一种解决方式,搜索一下,发现可以用ntpdate命令来进行时间同步。

        进入liunx命令控制台,输入date命令;输出如下:

若要更新时间,使用  date -s hh:mm:ss 即可

若要和Internet时间同步,使用ntpdate -u time.nist.gov同步网络时间,如果发现提示

说明服务器还没有安装ntpdate,我们使用yum install ntpdate -y 进行安装即可,

最后再使用  ntpdate - u  time.nist.gov同步网络时间,如果上面time.nist.gov服务器同步不了,提示如下:

19 Apr 12:02:42 ntpdate[1495]: no server suitable for synchronization found,可以换下面几个时间服务器试试:

time.nist.gov
time.nuri.net
0.asia.pool.ntp.org
1.asia.pool.ntp.org
2.asia.pool.ntp.org

3.asia.pool.ntp.org

hwclock命令   (即hardwareclock系统硬件时间)

#hwclock

显示硬件时间

#hwclock -w

将系统时间写入到系统硬件当中




收起 展开全文
好好的socket通讯程序, 从window 移入 linux 操作系统中,仅仅和服务器交换几条简单的数据后,报 java.net.SocketException Broken pipe 异常,甚是奇怪 ,在网上找到了很多 同类的问题包括答案,似乎...

好好的socket通讯程序, 从window 移入 linux 操作系统中,仅仅和服务器交换几条简单的数据后,报 java.net.SocketException Broken pipe 异常,甚是奇怪 ,在网上找到了很多 同类的问题包括答案,似乎没有一个能解决问题的。

我排出一些可能的情况,
1、连接从来没有断开; 2、交易数据量少,不存在超时问题,而且是长连接;
3、在输入,输出流中进行了同步。
4、在window 上运行了1年多了。从来没出过类似问题

部分错误信息如下:
java.net.SocketException: Broken pipe
at java.net.SocketOutputStream.socketWrite0(Native Method)
java.net.SocketOutputStream.socketWrite(SocketOutputStream.java:92)
java.net.SocketOutputStream.write(SocketOutputStream.java:136)
java.io. OutputStream$BlockDataOutputStream.drain( OutputStream.java:1639) java.io. OutputStream$BlockDataOutputStream.flush( OutputStream.java:1584) at java.io. OutputStream.reset( OutputStream.java:639)



这个困扰我多个星期的 问题,希望能得到各位高人的帮助,以解我燃眉之急!

------解决方法-------------------------------------------------------- 你的长连接 linux 对超过时间不连接的长连接会踢掉的
在linux 里面有设置
------解决方法-------------------------------------------------------- 4、在window 上运行了1年多了。从来没出过类似问题
觉得就是LINUX系统的原因了,你换下别的版本的LINUX系统看看
不同之间的差异还是比较大的
------解决方法-------------------------------------------------------- 在Unix/Linux下的网络结构和windows略有不同,至少在java的网络编程上有一些差异(没有考证,只是自己曾经遇到相同的问题!) 引起java.net.SocketException:Broken pipe这个异常的原因是你使用了多个线程同时对一个Socket通道进行读/写(windows环境没有这个问题),简单的说就是Unix/Linux下不能同时对一个Socket通道进行读和写。并且我也尝试过使用同步控制来防止对同一个Socket通道进行读和写,不过只是降低了该异常的发生概率(绝对不是同步控制有问题),发送和接收加入一段延迟后不会发生该问题,当然应用是不能容忍这样的处理效率和性能的。 最后我把整个网络通信改成用new io的非阻塞模式,在单线程中处理多路通道,没有这个问题,而且似乎系统吞吐量比先前更高了,不过唯一剩下一个问题,至今仍未解决!
详见我的问题贴: http://community.csdn.net/Expert/topic/5385/5385219. ?temp=.1896173
------解决方法-------------------------------------------------------- 我一个小时前也遇到了同样问题,辛辛苦苦编的程序在windows上运行正常,在linux上就broken pipe了。不过我是单线程也出现了同样问题,是flush()时发生异常

收起 展开全文
之前对SSIS有一些使用经验,但是本系统主要用的是Oracle,开发语言也采用JAVA,即不能像以前那样直接采用MS中SQL server2008自带的SSIS了。上网查了下,相关的ETL工具中还有很多,较为出色的如Datastage、Power...
所有的数据源都将在ETL中配置数据源连接,分别建立好数据转换包处理各自同步、清洗业务,相关的规则都配置到ETL转换包中

展示平台仅有一些最终统计数据展示报表(尽可能不出现多个地方配置规则)

第三方系统将通过一个web service服务器接口获取到数据中心的信用信息

运政等公司内部系统则可以直接连接中心数据库交换信用有关的数据

 

 

1.2 中心数据库与各业务数据库关系图
关于信用相关的表,三个库(中心库、内部系统库1、内部系统库2)都一样的表结构(接口表除外:未经处理与外部数据源结构一致的表,参见数据中心总体结构设计),只是在记录上,中心库最全,内部系统库1、内部系统库2分别只包含自己的部分。

关于接口表,内部三个系统之间表结构可以省去接口表部分,即直接进行业务表之间的同步。

 

 

 

1.3 Kettle ETL工具分析  

 


Kettle介绍:是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定,采用LGPL授权协议的自由软件,开发出来的新软件可以是私有的而不需要是自由软件,即可以放心自由地使用。

流程执行示例:

作业调度示例(些作业中会执行上图中的转换任务,并设置为每分钟执行一次,并重复执行)::

部署示例:

 

2  中心数据中总体结构设计

上图中,以user表为例,其中橙色部分为ETL处理过程序,其主要流程是:


首先在中心数据库中建立一个名为“XXX_interface的表,它与外部的数据表结构保持一致,接收到的数据记录会首先放入到这个表中,主要是方便追溯统计

ETL工具将采用增量同步方式从外部表获取自上次同步后的所有数据,会按原数据不作处理地同步到接口表中(如果为主键冲突则例外处理),并记录这个过程中同步时间戳,状态态信息(如异常、同步的记录数量)

紧接着,将会从接口表到正式表的同步,这时会对数据按照制定的规则做清洗、汇总,输出则是:正式的数据记录;过程中的状态(异常等)、时间戳信息;汇总情的更新(如一些中间结果汇总表在相关子表变化后也需要做增量同步)

将加入汇总处理部分。

3  子系统/模块设计 3.1 数据过滤、清洗过程设计

初设中的数据质量要求,可以大体总结为:


对于较大的表进行时间戳同步,但要注意的是完备性方面,时间戳方式不能捕获DELETE操作,需要结合其它方式一起使用

 

 

4  运行设计
支持多种操作系统运行,只需安装好jre运行环境即可。部署过是:直接将一个文件包复制到服务器,在服务器上让包中的一个批处理执行文件每次开机时自动执行即可(在windows下是一个.bat文件,在linux下是一个.sh文件),该批处理将会执行相关的作业调度程序包,作业调度包中包括了实际ETL过程。

以配置文件方式修改实际生产环境与测试环境的参数(如WebServices url、数据库链接等),方便在开发测试环境与正式生产环境之间切换。

ETL包在运行过程,需要不断维护升级,可以通过停止服务并覆盖相应的作业或ETL包,再次启动即可。

5  系统数据结构设计系统数据结构设计

6  系统出错处理设计 6.1 设计要求

由于ETL服务在任意时刻都可以出现各种异常,所以保证:


同步过程状态与数据表的相关操作写在一个存储过程中,并采用事务处理;

所有的作业、包、存储过程都有异常处理,并都有相应的记录方式,作业和包的异常主要记录到文本日志和邮件中,而存储过程则记录到数据库日志表中。 收起 展开全文
本博客将相继开通Java、CloudFoundry、Linux、Ruby等专栏,都会设立目录,希望读者朋友们能更加方便的阅读!在阅读的过程中有任何问题,请联系:egg。邮箱:xtfggef@gmail.com 微博:http://weibo.com/xtfggef QQ...
很多时候,我们需要将一个系统的数据同步到另外一个系统中,两个系统的数据库可能不同,ETL数据同步工具Kettle可能轻松帮我们实现,该功能,而且还可以定时执行数据同步任务。 ETL数据同步工具Kettle使用Kettle简介...
转载:https://www.cnblogs.com/George1994/p/6702084.html阻塞和非阻塞,同步和异步1 例子故事:老王烧开水。出场人物:老张,水壶两把...-同步阻塞老王想了想,这种方法不够聪明。2.老王还是用水壶煮水,不再傻傻...
1、linux操作基础 linux系统简介与安装 linux常用命令–文件操作 linux常用命令–用户管理与权限 linux常用命令–系统管理 linux常用命令–免密登陆配置与网络管理 linux上常用软件安装 linux本地yum源配置及yum...
大数据最广泛的一个应用场景就是构建数据仓库,数据仓库中的数据生命周期一般包括:数据的获取,数据的分类,数据的解析清洗,上传到hdfs。或多或少,主要都是这几个过程,asiainfo这边的离线分析的数据,通过远程...
Mysql+Mycat实现数据库主从同步与读写分离文章转载自:http://mp.weixin.qq.com/s?__biz=MzI0MDQ4MTM5NQ== amp;mid=2247485333 amp;idx=1 amp;sn=71a60b1deb210100623b6fe120ab867b amp;chksm=e91b...
1.Java基础视频  《张孝祥JAVA视频教程》完整版[RMVB](东西网) 历经5年锤炼(史上最适合初学者入门的Java基础视频)(传智播客) 张孝祥2010年贺岁视频:Java高新技术(传智播客) Java多线程与并发库高级应用(传智播客) ...
Rsync是一个强大的文件同步工具。可以镜像保存整个目录树和文件系统,可保持原来文件的权限、时间、软硬链接等等,...rsync 在传输数据的过程中可以实行压缩及解压缩操作,因此可以使用更少的带宽。可以使用scp、ssh等
一、前言1.1 创建ERMaster项目A....1.2 数据表设计区二、连接本地数据库相应的数据表设计好了之后怎样将数据表同步到本地数据库呢? 参见以下步骤: A.选择Export to DB **B.填写Server Name、Data Nam
 public class MyStack {   private List list = new ArrayList();     public synchronized void push(String value) {   synchronized (this) {   list
基于MYSQL日志增量数据同步原理: - 1、DBAsync伪装自己为mysql slave,向mysql master发送dump协议 - 2、mysql master收到dump请求,开始推送binary log给DBAsync - 3、DBAsync解析binary log,将数据改动同步到...
验证两种各自领域称王的语言(JAVA /PHP),不同语言、不同机制的组合在一起,PHP负责WEB层,Java负责业务和数据逻辑层,真是一对黄金组合(Java+PHP整合=混血新宠儿),发挥各自优势,适合开发B/S企业程序。...
(开发环境就是每个开发人员电脑上的开发环境,只有开发人员可以配置和开发,写数据测试放在测试环境) 2.测试环境:新开发和配置通过系统传输到测试环境,进行功能测试,可以创建数据。(开发人员开发完上传到SV
二叉树适宜存储什么样的数据?树最适合用来表示( C )。 A.有序数据元素 B.无序数据元素 C.元素之间具有分支层次关系的数据 D.元素之间无联系的数据2.数据库中多表查询、增加数据字段值;3.进程的定义、主要...
Linux的内核将所有外部设备都可以看做一个文件来操作。那么我们对与外部设备的操作都可以看做对文件进行操作。我们对一个文件的读写,都通过调用内核提供的系统调用;内核给我们返回一个file de or(fd,文件...
不同面试官面试风格一定不同,我这里就是总结这些天面试Java开发过程中的大多数问题,综合分类有Java基础,框架,多线程,网络通信,Linux,数据库,设计模式,算法,缓存等几个模块,由于问题太多,下面先列出问题...

本文标签:[db:词语]

本文地址:http://www.yhzdt.com/nengyuan/gxkmjlnlm.html 转载请注明出处

上一篇: 猎豹移动:微软发布8月例行更新 Windows 10亦受影响
下一篇: “创交会”聚焦人工智能

相关图文

热点话题

频道月排行

热门标签