'FS'에 해당되는 글 2건

  1. 2013.04.24 [Hadoop] hadoop version branch history.
  2. 2013.04.24 [Hadoop] bin/hadoop fs & dfs are same.

[Hadoop] hadoop version branch history.

ITWeb/Hadoop일반 2013.04.24 15:54

hadoop shell command 로 테스트 도중 overwrite 관련 내용이 궁금해서 찾아본 내용 정리 합니다.


일단, 하둡의 버전 부터 알아 봅시다.





자 그럼 여기서 overwrite 기능이 추가된 버전은 무엇일까요?

https://issues.apache.org/jira/browse/HADOOP-7361


그렇습니다.

0.23.x 부터 시작된 branch 에 반영이 되어 있습니다.

저 처럼 괜히 1.0.x 에서 왜 안되지 하는 삽질은 하지 마시기 바랍니다.


궁금한건 해결해야 하는 성격이라 올려 봅니다.

1.0.x 에서는 삭제하고 올리면 됩니다.


관련 소스코드는 

hadoop-release-1.0.4/src/core/org/apache/hadoop/fs/FsShell.java

를 보시면 됩니다.


신고
tags : dfs, FS, hadoop, overwrite, Put
Trackback 0 : Comment 0

[Hadoop] bin/hadoop fs & dfs are same.

ITWeb/Hadoop일반 2013.04.24 15:31

하둡을 시작 한 지 얼마 되지 않아서 궁금한게 무지 많습니다.

그래서 기초부터 차근 차근 하려고 합니다.


우선 wordcount m/r 테스트 도중 발생한 궁금증??


bin/hadoop fs

bin/hadoop dfs


문서를 보다 보면 이렇게 두 가지가 나오는데요.

두개가 뭐가 다르지 해서 찾아 봤습니다.


bni/hadoop 파일을 열어 보시면 나옵니다.

결론은 두 개가 같다 입니다.


......

elif [ "$COMMAND" = "fs" ] ; then

  CLASS=org.apache.hadoop.fs.FsShell

  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"

elif [ "$COMMAND" = "dfs" ] ; then

  CLASS=org.apache.hadoop.fs.FsShell

  HADOOP_OPTS="$HADOOP_OPTS $HADOOP_CLIENT_OPTS"

......


신고
Trackback 0 : Comment 0