hadoop fs -ls /user/spark 인증(permission denied) 에러

즐겁게 하둡과 얀, 스파크를 설치하고 이제 사용을 해보려 한다.

 

$ hadoop fs -ls /user/spark

 

얀은 잘 들어가지는데, 위의 명령어로 spark에 들어가려고 하면 인증 에러가 계속 발생한다. 에러를 자세히 보면, 아래와 같다.

 

inode="/user/spark":spark:spark:drwxr-x--x

 

쉽게 말하면, 권한 자체가 spark만 접근이 가능한 것이다. 소유 그룹을 확인해 보면, yarn은 supergroup에 묶여있지만, spark는 spark그룹에 묶여있기 떄문이다.

 

 

아래의 명령어를 통해 쉽게 해결가능하다.

 

$ export HADOOP_USER_NAME=spark

 

명령어를 치면, 이제 스파크 접근이 가능 할 것이다.