Thursday, October 30, 2014

Hadoop - pseudo distributed mode setup


You can simply make your standalone hadoop setup to a pseudo distributed mode with following changes

  • In HADOOP_HOME/etc/hadoop/core-site.xml, add

    
        fs.defaultFS
        hdfs://localhost:9000
    

  • In HADOOP_HOME/etc/hadoop/hdfs-site.xml, add
    
        
            dfs.replication
            1
        
    
  • Make sure that you can connect to localhost with ssh.

Start and test your hadoop setup


  • Fist navigate to HADOOP_HOME
  • Format the hadoop file system
        /bin/hdfs namenode –format
  • Start Name node and Data node
        /sbin/start-dfs.sh

  • Now you should be able to browse the hadoop web interface through
        And your hadoop file system under
        Utilities > browse the file system

  • Add /user/ to hadoop file system
        hdfs dfs –mkdir /user
        hdfs dfs –mkdir /user/
        You will be able to see these directories when you browse the file system now. And you can list         the files with
        hdfs dfs –ls ( ie: hdfs dfs –ls / )

  • Copy the input file to the hadoop file system
        hdfs dfs –put
        ie: hdfs dfs –put myinput input
and the file will be copied to /user//input

  • Run the application with
      hadoop jar [local path to jar file] [path to main class] [input path in dfs]  [output location in dfs]
        ie: hadoop jar myapp.jar test.org.AppRunner input output

Result file: part-r-00000 should be saved in the output directory of dfs ( /user/[username]/output

1 comment:

  1. Những biểu hiện và cách chữa đau dạ dày hiệu quả bằng đông tây y , Đông y chữa loét dạ dày , Bệnh viem amidan cap tính , Phép chữa viêm amidan mủ ,Thuốc trị nổi mề đay mẩn ngứa , Thuốc chữa gan nhiễm mỡ , Làm cách nào chữa viêm phế quản phổi cho bé , Thuốc dân gian chữa ho có đờm ,Dân gian trong chữa bệnh viêm mũi dị ứng mãn tính ,Viêm xoang mũi và cach chua viem xoang hieu qua nhanh, Tây y trong điều trị thuốc đông y chữa dạ dày Triệt để , Cùng các mẹ chữa Bệnh trào ngược dạ dày ,Bệnh trào ngược dạ dày và cách chữa bệnh trào ngược dạ dày đơn giản , Thuốc chống rụng tóc hiệu quả , Viêm phụ khoa điều trị rối loạn kinh nguyệt thật dễ , Thoái hóa cột sống và thoái hóa đốt sống cổ có nhiều liên quan .ở nhà cũng có thể giảm đau dạ dày rất đơn giản . Bài thuốc nam gia truyền dieu tri viem gan b mãn , Thuốc nam tri viem amidan , Viêm mũi họng viêm amidan hốc mủ trắng chữa ra sao ?, Bệnh đường tiêu hóa benh dai trang mãn tính . Cách phòng ngừa bệnh dạ dày bằng đau dạ dày không nên ăn gì thật dễ dàng . Những biểu hiện và trieu chung dau da day thế nào là đúng nhất. Mẹo hay chữa benh viem hong mãn tính

    ReplyDelete