Category Archives: Techical

각종 Technical Issues

퍼셉트론 이론 및 구현

들어가기 전에… 참고링크 퍼셉트론: https://en.wikipedia.org/wiki/Perceptron 단층 퍼셉트론: http://untitledtblog.tistory.com/27 다층 퍼셉트론: http://untitledtblog.tistory.com/35 이 내용들을 이해하고 시작해보자. Ian 교수님의 Data Mining 교재를 보면 퍼셉트론은 다음과 같이 정의하고 있다. 이와 같이 유도되는 다항식 ax^2+bx^2+cx^2+dx^2+ex^2+fx^2…   에 대한 초평면의 집합으로 정의된다. 신경망으로 보면 각 Cell 에 대한 가중치와 그에 대한 연결로 표현할 수 있다. 신경망은 인간의 뉴런 시뮬레이션으로 시작되었으므로,  단일 인공 뉴런은 … Read More »

737 total views, 2 views today

Hive – Execution Error

참고문서: https://cwiki.apache.org/confluence/display/Hive/GettingStarted $ hive [ERROR] Terminal initialization failed; falling back to unsupported java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected at jline.TerminalFactory.create(TerminalFactory.java:101) at jline.TerminalFactory.get(TerminalFactory.java:158) Troubleshoot: https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started [ERROR] Terminal initialization failed; falling back to unsupported java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected Hive has upgraded to Jline2 but jline 0.94 exists in the Hadoop lib. Delete… Read More »

739 total views, 7 views today

Node.js 와 개발 프레임워크(1) – Node.js

어느날, 모 처로 부터 Full Stack 개발이 편한 프레임워크가 있다는 소개를 받는다. 솔깃하지 않은가? OS / WAS 까지의 셋업 및 커스터마이즈, 튠업이 얼마나 험난한 길인지 안다면 말이다. 이름 하여 Node.js 와 관련 프레임워크. 우선 Node.js 로 부터 시작해보자 한글위키: https://ko.wikipedia.org/wiki/Node.js 영문위키: https://en.wikipedia.org/wiki/Node.js 영문 위키를 확인해보면,  Node.js 의 몇 가지 중요한 특성을 알 수 있는데 Threading –… Read More »

2,112 total views, 7 views today

Hive 에 Maria DB 로 metadata store 지정하기

Maria DB 설치 설치: http://zetawiki.com/wiki/CentOS_MariaDB_%EC%84%A4%EC%B9%98 rpm -qa 명령으로 mariadb 설치 여부 확인 repository 설정: Mariadb.repo 추가 http://zetawiki.com/wiki/YUM_MariaDB_%EC%A0%80%EC%9E%A5%EC%86%8C_%EC%B6%94%EA%B0%80 yum install 명령으로 mariadb 설치 DB Start / Change Password Check Connection / chkconfig on for service control automation 권한 설정(외부접속): https://mariadb.com/kb/en/mariadb/grant/ 드라이버 설치: https://downloads.mariadb.org/connector-java/ 드라이버 설정: http://tibang.tistory.com/454 Hive Configuration hive-site.xml: http://bigmark.tistory.com/35 2,614 total views, 3 views today

2,614 total views, 3 views today

R을 기반으로 한 빅데이터 분석 특강 후기

* 이 포스팅은 (주) 박영사에서 출판되는 한성대학교 권혁제 교수님의 “Dance with R”  저서 특강 참여 후기입니다. * 포스팅을 고려하지 않은 후기이므로 사진이 없습니다. ㅜㅜ 날씨가 추워지는 어느 날, 회사 벽에 위 그림과 같은 포스터가 붙었다. “Dance with R”  공짜.. 아니 무료 강좌입니다. 저자의 서명이 들어간 저서 증정 이벤트! 도 있다고 한다. 이렇게 좋은 기회를 놓.칠.소.냐.… Read More »

2,407 total views, 7 views today

High CPU usage query & Adding Index

CASE: 특정 쿼리가 CPU 사용률이 높아, DB hit 수 증가 시 CPU Spike(100% usage) 가 발생 Type: MSSQL 2012 이러한 경우, 이미 query 는 알고 있으나 이 쿼리에 대한 index 를 걸어주면 대부분 해결된다. 하지만, 긴급한 상황에서 Application Designer 가 없고 DBA 가 즉시 해결해야 할 경우에MS SQL 은 Wizard 가 잘 되어 있으므로, 다음과… Read More »

2,200 total views, 7 views today

log truncate interruption – open transaction

http://yoonsy.tistory.com/26 Case: DB Type: MS SQL 2012 DB 복구모델: 전체 하루는 DB log size 가 크게 늘어나 디스크 용량을 압박하고 있다. 확인해보니 log 파일 사이즈가  크게 늘어나 있고, Transaction Log backup 은 정상적으로 이루어지고 있었지만 Log 가 줄지 않고 있다. 이를 처리하기 위해 DBCC SHRINKFILE 문으로 처리하려고 하나.. 응? 파일이 줄어들지 않는다?! 위에 언급해 둔… Read More »

2,442 total views, 4 views today

Apache Giraph – From installation to Example execution

아파치 하둡 기반의 다양한 플랫폼 중에서 오늘은 Apache Giraph 를 알아보고,  예제인 SimpleShortestPathsComputation 을 실행해 보려고 한다. 먼저 Giraph 에 대한 소개를 보자(http://giraph.apache.org/) Welcome to Apache Giraph! Apache Giraph is an iterative graph processing system built for high scalability. For example, it is currently used at Facebook to analyze the social graph formed by users and… Read More »

2,939 total views, 4 views today

AWS EC2 서버 간 무 인증 연동을 위한 SSH / Key 설정

Prerequisite 본 내용은 아마존 EC 서버가 이미 생성되어 있음을 가정합니다. 본 내용은 SSHD/SSH 및 Key 관련 내용을 포함합니다. Conditions 두 대의 EC 서버가 존재한다고 가정합니다. 각 서버의 계정은 기본 계정인 ec2-user 를 사용하는 것으로 가정합니다. 각 서버의 URL 은 ec1.compute.amazonaws.com, ec2.compute.amazonaws.com 으로 가정합니다. 각 서버 SSH 접속을 위해 Amazon 에서 제공되는 기본 pem 파일 명은… Read More »

3,241 total views, 7 views today

Data Mining Algorithm List Tree

related material: 『Data Mining』-written by Ian H. Witten Basic Data Mining Algorithm ├───기본 규칙 추출: 1R ├───통계 모델링: 단순 베이지안 , 가우시안/정규분포(수치형) ├───분할정복기법: 의사결정트리 ├───연관 규칙 마이닝 ├───선형모델 │               ├수리예측: 선형 회귀 │               ├선형분류: 로지스틱 회귀 │            … Read More »

2,568 total views, 4 views today