adsense728x90


ubuntu 16.04에 2 nvidia 1080 cards SLI 연결하고 DNN용 drivers설치 DataMining




을 참고하되, 최신 driver를 썼다.

nvidia-370, cuda를 설치했을 때에는 nvidia graphic card로는 모니터에 신호가 없었고, 
내장 GPU로는 black screen이었다.

ubuntu 16.04LTS1 을 설치하고, nvidia driver부터 설치해 봤다.
처음에는 내장 GPU에 모니터를 연결해서 booting
sudo add-apt-repository ppa:graphics-drivers/ppasudo apt-get updatesudo apt-get install nvidia-375sudo apt-get install mesa-common-devsudo apt-get install freeglut3-dev

설치 후, 부팅 시작하는 시점?까지 내장 GPU에서 화면이 보이다가 화면이 꺼진다.
nvidia graphic card하나를 모니터에 연결했더니 화면이 보인다. 다행.

그런데, 설정에서 보면, nvidia-376을 쓰고 있네.

cuda 8.0도 설치하고 rebooting 해 봤다.
다행히도 화면이 보인다 ㅎ

conda, docker, nvidia-docker를 설치했다.
sudo service start docker해도
docker run하면, docker daemon에 연결할 수 없다고 나온다.
docker ps해도 마찬가지.
sudo docker ps는 잘 작동한다.
docker group권한에 user를 추가해도 마찬가지.
rebooting하고, sudo service start docker하니까 고쳐졌다.

pycharm을 설치했다.





Wine quality data set 분석 tutorials DataMining




어떤 지표가 quality와 어떤 관계가 있는지 graph로 설명해 준다.


graph그리는 R 명령을 배울 수 있다.

library(GGally)theme_set(theme_minimal(20))set.seed(2183)ggpairs(wine[sample.int(nrow(wine),1000),])

plot of chunk Scatterplot Matrix



red$quality <- as.integer(red$quality)par(mfrow = c(4,3))for (i in c(1:11)) {    plot(red[, i], jitter(red[, "quality"]), xlab = names(red)[i],         ylab = "quality", col = "firebrick", cex = 0.8, cex.lab = 1.3)    abline(lm(red[, "quality"] ~ red[ ,i]), lty = 2, lwd = 2)}par(mfrow = c(1, 1))


한 단계씩 배우기





그 외





spark ALS memory 문제 해결 조사 DataMining


spark 실행이 error로 멈추곤 하는데,
시작하는 error를 잘 보면, OutOfMemoryError로 시작하거나, TimeoutException으로 시작했다.

처음에는 tuning을 해봤다.
connection heartbeat, timeout 시간을 엄청 늘려주고, memory를 잘 맞춰서 늘려줬다.

      --conf "spark.yarn.maxAppAttempts=1" \
      --conf "spark.memory.fraction=0.75" \
      --conf "spark.rdd.compress=true" \
      --conf "spark.yarn.executor.memoryOverhead=1024" \
      --conf "spark.yarn.driver.memoryOverhead=1024" \
      --conf "spark.network.timeout=10000000" \
      --conf "spark.executor.heartbeatInterval=10000000" \



처음에 


    at scala.collection.mutable.ArrayBuilder$.make(ArrayBuilder.scala:43)    at org.apache.spark.ml.recommendation.ALS$RatingBlockBuilder.<init>(ALS.scala:783)    at org.apache.spark.ml.recommendation.ALS$$anonfun$partitionRatings$1$$anonfun$12.apply(ALS.scala:838)
는 numUserBlocks, numItemBlocks
에 따라 결정되는 것 같다. ALS를 new할 때 개수를 지정해줄 수 있다. 기본 10x10

  def train[ID: ClassTag]( // scalastyle:ignore      ratings: RDD[Rating[ID]],      rank: Int = 10,      numUserBlocks: Int = 10,      numItemBlocks: Int = 10,...    val userPart = new ALSPartitioner(numUserBlocks)    val itemPart = new ALSPartitioner(numItemBlocks)...    val blockRatings = partitionRatings(ratings, userPart, itemPart)...    val numPartitions = srcPart.numPartitions * dstPart.numPartitions    ratings.mapPartitions { iter =>

결국에 찾아낸 것은 
file로부터 생성된 RDD가 partition 개수가 몇 만 개 이상 많은 게 문제였다. numPartitions를 수동으로 지정해서 낮춰줘서 해결됐다.

aws vpn으로 접속해서 쓰기 조사 Infrastructures

aws security group에 inbound rules 등록해가면서 쓰는 게 귀찮다.
vpn으로 연결할 수 있으면 좋겠는데,

vpn client program으로 로그인해서 쓰는 게 
에서 software vpn 같은 건가 보네

를 설치해서 쓰면 EC2값만 내도 되겠다.

home server로 쓸 만한 베어본도 찾아봤다.

성능 좋은 NUC가 나왔네. memory, ssd까지 사면 10만엔이 넘는다.

ubuntu 16.04에서 일본어 입력할 수 없을 때 ibus Linux


Text Entry 설정에서

Japanese mozc를 추가할 수가 없었다.

뭐가 왜 언제부터 잘못됐는지 잘 모르겠다.

막 만지다가 적당히 고쳐졌다.

이것 저것 만진 것들
  1. ibus를 사용하도록 설정 https://moritzmolch.com/2287
  2. sudo apt-get install anthy

Japanese (Mozc) (IBus)
Korean (Hangul) (IBus)

를 쓸 수 있게 됐다.

내가 쓰는 키보드는 일본어 배열인데, Korean (Hangul) (IBus) 는 영문 키보드 배열 영어도 포함돼 있어서 조금 귀찮다.




1 2 3 4 5 6 7 8 9 10 다음