인터넷, 데이터분석 링크. 2013/11/29

gist: https://gist.github.com/upepo/6408539

11/29

오랜만에. 겨울을 맞이하는 업데이트.

• Python Displacing R As The Programming Language For Data Science
• 데이터사이언스 분야에서 python이 R을 빠르게 대체하고 있다는..
• SQL-On-Hadoop 이란?
• Hive, Impala, Apache Drill, Presto, Tajo 비교해서 깔금하게 정리!
• Facebook testing new bookmarks/favorites feature to save great content
• 좋은 컨텐츠를 찾는데는, 역시나 북마크 된 문서인지를 보는게 역시나 중요.
• 북마킹 시스템을 제공하는 회사는 양질의 데이터를 얻을 수 있을 텐데..(서비스가 돈이 벌리는지 아닌지 문제를 떠나서)
• 온라인 광고, ‘허위노출’ 피하려 페이스북, 구글 등으로 몰려
• 노출형광고(DA)의 15%가 허위 노출인 것으로 집계된다고..
• 스패머를 찾는 일과 스패머가 되는 일. 일자리 두 배.

시각화

• plotly
• 분석한 데이터를 웹으로 비쥬얼라이즈 할때 유용할것 같은데. 유료.
• All Breakfast Menus Should Work Like This
   
  

재밌는 기사

• The 50 Free Apps We’re Most Thankful For
• 안써본게 있으면 한번씩 사용해 보세요.
• 젊은이들이 IT 혁신을 일으킨다는 착각: WSJ
• The Surprisingly Complex Way That Scientists Measure Sea Level
• 해발고도 측정하는 방법인데 재밌네요.
• 바다의 높이가 일정한게 아니라서..

학습자료

언제나 느끼는 것. 자료는 많고 공부하기는 싫다.

• LIONbook Chapter 15: Dimensionality reduction
• 2013 NIPS Proceedings
• 너무 많아서 어느 논문이 좋은건지 구분이
• 논문 제목으로 wordcloud

친절한 생물학 - 후쿠오카 신이치 (39/50)

'후쿠오카 신이치'

이 책은 주간지 <AREA>의 연재 칼럼의 글을 모아 놓은 책이다. 독자들의 소소한 고민을 생물학적으로 이야기 하고 특유의 마음씨 좋은 아저씨 같은 목소리로 기운을 북돋아 준다. 짧은 글의 모음이기 때문에 이전의 작품만큼 하나의 분야를 깊이 파고 있지는 못한다. 따라서 생물분야의 지식습득은 어렵고, 상식이나 재미있는 이야기들은 풍부한듯 하다.

철학이 필요한 시간 - 강신주 (38/50)

'고통을 치유하는 인문정신'의 주제로 여러 철학자와 사상을 소개한다. 철학자의 생각의 엑기스를 잘 정리하고 소개 하고 있다. 실제로 읽으면서 번뇌의 마음이 줄어든것 같다. 책일 읽고 나서 읽고 싶은 책들이 늘어난다.

비블리아 고서당 사건수첩 3 - 미카미 엔 (37/50)

얼른 나와랏 4권!

인터넷, 데이터분석 링크. 2013/11/15

gist: https://gist.github.com/upepo/6408539

11/15

• Five Fundamental Concepts of Data Science
1. Begin with the end in mind!
• we should ask: What is the goal? What are we trying to achieve? How do we know if we are successful? If possible, we should quantify these end-goals with metrics – measurable outcomes, with some estimate of the “success threshold.”
2. Know your data!
3. Remember that this *is* science!
• we must remember that we are experimenting with data selections, data combinations, algorithms, combinations (ensembles) of algorithms, success metrics, accuracy measures, and more. All of these items should, at some point, be tested for their validity and applicability to the problem that you are trying to solve. We may know from past experience that a certain combination of data, features, and algorithms will satisfy our needs, but even that past experience was learned (not guessed). Remember this aphorism: “Good judgment comes from experience, and experience comes from bad judgment.”
4. Data are never perfect, but love your data anyway!
5. Overfitting is a sin against data science!
• 구글, 모든 책을 스캔할 수 있는 권리 획득
• Deep Learning 101
1. 딥러닝 101
• Scala documents
  • Programming in Scala, First Edition
  • Scalacheat
  • Scala Glossary
  • Stack Overflow ‘scala’ tag

인터넷, 데이터분석 링크. 2013/11/13

11/13

• Apple Patent Supports Rumors of Pressure-Sensitive Touchscreens
• 루머: 터치스크린을 누르는 강도에 대한 특허
• MS, 직원 상대평가제 폐지
• 이제야…
• 넷플릭스와 유튜브 합치면 인터넷 트래픽 절발
• 동영상 서비스이니까..
• 스마트 시대에 사진 찍(히)는 다양한 방법
• Data Visualization 101 

11/12

• 국내 메이저 게임개발사, 본사 해외이전 검토
• The biggest challenge of data science is framing the problem
• “I thought the biggest thing we’d be dealing was data related, that we were going to bring all these data scientists in, but frankly the biggest aspect is actually the framing of the problem: really finding the question. As any good data scientist will tell you, it’s not so much about the data, it’s the question you start with.”
• Messaging App Line Now Brings In Nearly $100M A Quarter, But No Official Word On An IPO
• 라인은 계속 잘나가네요.
• Introduction to Machine Learning
• CMU 2013 머신러닝 강좌
• 동영상 포함

인터넷, 데이터분석 링크. 2013/11/11

11/11

• 헬로네이처, 국내 최초 직거래 농산물 ‘소포장 묶음 배송’ 실시
• 농산물 소규모 직거래는 중간 유통을 줄이면서 좋은 물건을 합리적으로 구매 할수 있다는 장점이 있다.
• 역설적으로 가능한 이유는 이른바 ‘택배’ 서비스의 발달과 가격인하 인데, 유통을 대기업이 잠식했기 때문에 가능한..
• 물론, 인터넷의 힘이 가장크다.
• 이 추세를 조금 넓게 보면, 재화의 생산자가 기업뿐만 아니라 개인이 생산하는 시대가 이미 와버렸다.
• 핸드매이드, 빈티지, 예술품 등을 사고파는 etsy
• 남는 방이나 집을 빌려주는 airbnb
• 제러미 리프킨이 ’3차 산업혁명’에서 언급했듯이 에너지도 개인이 생산하고 매매하는 시대
• 텃밭에서 농산물을 생산했어도 품질이 좋고, 특별하면 판매 할수도..
• 이 경제에 편승하고 싶다면,
• 개인 생산자가 되거나
• 유통을 하거나 (인터넷 사이트)
• 수많은 물건들 중에 원하는 재화를 쉽게 찾을수 있게 해주거나 추천을 해주거나

- 용어

• Memoryless Property
• P(X>t+s | X>t) = P(X>s)
• 확률변수 X가 지수분포, 기하분포를 따를 때

잠복 - 마쓰모토 세이초 (36/50)

사회파 미스터리의 거장이라고 불리는 마쓰모토 세이초의 단편집.

늦은나이에 소설가로 데뷔했지만, 엄청나게 많은 작품을 남겼다. 40년 동안에 장편을 약 100편, 중단편 등을 포함하면 거의 1,000편이라고 한다. 많은 작품에서 추려서 일까? 책에 있는 8편의 글이 모두 뛰어나다.

범죄의 트릭이나 이를 해결해나가는 탐정의 재치가 없이도 추리소설은 재미있을 수 있었다. 왜 범죄를 저질러야 했는지에 대한 탐구. 사회와 인간의 욕망. 범인이 잡혔어도 씁쓸함이 남는다.

비블리아 고서당 사건수첩 2 - 미카미 엔 (35/50)

비블리아 고서당 사건수첩 1


1편과 마찬가지로 단숨에 읽힌다. 추리와 책에 대한 이야기는 흥미롭다. 독립 된 챕터의 '하나의 책과 그에 얽힌 이야기'와 주인공 '시노카와'의 비밀인 메인 플롯이 적절하게 버무려져 있다.

<시계태엽 오렌지>에 대해서 내가 모르던 사연. '스탠리 큐브릭'의 영화만 봤지, 이 책을 읽어 본 적은 없다. 이 책에 얽힌 이야기는 술자리의 친구들에게 이야기 해도 재미있을 만한 사실!

'시바 료타로'의 젊었을 때의 이야기. 제주에 처음 왔을때 이 사람의 <탐라 기행>을 읽었 었지..

Ways of Seeing - John Berger (34/50)

올해 초에 번역본을 읽었던 책.
제목에 대한 번역이 맘에 안들었기에 원문으로 다시 읽음.

매너리즘에 빠질때 마다 읽으면 정신이 환기 될것 같다.

디자인의 디자인 - 하라 켄야 (33/50)

디자인이란 무엇인가에 대하여 디자인을 하는 책.

새로운 개념과 디자이너들을 알수 있겠기 때문에 유익했다.
저자가 강조하는 '환경'과 '에너지'문제에 대한 시건이 '후쿠시마 사건'이 일어난 이후에 어떻게 변했을지 궁금하다.

책이 뒤쪽에 가서는 힘이 조금 모자란것 같다. 양을 조금 줄였으면 좋았을 듯.

인터넷, 데이터 분석 관련 링크. 2013. 11. 07

• 구글 직원이 말하는 ‘구글에서 일하면 나쁜점’
• 구글은 강항 브랜드와 경쟁력있는 월급으로 똑똑한 인재들을 데려오지만, 막상 그런 인재들이 하찮은 일을 하게 되는 경우가 많다. 아이비리그등 최고의 대학교를 나온 인재가 유튜브에서 적절치 않은 내용이라고 신고 들어온 비디오 삭제하는 일을 하게 되는 경우도 있다.
• 엔지니어들 상당수가 거만하다 — 대부분의 엔지니어가 자신이 다른 사람보다 우월하다고 생각하며 이러한 문화가 생산적인 토론에 큰 방해가 된다.
• 구글은 이미 스타트업이 아니고 큰 회사가 되어 뭔가 개인적인 임팩트를 남기기가 어려워졌다.
• 구글은 엔지니어링은 이해하고 있지만, 디자인은 못한다 — 구글이 실패한 많은 프로젝트들 (Wave, Google Video, Buzz등) 을 보면 엔지니어링적인 면에만 신경쓴 나머지 시각 디자인을 놓쳤다
• 회사에서 오퍼한게 있으면 반드시 문서로 받아두어라 — 구글이 인재를 끌어오기 위해서 이런 저런 불투명한 약속을 하고 잘 지키지 않는 경우가 있다
• R and My Divorce From Word
• MS워드에서 R로 문서 작업을 옮기려 할때 유용한 링크들
• Strata Conference + Hadoop World 2013 유튜브 채널
• 스트라타 + 하둡월드 2013 유튜브 채널

학습자료

• 머신러닝 시작하기
• Devon2013에서 사용했던 자료
• Simpson’s Paradox 설명
• 인터랙티브
• 설명하는 형식만으로도 가치가 있을듯
• 연구실 페이지에도 볼만한 자료가 많아 보임
• Introduction to Data Processing with Python
• Conjugate prior relationships

Gist : https://gist.github.com/upepo/6408539

빈 시간들..

이번주는 길었다.

월요일 회사 외부에서 일을 보고.

월요일 저녁에는 재미있는 술과 이야기.

화요일 제주에 도착하자마자 회식.

수요일 칼퇴 후 책과 영화.

목요일 칼퇴 후 책과 영화.

금요일 자체 C-타임, 칼퇴 후 책과 영화.

토요일 오랜만에 바다가보이는 사우나 제주드라이브 제주오일장.

일요일 집에서 안나오리라 다짐했지만 커피와 좀 걷고 싶다는 마음에..

이번주는 "무조건 일찍 퇴근하고, 퇴근 후에는 일을 절대 하지 않는다."를 잘 실행했다. 의도하진 않았지만, 이런 패턴은 업무시간에 집중력을 높여준다. 

밀도있는 시간과 빈 시간의 반복. 일요일에 학교를 잠깐 갔었다. 그리운건 공간시간에 동방에서 보내던 비어있는 시간들. 그 안의 수많은 농담과 이야기들.. 

당분간은 플랜보다는 욕망.