전체 글 (231) 썸네일형 리스트형 [6기] 프로그래머스 인공지능 데브코스 78일차 TIL 1117 [13주차 - Day5] Spark Spark 3 보스턴 주택 가격 예측 모델 # 실습필요한 패키지 다운로드 !pip install pyspark==3.0.1 py4j==0.10.9Spark 생성 from pyspark.sql import SparkSession spark = SparkSession \ .builder \ .appName("Boston Housing Linear Regression example") \ .getOrCreate()데이터셋 다운로드 !wget https://s3-geospatial.s3-us-west-2.amazonaws.com/boston_housing.csv data = spark.read.csv('./boston_housing.csv', heade.. [6기] 프로그래머스 인공지능 데브코스 77일차 TIL 1116 [11주차] 심층학습 필기 대충만 또 끄적이기 [6기] 프로그래머스 인공지능 데브코스 76일차 TIL 1115 [13주차 - Day3] Spark Spark 2 SparkSQL 명령어들 업로드 # 실습# 데이터프레임을 테이블뷰로 만들어서 SparkSQL로 처리해보기 namegender_df.createOrReplaceTempView("namegender") namegender_group_df = spark.sql("SELECT gender, count(1) FROM namegender GROUP BY 1") namegender_group_df.collect() # Redshift와 연결해서 테이블들을 데이터프레임으로 로딩하기 df_user_session_channel = spark.read \ .format("jdbc") \ .option("driver", "com.amazon.redshift.jdbc4.. [6기] 프로그래머스 인공지능 데브코스 75일차 TIL 1114 [13주차 - Day2] Spark Spark Spark 관련 핵심 명령어들 업로드 # 애플 주식 데이터 활용한 실습# pandas 데이터프레임으로 로딩해서 Spark 데이터프레임으로 변경한다 import pandas as pd apple_pandas_df = pd.read_csv("https://pyspark-test-sj.s3-us-west-2.amazonaws.com/appl_stock.csv") apple_spark_df = spark.createDataFrame(apple_pandas_df) # 스키마를 프린트해보기 apple_spark_df.printSchema() # describe를 사용하여 데이터프레임의 컬럼별 통계보기 apple_spark_df.describe().show() .. [6기] 프로그래머스 인공지능 데브코스 74일차 TIL 1113 [13주차 - Day1] Spark 강의 개요 Big Data 팀 현업에서의 업무와 문제점 등에 대한 강의 캡처 몇 장만 그리고 취준생으로서 가장 와닿았던 파트에 대한 캡처도... [6기] 프로그래머스 인공지능 데브코스 73일차 TIL 1112 CS231n 강의 assignments colab 통해서 git에 commit하기 https://github.com/yeeeeeaa/cs231n-assignments GitHub - yeeeeeaa/cs231n-assignments Contribute to yeeeeeaa/cs231n-assignments development by creating an account on GitHub. github.com colab에서도 그냥 파이썬이나 다른 언어에서처럼 깃 명령어 쓰면 된다는 걸 오늘 알았다... 앞으로 강의 듣고 과제 풀면서 계속 업로드해보기...! [6기] 프로그래머스 인공지능 데브코스 72일차 TIL 1111 [11주차] 심층학습 필기 대충만 또 끄적이기 [6기] 프로그래머스 인공지능 데브코스 71일차 TIL 1110 SQL_Analysis SQL을 이용한 데이터 분석 숙제 3일차 #1 SELECT LEFT(B, 7) "month", A.channel, COUNT(DISTINCT userid) uniqueUsers, COUNT(DISTINCT CASE WHEN amount > 0 THEN userid END) paidUsers, ROUND(paidUsers*100.0/NULLIF(uniqueUsers, 0), 2) AS conversionRate SUM(amount) grossRevenue SUM(CASE WHEN refunded is False THEN amount END) netRevenue FROM raw_data.user_session_channel A JOIN raw_data.session_times.. 이전 1 ··· 6 7 8 9 10 11 12 ··· 29 다음
