PySpark: 손상된 parquet파일 무시하기

# spark 는 SparkSession 객체
path = [
    's3a://some-bucket/brokenfile.parquet', # Broken!
]

df = spark.read.parquet(*path) # SparkException!
``` 

위와 같은 코드를 실행할 경우 아래와 같이 깨진 파일이 속한 parquet파일들을 읽으려 할 경우 아래와 같이 `org.apache.spark.SparkException`이 발생합니다.

![SparkException](https://d1sr4ybm5bj1wl.cloudfront.net/img/dropbox/2018-02-26 PM 2.54.19.png)

로그를 살펴보면 "Could not read footer for file" 이라는 문구가 보입니다. 즉, parquet파일의 footer가 손상되어 파일을 읽어오지 못합니다. 하지만 이 파일 하나만 문제가 있다 하더라도 전체 과정이 멈춰버립니다. 더 심각한 문제는 만약 `*path`중 첫 번째 파일의 footer가 정상적이었다면 저 `path` 리스트 중 한 파일이 문제가 있다 하더라도 Spark의 lazy loading, lazy computing으로 인해 `.show()`나 `.count()`와 같이 실제 데이터가 필요한 코드를 실행하기 전까지는 데이터를 불러오지 않고 메타게이터만 연결된 DataFrame 객체를 사용하기 때문에 파이썬 코드들이 정상적으로 작동하더라도 실제 parquet파일이 깨졌다는 사실을 알 수가 없다는 것입니다.

```python
path = [
    's3a://some-bucket/normal1.parquet', # 정상
    's3a://some-bucket/normal2.parquet', 
    's3a://some-bucket/normal3.parquet', 
    's3a://some-bucket/brokenfile.parquet', # Broken!
    's3a://some-bucket/normal4.parquet', 
    # ...
]

df = spark.read.parquet(*path) # 정상적으로 실행된다.

spark.conf.set("spark.sql.files.ignoreCorruptFiles","true")

path = [
    's3a://some-bucket/normal1.parquet', # 정상
    's3a://some-bucket/normal2.parquet',
    's3a://some-bucket/normal3.parquet',
    's3a://some-bucket/brokenfile.parquet', # Broken!
    's3a://some-bucket/normal4.parquet',
    # ...
]

spark.conf.set("spark.sql.files.ignoreCorruptFiles","true")
df = spark.read.parquet(*path) # 정상적으로 실행된다.