배치사이즈 짝수

    [딥러닝/머신러닝] batch size가 2의 제곱수인 이유

    batch size가 보통 데이터가 작을 때는 2, 4, 8, 16 ... 등의 2의 제곱수로 code를 짜더라. 왜 그런지 몰랐다. 그 이유는 CPU와 GPU의 메모리가 2의 배수 이므로 배치 크기가 2의 제곱수일 경우에 데이터 송수신의 효율이 가장 높다고 한다. 관용인줄 알았는데.. 역시 효율적인 컴공이다 내 컴퓨팅 리소스가 좋다면, 내가 시간이 많다면, 홀수로다가 한번 해보면서 효율이 얼만큼 차이가 나는지 궁금하긴하네 해보신 분들은 댓글 달아주시면 감사하겠습니다.