반응형
batch size가 보통
데이터가 작을 때는 2, 4, 8, 16 ... 등의 2의 제곱수로 code를 짜더라.
왜 그런지 몰랐다.
그 이유는
CPU와 GPU의 메모리가 2의 배수 이므로 배치 크기가 2의 제곱수일 경우에 데이터 송수신의 효율이 가장 높다고 한다.
관용인줄 알았는데..
역시 효율적인 컴공이다
내 컴퓨팅 리소스가 좋다면, 내가 시간이 많다면,
홀수로다가 한번 해보면서
효율이 얼만큼 차이가 나는지 궁금하긴하네
해보신 분들은 댓글 달아주시면
감사하겠습니다.
반응형