Nvidia memory utilization.

[norfSprite]

The introductory message from hashcat says only 1023/4095 MB allocatable for each GPU. When hashcat is running the nvidia-smi query of memory and utilization says one of the GPUs is using 98% of memory. What is the intro message trying to tell me? The wordlist has 8 words.

Code:

- Device #1: GeForce GTX 980, 1023/4095 MB allocatable, 16MCU - Device #2: GeForce GTX 980, 1023/4095 MB allocatable, 16MCU - Device #3: GeForce GTX 980, 1023/4095 MB allocatable, 16MCU - Device #4: GeForce GTX 980, 1023/4095 MB allocatable, 16MCU

The work parameters are: N = 16384, R = 8, P = 1
The 'tmto' value autosets itself to a value of 6

Code:

WARNING: Not enough single-block device memory allocatable to use --scrypt-tmto 2, increasing... WARNING: Not enough single-block device memory allocatable to use --scrypt-tmto 3, increasing... WARNING: Not enough single-block device memory allocatable to use --scrypt-tmto 4, increasing... WARNING: Not enough single-block device memory allocatable to use --scrypt-tmto 5, increasing... SCRYPT tmto optimizer value set to: 6, mem: 2147483648

nvidia-smi -q -d MEMORY,UTILIZATION

Code:

==============NVSMI LOG============== Driver Version                      : 352.63 Attached GPUs                       : 4 GPU 0000:05:00.0    FB Memory Usage        Total                       : 4095 MiB        Used                        : 2303 MiB        Free                        : 1792 MiB    BAR1 Memory Usage        Total                       : 256 MiB        Used                        : 6 MiB        Free                        : 250 MiB    Utilization        Gpu                         : 0 %        Memory                      : 0 %        Encoder                     : 0 %        Decoder                     : 0 %    GPU Utilization Samples        Duration                    : 16.36 sec        Number of Samples           : 99        Max                         : 0 %        Min                         : 0 %        Avg                         : 0 %    Memory Utilization Samples        Duration                    : 16.36 sec        Number of Samples           : 99        Max                         : 0 %        Min                         : 0 %        Avg                         : 0 %    ENC Utilization Samples        Duration                    : 16.36 sec        Number of Samples           : 99        Max                         : 0 %        Min                         : 0 %        Avg                         : 0 %    DEC Utilization Samples        Duration                    : 16.36 sec        Number of Samples           : 99        Max                         : 0 %        Min                         : 0 %        Avg                         : 0 % GPU 0000:06:00.0    FB Memory Usage        Total                       : 4095 MiB        Used                        : 2296 MiB        Free                        : 1799 MiB    BAR1 Memory Usage        Total                       : 256 MiB        Used                        : 4 MiB        Free                        : 252 MiB    Utilization        Gpu                         : 100 %        Memory                      : 98 %        Encoder                     : 0 %        Decoder                     : 0 %    GPU Utilization Samples        Duration                    : 16.36 sec        Number of Samples           : 99        Max                         : 100 %        Min                         : 99 %        Avg                         : 99 %    Memory Utilization Samples        Duration                    : 16.36 sec        Number of Samples           : 99        Max                         : 100 %        Min                         : 98 %        Avg                         : 98 %    ENC Utilization Samples        Duration                    : 16.36 sec        Number of Samples           : 99        Max                         : 0 %        Min                         : 0 %        Avg                         : 0 %    DEC Utilization Samples        Duration                    : 16.36 sec        Number of Samples           : 99        Max                         : 0 %        Min                         : 0 %        Avg                         : 0 % GPU 0000:0C:00.0    FB Memory Usage        Total                       : 4095 MiB        Used                        : 2296 MiB        Free                        : 1799 MiB    BAR1 Memory Usage        Total                       : 256 MiB        Used                        : 4 MiB        Free                        : 252 MiB    Utilization        Gpu                         : 0 %        Memory                      : 0 %        Encoder                     : 0 %        Decoder                     : 0 %    GPU Utilization Samples        Duration                    : 16.36 sec        Number of Samples           : 99        Max                         : 100 %        Min                         : 0 %        Avg                         : 82 %    Memory Utilization Samples        Duration                    : 16.36 sec        Number of Samples           : 99        Max                         : 69 %        Min                         : 0 %        Avg                         : 51 %    ENC Utilization Samples        Duration                    : 16.36 sec        Number of Samples           : 99        Max                         : 0 %        Min                         : 0 %        Avg                         : 0 %    DEC Utilization Samples        Duration                    : 16.36 sec        Number of Samples           : 99        Max                         : 0 %        Min                         : 0 %        Avg                         : 0 % GPU 0000:0D:00.0    FB Memory Usage        Total                       : 4095 MiB        Used                        : 2296 MiB        Free                        : 1799 MiB    BAR1 Memory Usage        Total                       : 256 MiB        Used                        : 4 MiB        Free                        : 252 MiB    Utilization        Gpu                         : 0 %        Memory                      : 0 %        Encoder                     : 0 %        Decoder                     : 0 %    GPU Utilization Samples        Duration                    : 16.36 sec        Number of Samples           : 99        Max                         : 100 %        Min                         : 0 %        Avg                         : 82 %    Memory Utilization Samples        Duration                    : 16.36 sec        Number of Samples           : 99        Max                         : 70 %        Min                         : 0 %        Avg                         : 52 %    ENC Utilization Samples        Duration                    : 16.36 sec        Number of Samples           : 99        Max                         : 0 %        Min                         : 0 %        Avg                         : 0 %    DEC Utilization Samples        Duration                    : 16.36 sec        Number of Samples           : 99        Max                         : 0 %        Min                         : 0 %        Avg                         : 0 %

While idle:

Code:

==============NVSMI LOG============== Driver Version                      : 352.63 Attached GPUs                       : 4 GPU 0000:05:00.0    FB Memory Usage        Total                       : 4095 MiB        Used                        : 22 MiB        Free                        : 4073 MiB    BAR1 Memory Usage        Total                       : 256 MiB        Used                        : 4 MiB        Free                        : 252 MiB    Utilization        Gpu                         : 0 %        Memory                      : 0 %        Encoder                     : 0 %        Decoder                     : 0 %    GPU Utilization Samples        Duration                    : 37.57 sec        Number of Samples           : 99        Max                         : 0 %        Min                         : 0 %        Avg                         : 0 %    Memory Utilization Samples        Duration                    : 37.57 sec        Number of Samples           : 99        Max                         : 0 %        Min                         : 0 %        Avg                         : 0 %    ENC Utilization Samples        Duration                    : 37.57 sec        Number of Samples           : 99        Max                         : 0 %        Min                         : 0 %        Avg                         : 0 %    DEC Utilization Samples        Duration                    : 37.57 sec        Number of Samples           : 99        Max                         : 0 %        Min                         : 0 %        Avg                         : 0 % GPU 0000:06:00.0    FB Memory Usage        Total                       : 4095 MiB        Used                        : 15 MiB        Free                        : 4080 MiB    BAR1 Memory Usage        Total                       : 256 MiB        Used                        : 2 MiB        Free                        : 254 MiB    Utilization        Gpu                         : 0 %        Memory                      : 0 %        Encoder                     : 0 %        Decoder                     : 0 %    GPU Utilization Samples        Duration                    : 39.08 sec        Number of Samples           : 99        Max                         : 0 %        Min                         : 0 %        Avg                         : 0 %    Memory Utilization Samples        Duration                    : 39.08 sec        Number of Samples           : 99        Max                         : 0 %        Min                         : 0 %        Avg                         : 0 %    ENC Utilization Samples        Duration                    : 39.08 sec        Number of Samples           : 99        Max                         : 0 %        Min                         : 0 %        Avg                         : 0 %    DEC Utilization Samples        Duration                    : 39.08 sec        Number of Samples           : 99        Max                         : 0 %        Min                         : 0 %        Avg                         : 0 % GPU 0000:0C:00.0    FB Memory Usage        Total                       : 4095 MiB        Used                        : 15 MiB        Free                        : 4080 MiB    BAR1 Memory Usage        Total                       : 256 MiB        Used                        : 2 MiB        Free                        : 254 MiB    Utilization        Gpu                         : 0 %        Memory                      : 0 %        Encoder                     : 0 %        Decoder                     : 0 %    GPU Utilization Samples        Duration                    : 38.24 sec        Number of Samples           : 99        Max                         : 0 %        Min                         : 0 %        Avg                         : 0 %    Memory Utilization Samples        Duration                    : 38.24 sec        Number of Samples           : 99        Max                         : 0 %        Min                         : 0 %        Avg                         : 0 %    ENC Utilization Samples        Duration                    : 38.24 sec        Number of Samples           : 99        Max                         : 0 %        Min                         : 0 %        Avg                         : 0 %    DEC Utilization Samples        Duration                    : 38.24 sec        Number of Samples           : 99        Max                         : 0 %        Min                         : 0 %        Avg                         : 0 % GPU 0000:0D:00.0    FB Memory Usage        Total                       : 4095 MiB        Used                        : 15 MiB        Free                        : 4080 MiB    BAR1 Memory Usage        Total                       : 256 MiB        Used                        : 2 MiB        Free                        : 254 MiB    Utilization        Gpu                         : 0 %        Memory                      : 0 %        Encoder                     : 0 %        Decoder                     : 0 %    GPU Utilization Samples        Duration                    : 43.92 sec        Number of Samples           : 99        Max                         : 0 %        Min                         : 0 %        Avg                         : 0 %    Memory Utilization Samples        Duration                    : 43.92 sec        Number of Samples           : 99        Max                         : 0 %        Min                         : 0 %        Avg                         : 0 %    ENC Utilization Samples        Duration                    : 43.92 sec        Number of Samples           : 99        Max                         : 0 %        Min                         : 0 %        Avg                         : 0 %    DEC Utilization Samples        Duration                    : 43.92 sec        Number of Samples           : 99        Max                         : 0 %        Min                         : 0 %        Avg                         : 0 %

[atom]

The 1/4 memory limit is because of OpenCL, which has some weird memory allocation rule. According to their specs: "Max size of memory object allocation in bytes. The minimum value is max (1/4th of CL_DEVICE_GLOBAL_MEM_SIZE, 128*1024*1024)"

Hashcat tries to workaround this for scrypt, where it is really needed. So the scrypt kernel is rewritten to work with 4 differen memory buffers.