Escolar Documentos
Profissional Documentos
Cultura Documentos
Digite regedit
V para HEKY_LOCAL_MACHINE > SOFTWARE > BlueStacks > Guests > Android
Clique com o boto direito em Memory depois em Modificar...
Altere o valor 300 para 600 (ou para outro valor que desejar)
Clique em OK