Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

AreTomo Relion5.0 Wrapper fails #1175

Open
AssmannG opened this issue Aug 21, 2024 · 2 comments
Open

AreTomo Relion5.0 Wrapper fails #1175

AssmannG opened this issue Aug 21, 2024 · 2 comments

Comments

@AssmannG
Copy link

AssmannG commented Aug 21, 2024 •
edited
Loading

Describe your problem

HI,

we are (most likely) having a problem with the Aretomo Wrapper from Relion 5 . The job "Algin Tilt Series" runs successfully with AreTomo , but fails when writing the STAR file for aligned tilt-series.

Environment:

  • OS: RH7
  • RELION version [e.g. RELION-5.0-beta-commit-832d07]
  • Memory: 25GB

Job options:

srun `which relion_python_tomo_align_tilt_series` AreTomo  --sample-thickness-nanometers 200 --do-tilt-angle-offset-correction  --
tilt-series-star-file mouseHeart3_10FramesPerTilt/CtfFind/TS_00001_grid2_id9_lam4_pos23/tilt_series_ctf.star --output-directory Al
ignTiltSeries/job060/  --pipeline_control AlignTiltSeries/job060/

The Error from run.out:
[15:22:02] Extracting metadata from STAR file cli.py:29
Aligning TS_00001_grid2_id9_lam4_pos23... cli.py:35
[15:22:02] Running AreTomo on align_tilt_series.py:44
TS_00001_grid2_id9_lam4_pos23
[15:27:32] Writing STAR file for aligned tilt-series align_tilt_series.py:61

The error that we get in run.err is the following:
(upper part)

───────────────────── Traceback (most recent call last) ──────────────────────╮
│ in aretomo_cli:2                                                             │
│ ╭───────────────────────────────── locals ─────────────────────────────────╮ │
│ │ do_tilt_angle_offset_correction = True                                   │ │
│ │                             gpu = []                                     │ │
│ │                output_directory = PosixPath('AlignTiltSeries/job060')    │ │
│ │                pipeline_control = PosixPath('AlignTiltSeries/job060')    │ │
│ │     sample_thickness_nanometers = 200.0                                  │ │
│ │           tilt_series_star_file = PosixPath('mouseHeart3_10FramesPerTil… │ │
│ │                   tomogram_name = None                                   │ │
│ ╰──────────────────────────────────────────────────────────────────────────╯ │
│                                                                              │
│ /opt/psi/EM/relion/5.0-beta/conda_env/5.0-beta/lib/python3.10/site-packages/ │
│ tomography_python_programs/_utils/relion.py:75 in pipeline_job               │
│                                                                              │
│   72 │   │   │   job_directory.mkdir(parents=True, exist_ok=True)            │
│   73 │   │   try:                                                            │
│   74 │   │   │   pipeline_directory = kwargs.pop(PIPELINE_CONTROL_KEYWORD_AR │
│ ❱ 75 │   │   │   func(*args, **kwargs)                                       │
│   76 │   │   │   if job_directory is not None and pipeline_directory is not  │
│   77 │   │   │   │   write_job_success_file(job_directory)                   │
│   78 │   │   except BaseException:                                           │
│                                                                              │
│ ╭───────────────────────────────── locals ─────────────────────────────────╮ │
│ │               args = ()                                                  │ │
│ │               func = <function aretomo_cli at 0x2b2d80e464d0>            │ │
│ │      job_directory = PosixPath('AlignTiltSeries/job060')                 │ │
│ │             kwargs = {                                                   │ │
│ │                      │   'tilt_series_star_file':                        │ │
│ │                      PosixPath('mouseHeart3_10FramesPerTilt/CtfFind/TS_… │ │
│ │                      │   'output_directory':                             │ │
│ │                      PosixPath('AlignTiltSeries/job060'),                │ │
│ │                      │   'sample_thickness_nanometers': 200.0,           │ │
│ │                      │   'do_tilt_angle_offset_correction': True,        │ │
│ │                      │   'tomogram_name': None,                          │ │
│ │                      │   'gpu': []                                       │ │
│ │                      }                                                   │ │
│ │ pipeline_directory = PosixPath('AlignTiltSeries/job060')                 │ │
│ ╰──────────────────────────────────────────────────────────────────────────╯ │
│                                                                              │
│ /opt/psi/EM/relion/5.0-beta/conda_env/5.0-beta/lib/python3.10/site-packages/ │
│ tomography_python_programs/align_tilt_series/aretomo/cli.py:36 in            │
│ aretomo_cli                                                                  │
│                                                                              │
│   33 │   )                                                                   │
│   34 │   for global_data, tilt_series in tilt_series_set:                    │
│   35 │   │   console.log(f'Aligning {tilt_series.name}...')                  │
│ ❱ 36 │   │   align_single_tilt_series(                                       │
│   37 │   │   │   tilt_series=tilt_series,                                    │
│   38 │   │   │   pixel_spacing_angstroms=global_data['rlnTomoTiltSeriesPixel │
│   39 │   │   │   sample_thickness_nanometers=sample_thickness_nanometers,    │
│                                                                              │
│ ╭───────────────────────────────── locals ─────────────────────────────────╮ │
│ │ do_tilt_angle_offset_correction = True                                   │ │
│ │                     global_data = rlnTomoName                            │ │
│ │                                   TS_00001_grid2_id9_lam4_pos23          │ │
│ │                                   rlnVoltage                             │ │
│ │                                   300.0                                  │ │
│ │                                   rlnSphericalAberration                 │ │
│ │                                   2.7                                    │ │
│ │                                   rlnAmplitudeContrast                   │ │
│ │                                   0.1                                    │ │
│ │                                   rlnMicrographOriginalPixelSize         │ │
│ │                                   1.88                                   │ │
│ │                                   rlnTomoHand                            │ │
│ │                                   -1.0                                   │ │
│ │                                   rlnTomoTiltSeriesPixelSize             │ │
│ │                                   1.88                                   │ │
│ │                                   Name: TS_00001_grid2_id9_lam4_pos23,   │ │
│ │                                   dtype: object                          │ │
│ │                             gpu = []                                     │ │
│ │                output_directory = PosixPath('AlignTiltSeries/job060')    │ │
│ │     sample_thickness_nanometers = 200.0                                  │ │
│ │                     tilt_series = RlnTiltSeries(                         │ │
│ │                                   │                                      │ │
│ │                                   name='TS_00001_grid2_id9_lam4_pos23',  │ │
│ │                                   │   data=                              │ │
│ │                                   rlnMicrographMovieName  ...            │ │
│ │                                   rlnCtfMaxResolution                    │ │
│ │                                   0                                      │ │
│ │                                   data/grid2_id9_lam4_pos23_001_8.97_20… │ │
│ │                                   ...             5.905276               │ │
│ │                                   1                                      │ │
│ │                                   data/grid2_id9_lam4_pos23_002_11.97_2… │ │
│ │                                   ...             5.469091               │ │
│ │                                   2                                      │ │
│ │                                   data/grid2_id9_lam4_pos23_003_5.97_20… │ │
│ │                                   ...             4.936205               │ │
│ │                                   3                                      │ │
│ │                                   data/grid2_id9_lam4_pos23_004_2.97_20… │ │
│ │                                   ...             6.592877               │ │
│ │                                   4                                      │ │
│ │                                   data/grid2_id9_lam4_pos23_005_14.97_2… │ │
│ │                                   ...             6.503784               │ │
│ │                                   5                                      │ │
│ │                                   data/grid2_id9_lam4_pos23_006_17.97_2… │ │
│ │                                   ...             7.825691               │ │
│ │                                   6                                      │ │
│ │                                   data/grid2_id9_lam4_pos23_007_-0.03_2… │ │
│ │                                   ...             8.227009               │ │
│ │                                   7                                      │ │
│ │                                   data/grid2_id9_lam4_pos23_008_-3.03_2… │ │
│ │                                   ...             7.520000               │ │
│ │                                   8                                      │ │

│                                                                              │
│ /opt/psi/EM/relion/5.0-beta/conda_env/5.0-beta/lib/python3.10/site-packages/ │
│ tomography_python_programs/_utils/relion.py:75 in pipeline_job               │
│                                                                              │
│   72 │   │   │   job_directory.mkdir(parents=True, exist_ok=True)            │
│   73 │   │   try:                                                            │
│   74 │   │   │   pipeline_directory = kwargs.pop(PIPELINE_CONTROL_KEYWORD_AR │
│ ❱ 75 │   │   │   func(*args, **kwargs)                                       │
│   76 │   │   │   if job_directory is not None and pipeline_directory is not  │
│   77 │   │   │   │   write_job_success_file(job_directory)                   │
│   78 │   │   except BaseException:                                           │
│                                                                              │
│ ╭───────────────────────────────── locals ─────────────────────────────────╮ │
│ │               args = ()                                                  │ │
│ │               func = <function aretomo_cli at 0x2b2d80e464d0>            │ │
│ │      job_directory = PosixPath('AlignTiltSeries/job060')                 │ │
│ │             kwargs = {                                                   │ │
│ │                      │   'tilt_series_star_file':                        │ │
│ │                      PosixPath('mouseHeart3_10FramesPerTilt/CtfFind/TS_… │ │
│ │                      │   'output_directory':                             │ │
│ │                      PosixPath('AlignTiltSeries/job060'),                │ │
│ │                      │   'sample_thickness_nanometers': 200.0,           │ │
│ │                      │   'do_tilt_angle_offset_correction': True,        │ │
│ │                      │   'tomogram_name': None,                          │ │
│ │                      │   'gpu': []                                       │ │
│ │                      }                                                   │ │
│ │ pipeline_directory = PosixPath('AlignTiltSeries/job060')                 │ │
│ ╰──────────────────────────────────────────────────────────────────────────╯ │
│                                                                              │
│ /opt/psi/EM/relion/5.0-beta/conda_env/5.0-beta/lib/python3.10/site-packages/ │
│ tomography_python_programs/align_tilt_series/aretomo/cli.py:36 in            │
│ aretomo_cli                                                                  │
│                                                                              │
│   33 │   )                                                                   │
│   34 │   for global_data, tilt_series in tilt_series_set:                    │
│   35 │   │   console.log(f'Aligning {tilt_series.name}...')                  │
│ ❱ 36 │   │   align_single_tilt_series(                                       │
│   37 │   │   │   tilt_series=tilt_series,                                    │
│   38 │   │   │   pixel_spacing_angstroms=global_data['rlnTomoTiltSeriesPixel │
│   39 │   │   │   sample_thickness_nanometers=sample_thickness_nanometers,    │
│                                                                              │
│ ╭───────────────────────────────── locals ─────────────────────────────────╮ │
│ │ do_tilt_angle_offset_correction = True                                   │ │
│ │                     global_data = rlnTomoName                            │ │
│ │                                   TS_00001_grid2_id9_lam4_pos23          │ │
│ │                                   rlnVoltage                             │ │
│ │                                   300.0                                  │ │
│ │                                   rlnSphericalAberration                 │ │
│ │                                   2.7                                    │ │
│ │                                   rlnAmplitudeContrast                   │ │
│ │                                   0.1                                    │ │
│ │                                   rlnMicrographOriginalPixelSize         │ │
│ │                                   1.88                                   │ │
│ │                                   rlnTomoHand                            │ │
│ │                                   -1.0                                   │ │
│ │                                   rlnTomoTiltSeriesPixelSize             │ │
│ │                                   1.88                                   │ │
│ │                                   Name: TS_00001_grid2_id9_lam4_pos23,   │ │
│ │                                   dtype: object                          │ │
│ │                             gpu = []                                     │ │
│ │                output_directory = PosixPath('AlignTiltSeries/job060')    │ │
│ │     sample_thickness_nanometers = 200.0                                  │ │
│ │                     tilt_series = RlnTiltSeries(                         │ │
│ │                                   │                                      │ │
│ │                                   name='TS_00001_grid2_id9_lam4_pos23',  │ │
│ │                                   │   data=                              │ │
│ │                                   rlnMicrographMovieName  ...            │ │
│ │                                   rlnCtfMaxResolution                    │ │
│ │                                   0                                      │ │
│ │                                   data/grid2_id9_lam4_pos23_001_8.97_20… │ │
│ │                                   ...             5.905276               │ │
│ │                                   1                                      │ │
│ │                                   data/grid2_id9_lam4_pos23_002_11.97_2… │ │
│ │                                   ...             5.469091               │ │
│ │                                   2                                      │ │
│ │                                   data/grid2_id9_lam4_pos23_003_5.97_20… │ │
│ │                                   ...             4.936205               │ │
│ │                                   3                                      │ │
│ │                                   data/grid2_id9_lam4_pos23_004_2.97_20… │ │
│ │                                   ...             6.592877               │ │
│ │                                   4                                      │ │
│ │                                   data/grid2_id9_lam4_pos23_005_14.97_2… │ │
│ │                                   ...             6.503784               │ │
│ │                                   5                                      │ │
│ │                                   data/grid2_id9_lam4_pos23_006_17.97_2… │ │
│ │                                   ...             7.825691               │ │
│ │                                   6                                      │ │
│ │                                   data/grid2_id9_lam4_pos23_007_-0.03_2… │ │
│ │                                   ...             8.227009               │ │
│ │                                   7                                      │ │
│ │                                   data/grid2_id9_lam4_pos23_008_-3.03_2… │ │
│ │                                   ...             7.520000               │ │
│ │                                   8                                      │ │
│ │                                   data/grid2_id9_lam4_pos23_009_20.97_2… │ │
│ │                                   ...             8.594286               │ │
│ │                                   9                                      │ │
│ │                                   data/grid2_id9_lam4_pos23_010_23.97_2… │ │
│ │                                   ...             9.167238               │ │
│ │                                   10                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_011_-6.03_2… │ │
│ │                                   ...             8.594286               │ │
│ │                                   11                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_012_-9.03_2… │ │
│ │                                   ...             9.167238               │ │
│ │                                   12                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_013_26.97_2… │ │
│ │                                   ...            13.185753               │ │
│ │                                   13                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_014_29.97_2… │ │
│ │                                   ...             8.518230               │ │
│ │                                   14                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_015_-12.03_… │ │
│ │                                   ...            10.026667               │ │
│ │                                   15                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_016_-15.03_… │ │
│ │                                   ...            13.185753               │ │
│ │                                   16                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_017_32.97_2… │ │
│ │                                   ...            10.577582               │ │
│ │                                   17                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_018_35.97_2… │ │
│ │                                   ...             4.650048               │ │
│ │                                   18                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_019_-18.03_… │ │
│ │                                   ...            12.834133               │ │
│ │                                   19                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_020_-21.03_… │ │
│ │                                   ...            25.000000               │ │
│ │                                   20                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_021_38.97_2… │ │
│ │                                   ...            25.000000               │ │
│ │                                   21                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_022_41.97_2… │ │
│ │                                   ...            11.883457               │ │
│ │                                   22                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_023_-24.03_… │ │
│ │                                   ...            25.000000               │ │
│ │                                   23                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_024_-27.03_… │ │
│ │                                   ...            11.063908               │ │
│ │                                   24                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_025_44.97_2… │ │
│ │                                   ...            25.000000               │ │
│ │                                   25                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_026_47.97_2… │ │
│ │                                   ...            13.007568               │ │
│ │                                   26                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_027_-30.03_… │ │
│ │                                   ...            12.184304               │ │
│ │                                   27                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_028_-33.03_… │ │
│ │                                   ...            12.032000               │ │
│ │                                   28                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_029_50.97_2… │ │
│ │                                   ...            25.000000               │ │
│ │                                   29                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_030_53.97_2… │ │
│ │                                   ...             8.370087               │ │
│ │                                   30                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_031_-36.03_… │ │
│ │                                   ...             7.889836               │ │
│ │                                   31                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_032_-39.03_… │ │
│ │                                   ...             4.911020               │ │
│ │                                   32                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_033_56.97_2… │ │
│ │                                   ...            25.000000               │ │
│ │                                   33                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_034_59.97_2… │ │
│ │                                   ...            25.000000               │ │
│ │                                   34                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_035_-42.03_… │ │
│ │                                   ...            25.000000               │ │
│ │                                   35                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_036_-45.03_… │ │
│ │                                   ...            25.000000               │ │
│ │                                   36                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_037_62.97_2… │ │
│ │                                   ...             4.741675               │ │
│ │                                   37                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_038_65.97_2… │ │
│ │                                   ...            25.000000               │ │
│ │                                   38                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_039_-48.03_… │ │
│ │                                   ...            25.000000               │ │
│ │                                   39                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_040_-50.00_… │ │
│ │                                   ...            25.000000               │ │
│ │                                   40                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_041_68.00_2… │ │
│ │                                   ...            25.000000               │ │
│ │                                                                          │ │
│ │                                   [41 rows x 21 columns]                 │ │
│ │                                   )                                      │ │
│ │                 tilt_series_set = RlnTiltSeriesSet(                      │ │
│ │                                   │   global_data=                       │ │
│ │                                   rlnTomoName  ...                       │ │
│ │                                   rlnTomoTiltSeriesPixelSize             │ │
│ │                                   rlnTomoName                            │ │
│ │                                   ...                                    │ │
│ │                                   TS_00001_grid2_id9_lam4_pos23          │ │
│ │                                   TS_00001_grid2_id9_lam4_pos23  ...     │ │
│ │                                   1.88                                   │ │
│ │                                                                          │ │
│ │                                   [1 rows x 7 columns],                  │ │
│ │                                   │   tilt_series=[                      │ │
│ │                                   │   │   RlnTiltSeries(                 │ │
│ │                                   │   │   │                              │ │
│ │                                   name='TS_00001_grid2_id9_lam4_pos23',  │ │
│ │                                   │   │   │   data=                      │ │
│ │                                   rlnMicrographMovieName  ...            │ │
│ │                                   rlnCtfMaxResolution                    │ │
│ │                                   0                                      │ │
│ │                                   data/grid2_id9_lam4_pos23_001_8.97_20… │ │
│ │                                   ...             5.905276               │ │
│ │                                   1                                      │ │
│ │                                   data/grid2_id9_lam4_pos23_002_11.97_2… │ │
│ │                                   ...             5.469091               │ │
│ │                                   2                                      │ │
│ │                                   data/grid2_id9_lam4_pos23_003_5.97_20… │ │
│ │                                   ...             4.936205               │ │
│ │                                   3                                      │ │
│ │                                   data/grid2_id9_lam4_pos23_004_2.97_20… │ │
│ │                                   ...             6.592877               │ │
│ │                                   4                                      │ │
│ │                                   data/grid2_id9_lam4_pos23_005_14.97_2… │ │
│ │                                   ...             6.503784               │ │
│ │                                   5                                      │ │
│ │                                   data/grid2_id9_lam4_pos23_006_17.97_2… │ │
│ │                                   ...             7.825691               │ │
│ │                                   6                                      │ │
│ │                                   data/grid2_id9_lam4_pos23_007_-0.03_2… │ │
│ │                                   ...             8.227009               │ │
│ │                                   7                                      │ │
│ │                                   data/grid2_id9_lam4_pos23_008_-3.03_2… │ │
│ │                                   ...             7.520000               │ │
│ │                                   8                                      │ │
│ │                                   data/grid2_id9_lam4_pos23_009_20.97_2… │ │
│ │                                   ...             8.594286               │ │
│ │                                   9                                      │ │
│ │                                   data/grid2_id9_lam4_pos23_010_23.97_2… │ │
│ │                                   ...             9.167238               │ │
│ │                                   10                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_011_-6.03_2… │ │
│ │                                   ...             8.594286               │ │
│ │                                   11                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_012_-9.03_2… │ │
│ │                                   ...             9.167238               │ │
│ │                                   12                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_013_26.97_2… │ │
│ │                                   ...            13.185753               │ │
│ │                                   13                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_014_29.97_2… │ │
│ │                                   ...             8.518230               │ │
│ │                                   14                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_015_-12.03_… │ │
│ │                                   ...            10.026667               │ │
│ │                                   15                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_016_-15.03_… │ │
│ │                                   ...            13.185753               │ │
│ │                                   16                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_017_32.97_2… │ │
│ │                                   ...            10.577582               │ │
│ │                                   17                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_018_35.97_2… │ │
│ │                                   ...             4.650048               │ │
│ │                                   18                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_019_-18.03_… │ │
│ │                                   ...            12.834133               │ │
│ │                                   19                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_020_-21.03_… │ │
│ │                                   ...            25.000000               │ │
│ │                                   20                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_021_38.97_2… │ │
│ │                                   ...            25.000000               │ │
│ │                                   21                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_022_41.97_2… │ │
│ │                                   ...            11.883457               │ │
│ │                                   22                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_023_-24.03_… │ │
│ │                                   ...            25.000000               │ │
│ │                                   23                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_024_-27.03_… │ │
│ │                                   ...            11.063908               │ │
│ │                                   24                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_025_44.97_2… │ │
│ │                                   ...            25.000000               │ │
│ │                                   25                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_026_47.97_2… │ │
│ │                                   ...            13.007568               │ │
│ │                                   26                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_027_-30.03_… │ │
│ │                                   ...            12.184304               │ │
│ │                                   27                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_028_-33.03_… │ │
│ │                                   ...            12.032000               │ │
│ │                                   28                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_029_50.97_2… │ │
│ │                                   ...            25.000000               │ │
│ │                                   29                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_030_53.97_2… │ │
│ │                                   ...             8.370087               │ │
│ │                                   30                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_031_-36.03_… │ │
│ │                                   ...             7.889836               │ │
│ │                                   31                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_032_-39.03_… │ │
│ │                                   ...             4.911020               │ │
│ │                                   32                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_033_56.97_2… │ │
│ │                                   ...            25.000000               │ │
│ │                                   33                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_034_59.97_2… │ │
│ │                                   ...            25.000000               │ │
│ │                                   34                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_035_-42.03_… │ │
│ │                                   ...            25.000000               │ │
│ │                                   35                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_036_-45.03_… │ │
│ │                                   ...            25.000000               │ │
│ │                                   36                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_037_62.97_2… │ │
│ │                                   ...             4.741675               │ │
│ │                                   37                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_038_65.97_2… │ │
│ │                                   ...            25.000000               │ │
│ │                                   38                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_039_-48.03_… │ │
│ │                                   ...            25.000000               │ │
│ │                                   39                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_040_-50.00_… │ │
│ │                                   ...            25.000000               │ │
│ │                                   40                                     │ │
│ │                                   data/grid2_id9_lam4_pos23_041_68.00_2… │ │
│ │                                   ...            25.000000               │ │
│ │                                                                          │ │
│ │                                   [41 rows x 21 columns]                 │ │
│ │                                   │   │   )                              │ │
│ │                                   │   ]                                  │ │
│ │                                   )                                      │ │
│ │           tilt_series_star_file = PosixPath('mouseHeart3_10FramesPerTil… │ │
│ │                   tomogram_name = None                                   │ │
│ ╰──────────────────────────────────────────────────────────────────────────╯ │
│                                                                              │
│ /opt/psi/EM/relion/5.0-beta/conda_env/5.0-beta/lib/python3.10/site-packages/ │
│ tomography_python_programs/align_tilt_series/aretomo/align_tilt_series.py:62 │
│  in align_single_tilt_series                                                 │
│                                                                              │
│   59 │   │   )                                                               │
│   60 │   │                                                                   │
│   61 │   │   console.log('Writing STAR file for aligned tilt-series')        │
│ ❱ 62 │   │   df[['rlnTomoXTilt', 'rlnTomoYTilt', 'rlnTomoZRot']] = \         │
│   63 │   │   │   get_xyz_extrinsic_euler_angles(aretomo_output.aln_file)     │
│   64 │   │   df[['rlnTomoXShiftAngst', 'rlnTomoYShiftAngst']] = \            │
│   65 │   │   │   get_specimen_shifts(aretomo_output.aln_file) * pixel_spacin │
│                                                                              │

(lower part , the full message is very long)

│                                                                              │
│ /opt/psi/EM/relion/5.0-beta/conda_env/5.0-beta/lib/python3.10/site-packages/ │
│ pandas/core/frame.py:4300 in _set_item                                       │
│                                                                              │
│    4297 │   │   Series/TimeSeries will be conformed to the DataFrames index  │
│    4298 │   │   ensure homogeneity.                                          │
│    4299 │   │   """                                                          │
│ ❱  4300 │   │   value, refs = self._sanitize_column(value)                   │
│    4301 │   │                                                                │
│    4302 │   │   if (                                                         │
│    4303 │   │   │   key in self.columns                                      │
│                                                                              │
│ ╭───────────────────────────────── locals ─────────────────────────────────╮ │
│ │   key = 'rlnTomoXTilt'                                                   │ │
│ │  self = │   │   │   │   │   │   │      rlnMicrographMovieName  ...       │ │
│ │         rlnCtfMaxResolution                                              │ │
│ │         39  data/grid2_id9_lam4_pos23_040_-50.00_20240326_...  ...       │ │
│ │         25.000000                                                        │ │
│ │         38  data/grid2_id9_lam4_pos23_039_-48.03_20240326_...  ...       │ │
│ │         25.000000                                                        │ │
│ │         35  data/grid2_id9_lam4_pos23_036_-45.03_20240326_...  ...       │ │
│ │         25.000000                                                        │ │
│ │         34  data/grid2_id9_lam4_pos23_035_-42.03_20240326_...  ...       │ │
│ │         25.000000                                                        │ │
│ │         31  data/grid2_id9_lam4_pos23_032_-39.03_20240326_...  ...       │ │
│ │         4.911020                                                         │ │
│ │         30  data/grid2_id9_lam4_pos23_031_-36.03_20240326_...  ...       │ │
│ │         7.889836                                                         │ │
│ │         27  data/grid2_id9_lam4_pos23_028_-33.03_20240326_...  ...       │ │
│ │         12.032000                                                        │ │
│ │         26  data/grid2_id9_lam4_pos23_027_-30.03_20240326_...  ...       │ │
│ │         12.184304                                                        │ │
│ │         23  data/grid2_id9_lam4_pos23_024_-27.03_20240326_...  ...       │ │
│ │         11.063908                                                        │ │
│ │         22  data/grid2_id9_lam4_pos23_023_-24.03_20240326_...  ...       │ │
│ │         25.000000                                                        │ │
│ │         19  data/grid2_id9_lam4_pos23_020_-21.03_20240326_...  ...       │ │
│ │         25.000000                                                        │ │
│ │         18  data/grid2_id9_lam4_pos23_019_-18.03_20240326_...  ...       │ │
│ │         12.834133                                                        │ │
│ │         15  data/grid2_id9_lam4_pos23_016_-15.03_20240326_...  ...       │ │
│ │         13.185753                                                        │ │
│ │         14  data/grid2_id9_lam4_pos23_015_-12.03_20240326_...  ...       │ │
│ │         10.026667                                                        │ │
│ │         11  data/grid2_id9_lam4_pos23_012_-9.03_20240326_1...  ...       │ │
│ │         9.167238                                                         │ │
│ │         10  data/grid2_id9_lam4_pos23_011_-6.03_20240326_1...  ...       │ │
│ │         8.594286                                                         │ │
│ │         7   data/grid2_id9_lam4_pos23_008_-3.03_20240326_1...  ...       │ │
│ │         7.520000                                                         │ │
│ │         6   data/grid2_id9_lam4_pos23_007_-0.03_20240326_1...  ...       │ │
│ │         8.227009                                                         │ │
│ │         3   data/grid2_id9_lam4_pos23_004_2.97_20240326_18...  ...       │ │
│ │         6.592877                                                         │ │
│ │         2   data/grid2_id9_lam4_pos23_003_5.97_20240326_18...  ...       │ │
│ │         4.936205                                                         │ │
│ │         0   data/grid2_id9_lam4_pos23_001_8.97_20240326_18...  ...       │ │
│ │         5.905276                                                         │ │
│ │         1   data/grid2_id9_lam4_pos23_002_11.97_20240326_1...  ...       │ │
│ │         5.469091                                                         │ │
│ │         4   data/grid2_id9_lam4_pos23_005_14.97_20240326_1...  ...       │ │
│ │         6.503784                                                         │ │
│ │         5   data/grid2_id9_lam4_pos23_006_17.97_20240326_1...  ...       │ │
│ │         7.825691                                                         │ │
│ │         8   data/grid2_id9_lam4_pos23_009_20.97_20240326_1...  ...       │ │
│ │         8.594286                                                         │ │
│ │         9   data/grid2_id9_lam4_pos23_010_23.97_20240326_1...  ...       │ │
│ │         9.167238                                                         │ │
│ │         12  data/grid2_id9_lam4_pos23_013_26.97_20240326_1...  ...       │ │
│ │         13.185753                                                        │ │
│ │         13  data/grid2_id9_lam4_pos23_014_29.97_20240326_1...  ...       │ │
│ │         8.518230                                                         │ │
│ │         16  data/grid2_id9_lam4_pos23_017_32.97_20240326_1...  ...       │ │
│ │         10.577582                                                        │ │
│ │         17  data/grid2_id9_lam4_pos23_018_35.97_20240326_1...  ...       │ │
│ │         4.650048                                                         │ │
│ │         20  data/grid2_id9_lam4_pos23_021_38.97_20240326_1...  ...       │ │
│ │         25.000000                                                        │ │
│ │         21  data/grid2_id9_lam4_pos23_022_41.97_20240326_1...  ...       │ │
│ │         11.883457                                                        │ │
│ │         24  data/grid2_id9_lam4_pos23_025_44.97_20240326_1...  ...       │ │
│ │         25.000000                                                        │ │
│ │         25  data/grid2_id9_lam4_pos23_026_47.97_20240326_1...  ...       │ │
│ │         13.007568                                                        │ │
│ │         28  data/grid2_id9_lam4_pos23_029_50.97_20240326_1...  ...       │ │
│ │         25.000000                                                        │ │
│ │         29  data/grid2_id9_lam4_pos23_030_53.97_20240326_1...  ...       │ │
│ │         8.370087                                                         │ │
│ │         32  data/grid2_id9_lam4_pos23_033_56.97_20240326_1...  ...       │ │
│ │         25.000000                                                        │ │
│ │         33  data/grid2_id9_lam4_pos23_034_59.97_20240326_1...  ...       │ │
│ │         25.000000                                                        │ │
│ │         36  data/grid2_id9_lam4_pos23_037_62.97_20240326_1...  ...       │ │
│ │         4.741675                                                         │ │
│ │         37  data/grid2_id9_lam4_pos23_038_65.97_20240326_1...  ...       │ │
│ │         25.000000                                                        │ │
│ │         40  data/grid2_id9_lam4_pos23_041_68.00_20240326_1...  ...       │ │
│ │         25.000000                                                        │ │
│ │                                                                          │ │
│ │         [41 rows x 21 columns]                                           │ │
│ │ value = array([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,   │ │
│ │         0., 0., 0.,                                                      │ │
│ │         │      0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,   │ │
│ │         0., 0., 0.,                                                      │ │
│ │         │      0., 0., 0., 0., 0.])                                      │ │
│ ╰──────────────────────────────────────────────────────────────────────────╯ │
│                                                                              │
│ /opt/psi/EM/relion/5.0-beta/conda_env/5.0-beta/lib/python3.10/site-packages/ │
│ pandas/core/frame.py:5039 in _sanitize_column                                │
│                                                                              │
│    5036 │   │   │   return _reindex_for_setitem(value, self.index)           │
│    5037 │   │                                                                │
│    5038 │   │   if is_list_like(value):                                      │
│ ❱  5039 │   │   │   com.require_length_match(value, self.index)              │
│    5040 │   │   return sanitize_array(value, self.index, copy=True, allow_2d │
│    5041 │                                                                    │
│    5042 │   @property                                                        │
│                                                                              │
│ ╭───────────────────────────────── locals ─────────────────────────────────╮ │
│ │  self = │   │   │   │   │   │   │      rlnMicrographMovieName  ...       │ │
│ │         rlnCtfMaxResolution                                              │ │
│ │         39  data/grid2_id9_lam4_pos23_040_-50.00_20240326_...  ...       │ │
│ │         25.000000                                                        │ │
│ │         38  data/grid2_id9_lam4_pos23_039_-48.03_20240326_...  ...       │ │
│ │         25.000000                                                        │ │
│ │         35  data/grid2_id9_lam4_pos23_036_-45.03_20240326_...  ...       │ │
│ │         25.000000                                                        │ │
│ │         34  data/grid2_id9_lam4_pos23_035_-42.03_20240326_...  ...       │ │
│ │         25.000000                                                        │ │
│ │         31  data/grid2_id9_lam4_pos23_032_-39.03_20240326_...  ...       │ │
│ │         4.911020                                                         │ │
│ │         30  data/grid2_id9_lam4_pos23_031_-36.03_20240326_...  ...       │ │
│ │         7.889836                                                         │ │
│ │         27  data/grid2_id9_lam4_pos23_028_-33.03_20240326_...  ...       │ │
│ │         12.032000                                                        │ │
│ │         26  data/grid2_id9_lam4_pos23_027_-30.03_20240326_...  ...       │ │
│ │         12.184304                                                        │ │
│ │         23  data/grid2_id9_lam4_pos23_024_-27.03_20240326_...  ...       │ │
│ │         11.063908                                                        │ │
│ │         22  data/grid2_id9_lam4_pos23_023_-24.03_20240326_...  ...       │ │
│ │         25.000000                                                        │ │
│ │         19  data/grid2_id9_lam4_pos23_020_-21.03_20240326_...  ...       │ │
│ │         25.000000                                                        │ │
│ │         18  data/grid2_id9_lam4_pos23_019_-18.03_20240326_...  ...       │ │
│ │         12.834133                                                        │ │
│ │         15  data/grid2_id9_lam4_pos23_016_-15.03_20240326_...  ...       │ │
│ │         13.185753                                                        │ │
│ │         14  data/grid2_id9_lam4_pos23_015_-12.03_20240326_...  ...       │ │
│ │         10.026667                                                        │ │
│ │         11  data/grid2_id9_lam4_pos23_012_-9.03_20240326_1...  ...       │ │
│ │         9.167238                                                         │ │
│ │         10  data/grid2_id9_lam4_pos23_011_-6.03_20240326_1...  ...       │ │
│ │         8.594286                                                         │ │
│ │         7   data/grid2_id9_lam4_pos23_008_-3.03_20240326_1...  ...       │ │
│ │         7.520000                                                         │ │
│ │         6   data/grid2_id9_lam4_pos23_007_-0.03_20240326_1...  ...       │ │
│ │         8.227009                                                         │ │
│ │         3   data/grid2_id9_lam4_pos23_004_2.97_20240326_18...  ...       │ │
│ │         6.592877                                                         │ │
│ │         2   data/grid2_id9_lam4_pos23_003_5.97_20240326_18...  ...       │ │
│ │         4.936205                                                         │ │
│ │         0   data/grid2_id9_lam4_pos23_001_8.97_20240326_18...  ...       │ │
│ │         5.905276                                                         │ │
│ │         1   data/grid2_id9_lam4_pos23_002_11.97_20240326_1...  ...       │ │
│ │         5.469091                                                         │ │
│ │         4   data/grid2_id9_lam4_pos23_005_14.97_20240326_1...  ...       │ │
│ │         6.503784                                                         │ │
│ │         5   data/grid2_id9_lam4_pos23_006_17.97_20240326_1...  ...       │ │
│ │         7.825691                                                         │ │
│ │         8   data/grid2_id9_lam4_pos23_009_20.97_20240326_1...  ...       │ │
│ │         8.594286                                                         │ │
│ │         9   data/grid2_id9_lam4_pos23_010_23.97_20240326_1...  ...       │ │
│ │         9.167238                                                         │ │
│ │         12  data/grid2_id9_lam4_pos23_013_26.97_20240326_1...  ...       │ │
│ │         13.185753                                                        │ │
│ │         13  data/grid2_id9_lam4_pos23_014_29.97_20240326_1...  ...       │ │
│ │         8.518230                                                         │ │
│ │         16  data/grid2_id9_lam4_pos23_017_32.97_20240326_1...  ...       │ │
│ │         10.577582                                                        │ │
│ │         17  data/grid2_id9_lam4_pos23_018_35.97_20240326_1...  ...       │ │
│ │         4.650048                                                         │ │
│ │         20  data/grid2_id9_lam4_pos23_021_38.97_20240326_1...  ...       │ │
│ │         25.000000                                                        │ │
│ │         21  data/grid2_id9_lam4_pos23_022_41.97_20240326_1...  ...       │ │
│ │         11.883457                                                        │ │
│ │         24  data/grid2_id9_lam4_pos23_025_44.97_20240326_1...  ...       │ │
│ │         25.000000                                                        │ │
│ │         25  data/grid2_id9_lam4_pos23_026_47.97_20240326_1...  ...       │ │
│ │         13.007568                                                        │ │
│ │         28  data/grid2_id9_lam4_pos23_029_50.97_20240326_1...  ...       │ │
│ │         25.000000                                                        │ │
│ │         29  data/grid2_id9_lam4_pos23_030_53.97_20240326_1...  ...       │ │
│ │         8.370087                                                         │ │
│ │         32  data/grid2_id9_lam4_pos23_033_56.97_20240326_1...  ...       │ │
│ │         25.000000                                                        │ │
│ │         33  data/grid2_id9_lam4_pos23_034_59.97_20240326_1...  ...       │ │
│ │         25.000000                                                        │ │
│ │         36  data/grid2_id9_lam4_pos23_037_62.97_20240326_1...  ...       │ │
│ │         4.741675                                                         │ │
│ │         37  data/grid2_id9_lam4_pos23_038_65.97_20240326_1...  ...       │ │
│ │         25.000000                                                        │ │
│ │         40  data/grid2_id9_lam4_pos23_041_68.00_20240326_1...  ...       │ │
│ │         25.000000                                                        │ │
│ │                                                                          │ │
│ │         [41 rows x 21 columns]                                           │ │
│ │ value = array([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,   │ │
│ │         0., 0., 0.,                                                      │ │
│ │         │      0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,   │ │
│ │         0., 0., 0.,                                                      │ │
│ │         │      0., 0., 0., 0., 0.])                                      │ │
│ ╰──────────────────────────────────────────────────────────────────────────╯ │
│                                                                              │
│ /opt/psi/EM/relion/5.0-beta/conda_env/5.0-beta/lib/python3.10/site-packages/ │
│ pandas/core/common.py:561 in require_length_match                            │
│                                                                              │
│   558 │   Check the length of data matches the length of the index.          │
│   559 │   """                                                                │
│   560 │   if len(data) != len(index):                                        │
│ ❱ 561 │   │   raise ValueError(                                              │
│   562 │   │   │   "Length of values "                                        │
│   563 │   │   │   f"({len(data)}) "                                          │
│   564 │   │   │   "does not match length of index "                          │
│                                                                              │
│ ╭───────────────────────────────── locals ─────────────────────────────────╮ │
│ │  data = array([0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,   │ │
│ │         0., 0., 0.,                                                      │ │
│ │         │      0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0.,   │ │
│ │         0., 0., 0.,                                                      │ │
│ │         │      0., 0., 0., 0., 0.])                                      │ │
│ │ index = Index([39, 38, 35, 34, 31, 30, 27, 26, 23, 22, 19, 18, 15, 14,   │ │
│ │         11, 10,  7,  6,                                                  │ │
│ │         │   │   3,  2,  0,  1,  4,  5,  8,  9, 12, 13, 16, 17, 20, 21,   │ │
│ │         24, 25, 28, 29,                                                  │ │
│ │         │      32, 33, 36, 37, 40],                                      │ │
│ │         │     dtype='int64')                                             │ │
│ ╰──────────────────────────────────────────────────────────────────────────╯ │
╰──────────────────────────────────────────────────────────────────────────────╯
ValueError: Length of values (39) does not match length of index (41)
srun: error:  task 0: Exited with exit code 2

We have 41 tilts, but during the AreTomo run two of them are removed because they were too dark according to the log.txt file in the "external " (aretomo) folder of the job. Apparently there is a mismatch in the arrays ( index 39 and index 41 ) , looks like the relion wrapper does not "know" that these 2 were removed ?

We also tried to manually remove those 2 tilts before the job for this single tomogram such that AreTomo wouldn't remove these two and writing the star file was successful and the job runs through.

Do you have any ideas what to do ?
Any help much appreciated !!

Best, Greta
@EuanPyle
Copy link
Contributor

Hi, I've had this problem before too, it's definitely a bug. It shoudn't really happen as the wrapper actually makes the dark tolerance so high AreTomo shouldn't exclude images. Anyway, I will raise the issue. In the meantime, I would do what you have been doing and deleting the dark tilts. Maybe use the Tilt Image Excluder job and be picky in removing dark images.
Thanks,
Euan

@AssmannG
Copy link
Author

Hi Euan,
thanks for your answer and thanks for raising the issue!
I will let the user know that he has to work with the workaround for now!
Best, Greta

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
2 participants
@EuanPyle @AssmannG